Az adatkezelést úgy írják le, mint a vállalati rendszerekben lévő adatok rendelkezésre állásának, használhatóságának, integritásának és biztonságának kezelésének folyamatát. Ez egy modern definíció. Nem volt ez mindig így. Mára már olyan szélesre tágult a hatókör, hogy az „adatkezelés” szó értelmetlenné is vált. Ez viszont így szinte tiszta túlzás!
Az adatkezelésért felelős tisztviselők újra feltalálják és kibővítik a chartájukat, hogy a munkájuknak megfelelőek maradjanak ahelyett, hogy beismernék, hogy az eredeti koncepció nem állt meg soha sem a lábán. Valójában az adatkezelés kibővített chartája gyanúsan hasonlít az ipari mérnöki tevékenység működési elveire: megbízhatóság, rendelkezésre állás, karbantarthatóság, biztonság (röviden RAMS).
Az „irányítás” szó a szabályzatok meghatározására és a megfelelőség kezelésére utal. A szabályzatokra és a megfelelésre pedig azért van szükség, mert a „dologgal” kapcsolatos kockázatok a választásból adódóan fennállnak. Például van irányítás az orvostudományban (a rossz kezelési döntések kockázata életek elvesztéséhez vezet), van irányítás a pénzügyi termékekben (a rossz ajánlások kockázata pénzveszteséghez vezet) stb. De milyen kockázatok kapcsolódnak az adatokhoz a választáson keresztül?
Nos, az adatkezelés eredeti fókusza az adatminőségre irányult, és a kockázatokat is ebben látták. De azt állítjuk, hogy ez a gondolkodás helytelen: a rossz adatminőség önszabályozó, mert az eredménye határozza meg a további felhasználást. A nagyobb kérdés azonban az, hogy mi határozza meg az adatok minőségét. Sok szervezet a hiányzó adatokra (azaz a nem kellően kitöltött adatmezőkre) vagy az adatok pontosságára (azaz arra, hogy a bemenetek érvényesek-e) összpontosít. De még a kiforrott szervezetek sem fordítanak elég időt arra, hogy az adatok reprezentációjáról gondolkodjanak. És hogyan is tehetnék, amikor az adatkezelést olyanok felügyelik, akik nem értenek az információelmélethez. Az adatok lehetnek pontosak (pl. egy érvényes cím), de nem reprezentatívak (pl. nem az ügyfél címe).
Vegyük például a lakossági banki tevékenységet, ahol a jövedelem és a foglalkozás fontos adatpontok az ügyfélről, mivel ezek szoros összefüggést mutatnak a pénzügyi viselkedéssel. Kevés bank rendelkezik olyan „adatkezelési” politikával, mely a jövedelmi és foglalkozási adatok lejáratával és folyamatos újbóli gyűjtésével foglalkozik. A legtöbb bank nem is gondolkodik ezen a problémán. Azt hiszik, hogy csak azért, mert az adatmezők ki vannak töltve a rendszerben és „pontosak”, az adatok teljesek és használhatóak. Az adatok „eltarthatóságának” fel nem ismerését ritkán vitatják meg az adatkezelésért felelős tisztviselők.
Az adat mint eszköz
Íme egy gyakorlatiasabb módja az adatkezelésről való gondolkodásnak. Valójában egyáltalán nem is neveznénk adatkezelésnek, mivel a kifejezés félrevezető. Mindenki azt mondja, hogy az adat egy vagyontárgy. Egyetértünk. És nem lehet „kormányozni” az eszközöket. Inkább „menedzselni” kell az őket. Úgy kezeljük az eszközöket, hogy javítjuk és meghosszabbítjuk gazdasági élettartamukat. Ezért vissza kellene térnünk az adatkezelés alapelveihez, és el kellene felejtenünk magát az eddigi adatkezelést. A kibővített hatókörnek a következő célkitűzéseken kell alapulnia:
- Az adatok instrumentálása és kurátori kezelése: az eszközök kínálati oldalának kezelése.
- Adatbővítés és -gazdagítás: az eszköz javítási oldalának kezelése.
- Adatforgalmazás és -felhasználás: az eszköz monetizációs oldalának kezelése.
Mindez az adatkapacitás és az adatstratégia kiépítése körüli szélesebb körű beszélgetéshez kapcsolódik. Az adat-instrumentálás és -kurálás stratégiai szándékot igényel. Szükséges a meglévő adathiányok, az adatok sokféleségének értéke, az adatgyűjtés etikája, valamint az adatok rendszerezésének és indexelésének alapjául szolgáló infrastruktúra, beleértve a lejárati határidők és az újbóli gyűjtés kiváltó okainak meghatározását.
Az adatok bővítése és gazdagítása az információelmélet, a jelazonosítás és a jel-zaj erősítés ismeretét igényli. Kritikus fontosságú az adattranszformációs és adatkeverési technikák egyszerű alkalmazásának képessége a mögöttes adatállományra, majd a kimenetek további eszközökként való felismerése. Az adatelosztás és -felhasználás megköveteli annak ismeretét, hogy kinek milyen típusú adatokra van szüksége, és hogy ki profitálhat a további adatokból (azaz az új adatok proaktív terjesztése és ajánlása a terület és a korábbi felhasználás alapján). Az adatvagyon monetáris értékének megértéséhez elengedhetetlen, hogy ne csak az adatok felhasználását és újrafelhasználását, hanem magát a felhasználási területet is mérni lehessen.
Mi a helyzet a mesterséges intelligenciával?
Az adatkezelés hatókörének bővítésével kapcsolatos pont szépen átvezet az MI-stratégia támogatásához, sőt a megfoghatatlan „AI Governance” kifejezés feloldásához is. A mesterséges intelligencia (hagyományos és generatív) elfogadása elkerülhetetlen. Az MI azonban nem egy új tudományág az adatok tekintetében; ez csak adatelemzés méretarányosan. Így a vagyonkezelési elveknek logikusan alkalmazandóknak kell lenniük. Az MI legfontosabb adattémái a következők: (i) az adatok pontos és etikus beszerzése képzési célokra, (ii) az intelligens funkciótervezés képessége a felesleges adatfelhalmozódás csökkentése érdekében, és (iii) a hasznosság és használhatóság visszacsatolási körének lezárása a megoldás folyamatos finomhangolása érdekében. Ezek csak a három terület részletes bemutatása.
Az adatkezelés halott, vagy hagyni kellene meghalni. Adatmenedzsmentté kell érnie. Ez nem csak a szemantikáról szól; a következmények jelentősek. Az adatkezelésnek nincs logikai értelme a mai tudásalapú gazdaságban. A megoldásokat szabályozza; vagyis a választásokat szabályozza. Az adat mint entitás nem az, ahol a kockázatok vannak, és az adatminőségre és az adathozzáférésre való összpontosítás nem valódi gyakorlat vagy fegyelem. Az adatkezelés mesterséges kiterjesztése a rendelkezésre állásra és a használhatóságra álságos. A Data Governance a múlt záloga! Ideje továbblépni.
Az adatkezelés új korszaka
A Big Data világában egy szervezetnek két elsődleges szempontról kell gondoskodnia az adatok hatékony felhasználásához:
- Az adatok kezelésének megkönnyítése: Skálázható tárolási, számítási, felfedezési és kiszolgáló rétegek mind az analitikus adatok, mind a metaadatok számára, hogy a „méretarányos előny” mind a költségek, mind a teljesítmény tekintetében megvalósuljon, miközben a szabványosítás és az irányítás egyszerűbbé válik.
- Az adatok megbízhatósága: Az adatok minőségének és későbbi tekintélyének és megbízhatóságának javítása érdekében az adatfeldolgozás szempontjait decentralizált területi vagy intézményi ismeretekkel is össze kell kapcsolni.
Az analitikus adatokkal történő adatkezelés elsődleges célja, hogy olyan új meglátásokat tudjon létrehozni, melyek fontos üzleti döntésekhez nyújtanak információt. Ez pedig csak akkor valósulhat meg, ha a kiváló minőségű adatok könnyen elérhetők, hogy a releváns fogyasztók (emberek és gépek) egyaránt felhasználhassák őket. Minél nagyobb a minőség és a fogyasztás mértéke, annál nagyobb az esély a bevétel növekedésére.
Az adathálózat iránti növekvő igény
Az adattavak olcsó tárolási platformot biztosítanak a szervezeteknek a nagy mennyiségű „poliglott adat” tárolására, ami elindította az ezeken az adatokon működő elosztott adatfeldolgozó és elemző eszközök sorának korszakát. Hamarosan azonban „adatmocsárrá” váltak: a különböző tartományok és LOB-ok adatainak lerakóhelyévé, a fogyasztási igényekre vonatkozó homályos elképzelésekkel, valamint a tulajdonjog és a duplikáció körüli korlátozások hiányával.
Ez végül jelentős problémákhoz vezetett:
- Az adatminőség és a megbízhatóság hiánya: hiteles vs. nem hiteles igazságforrás.
- Rossz metaadat-kezelés: regisztráció és kereshetőség és felderíthetőség.
- Az irányítás és a szabványosítás hiánya: az adatok és a metaadatok gyenge pontossága.
És az adatháló paradigmája azért került bevezetésre, hogy megoldja ezt az új problémakört az adattavak világában.
Mi is az az adatháló?
Az adatháló egy olyan megközelítés, mely a monolitikus adattóról egy decentralizált adatfeldolgozással és -irányítással rendelkező elosztott adatökoszisztémára való áttérést tesz lehetővé. Négy alapelvet javasol a méretezés ígéretének megvalósítására, miközben az adatok felhasználhatóságához szükséges minőségi és integritási garanciákat nyújt.
Az adatháló azt sugallja, hogy minden egyes üzleti terület felelős az adatok tárolásáért, előkészítéséért és kiszolgálásáért a saját területének és a nagyobb közönségnek. Ez lehetővé teszi a rugalmas és autonóm adatcsapatok számára, hogy saját adattermékeket hozzanak létre és kezeljenek, elősegítve az adatok tulajdonjogát és elszámoltathatóságát.
Az adatháló paradigma négy alapelve
Tartományi tulajdonjog: A tartományi tulajdonlás a decentralizációról és a felelősség megosztásáról szól, és az adatokhoz legközelebb álló személyek számára történő elosztásáról, hogy támogassa a folyamatos változást és a skálázhatóságot azáltal, hogy az üzleti tartományt az adattulajdonlás korlátozott kontextusává teszi.
Az adat mint termék: Ez az elv a minőségi adatok felderítésének, megértésének, megértésének, bizalmának és végső soron felhasználásának súrlódásait és költségeit próbálja csökkenteni. A tartományi adatok terméktulajdonosainak mélyen tisztában kell lenniük azzal, hogy kik az adatfelhasználók, hogyan használják az adatokat, és milyen módszereket alkalmaznak az adatok fogyasztására. A kódból, adatokból és metaadatokból, valamint infrastruktúrából álló adattermék az adatháló architektúra építészeti kvantuma.
Önkiszolgáló adatplatform: Az önkiszolgáló adat-infrastruktúra mint platform lehetővé teszi a szakterületi csapatok számára, hogy az infrastruktúra magas szintű absztrakciójának létrehozásával könnyedén maguk birtokába vehessék adattermékeiket, ami megszünteti az adattermékek rendelkezésre bocsátásának és életciklusának kezelésével kapcsolatos összetettséget és súrlódásokat. Az önkiszolgáló adatplatformnak tehát olyan eszközökkel kell rendelkeznie, melyek támogatják a tartományi adattermék-fejlesztő munkafolyamatát az adattermékek létrehozásában, karbantartásában és futtatásában, kevesebb speciális tudással, mint amit a meglévő adattechnológiák feltételeznek. A mai adatplatform-technológiák sokféleségét figyelembe véve azonban nem könnyű az adatok kiszolgálása. Például előfordulhat, hogy az egyik tartományi csapat Docker-konténerként telepíti szolgáltatásait, és a kiszállítási platform Kubernetes-t használ az „orkesztrálásukhoz”, míg a szomszédos adattermék a csővezeték-kódját Spark-feladatként futtatja egy Databricks-fürtön.
Föderált számítási irányítás: Az adatháló egy olyan elosztott rendszerarchitektúrát követ, ahol független adattermékek gyűjteménye létezik egymás mellett, de független életciklussal, és valószínűleg független csapatok építik és telepítik. Ahhoz azonban, hogy értéket kapjunk magasabb rendű adatkészletek, meglátások vagy gépi intelligencia formájában, szükség van arra, hogy ezek a független adattermékek együttműködjenek; hogy képesek legyenek korrelálni őket, egyesíteni, egyesüléseket létrehozni, metszéspontokat találni vagy más gráfokat vagy halmazműveleteket végezni rajtuk méretarányosan. Az adatháló megvalósításához tehát olyan irányítási modellre van szükség, mely magában foglalja a decentralizációt és a tartományi önállóságot, miközben globális szabályokat hoz létre és tart be (az összes adattermékre és azok interfészeire alkalmazott szabályok) a sikeres interoperabilitás és a platform által hozott irányítási döntések automatizált végrehajtása érdekében: ez a föderatív számítógépes irányítás.
Az adathálózati elvek fő elemei
Összefoglalva, az adathálós elvek szerint az adattermék az analitikus adatok ötletelésének, birtoklásának, előállításának, kiszolgálásának és irányításának architekturális kvantuma.
Az adattermék az adatok kiszolgálására szolgáló összes komponens: (kód, adatok és metaadatok, valamint infrastruktúra) kompozíciója, mindez egy adott tartomány korlátozott kontextusában.
Tehát minden egyes tartománynak, amellett, hogy meghatározza és szabályozza saját adattermékeit, saját infrastruktúrát is fenn kell tartania ezen adattermékek előállításához és kiszolgálásához, miközben be kell tartania egy sor globális irányítási szabályt, hogy lehetővé tegye az adattermékek interoperabilitását.
Kihívások
Miközben az adatháló megoldja az analitikai adatok tulajdonjogi és irányítási szempontjait azáltal, hogy az adattermékek korlátozott tartományi kontextusát vezeti be, ugyanezek az elvek új kihívásokat teremtenek. Mivel minden egyes tartomány saját adatokat és adattermékeket kezel, a nagy mennyiségű adatok méretarányos feldolgozásának előnye elvész, ami a vállalaton belüli valamennyi tartomány számára magasabb számítási és üzemeltetési költségeket eredményez. Ez a technológiai megoldások önkényes egyediségét vezeti be, mivel a szervezeten belül több tartomány egymástól függetlenül próbálja megoldani ugyanazokat az adatkezelési problémákat; ez szintén jelentősen megnöveli a háló megvalósításának idejét.
Az adatháló nagy fokú technikai érettséget igényel, mivel attól függ, hogy a tartományi csapatok rendelkeznek-e a szükséges készségekkel ahhoz, hogy önállóan kezeljék adattermékeiket. Ez viszont további igényt teremt a speciális erőforrásokra egy amúgy is specializált technológiai területen (pl. most már minden egyes domainnek külön Spark- és DevOps-szakértőkre van szüksége az adatinfrastruktúra-ellátási síkjuk kiépítéséhez). Az adathálózat arra támaszkodik, hogy a tartományi csapatok magukénak érezzék adattermékeiket, miközben a sikeres átjárhatóság érdekében betartják a szervezet egészére kiterjedő irányítási szabványokat. Ehhez erős együttműködésre és kommunikációra van szükség, valamint az egész szervezetre kiterjedő adatkezelési szabványok létrehozására az összes tartomány számára.
A legnagyobb kihívást azonban nem a szabályok megalkotása jelenti, hanem a szabályok betartásának kikényszerítése. Az adathálós világban az irányítási szabályok közös készletének betartása az egyes tartományok rendelkezésére áll; még a legalapvetőbb irányítási szabályokat sem kényszerítik ki közös eszközökkel, így a vállalati szintű átjárhatóságot még akkor is kockáztatják, ha a tartományok egy kis százaléka nem tartja be az alapvető irányítási szabványokat. Az olyan decentralizált megközelítés, mint az adatháló, az adatminőségi gyakorlatok következetlenségéhez vezethet a különböző csapatok között, ami hatással lehet a szervezeten belüli általános adatminőségre.
Röviden, az adatháló által javasolt nagyszerű elveket, amelyek célja egy megbízhatóbb adat-ökoszisztéma elérése, elsősorban két szempontból kérdőjelezik meg. A végponttól végpontig tartó adatkezelési és kiszolgálási képességeket minden egyes tartománynak önállóan kell kiépítenie, így nagymértékben megterhelve őket az analitikus adatok kezelésének és birtoklásának minden aspektusában. A közös irányítási szabályok betartása a vállalaton belül minden egyes tartományra hárul, és mivel a tartományokra ennyi további teher hárul, a szabályok be nem tartásának valószínűsége jelentősen megnő.
Az adatháló 2.0
Mi lenne, ha kölcsönvennénk az adatháló elveit, és azokat egy sor öncélú, horizontális adatfeldolgozó, kiszolgáló és irányítási platformon keresztül valósítanánk meg, melyeket központosított csapatok irányítanak?
Az adatháló világából: Fogadjuk el az adattermékek domain-tulajdonlásának gondolatát, ami növeli az adatok iránti bizalmat. Az adattermék logikailag körülhatárolt kontextusként történő beépítése, ami tovább növeli a tulajdonjogot és a bizalmat.
Használjuk ki az önkiszolgálás elvét: az egyes tartományok irányításának közös és kiegészítő irányítási igényeinek kielégítésére, ezáltal jelentősen csökkentve a piacra jutási időt.
Kombináljuk ezeket a horizontális vállalati platformok elveivel: Központosított adatplatformok az adatok feldolgozására (különösen a metaadatok kezelésére (az irányítási és DQ-szabályok beépítésével), az adatbevitelre, a kurációra, a jellemzők kiszámítására, az adattermékek létrehozására és kiszolgálására) az egyszeri innováció és a méretarányos feldolgozás előnyeinek kihasználása az alacsonyabb összköltség és a könnyebb irányítás érdekében.
A tervezési és futásidejű folyamatok és eszközök szabványosítása: az adattermékek interoperabilitásának jelentős növelése érdekében, miközben csökken a „run-the-engine” (RTE) költsége. A horizontális platformok sokkal egyszerűbbé teszik az adatvonal-követést és a riasztást-ellenőrzést, ezáltal tovább növelve az adatokba vetett bizalmat. Az adatintelligencia felhasználása az adatok minőségének és megbízhatóságának növelésére a proaktív és reaktív értesítési képességek révén, amelyek egyszeri, a központi platformon egyszerűen felépíthetők és sokak által hasznosíthatók, a (BOLM) gondolkodásmód kihasználása.
Az adattó előnyeinek megőrzése: A nyilvános felhő világában az adattó nem más, mint egy sor kezelt poliglott mappa, melyek mindegyike a felhőben található, egy már kiforrott irányítási struktúrával, mely ezeket a mappákat a belső és külső igényeknek megfelelően kezeli (pénzügy, ellenőrzés, megfelelés, adatmegosztás külső szervezetekkel stb.). Egy szervezetnek csupán arra van szüksége, hogy ezeket a mappákat a saját igényei szerint szervezze.
Horizontális vállalati platformok
Jól szabályozott belső beszerzési és társfejlesztési lehetőségek, hogy a tartományok saját egyedi (vagy újrafelhasználható) képességeket építhessenek a platformon belül:
Képesség arra, hogy egy tartomány kódját a platformon futtatni lehessen, amennyiben az megfelel a platform által meghatározott irányítási ellenőrzéseknek.
Többszintű irányítás: A horizontális platform az adatok kezelésének minden aspektusára vonatkozóan előírja az irányítási ellenőrzések alapvető készletét, miközben lehetővé teszi, hogy az egyes tartományi csapatok további ellenőrzéseket adjanak hozzá (pl. az adatmozgatás során a séma érvényesítését, az érzékeny adatelemek azonosítását, az elemszintű adatminőségi ellenőrzéseket és az automatikus tokenizálási ellenőrzéseket a platform alapértelmezés szerint kötelező és biztosítja). A tartományi csapatok szükség szerint további irányítási ellenőrzéseket kényszeríthetnek ki/adhatnak hozzá a platformon belül (pl. fájlszintű adatkiadási befejezési ellenőrzések stb.).
A horizontális platform egy vállalati adatmodellt kényszerít ki a tartományok közötti összetett adattermékekre, miközben a tartományok rugalmasan hozzáadhatnak további entitásokat és attribútumokat ezekhez az adattermékekhez, ahogyan arra szükségük van (az adattermékkulcsok megváltoztatása nélkül).
A tartományok az adatkészleteket az adatkészlet-világon kívül is közzétehetik, amennyiben ezek az adatok a tartományon kívül nem állnak rendelkezésre fogyasztásra, és megfelelnek a vállalati platformok által előírt, az adatok közzétételére vonatkozó alapvető irányítási szabályoknak.
A jövő felkarolása
A decentralizált adatkezeléstől az innovatív Data Mesh adatháló 2.0-ig vezető út átalakító ugrást jelent az adatkezelés világában. Az olyan elvek, mint a tartományi tulajdonjog, az adattermékek, az önkiszolgáló infrastruktúra és a föderatív számításirányítás elfogadásával a szervezetek nagyobb bizalmat, minőséget és skálázhatóságot érnek el adatökoszisztémáikban. Ahogy előre tekintünk, ezeknek az elveknek a központosított platformokkal való integrálása ígéretes jövőt jelent, ahol az adatok hatékonyan hasznosíthatók, megteremtve a terepet egy átlátható, megbízható és adatgazdag tájkép számára.
(Kiemelt kép: Unsplash+)
