(Kiemelt kép: Unsplash+)
Az adatelemzés az adatok elemzésének folyamata és gyakorlata a kérdések megválaszolása, a betekintések kinyerése és a trendek azonosítása érdekében. Az adatelemzéshez azonban a statisztikából, a gépi tanulásból, a matematikából és más tudományágakból kölcsönzött technikákra van szükség, de az adatelemzők nem statisztikusok, adattudósok vagy matematikusok. Bár az adatelemzőknek sokat kell érteniük a témához, mellyel dolgoznak, nem kell, hogy az adott téma szakmai szakértői is legyenek egyben. Az adatelemzők célja az, hogy kellőképpen ismerjék a különböző technikákat, és szakértők legyenek azok megfelelő alkalmazásában, hogy meglátásokat és ajánlásokat generáljanak, és lehetővé tegyék az üzleti partnerek számára, hogy jobb, adatokkal alátámasztott döntéseket hozzanak. De nem kell adatelemzőnek lennie ahhoz, hogy adatelemzést végezzen, és bárki, aki ismeri a kvantitatív technikákat és az adatelemzési stratégiákat, használhatja azokat, hogy segítsen az adatokkal alátámasztott döntések meghozatalában.
Az adatelemzést igénylő kérdések szinte mindegyike négy fő kategóriába sorolható: leíró, diagnosztikai, előrejelző és előíró. Egyes kérdések ismert értékekre és változókra vonatkoznak (mint a leíró és diagnosztikai kérdések); egyes kérdések inkább hipotetikusak, mint konkrétak (mint a diagnosztikai és előíró kérdések). E kérdések megválaszolása kritikus gondolkodást, kreatív problémamegoldást és logikus érvelést igényel. Ha azonban képesek vagyunk kategorizálni egy adatelemzést igénylő kérdést, akkor annak kategóriája alapján stratégiát dolgozhatunk ki a kérdés megválaszolására. Ezért szükséges, hogy ismerjük a kérdéstípusokat és a megközelítési stratégiákat.
Diagnosztikai kérdések
A „miért” kérdések megválaszolásának megközelítésébe való elmélyülés az egyik legfontosabb. Viszont pont a „miért” kérdések megválaszolása lehet minden adatelemző számára a legnehezebb. A tárgyi szakértelem és a technikai repertoár hiánya és a stratégiai megközelítés meg nem léte kedvezőtlen szerepet játszhat abban, hogy segítsen a döntéshozóknak megtalálni a helyes választ. Szilárd alapokkal és irányítással azonban ezeket a diagnosztikai kérdéseket bárki könnyen meg tudja oldani. A leíró kérdésekre adott válaszokat gyakran diagnosztikai kérdések követik. A diagnosztikai kérdés feltevésével a döntéshozó célja, hogy megértse, hogyan jött létre valamilyen információ, vagy mi okozta valaminek a bekövetkeztét. Így amikor diagnosztikai kérdésekre gondolunk, gyakran gondolunk ok-okozati következtetésre. Ezért jó, ha ismerjük az oksági következtetés általános elveit.
Bevezetés az oksági következtetésekbe
Az oksági következtetés célja annak feltárása, hogy a beavatkozások (vagy a status quo változásai) hogyan hatnak az eredményekre. Az oksági következtetés során feltételezzük, hogy az oksági összefüggés akkor áll fenn, amikor valamilyen beavatkozást, úgynevezett „kezelést” alkalmazunk valamilyen egységnél, és ez változást okoz az egység kimenetelében. Ha összehasonlítanánk egy egység eredményét a kezeléssel és anélkül, akkor megfigyelhetnénk a kezelés hatását (azaz az oksági összefüggést). Ha például azt szeretnénk megtudni, hogy a házunk külső festése az eladásra való felkínálás előtt gyorsabban eladja-e a házat, a legideálisabb forgatókönyv szerint a ház festésével és festés nélkül egyidejűleg kellene összehasonlítanunk az eladásig eltelt időt. Itt a ház az egységünk, a külső festés a kezelésünk, és az eladásig eltelt idő az eredményünk. Azonban lehetetlen ugyanazt a házat egyszerre festeni és nem festeni. Így soha nem tudjuk ugyanazt az egységet megfigyelni kezeléssel és kezelés nélkül.
Itt jön be az oksági következtetés. Ahelyett, hogy közvetlenül mérnénk a kezelés hatását egy adott egységre, inkább mérhetjük a társulást és a torzítást. Az asszociáció a kezelésben részesült és a kezelésben nem részesült egységek közötti átlagos eredménykülönbség. A torzítás megkülönbözteti az asszociációt az okozati összefüggéstől, mivel megragadja mindazokat a tényezőket, melyek alapján a kimenetelek különböznek. A házeladási példánkban összehasonlíthatjuk az összes olyan házat, melyet kifestettek, és az összes olyan házat, melyet nem festettek ki, és feljegyezhetjük az eladásig eltelt időt. A házak két csoportja között az eladásig eltelt idő közötti különbséget nevezzük „asszociációnak”. Ha nem volt torzítás, akkor megállapíthatjuk, hogy a ház eladás előtti festése gyorsabb eladást eredményezett-e vagy sem.
Lehetséges azonban, hogy a legtöbb eredeti tulajdonos, aki úgy dönt, hogy az eladás előtt kifesti a házát, ezt meg is engedheti magának, mivel szebb környéken lakik; és a szebb környéken lévő házak általában gyorsabban elkelnek. Ezért az előítélet lehet, hogy a házak nem csak a friss festés miatt kelnek el gyorsabban, hanem azért is, mert szebb környéken vannak. Ha ki tudjuk küszöbölni ezt a torzítást (többek között), akkor meg tudjuk határozni, hogy a ház eladás előtti festése gyorsabb eladást eredményez-e a házban. Ez a lényege az oksági következtetésnek. A mélyebb elmélyüléshez ajánljuk Matheus Facure Alves könyvét: Causal Inference for the Brave and True, mely nagy részletességgel foglalkozik a témával. Az oksági következtetés alapjai keretbe foglalják a diagnosztikai kérdések megválaszolásának stratégiáját, ezért merüljünk el benne részletesebben.
A diagnosztikai kérdések megválaszolásának stratégiája
A diagnosztikai kérdések megválaszolása azért lehet nehéz, mert jelentős ismereteket igényelhetnek a témában. Az általános stratégia annak feltárására, hogy miért történt vagy történik valami, megköveteli az összes lehetséges ok és torzítás megértését, majd szigorú technikai megközelítéseket ezek hatásának értékelésére. Az összes lehetséges ok megértése erőfeszítést és időt igényel. Így a diagnosztikai kérdések megválaszolására fordított idő nagy részét a kutatás tölti ki. Sajnos a kutatás néha különböző „nyúlüregekbe” és zsákutcákba vezetheti az elemzőt. A stratégiai megközelítés és a szigor alkalmazása segíthet a folyamatban.
Általánosságban a diagnosztikai kérdések megválaszolásának megközelítése a következőket foglalja magában: az eredmény azonosítását. A valószínűsíthető okok és a lehetséges torzítások feltérképezését. Az ok-okozati összefüggések értékelését. Mielőtt belekezdenénk, fontos megjegyezni, hogy szinte minden esetben előfordulhat, hogy nem tudjuk pontosan azonosítani valaminek a valódi kiváltó okát. Ehelyett azonosíthatjuk azokat az okokat, melyek a legvalószínűbb hatásmechanizmusok voltak, és értékelhetjük hatásuk valószínűségét.
Fontos, hogy ezt ne csak megértsük, hanem kommunikációs stratégiát is dolgozzunk ki, hogy a döntéshozó tisztában legyen ezzel a kikötéssel, még jóval azelőtt, hogy egyáltalán elköteleznénk magunkat a diagnosztikai kérdéseik megválaszolása mellett. A diagnosztikai kérdésre adott válasz keresésével a döntéshozó kockázatot vállal. Minél kevésbé biztos a válasz, annál nagyobb a kockázat. Ezért a döntéshozónak tudnia kell, hogy ezt a kockázatot súlyozni kell, amikor a kapott válasz alapján döntést hoz. Ezt a figyelmeztetést eloszlatva nézzük meg a stratégiát részletesen.
A végeredmény azonosítása
A kérdésben szereplő kimenetel az a függő változó, mely valamilyen lehetséges ok hatását tapasztalta. Általában a diagnosztikai kérdéseknek csak egyetlen függő változóval kell rendelkezniük. Fontos az eredmény azonosítása annak érdekében, hogy egyértelműen meghatározható legyen, és ellenőrizni lehessen, hogy mérhető-e. Ha a kérdésnek egynél több függő változója van, a kérdést különálló kérdésekre kell bontani. Például a „mi okozta a hőhullámot kérdésében a kimenetel a hőhullám, mely a hőmérséklet hirtelen és drámai emelkedéseként definiálható. A »miért mondják le ügyfeleink az előfizetéseiket« kérdésben az eredmény, melyet vizsgálni szeretnénk, az előfizetések lemondása. Ha olyan kérdést tesznek fel nekünk, mint »miért nőnek a lakásárak és csökkennek a bérleti díjak«, akkor ehelyett két külön diagnosztikai kérdésre kell válaszolnunk: »miért nőnek a lakásárak« és »miért csökken a bérleti díj«.
A valószínűsíthető okok és a lehetséges torzítások azonosítása
Miután azonosítottuk a kérdéses eredményt, fel kell sorolnunk minden lehetséges dolgot, ami magyarázatot adhat rá, és segíthet megválaszolni a „miért”-et. Általánosságban ez a folyamat három dolog azonosítására bontható: okok, torzítások és ok-okozati mechanizmusok. Az azonosítási folyamat segítésére grafikus oksági modelleket kell készíteni. A lehetséges okokat kutatással, szakértelemmel, interjúkkal és asszociációval lehet meghatározni. Megfelelő tárgyi szakértelem vagy szakértőhöz való hozzáférés nélkül ezt nagyon nehéz elérni. Ezért a lehető legtöbb ismeretet kell összegyűjteni a témáról. A lehetséges okok listájának összeállításakor nagyszerű eszköz a brainstorming. Ez újszerű megközelítése egy olyan ismétlődő folyamatnak, mely először is: minél több ok felsorolását tesz szükségessé anélkül, hogy megítélné azok érvényességét, másodszor: végigmegy a listán, és biztosítja, hogy a felsorolt okok megalapozottak és logikusak legyenek. Például az előző részben feltett kérdés megválaszolásához: „miért mondják le ügyfeleink az előfizetésüket”, először is kutatást végezhetünk, és megérthetjük, hogy az elpártolt ügyfeleink jelezték-e a lemondás okát. Interjút készíthetünk ügyfélsiker-csapatunkkal, hogy megértsük, milyen panaszokat kapnak gyakran az ügyfelektől. Ezután a döntéshozóinkkal folytatott brainstorming során további okokat is fel tudunk sorakoztatni.
A lehetséges elfogultságokat még nehezebb lehet feltárni, mint a lehetséges okokat, de jelentős hatással lesznek a válaszra. Az okokhoz hasonlóan az elfogultságok is meghatározhatók a tárgyi szakértelem kiépítésével. A potenciális okokkal ellentétben azonban, melyek többnyire ismereteket igényelnek, az elfogultságok azonosítása általában kreatív és konstruktív gondolkodást igényel. Jó kiindulópont, ha megismerkedünk az adatelemzésben előforduló gyakori torzítás-típusokkal, és következtetni tudunk arra, hogy ezek a mi céges felhasználási eseteinkben is előfordulnak-e. Néhány gyakori torzítástípus közé tartozik a megerősítési torzítás, a szelekciós torzítás, a történelmi torzítás, a túlélési torzítás, a rendelkezésre állási torzítás és a kiugró torzítás.
A túlélési torzítás egyik nagyon ismert példája Abraham Wald munkája, melyet a II. világháború alatt végzett. A Columbia Egyetemen működő Statisztikai Kutatócsoport részeként Wald és csapata azt a feladatot kapta, hogy optimalizálják a harci repülőgépek árnyékolásának mennyiségét: ha a repülőgépek túl sok árnyékolást hordoznak: súlyuk miatt nem fognak repülni; ha a repülőgépek túl kevés árnyékolást hordoznak: nem lesznek védettek. A biztonságosan visszatért, de golyó ütötte lyukakkal rendelkező repülőgépek elemzése után Wald azt az ajánlást tette, hogy az árnyékolást a repülőgép olyan helyein kell alkalmazni, ahol nem voltak golyó ütötte lyukak (szemben a golyó ütötte lyukak helyeinek árnyékolásával). Miért? Mivel az elemzés csak a túlélő repülőgépekre terjedt ki, valószínű, hogy a nem túlélő repülőgépek néhány kritikus zónájában golyó ütötte lyukak voltak. Ha ezekben a kritikus zónákban volt rejtekhely, akkor azok nem jutottak vissza, ezért van értelme a kritikus zónák tetejére árnyékolást tenni.
Az ok-okozati mechanizmusok jelentik azt, hogy a lehetséges okok hogyan befolyásolják az eredményt. Ok-okozati mechanizmus nélkül nehéz lenne megkülönböztetni az okot a véletlentől. Ez fontos szerepet játszik az ok-okozati összefüggésekre való következtetés modelljének kiválasztásakor. A véletlen egybeesésre remek példa a Maine állambeli válási arány és a margarinfogyasztás közötti összefüggés. A két trend lehet, hogy párhuzamos, de nincs olyan szilárd mechanizmus, mely megmagyarázná, hogy az egyik miért okozza a másikat. Ezért nem tekinthetjük úgy, hogy a válási arányok növekedése Maine-ben a margarinfogyasztás növekedését okozná, és fordítva.
Grafikus oksági modelleket kell kidolgozni az okok és torzítások, valamint az ok-okozati összefüggést alkotó mechanizmusok azonosításának elősegítésére. Ezek a modellek lényegében irányított gráfok, melyek tartalmazzák az összes okot és eredményt. Az ok-okozati összefüggések megértéséhez szükséges grafikus modell kidolgozása segíthet a téma megértésében, és a döntéshozókkal való kommunikációnkban is felhasználható. A grafikus oksági modellek például segíthetnek a zavaró torzítások feltárásában. Az okokból és torzításokból származó változóink nem feltétlenül csak az eredményt befolyásolják: valójában hatással lehetnek egymásra. Ha valamilyen változó hatással van a potenciális okunkra és az eredményünkre, akkor zavaró torzítással van dolgunk. Ennek feloldása érdekében kontrollálnunk kell az összes közös mögöttes okot. Tegyük fel, hogy azt vizsgáljuk, hogy egy ház festése az eladásra való felkínálás előtt befolyásolja-e az eladásig eltelt időt. Feltételezhetjük, hogy a nagyobb jövedelem befolyásolhatja azt, hogy a tulajdonosok úgy döntenek-e, hogy az eladás előtt kifestik a házat vagy sem. Ugyanakkor felismerhetjük, hogy a nagyobb jövedelem azt is jelenti, hogy a tulajdonos olyan erőforrásokhoz is hozzáférhet, amelyek csökkenthetik az eladásig eltelt időt. Ez a zavaró torzításra példa, és a jövedelmet a végső modellünkben kontrollálnunk kell.
Az ok-okozati összefüggés értékelése
Most, hogy rendelkezünk egy eredménnyel, okokkal és torzításokkal, valamint a függőségeket alkotó mechanizmusokkal, értékelhetjük az ok-okozati összefüggéseket. Ez az utolsó lépés megköveteli, hogy ellenőrizzük, hogy a feltételezett elképzeléseink valószínűek-e. A helyzettől és a rendelkezésünkre álló erőforrástól függően ezt kétféleképpen érhetjük el: 1. egy randomizált kísérlet elvégzésével és az eredmények összehasonlításával, vagy 2. statisztikai modell kidolgozásával, mely történeti adatokat használ fel az ok-okozati összefüggések mérésére.
Egy randomizált kísérlet elvégzése kezelési és kontrollcsoportokkal segíthet csökkenteni a torzítást azáltal, hogy biztosítjuk, hogy a kísérletünkben szereplő két (vagy több) csoport a populáció hasonló reprezentációját képviselje. Ha a csoportok összetétele hasonló, és a mintánk mérete elegendő, akkor képesnek kell lennünk arra, hogy összehasonlítsuk a csoportok közötti eredményeket, és megállapítsuk, hogy az eredményekben mutatkozó különbségek szignifikánsak. Lakáseladási példánkban a lakáseladók két csoportjából vehetnénk mintát (biztosítva, hogy mindkét csoport egyformán reprezentatív legyen a lakástulajdonosok populációjára nézve). Megkérhetnénk az egyik csoportot, hogy a házukat a hirdetésbe vétel előtt fessék ki, a másik csoportot pedig megkérhetnénk, hogy hagyják érintetlenül a külső festést. Ezután összehasonlítanánk az eladásig eltelt idő eloszlását a két csoport között. Egy statisztikai teszt segítségével megnézhetjük, hogy van-e szignifikáns különbség az eladásig eltelt idő mérőszámában.
A gyakorlatban ezt több okból is nehéz lenne elérni, többek között azért, hogy önkéntes lakástulajdonosok vegyenek részt a kísérletben, hogy biztosítsuk a kísérlet megfelelő finanszírozását, és hogy a mintáink véletlenszerűek és reprezentatívak legyenek a lakáseladási populációra nézve. Ha azonban nem tudunk ilyen kísérletet összehozni, akkor is vannak lehetőségeink. Egy statisztikai modell felállítása a múltbeli adatok felhasználásával segíthet a zavaró okok és torzítások ellenőrzésében, és a közvetlen okok eredményre gyakorolt hatásának becslésében. Egy olyan technika segítségével, mint a regresszió, súlyt rendelhetünk az egyes okokhoz és az általánosított torzítási mérőszámhoz. A modellünk paramétereit (a modellben szereplő súlyokat) úgy tudjuk megbecsülni, hogy a modellt a rendelkezésünkre álló történelmi adatok felhasználásával betanítjuk. A végeredménynek segítenie kell megértenünk a változóknak a végeredményünkre gyakorolt oksági hatását. Még ha nem is tudunk randomizált, kontrollált vizsgálatokat használni arra, hogy más tényezőket egyenlően tartsunk a kezeltek és a nem kezeltek között, a regresszió megteheti ezt úgy, hogy ugyanezeket a tényezőket bevonjuk a modellbe, még akkor is, ha az adatok nem véletlenszerűek!
A lehetséges okok és torzítások azonosítása
Hogy megfigyeljük például a vonatokat állhatunk a peronon és vonatozhatunk is, valamint beszélgethetünk a vonatvezetőkkel és az utasokkal. A lehetséges okok közé tartoznak például a peronon történő le- és felrakodási idők késése, a vágányépítés, a külön vágányok hiánya, ami késéseket okoz a vonatok találkozásánál és áthaladásánál, a veszélyek (például levelek, jég és hó), a vonatok kora és a vonatok műszaki problémái. Minden egyes okhoz meg kell határoznunk egy mechanizmust is, mellyel az ok hatással van az eredményre. A potenciális torzítások azonosítása érdekében megismerkedhetünk a torzítások típusaival, és felmérhetjük, hogy ezek közül bármelyik alkalmazható-e a mi felhasználási esetünkre. Például a szelekciós torzítás nem feltétlenül okozhat problémát számunkra, mivel az összes vonatot bevonhatjuk a vizsgálatunkba, nem pedig a vonatok egy kiválasztott részhalmazát. Másrészről viszont előfordulhat a túlélési torzítás esete, mivel egyes vonatok mechanikai problémái miatt előfordulhat, hogy a vonat soha nem érkezik meg, és ezért kikerül a késő vonatok adathalmazából.
A lehetséges ok-okozati összefüggések azonosítása érdekében meg kell határoznunk, hogy az egyes lehetséges okok hogyan befolyásolhatják vagy befolyásolhatják az eredményt. Például egy veszély (például levelek vagy hó) okozhatja a vonat késését azáltal, hogy a vonat a veszély miatt lelassul. Feltételezhetjük, hogy a vonat kora befolyásolja a vonat késését, mivel az idősebb vonatok lassabbak. De vajon igaz-e ez? A vonatkozó adatok összegyűjtése és feltáró adatelemzés elvégzése segíthet annak ellenőrzésében, hogy ez az ok-okozati mechanizmus jogos-e. Összeállíthatunk egy grafikus ok-okozati modellt, hogy értékeljük a javasolt okokat és torzításokat az eredményhez viszonyítva, és hogy felvázoljuk az egyes okok lehetséges mechanizmusát. Ezen a ponton további feltáró adatelemzést is végezhetünk annak érdekében, hogy feltárjuk az okaink közötti rejtett összefüggéseket, és kiválaszthatjuk a modellünkbe felvehető végső lehetséges okokat. Ha például azt találjuk, hogy a műszaki problémával küzdő vonatok többnyire idősebb vonatok voltak, nem kell modellparaméterként felvennünk a vonatok korát, mivel az már a műszaki probléma paraméteren keresztül implikálódik.
Nem biztos, hogy képesek vagyunk a múltbeli vagy jelenlegi események pontos okait azonosítani. A legtöbb esetben a legvalószínűbb okokat tudjuk csak azonosítani. Ezért a döntéshozó kockázatot vállal, és ennek tudatában kell lennie. A grafikus ok-okozati modellek nagyszerű kommunikációs eszközt jelenthetnek a döntéshozókkal, és segíthetnek a lehetséges esetek közötti összefüggések feltárásában, valamint az elfogultságok azonosításában. Az ok-okozati összefüggés mechanizmusa nélkül a kimenetellel nem nulla összefüggést mutató potenciális ok lehet, hogy csak véletlen egybeesés. Elemzőként fontos, hogy kritikai gondolkodási készségeket alkalmazzunk, különösen, amikor a diagnosztikai kérdésekkel foglalkozunk.
