Statisztika döntéshozóknak
Regresszió az átlaghoz: a menedzsment legdrágább statisztikai tévedése
A leggyengébb munkatársak javulnak egy figyelmeztetés után. A legjobbak visszaesnek a dicséret után. Úgy tűnik, a visszajelzés csak az egyik irányba működik. Legtöbbször egyik sem igaz.
Az 1960-as években Daniel Kahneman, a később Nobel-díjjal kitüntetett pszichológus az izraeli légierő repülőoktatóinak tartott előadást arról, hogyan lehet hatékonyabban tanítani. Azt mondta nekik, hogy a jó teljesítmény megdicsérése többet ér, mint a hibák büntetése. Az egyik tapasztalt oktató ellenkezett. Az ő tapasztalata szerint, ha megdicsért egy kadétot egy szép manőverért, a következő próbálkozás általában rosszabb lett. Ha viszont leüvöltötte a fejét egy rossz manőver után, a következő általában jobban sikerült. A következtetése tehát az volt, hogy a dicséret árt, a szidás pedig használ.
A megfigyelése helyes volt, a magyarázata viszont téves. Kahneman később pályája egyik legemlékezetesebb felismeréseként idézte fel ezt a pillanatot, mert megmutatta, hogyan tud egy pusztán statisztikai jelenség ok-okozati összefüggésnek látszani. A jelenség neve regresszió az átlaghoz (angolul regression to the mean). Aki egyszer megérti, onnantól ott látja a teljesítményértékelésekben, a bolti rangsorokban, a marketingriportokban és szinte minden „előtte–utána” diában.
A lényeg egy mondatban
Minden mért eredmény részben képesség (ami stabil, és legközelebb is ott lesz), részben szerencse (ami nem ismétlődik). Ha kiválasztjuk a legszélsőségesebb eredményeket, azokat is kiválasztjuk, amelyekben a legszélsőségesebb volt a szerencse. A szerencse viszont nem ismétlődik, ezért legközelebb ugyanazok az emberek vagy egységek visszahúzódnak az átlag felé, még akkor is, ha semmi nem változott bennük.
Az oktató csak a kadétok legjobb próbálkozásai után dicsért, és csak a legrosszabbak után kiabált. Egy kiemelkedően jó leszállásban rendszerint benne van egy kis szerencse is, így a következő közelebb lesz az adott kadét szokásos szintjéhez, és ez visszaesésnek látszik. Egy kiugróan rossz leszállásban rendszerint benne van egy kis balszerencse, így a következő javulásnak tűnik. A dicséretnek és a kiabálásnak ehhez semmit sem kellett tennie.
Nézzük működés közben: egy értékesítőcsapat, vezetés nélkül
Az alábbi szimuláció egy 20 fős értékesítőcsapatot hoz létre. Mindenkinek van egy rögzített, valódi képességszintje, amely soha nem változik. Minden hónapban az eredménye ez a képesség, plusz némi véletlen szerencse. Az első hónap alapján rangsoroljuk a csapatot, az alsó ötöt „leszidjuk”, a felső ötöt „megdicsérjük”, majd megnézzük a második hónapot.
Valójában senkit nem szidunk le, nem dicsérünk meg, nem fejlesztünk és nem bocsátunk el. A modell ezeket a szavakat nem is ismeri. A csúszkával beállíthatja, mekkora részét adja a havi eredménynek a szerencse.
0% szerencsénél semmi nem mozdul: akik az első hónapban a legjobbak voltak, a másodikban is ugyanakkora előnnyel vezetnek. Ahogy nő a szerencse aránya, a „leszidott” csoport egyre többet javul, a „megdicsért” pedig egyre jobban visszaesik. 90%-os szerencsénél az első havi rangsor szinte semmit nem ér, és mindkét csoport a csapatátlag közelében köt ki.
Egyetlen futtatás lehet zajos, ezért az összegzés 2000 szimulált csapat átlagát is mutatja. Az irány minden alkalommal ugyanaz.
Mekkora a hatás? Egy hüvelykujjszabály
A regresszió várható mértékének becsléséhez nem kell szimuláció. Egyetlen szám kell hozzá: a két időszak közötti korreláció, amelyet általában r-rel jelölünk. Ez azt méri, mennyire jelzi előre az e havi eredmény a következő havit. Ha az eredmény tisztán képesség lenne, r értéke 1 lenne, ha tisztán szerencse, akkor 0.
átlag + r × (ez az időszak − átlag)
Példa: egy üzlet ebben a negyedévben napi 30 darabbal többet ad el a hálózati átlagnál, a negyedévek közötti korreláció pedig 0,4. A következő negyedévre a legjobb becslés: 0,4 × 30 = 12 darabbal az átlag felett. A 18 darabos „visszaesés” tehát a várható kimenet, nem vészjelzés.
A szimulációban a szerencse csúszkája közvetlenül beállítja r értékét: 50% szerencsénél r = 0,5, vagyis egy csoport, amely 20 ponttal volt az átlag felett, a következő hónapban várhatóan körülbelül 10 ponttal lesz felette. Valós adatoknál r a múltbeli adatokból becsülhető: vegyünk két hasonló időszakot, és számoljuk ki az eredmények korrelációját.
Ahol valódi pénzbe kerül
1. Teljesítményértékelés
Ha egyetlen negyedév alapján rangsoroljuk a munkatársakat, és az alsó tizedet teljesítményjavító tervre tesszük, a terv működni fog, legalábbis látszólag, mert az alsó tized jelentős része egyszerűen balszerencsés volt. Közben az előző negyedév sztárjai „elveszítik a lendületüket”, és senki nem érti, miért. A bónuszok, az előléptetések és az elbocsátások így végső soron a véletlent jutalmazzák vagy büntetik.
2. A leggyengébb egységek „megmentése”
Egy üzletlánc kiválasztja a tíz leggyengébb fiókját egy új programra: új arculat, extra képzés vagy tanácsadó. A következő negyedévben ezek a fiókok javulnak, a programot pedig sikeresnek nyilvánítják. Hasonlóan gyenge, de a programba be nem vont összehasonlító csoport nélkül viszont lehetetlen megmondani, mennyi lett volna a javulás magától is.
3. Reakció egy rossz hónapra
Egy szokatlanul rossz hónap után gyakran átírják a kampányokat, árat csökkentenek vagy beszállítót váltanak. A következő hónap általában jobb, így a változtatás tűnik a megoldásnak. Ugyanez a logika fordítva is működik egy rekordhónap után: az ezt követő „visszaesés” gyakran csak annak a szerencsének a hiánya, amely a rekordot hozta.
4. A híres „átkok”
A sportolók, akik egy kiugró szezon után magazinok címlapjára kerülnek, a fényes debütálást követő „második éves visszaesés”, vagy a vezető, akit az év menedzserének választanak, aztán a cége gyengébben teljesít: ezeknek a történeteknek jó része regresszió az átlaghoz, egy kerek sztorival körítve. Nem a címlap okozta a visszaesést. A címlapot hozó kiemelkedő szezonban is volt szerencse.
5. Előtte–utána vizsgálatok
Az orvoslásban a betegek jellemzően akkor kérnek segítséget, amikor a tüneteik a legrosszabbak, ezért gyakran bármilyen kezelés mellett, vagy kezelés nélkül is javulnának. Ez az egyik oka annak, hogy a klinikai vizsgálatok kontrollcsoportot használnak. Az üzleti „pilotprojektek” ugyanezt a fegyelmet érdemelnék, de ritkán kapják meg.
Hogyan védhetjük meg a döntéseinket?
- Ne döntsünk egyetlen szélsőséges eredmény alapján. Embereket és egységeket több időszak vagy gördülő átlag alapján értékeljünk, mielőtt lépünk. Az egyetlen időszakon alapuló szélsőértékek a legtöbb szerencsét tartalmazó számaink.
- Becsüljük meg, mennyire ismétlődik a mutatónk. Számoljuk ki két hasonló időszak korrelációját. Ha r alacsony, az egyetlen időszakon alapuló rangsor inkább lottó, mint bajnoki tabella, és erős regresszióra kell számítani.
- Használjunk összehasonlító csoportot. Ha a leggyengébbeknél beavatkozunk, tartsunk meg egy hasonló csoportot beavatkozás nélkül, ideális esetben véletlenszerűen kiválasztva. Az a javulás számít, amely a két csoport között mutatkozik, nem az előtte–utána különbség.
- Húzzuk a szélsőséges becsléseket az átlag felé. Ha az e havi adatból jósolunk a következő hónapra, a szélsőértékeket r arányában húzzuk vissza, ahogy a fenti hüvelykujjszabály mutatja. Ennek fejlettebb változatai (empirikus Bayes-módszerek és többszintű modellek) bevett eszközök az értékesítők, üzletek vagy termékek igazságos rangsorolására.
- A kedvenc sztorijainkkal legyünk a leggyanakvóbbak. „A programunk megfordította a leggyengébb fiókok teljesítményét” és „az előléptetés után elveszítette a lendületét”: mindkettő jól hangzik, és pontosan ezeket a történeteket gyártja magától a regresszió az átlaghoz.
Jó szabály minden előtte–utána grafikonhoz: kérdezzük meg, hogyan választották ki a rajta szereplő egységeket. Ha azért, mert szélsőségesek voltak, a látott változás egy része már azelőtt garantált volt, hogy bárki bármit tett volna.
A tanulság
A regresszió az átlaghoz nem ritka statisztikai érdekesség. Mindenhol jelen van, ahol az eredményekben képesség és szerencse keveredik, vagyis az üzleti élet szinte minden területén. Azért drága, mert éppen azokat a döntéseket támasztja alá, amelyeket amúgy is meg akarunk hozni: a kemény visszajelzés működni látszik, a speciális programok működni látszanak, a sztárok pedig mintha kifulladnának. Ha szétválasztjuk az eredmény ismétlődő részét attól, ami nem fog megismétlődni, az az első lépés a valóban megalapozott döntések felé.
Források és további olvasnivaló
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux. 17. fejezet, „Regression to the Mean” (a repülőoktató története). Magyarul: Gyors és lassú gondolkodás, HVG Könyvek, 2013.
- Galton, F. (1886). Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246–263.
- Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). Regression to the mean: what it is and how to deal with it. International Journal of Epidemiology, 34(1), 215–220.
