Hľadáte štatistickú knihu, ktorá by Vám pomohla porozumieť základným štatistickým postupom v spoločenských vedách a tomu, ako ako tieto postupy aplikovať v intenciách filozofie otvorenej vedy? Je nám potešením predstaviť Vám našu učebnicu štatiky: Štatistika pre reprodukovateľný výskum v spoločenských vedách.
Knihu si môžete zakúpiť v tlačenej podobe alebo si ju stiahnuť v pdf podobe zdrama na odkaze nižšie.
Počas predošlých rokov sme realizovali sériu workshopov na rôzne témy, ktoré sa venujú otvorenej vede. Prinášame Vám záznam série on-line workshopov od pred-registrácie až po základy práce v štatistickom softvéri R.
Pred-registrácia. O čo ide, prečo je o nej dobré vedieť a ako na ňu? Na tieto otázky sa zameriavame v nasledujúcom workshope.
Na čo je dobré realizovať odhad veľkosti výskumného súboru a ako na to? Na tieto otázky sa môžete spolu s nami pozrieť počas dvoch workshopov.
Chceli ste začať pracovať v R a neviete ako začať? Pozrite si záznam série troch workshopov, ktoré Vás týmto štatistickým softvérom prevedú.
V predchádzajúcom blogu sme hovorili o Odyseovi. Dnes budeme v našom rozprávaní pokračovať.
Predtým si ale odskočíme do inej knihy, ktorú som si obľúbil počas detstva. Niesla názov Ostrov pokladov. Tajomná mapa, poklad, piráti, dobrodružstvo… Táto kniha ma zaujala z viacerých dôvodov. Prvým, bol ten, že bola napísaná formou komiksu. Mám ale aj jeden vznešenejší dôvod. Pomohla mi uvedomiť si, že keď chcem niekam trafiť, môže sa hodiť mapa. Vlastne, mapa môže niekedy motivovať k samotnej ceste. To ale nie je všetko. Naučila ma taktiež to, že mapa vždy nestačí a niekedy nenájdeme to, čo sme chceli. Alebo presnejšie nájdeme to, čo sme nechceli. Taký už je život. Ale pekne poporiadku…
Pamätáte si ešte na Odyseov príbeh? V prvej časti sme hovorili o tom, že aj my máme svoje Sirény a jednou z nich môže byť p < 0,05. Povedali sme si o QRP (problematických výskumných praktikách) a tom, že sa od Odysea môžeme niečo priučiť, keďže trosky jeho lode pri Sirénach nenájdeme. Ako to, že prežil, zatiaľ čo, aspoň podľa legiend, ostatní nie?
V prvom rade vedel o nástrahách Sirén. To ale nestačilo. Vedel niečo aj o sebe. O svojich slabých stránkach. Napadol mu postup, ako tieto dve veci spojiť. Prečo o to píšem v blogu o štatisticko-metodologických aspektoch? Z tohto príbehu sa podľa mňa môžeme niečo naučiť.
Čo? Môžeme sa „pripútať“ k postupu, ktorý si zvolíme ešte pred analýzou a samotným zberom dát.
Pripútať? To neznie najlepšie. Na druhej strane, pripútať sa v aute nám môže zachrániť krk. Prečo nie aj tu? Dobre, možno vhodnejším termínom by bolo zaviazať sa, že budem postupovať určitým spôsobom. Ak Vás desí aj termín zaviazať sa, patríte zrejme k mojej generácii. Je to v poriadku. Dá sa to povedať aj ináč. Môžeme si pred cestou vytvoriť mapu k svojmu pokladu a potom túto mapu nasledovať. Tento postup sa nazýva pred-registrácia. Ako to robí? Ako múdry starec sa nás pýta dôležité otázky a nepustí nás, kým si ich nezodpovieme.
„Pred-registrácia predstavuje protokol, ktorý výskumník vyplní pred realizáciou výskumu. Tento protokol obsahuje informácie o plánovanom výskume (napr. cieľ výskumu, hypotézy, výskumný súbor a počet participantov, administrované nástroje, vyhodnotenie účinnosti experimentálneho zásahu, spôsob štatistickej analýzy, atď.) a slúži jednak ako pomôcka pre zamyslenie sa nad dôležitými aspektmi výskumu a pre ich následné transparentné reportovanie; jednak ako časová schránka, ktorá ho vedie v neskorších fázach výskumu“ (Adamkovič et al., 2020, str. 15).
Na čo je pred-registrácia užitočná?
V prvom rade nám pomáha zamyslieť sa nad tým, kam vlastne máme namierené a ako sa tam možno dostať. Neskôr nám poslúži ako mapa, ktorá vedie naše kroky napr. pri následnej štatistickej analýze po tom, ako si ich premyslíme na základe formulácie výskumných otázok a hypotéz. Na to sa totiž taktiež pýta. Tým sa pokúša znížiť výskyt harkingu (viď predošlý blog).
Keďže v pred-registrácii uvádzame predpokladaný analytický postup, nielen že nám môže pomôcť zamyslieť sa nad ním v ten správny čas – pred našou plavbou – zároveň nám vytvára plán, ktorým sa zaväzujeme postupovať. Tým znižuje výskyt problematických výskumných praktík ako je p-haking.
To nie je všetko. Tak, ako správny kapitán zváži čo všetko bude potrebovať na cestu a či má zmysel vybrať sa na ňu s malou plťkou, väčšou fregatou alebo lietadlovou loďou, tak nám môže pred-registrácia pomôcť zamyslieť sa na napr. nad tým, koľko ľudí by sme mali v našom výskume mať, aby sme našli efekt, ktorý chceme skúmať. Tým napomáha s riešením problému nízkej štatistickej sily. Alebo aspoň k informovanému rozhodnutiu.
Ale čo publikačné skreslenie (šuflíkový efekt)? Stále sa predsa môže stať, že náš výskum nakoniec nepublikujeme. Niežeby sme nechceli. Možno to z nejakého dôvodu nechce recenzent alebo editor nášho vysnívaného časopisu. A pritom sme vynaložili toľko úsilia…
Tento problém sa pokúša vyriešiť špeciálny formát pred-registrácií, zvaný registrovaný výskum/protokol (v origináli označovaný ako RR – Registered reports). Jeho špecifikom je, že recenzné konanie prebehne ešte pred zberom dát.
Čim je to výhodné? Náš výskumný plán tak môžeme vylepšiť. Ak nám recenzent napr. vytkne, že naša loď je primalá na to, aby nás doviedla do cieľa, môžeme zvážiť využitie väčšej lode (väčší výskumný súbor) prípadne Nautila (ponorka – iný výskumný súbor alebo opakovaný zber) alebo jednoducho zvoliť inú cestu (iný spôsob analýzy dát). Tak pri chybe nemusíme zahodiť celý náš výskum do koša, ale môžeme ho vylepšiť ešte pred tým, než sa vrhneme do terénu. Okrem toho, pokiaľ je náš článok akceptovaný vo fáze 1, časopis nám ho publikuje bez ohľadu na to, čo nájdeme, pokiaľ dodržíme, čo sme sľúbili. Pamätáte si ešte na Ostrov pokladov z úvodu? Či už bude v truhlici zlato alebo nič, naša cesta mala hodnotu! Nemusíme sa báť zlých pirátov…
Časopisov, ktoré ponúkajú tento formát je stále väčšie množstvo. Neveríte? Pozrite si ich neustále aktualizovaný zoznam na TOMTO ODKAZE. Pokiaľ by ste si chceli prečítať o problematických výskumných praktikách a pred-registrácii viac, môžete nazrieť napr. do prehľadvoej práce Adamkoviča et al. (2019 a 2020) v slovenčine alebo Munafòa et al. (2017) a Nelsona et al. (2018) v anglickom jazyku. Ak máte viac času, skúste knihu „The Seven Deadly Sins of Psychology“ (Chambers, 2017).
Ide o jedinú vec, ktorú môžeme pre zlepšenie nášho výskumu spraviť? Ani zďaleka. Odyseus mal okrem stĺpu, o ktorý sa priviazal – aby odolal vábeniu Sirén – aj posádku, loď a kopu ďalších vecí. Zároveň je ale podstatné podotknúť, že bez prekonania Sirén by sa Odyseus nedostal k ďalším dobrodružstvám a v konečnom dôsledku k svojmu cieľu.
Chcete sa vydať na cestu a pripraviť sa na hlas Sirény aj vy? Pozrite si náš ďalší blog Prečo predregistrovať výskum? a Ako predregistrovať, stručný návod podľa aktuálnych štandardov APA, BPS a DGPs. Nezabúdajme ale, že sa termín „odysea“ udomácnil aj na vyjadrenie dlhej a nie vždy ľahkej cesty. Pre ďalšie nástrahy, ale aj radosti z cesty, sledujte naše ďalšie blogy, ktoré aktuálne pripravujeme.
Referencie (pre obe časti)
(Obrázok: Odysseus a Sirény; Autor: Ludmila Pokorná; Zdroj Jakub Adámek’s archive (Pokorná’s grandson); adresa: https://cs.wikipedia.org/wiki/Soubor:Odysseus_a_Sireny_Ludi.jpg)
Kto Vám napadne keď povieme dobrodružstvo, neznámo a nástrahy neľútostného mora? Možno Aquaman alebo Jack Sparrow. Jedným z tých klasickejších príbehov je epos o Odyseovi.
Jeho vznik sa datuje do čias hlboko pred naším letopočtom. Napriek tomu s nami rezonuje dodnes. Dovoľte mi preto mu venovať trochu priestoru. Nemusíte sa obávať, nebudeme sa snažiť prerozprávavať celý Odyseov príbeh. Pozrieme sa iba na jednu scénu, ktorá je často uchopovaná v literatúre, umení a filme. Scénu, kde musel Odyseus zdolať Sirény.
Sú nádherné. Ich spevu je takmer nemožné odolať. Neveríte? Spýtajte sa námorníkov, ktorých trosky lodí obklopujú miesto kde Sirény žijú – teda aspoň podľa starých legiend. Ísť za spevom Sirén… Len raz…
Trosky Odyseovej lode by sme ale pri Sirénach nenašli. Odyseus ich prekonal. Ako? Snažil sa s nimi koketovať? Poprel, že môžu byť problémom a ignoroval ich? Nie. Priviazal sa ku stožiaru.
Priviazal sa! Napriek tomu, že bol kráľom, bojovníkom a hrdinom, ktorý sa v minulosti vysporiadal s mnohými, na prvý pohľad nebezpečnejšími prekážkami. Vlastne, keď nad tým tak rozmýšľam, možno si s nimi vedel poradiť práve kvôli tomu. A taktiež kvôli rade, ktorú mu dala Kirké.
Na samotnú stratégiu priviazania sa pozrieme v druhej časti tohto blogu. Predtým sa ale pozrime na to, čoho sa tak veľmi obával. To, pred čím ho Kirké varovala – Sirény.
Sirény sa uvádzajú v rôznych počtoch a menách. Niektoré zdroje (SIRENS (Seirenes), n.d.) uvádzajú mená ako Θελξιοπη; Θελξινοη; Θελξιεπεια (Charming Voice; Charming-the-Mind…), iné Πεισινοη; Αγλαοφωνος, Μολπη (Affecting-the-Mind; Splendid Sounding…). Všimli ste si tie preklady z Gréčtiny? Nepripomína Vám to niečo?
Každý z nás má svoje Sirény. Jednou z tých mojich je p < 0,05. p < 0,05 – neznie to krásne? Môžem zamietnuť moju nulovú hypotézu. Hurá…
Dobre, možno máte lepšie Sirény. Ale ja si za tou mojou stojím. A nie som sám! A práve to môže byť problém. Prečo?
Dnes už klasická štúdia Simmonsa et al. (2011) poukázala na to, že umelo podliezť stanovené hranice nie nemožné. Vlastne ani zložité. Stačí uplatniť pár postupov – pridať pár ďalších premenných pri analýzach (tzv. kovariátov), selektívne reportovať iba niektoré z výsledkov, skúsiť viacero postupov analýzy dát… p < 0,05.
Chcete si to vyskúšať? Na TOMTO ODKAZE nájdete simuláciu, ktorú vytvoril Felix Schönbrodt. Skúste si ju viackrát. Prv nastavte skutočný efekt v populácii na relatívne veľký (podľa Cohenových kritérií môžete napr. uviesť d=0.8 a viac). Sledujte ako ľahko sa ukáže štatisticky významný výsledok, keď máte dostatok ľudí – napr. 80 alebo 50 ľudí v jednej experimentálnej podmienke. Zatiaľ je všetko v poriadku.
Vráťte ukazovatele do pôvodného stavu. Následne skúsme zmeniť simulovaný reálny efekt v populácii na d = 0. Niekoľkokrát stlačte „run new experiment“. Ukázalo sa niečo štatisticky významné? Nie? Skúste to ešte niekoľkokrát…
Pripomeňme si, že je reálny efekt v populácii nastavený na 0. To znamená že nejestvuje. Teraz skúste niekoľkokrát stlačiť „run new experiment“, kým sa nezobrazí menej jasný zelený riadok – napr. p = 0,06. Čo teraz? Teraz si môžeme skúsiť napr. pridať pár ďalších účastníkov. Alebo kontrolovať rôzne premenné, vynechať niekoľkých outlierov a podobne. Alebo všetko naraz.
Možno sa Vám skôr či neskôr podarilo podliezť p 0,05. Bolo to náročné? Táto problematická praktika sa nazýva p-hackovanie (p-hacking). S nadľahčením by sa dalo povedať, že mučíme dáta, kým sa nepriznajú k niečomu, o čom vlastne ani nevedeli. Ak ste videli dobrý film o tajných agentoch, viete, o čom je reč.
Ďalším úzko spätým problémom je tvorba hypotéz potom, ako sa na naše dáta pozrieme. Ide o tzv. HARKing (Kerr, 1998). Nevieme, čo predpokladáme. Pozrieme sa na dáta. Jasné! Takto som to vlastne čakal/a celý čas. Presvedčiť seba je zvyčajne ľahšie než iných.
Tretím možným problémom je nízka štatistická sila spôsobená tým, že sa nášho výskumu zúčastní menej ľudí (alebo realizujeme menej meraní) než potrebujeme na to, aby sme našli to, čo hľadáme. Máme malú lupu na to, aby sme v kope sena našli našu ihlu.
Štvrtým problémom je publikačné skreslenie, tiež známe ako šuflíkový efekt. Keď niečo cenné nájdeme, máme tendenciu to ukázať svetu. Pochváliť sa. Ak nie, tak sa tvárime, že sme ani nehľadali. Hodíme to do šuflíka. Možno by sme aj chceli publikovať, ale recenzent nám povie, že by sme mali hľadať ďalej, keďže sme „nič nenašli“. Predstavme si ale šuflíky vedcov po celom svete. Sú prázdne? Plné? Ak plné, čo je v nich? Nevieme. A to je problém. Z toho mála, čo vidíme, si totiž môžeme vytvoriť mylnú predstavu, pokiaľ tam nezaradíme aj to, čo nevidíme.
Ako to teda všetko môže vyzerať? Pozrime sa na ďalšiu šikovnú simuláciu od Felixa Schönbrodta na TOMTO ODKAZE. Najprv si skúsme nasimulovať situáciu, kde sme si istí, že naša hypotéza funguje (% of a priori true hypotheses = 100), chyba prvého rádu, ktorú sme si zvolili, je 0,001 (α level = 0,001), štatistická sila je 99% (Power (1-β) = 0,99) a nikto v našej výskumnej oblasti nevyužil p-hackovanie (0 % of p-hacked studies). Pekné však?
Teraz skúsme presúvať jednotlivé bežce a sledovať, čo to robí s výsledkami. Vyskúšajte si rôzne scenáre. Aj ten pesimistický, kde je veľmi nízka nepravdepodobné hypotézy (% of a priori true hypotheses = 0), nízka štatistická sila (dajme tomu 20-30%) a 50% štúdii je p-hacknutých. Desivé?
Ktorý z týchto dvoch scenárov je pravdivý alebo ku ktorému sa realita približuje? Nevieme. Je ale pravdepodobné, že aspoň niektoré problematické výskumné praktiky využili aspoň niektorí výskumníci aspoň raz (John et al., 2012).
Môžeme dúfať. Alebo sa obávať.
Je to všetko čo môžeme spraviť? Nie! Môžeme pridať ruku k dielu tak, že keď sa na výskumnú literatúru pozrie generácia po nás alebo my sami o niekoľko rokov, s úľavou povieme, že to je dobré a vieme sa o to oprieť.
Ako? Môžeme skúsiť spraviť to, čo Odyseus…
V tejto prvej časti tohto blogu sme si priblížili, že rovnako ako námorníci, aj my – výskumníci – môžeme naraziť na Sirény. Tak ako Kirké varovala Odysea, aj nás varujú iní. Nielen to. Idú nám príkladom. Tým že sa pripútajú… Chcete si prečítať viac? pokračujte na Odysea, pred-registrácia a nástrahy sedmora morí – Časť II.
Referencie (pre obe časti)
(Obrázok: Odysseus a Sirény; Autor: Ludmila Pokorná; Zdroj Jakub Adámek’s archive (Pokorná’s grandson); adresa: https://cs.wikipedia.org/wiki/Soubor:Odysseus_a_Sireny_Ludi.jpg
