Na začátek chci jasně říct, že toto NENÍ návod, jak kvalitně interpretovat studie. Také se nejedná o 100% spolehlivý a naprosto přesný systém.
Jedná se o soubor rad, jak velmi hrubě oddělit zrno od plev. Naučit se správně číst a interpretovat studie chce mnohaletý trénink a trávit několik hodin pitváním a hledáním nenápadných chyb a nedostatků.
Tak, poté, co jsem vám řekla, co všechno se nenaučíte, pojďme se podívat na několik základních pouček, podle kterých se můžete alespoň trochu ve studii zorientovat.
Je to odborný článek (ve smyslu publikovaná studie) nebo článek (ne)odborníka? Koukněte se, kde je to publikované - jedná se o článek na něčí webové stránce (jako třeba tady) nebo je uveden odborný časopis, který práci publikoval? Studie publikovaná v odborném časopise musela před otištěním projít tzv. peer review, tedy její výsledky a metody musely být přezkoumány. Kvalita tohoto přezkoumání se liší dle odborného časopisu, což mě vede k bodu 2.
O jaký odborný časopis se jedná? Odborné časopisy se hodnotí dle tzv. impact factoru. Ten se odvíjí z toho, kolikrát byly články z daného časopisu citovány v jiných odborných pracích. K spolehlivosti impact factoru jako měřítka kvality se vedou diskuze - například proto, že u úzce specializovaných oborů jsou menší čísla, protože o tématu se méně píše, ale i proto, že na články může být odkazováno jako na varování (to ale u větších časopisů bývá spíše vyjímkou než pravidlem). Pro tento účel ho jako berličku použijeme. Můžete k tomu využít web SJR.
Je to výzkum nebo průzkum? Někdy bývají výsledky průzkumu prezentovány jako výsledky výzkumu. A zde slovem průzkum nemyslím seriózně dělaný sociologický průzkum, ale spíše takovou anketu, ze které je snaha vyvozovat závěry. Toto cílené zaměňování bývá časté na webech proti očkování, či weby věnující se jiným konspiracím. (Např. tento počet lidí si myslí, že jsou ovlivňováni Chemtrails, tudíž Chemtrails jsou skutečné, nebo tento počet lidí si myslí, že jim tento přípravek pomohl, tedy přípravek funguje.)
Kdo studii financoval? V těch lepších časopisech je rovnou uvedeno, jak u autorů, tak i studie samotné, kdo za ní finančně stojí a zda má některý z autorů vztah k nějaké lobbystické skupině. Toto je povětšinou otázka u studií z soukromých peněz, studie z peněz veřejných, tedy povětšinou dělané univerzitou či akademií, uvádí státní prostředky. Opět se tu nejedná o tvrdé dělení. Studie můžou být financované i míchaně, stejně tak i granty mohou být státní, ale i soukromé.
Jedná se o první studii svého typu? Základem moderní vědy je replikace - tedy schopnost zopakovat stejné výsledky, i když výzkum provádí někdo jiný. Pokud se jedná o studii, která se pokouší replikovat (zopakovat) výsledky nějaké jiné, můžeme její výsledky brát vážněji (samozřejmě ne vždy). První studii pro naše účely můžeme brát jako výkop do tmy, obzvlášť když je prováděna na malém počtu osob.
Na kolika osobách byl výzkum prováděn? Nejbombastičtější poznatky, které se dostanou na přední stranu novin, jsou ze studií dělaných na velmi malém počtu osob, které byly většinou předvybrané k danému výsledku. Proto, než se nadchneme z výsledku, je třeba zjistit, kolik účastníků studie měla. Ideální počet se dá vykalkulovat na základě různých kritérií a liší se v závislosti na tom, co konkrétně chceme otestovat nebo vysledovat. Velmi obecně, 500 a více osob je už slušné číslo. U mnoha studií platí čím víc, tím líp, akorát ne každý tým výzkumníků má finanční a časové možnosti dělat výzkum na desítkách tisíc osob. I to je jeden z důvodů, proč má pro nás laiky smysl vyhledávat metastudie.
Metastudie (meta-analýza) - co to je a proč je to pro nás dobré? Skupina výzkumníků si na paškál vezme studie točící se kolem nějakého určitého tématu. Často jsou brány dle časového klíče - tedy třeba co se k tomuto publikovalo mezi lety 1990 - 2020. Výzkumníci se podívají, jak se v jednotlivých studiích postupovalo, zda nebyly v provádění, vypočítávání a interpretování výsledků nějaké chyby, které byly přehlédnuty během prvního peer-review. Díky tomuto procesu se nashromáždí velký vzorek, který by jeden výzkum nezvládl. Vznikne z toho i mnohem definitivnější představa, jak se věci mají, kudy a kam se výsledky převážně ubírají. Na meta-analýzách se staví i tzv. vědecký konsensus, buduje se na nich současné poznání možností světa kolem nás. Jedna studie sama o sobě může být zavádějící a nabízet velmi zkreslený střípek reality. Meta-analýza téma lépe zasazuje do kontextu a dává širší a přesnější obraz.
Na závěr - to, že jedna studie něco říká, nemusí vůbec být směrodatné. Obzvlášť pokud byla dělaná jen na malém vzorku. Pokud někdo proti vám šermuje studií, podívejte se, kolik má účastníků, kdo jí dělal, kde byla publikovaná a kdo jí financoval. Když si nebudete jistí, podívejte se, zda k tématu existuje meta-analýza a co ta říká. Také, není nic proti ničemu, nemít názor okamžitě a počkat si, či se zeptat někoho, kdo se v tématu víc vyzná. To ostatně dělám také - jak jste si mohli všimnout, tak ve své nové rubrice #ČtecíČtvrtky konzultuji články s odborníky.