Is groene thee gezond? Beschermt broccoli tegen kanker? En mag dat ene glas wijn per avond nou wel of niet? Wetenschappelijke onderzoeken over voedsel spreken elkaar voortdurend tegen. Gelukkig kan iedereen leren het kaf van het koren te scheiden.

Dagelijks pure chocolade eten helpt bij afvallen. Die conclusie publiceerde Johannes Bohannon van het Institute of Diet and Health al in juni 2015 online in de International Archives of Medicine. Media in allerlei landen pikten het goede nieuws op.

Bohannons team had proefpersonen willekeurig toewezen aan een van drie eetpatronen: een koolhydraatarm dieet, hetzelfde koolhydraatarme dieet met dagelijks een reep pure chocolade erbij, of (voor de controlegroep) het eigen dieet. Drie weken lang wogen de deelnemers zichzelf elke ochtend en aan begin en eind van het onderzoek vulden ze vragenlijsten in en werd hun bloed getest.

Vervolgens ging een statisticus aan de slag. Die vergeleek allerlei uitkomsten van de verschillende dieetgroepen, tot hij zag dat de mensen op het koolhydraatarme dieet – met of zonder chocolade – tijdens het onderzoek gemiddeld vijf pond kwijtraakten, terwijl de controlegroep niets verloor. En de chocoladereep-eters vielen zelfs 10 procent sneller af! Ook waren cholesterolwaarden en een score voor welzijn beter bij de chocolade-eters. Deze resultaten waren statistisch significant. Fantastisch! Of toch niet?
 

Te mooi om waar te zijn

De ene na de andere medische doorbraak komt op ons af, de ene nog mooier dan de andere. Wat zou het fijn zijn als die allemaal echt waren. Wat zou het fijn zijn als het waar was. Als we met een eenvoudige ingreep langdurige gezondheid zouden kunnen afdwingen. Maar vaak is het nieuws te mooi om waar te zijn.

Hoeveel we mogen concluderen uit een onderzoek, hangt nogal af van de uitvoering en van de kopieerbaarheid. Pas als vergelijkbare onderzoeken vergelijkbare resultaten opleveren, en wetenschappers een zaak van meerdere kanten hebben onderzocht, nemen vakgenoten resultaten voor waar aan.

Lang niet alle ‛doorbraken’ in de media zijn zo grondig onderbouwd, en vooral tussen de luchtige nieuwtjes zitten veel missers. Doorgaans worden nieuwe inzichten pas als (waarschijnlijk) waar beschouwd als ze herhaaldelijk zijn bevestigd en van verschillende kanten zijn benaderd en onderzocht. Maar de meeste lezers hebben geen idee of het onderzoek in de krant, op Facebook of in het verhaal van de buurvrouw degelijk is onderbouwd. Toch is het ook voor leken mogelijk antennes te ontwikkelen voor waarschuwingssignalen dat er iets mis is met spectaculair nieuws. Hieronder volgen tips voor wie die signalen wil leren herkennen.
 

Wat is onderzocht, bij wie, en hoe?

Regelmatig lijkt proefdieronderzoek een wereld zonder nare ziekten als alzheimer en kanker te beloven. Maar: een muis is geen mens. Als onderzoekers de overstap maken van dier naar mens sneuvelen veel therapeutische strategieën. Ook als de resultaten bij proefdieren fantastisch waren.

Ook binnen de mensheid kunnen resultaten bij verschillende groepen anders uitvallen. Lichamen van ouderen functioneren anders dan die van jongeren, vrouwen verschillen van mannen, Europeanen van Aziaten enzovoort. Eetgewoonten, leefstijl, activiteitenpatronen, hormoonhuishouding en andere eigenschappen kunnen ervoor zorgen dat een effect dat optreedt bij de ene groep uitblijft bij de andere.
 

Hoe zat het met de controle?

Over groepen gesproken: een goede controlegroep is cruciaal. Als we bijvoorbeeld het effect van een behandeling op bloeddruk willen bepalen, moeten we ook een groep onderzoeken die de behandeling níét ondergaat. De twee groepen die we vergelijken zijn idealiter hetzelfde, met uitzondering van de behandeling. Dat betekent dat ze aan het begin van het onderzoek dezelfde gemiddelde bloeddruk moeten hebben, dat ze evenveel moeten sporten, vergelijkbaar zijn als het om leeftijd gaat, dezelfde ziektes hebben, dezelfde medicijnen gebruiken, evenveel alcohol drinken, en zo verder.

Helemaal lukt dat nooit, en daarom bekijken wetenschappers graag grote groepen, bijvoorbeeld van een een paar honderd man of meer. Dan gaat de variatie in leeftijd, sportiviteit enzovoort in beide groepen op elkaar lijken. Dus als de twee groepen na het onderzoek andere bloeddrukwaardes hebben, zal dat waarschijnlijk niet liggen aan hun leeftijd, beweeglijkheid enzovoort, maar aan de onderzochte behandeling.

Maar vertekening van de resultaten ligt op de loer. Want goede gedragingen komen zelden alleen, net zomin als slechte. Mensen die veel groente eten, blijken vaak ook ander gezond voedsel te kiezen en regelmatig te sporten. Andersom combineren mensen vaak ongezond voedsel en stilzitten.

Dit soort effecten maakt voedingsonderzoek erg moeilijk. Het is erg lastig, of eigenlijk gewoon onmogelijk, om het effect van een enkel voedingsmiddel of zelfs bestanddeel te isoleren. Daarvoor zou je een grote groep eeneiige tweelingen lange tijd moeten opsluiten, om ze exact hetzelfde leven te laten leiden en exact hetzelfde te laten eten en drinken. Als vervolgens het ene lid van de tweeling wel drie keer per week een stronk broccoli eet en het andere niet, valt te monitoren of dit een effect heeft op (aspecten van) gezondheid. Niet te doen dus.

In het echte leven zijn voedingswetenschappers genoodzaakt mensen te vergelijken die wel of niet geregeld een bepaald voedingsmiddel eten. Deze mensen leiden gewoon hun leven, zonder precieze instructies van onderzoekers. Dat kan het effect van de broccoli vertekenen, doordat de groente-eters ook veel sporten, niet of weinig roken en met mate van alcohol genieten.
 

Cijfers liegen niet, of soms toch?

Getallen geven een wetenschappelijke indruk, maar ze kunnen enorm misleiden. Neem het voorbeeld van een zeldzame ziekte, en een medicijn dat de kans daarop met 20 procent vermindert. Dat klinkt indrukwekkend, maar als de kans op de ziekte eerst 1 op 10.0000 was en nu 1 op 8000 wordt, is de winst beperkt. Kijk bij procenten dus altijd of het gaat om percentages van iets groots of van iets kleins.

Ook heel precieze getallen kunnen ons op het verkeerde been zetten. Veel cijfers achter de komma suggereren zekerheid, maar staan die cijfers er wel terecht? Hoe kleiner de onderzoeksgroep, hoe groter de kans op toevalstreffers en vertekening. Als onderzoekers na een bescheiden test toch veel cijfers achter de komma noteren, stellen ze hun uitkomsten waarschijnlijk nauwkeuriger voor dan ze zijn.

Soms gaat het juist mis als media de cijfers weglaten en een onderzoek alleen in woorden beschrijven. Zo bleek dat mensen die links stemden bij de laatste verkiezingen meer plastic recycleden dan mensen die rechts stemden. Dat klinkt misschien aannemelijk, maar zonder cijfers zegt dit weinig. De grote vraag is namelijk hoe sterk het effect is. Recyclet 58 procent van de GroenLinks-stemmers en 51 procent van de VVD’ers? Of gaat het om 86 versus 32 procent?

 

Ook heel precieze getallen kunnen ons op het verkeerde been zetten

 

En trouwens, wat wordt er bedoeld met veel of weinig recyclen? Gaat het om kilo’s per jaar? Het percentage verpakkingen? Kijk altijd of onderzoekers duidelijk omschrijven wat ze precies onderzochten. Hoe is het gemeten? Dat betekent in dit voorbeeld: heeft iemand maandenlang de vuilniszakken nagekeken of hebben onderzoekers alleen gevraagd wat burgers deden?
 

Geld

Ook relevant: wie verspreidt het nieuws over de mooie onderzoeksresultaten? Spelen er belangen? Dit is bijvoorbeeld relevant bij genetische inzichten. We leren steeds meer over de informatie die ligt opgeslagen in ons DNA, en over gevolgen voor gezondheid en ziekte. Maar er staan nog heel veel vragen open over de exacte samenhang tussen de volgorde van de genetische lettercode en onze gezondheid en ons gedrag. In sommige gevallen is het overzichtelijk: een enkel gen veroorzaakt een ziekte of bepaald gedrag. Maar de meeste aandoeningen, eigenschappen of gevoeligheden worden door een combinatie van invloeden van vele genen bepaald – en dan meestal ook nog aangelengd met een flinke dosis omgevingsfactoren.

Toch zijn er bedrijven die beloven dat ze hun klanten persoonlijk leefstijladvies kunnen geven op basis van hun genetisch bepaalde risico’s en gevoeligheden. ‘Wetenschappelijk onderbouwd’ is daarbij de belofte.

De suggestie is dus dat bedrijven individuen iets kunnen vertellen op basis van DNA, terwijl wetenschappers vaak alleen weten dat een bepaald gen bijvoorbeeld samengaat met een grotere kans op kanker. Of dat gen de kanker ook veroorzaakt, en onder welke omstandigheden, is dan zeer de vraag. Bedrijven die DNA analyseren en op basis daarvan persoonlijk advies geven, zijn dus, op z’n zachtst gezegd, overenthousiast te noemen.

Neponderzoek

Terug naar het chocoladenieuws van Johannes Bohannon. Dat begon met een ronkend persbericht dat bladen, websites en tv-programma’s vrijwel letterlijk overnamen. Dat hadden ze beter niet kunnen doen. Want Johannes heet eigenlijk John en is geen wetenschapper, maar journalist. Hij is weliswaar gepromoveerd, maar op bacteriën, niet op onderzoek bij mensen. Zijn ‛instituut’ was niet meer dan een website. Wie een simpel rondje had gegoogeld, had Johannes Bohannon kunnen ontmaskeren. En een aantal niet eens zo heel kritische vragen had zijn conclusie onderuit kunnen halen. Maar dat gebeurde niet.

Op Gizmodo.com biechtte Bohannon op 27 mei 2015 zijn verhaal op. Dat was begonnen met documentairemakers, die de junk science-dieetindustrie en de gretige, onkritische media aan de kaak wilden stellen. Ze wilden misstanden blootleggen door deel te nemen aan het systeem en daarvoor hadden ze Bohannons hulp ingeschakeld. Daarom had hij – expres – slecht onderzoek aangeleverd bij een tijdschrift dat was geselecteerd vanwege een dubieuze, niet-kritische reputatie. (Inmiddels staat het artikel niet meer online.)

 

Idealiter zouden we eeneiige tweelingen lange tijd moeten opsluiten

 

Vervolgens kwam er een persbericht waarin niets stond over het aantal deelnemers aan het onderzoek. Een goed journalist zou dit opzoeken in het oorspronkelijke artikel, of de ‘onderzoekers’ ernaar vragen. Dat gebeurde slechts één keer, en niemand schreef er vervolgens over. Dat had wel gemoeten, want Bohannon had maar zestien proefpersonen. Met zo’n klein aantal kan één afwijkende persoon de resultaten al serieus beïnvloeden.

Toch was in het artikel sprake van ‛statistisch significante resultaten’: dat is een magische woordcombinatie in wetenschappelijke literatuur. Significantie gaat over de kans dat een onderzoeksuitkomst berust op toeval en niet op (in dit geval) het dieet. Als de kans op een dergelijke toevalsbevinding kleiner is dan een afgesproken kans, meestal 5 procent, dan heet het verschil statistisch significant. Let wel: dit betekent niet dat de bevinding absoluut waar is. Hoe klein de kans op een toevalstreffer ook is, die kans bestaat wel. En als een statisticus in gegevens gaat graven naar een resultaat, kan hij altijd iets vinden. En hoe verder hij graaft, hoe groter de kans wordt.
 

Dit is precies wat de statisticus van Bohannon deed: hij vergeleek net zo lang uitkomsten van de dieetgroepen totdat er iets ‘statistisch significants’ opdook: het ‛effect’ van chocolade op snelheid van afvallen. Bohannon had niet van tevoren aangegeven dat hij daarnaar op zoek was, maar dat hoort een goed wetenschapper wel te doen. Voor bijvoorbeeld medicijnonderzoek is het tegenwoordig zelfs verplicht een statistisch analyseplan te publiceren vóórdat het onderzoek begint, om te voorkomen dat onderzoekers gaan graven naar resultaten als het resultaat bij de hoofdvraag tegenvalt.

Dit neponderzoek was een extreem voorbeeld van hoe het mis kan gaan, op het niveau van het onderzoek zelf én van de verslaglegging. Zo erg zal het niet vaak zijn, maar tussenvormen komen waarschijnlijk vaker voor dan we denken, vooral in de voor hypes gevoelige voedingssferen. Media zouden de slecht uitgevoerde studies moeten negeren en de loze beloftes achterwege kunnen laten. Tot die tijd: wees gewaarschuwd voordat je, op basis van een summier stukje op internet over een nieuw wonderdieet, overweegt af te wijken van een gezond en gevarieerd eetpatroon.