Viel zu ungenau. Alle gekauft. Der Wissenschaft ist nicht zu trauen. Oder gibt es eine andere Erklärung, warum 5 Studien zum gleichen Thema 6 verschiedene Resultate liefern?

^{Wie sich die Menschheit den Alltag eines Wissenschaftlers vorstellt: Man schüttet den lieben langen Tag farbige Flüssigkeiten herum. Quelle: pixabay, CC0}

Intro

Ich bekenne mich schuldig: Ich bin Wissenschaftler. Biochemie studiert, in Chemie promoviert, tätig an einer Uni im Bereich Lebensmittel-Toxikologie. Wir beschäftigen uns mit gesundheitlichen Auswirkungen von Lebensmittelinhaltsstoffen. Vor allem negativen, aber ab und zu auch positiven.
Ja, wir gehören zu denen, die diese Studien verfassen, nach denen dies oder das krebserregend ist, oder vielleicht doch der Entstehung von Krebs vorbeugt… ähm, wie war das noch mal?
Wir gehören zu denen, die Studien durchführen, die dann von der EFSA (Achtung: EU!) zur Risikobewertung herangezogen werden, was dann wieder dazu führt, dass man unser Essen nicht mehr essen kann und sich nach jedem Stück Brot direkt einen grünen Detox-Smoothie runterkippen muss. Oder so ähnlich lautet die allgemeine Wahrnehmung.

Dass der Smoothie ziemlich sicher giftiger ist als das Brot…geschenkt. Darum geht es vielleicht ein andermal. Was ich hier mit euch besprechen will, ist eine Wahrnehmung, die viele Menschen, mit denen ich spreche (auch hier auf Steemit, wie z.B. kürzlich @remotehorst23), teilen:

Lebenswissenschaften liefern beliebige Resultate.

Mal ist was gesund, dann wieder ungesund. Keine Sau kennt sich im Studiendschungel noch aus. Und als Erklärung gibt es eigentlich nur 2 Optionen:
a) wir sind zu einem nicht unsignifikanten teil gekauft, und finden das raus, was unsere Geldgeber sehen wollen
b) Wir sind Scharlatane, die sich die Ergebnisse würfeln und dann als Wissenschaft verkaufen

Das seh‘ ich naturgemäß anders.

Ganz anders. Der Vorwurf, wir würden beliebige Resultate produzieren, schmerzt. Weil er nicht wahr ist. Weil der Grund für die scheinbare Widersprüchlichkeit unserer Studien ganz woanders, nämlich in ihrer Natur, liegt. Und weil wir es noch nicht mal selbst in der Hand haben, unseren Ruf wieder aufzupolieren sondern darauf angewiesen sind, dass Wissenschaftsjournalisten endlich mal die basics lernen.

Aber der Reihe nach…

Verschiedene Arten von Studien und wofür sie gut sind

Der erster Punkt den man verstanden haben sollte: Keine Studie gleicht der anderen. Je nachdem, was man damit untersuchen will, unterscheidet sich die Methodik enorm. Grob eingeteilt gibt es in vivo (im Lebewesen), in vitro (im Reagenzglas) und in silico (Computersimulationen/Modelle) Methoden:

In vitro Methoden: Versuche an Zellen

^{Zellen werden in Indikatorhältigem (daher rosafarbenem) Nährmedium gezüchtet. Quelle: Wiki, by kaibara87, CC BY 2.0}

Wir können menschliche Zellen quasi im Reagenzglas (bzw. in eckigen Plastikflaschen) züchten und an ihnen Experimente durchführen. Vereinfacht gesagt darf man sich das so vorstellen, dass wir Chemikalien auf die Zellen werfen und uns dann über verschiedenste Versuche ansehen, wie sie darauf reagieren.
Diese Methoden dienen v.a. zwei Zwecken:

• Dem „screening“: Nachdem in vitro Methoden zwar auch teuer, aber immer noch viel billiger und v.a. viel schneller sind als die Arbeit in vivo, nutzt man diese, um schnell eine große Menge Proben zu testen, um mal grundsätzlich eine Idee zu bekommen, wie eine Substanz wirken könnte.
• mechanistische Aufklärung: Man weiß zwar, was eine Substanz macht (z.B. dass sie in Ratten Lebertumore erzeugt), aber will noch wissen, wie sie es macht. Nachdem es x Möglichkeiten gibt und man evtl. relativ viel herumtesten muss, bis man einen Treffer landet, wäre der Verbrauch an Ratten (und die damit verbundenen Kosten) gigantisch, würde man das an den Tieren testen. Die Lösung: man verwendet einfach kultivierte Leberzellen, an denen man sich schön austoben kann, bis man fündig wird.

Das Problem bei in vitro ist, dass die Ergebnisse nur sehr bedingt auf den realen Organismus übertragbar sind. Erstens verhalten sich kultivierte Zellen teilweise sehr anders als reale Organe. Zweitens ist es sehr schwer bis unmöglich, die sogenannten „ADME“-Vorgänge (engl. absorption, distribution, metabolism and excretion), also alles, was mit der Testsubstanz von der Aufnahme bis zur Ausscheidung so an Veränderung passiert, miteinzubeziehen.

D.h. zusammengefasst: In vitro ist super, um eine grundsätzliche Idee zu bekommen, wie sich Stoffe auf Zellen auswirken, kann als stand-alone Studie aber niemals beweisen, dass etwas gesund oder ungesund ist.

Dafür braucht man dann:

In vivo Methoden: der Tierversuch

^{Im Tierversuch oft verwendet: die Ratte. Quelle: pixabay, CC0}

Wenn man also ausreichend in vitro Daten hat, die darauf hinweisen, dass ein Inhaltsstoff bzw. eine Chemikalie biologisch was ausrichtet, geht man ans Tier, in der Regel an die Maus oder die Ratte (Nager sind einfach zu halten und vermehren sich gigantisch schnell). Nachdem man neben den Tieren selbst auch noch geeignete Räumlichkeiten, Spezialausrüstung, Tierpfleger usw. bezahlen muss, will so eine Studie gut geplant sein. Außerdem braucht man hier schon ein positives Votum einer Ethikkommission, die die Durchführung der Versuche als notwendig bestätigt, und muss im Vorfeld entsprechende Anträge schreiben.
Viel Aufwand und Kosten also im Vergleich zur in vitro Studie. Plus man hat viel weniger Proben. Während man in vitro mit 2-3 Platten relativ easy 100 Proben + auf einmal durchzieht, will ich denjenigen, der 100 Ratten pro Tag metzgern und zerlegen kann, erstmal kennen lernen (oder auch nicht, ich bin heilfroh, dass ich damit noch nie zu tun hatte). Und dann hat der eigentliche Versuch noch nichtmal angefangen.

Aber die Ergebnisse sind schon wesentlich aussagekräftiger. Reale Organismen, ADME berücksichtigt, die Daten kann man schon verwenden, um auf den Menschen zu extrapolieren.
Allerdings muss man sich auch hier bewusst sein, dass verschiedene Spezies ganz unterschiedlich auf Substanzen reagieren können, daher sind auch die Daten nicht komplett bullet-proof und in der Toxikologie rechnet man dann (wie ich hier schon mal beschrieben habe) gern mit einem zusätzlichen Sicherheitsfaktor von 10-100 auf den Menschen um.
Außerdem darf man auch nicht außer Acht lassen, dass Langzeiteffekte an Nagern nicht wirklich gemessen werden können, weil ihre kurze Lebensdauer das einfach nicht zulässt. D.h. erzeugt ein Stoff, wie z.B. Asbest, erst nach 10-15 Jahren Krebs, wird das im Tierversuch nicht zu sehen sein.
Dafür gibt es dann:

Epidemiologische Studien

Und die funktionieren so:
Man vergleicht größere Bevölkerungsgruppen, die über längere Zeit eine unterschiedliche Exposition gegenüber gewissen Stoffen hatten. Z.B. Asiaten mit Europäern was die Ernährung angeht, oder Agrararbeiter, die mit einen bestimmtem Pestizid gearbeitet haben, mit einer „normalen“ Kontrollgruppe, oder Veganer und Vegetarier, oder was auch immer.
Dann vergleicht man gewisse Endpunkte, wie z.B. die Krebsrate, der Cholesterinspiegel, o.ä. Findet man statistisch signifikante Unterschiede, gönnt man sich ein Glas Sekt und publiziert.

Die Probleme hierbei liegen aber auf der Hand: Es ist praktisch nie der Fall, dass sich die Gruppen nur durch eine einzige Variable unterscheiden. Liegt die niedrigere Brustkrebsrate in Asien tatsächlich an den Sojaprodukten, oder ist es vielleicht doch der Grüntee? Ist es wirklich das Glyphosat, dass die Krebsrate bei Farmarbeitern pusht, oder vielleicht eines der anderen 20 Pestizide, mit denen sie arbeiten? Gar nicht so einfach zu sagen.

Daher dienen uns epidemiologische Studien als Ergänzung, wenn wir schon in vivo Daten haben, die auf einen Zusammenhang hindeuten, und/oder gewisse Mechanismen in vitro aufgeschlüsselt haben.

Humanstudien

Jetzt die Königin der Studien. Hier testet man direkt am Menschen. Zwar gibt es auch hier große qualitative Unterschiede und die Spannweite reicht von Fragebögen bis hin zur state-of-the-art Spurenanalytik ausgefallener Biomarker, aber im Großen und Ganzen kann man schon sagen, dass Humanstudien am aussagekräftigsten sind. Kein extrapolieren mehr, direktes Messen der Effekte an der "species of interest".

Blöd ist nur, dass wir sie nur sehr selten anwenden können, weil sie
a) so extrem teuer und aufwendig sind, dass ihre Durchführung in der Regel die verpönte Querfinanzierung von außen erfordert und weil man
b) aus ethischen Gründen natürlich nur Dinge an Menschen testen darf, die diesen sicher nicht schaden. Das heißt für den Arbeitszweig Toxikologie fällt die Humanstudie schon mal weg. In der Pharmazie ist sie durchaus von Bedeutung (bzw. Pflicht vor der Einführung eines Medikaments), allerdings erst nach abgeschlossenen Tierstudien, wenn man die Dosis-Wirkungs-Beziehung schon recht gut einschätzen kann.

In silico

Hier liegt die große Hoffnung. Mechanistisch kann man schon einiges am Computer simulieren und dann anschließend am Lebewesen bestätigen – das macht die Pharmaindustrie sehr ausgiebig und effizient bei der Suche nach der optimalen chemischen Modifikation eines Wirkstoffs.
Die Simulation der ADME-Vorgänge hinkt noch etwas hinterher, ist aber im Kommen und könnte in den nächsten 15-20 Jahren die Zahl der notwendigen Tierversuche drastisch reduzieren, was wir alle begrüßen würden. Auch Wissenschaftler mögen es nicht, Tiere unnötig töten zu müssen.
Steckt aber halt leider alles noch etwas in den Kinderschuhen.

Die Folge und die Rolle des Journalismus

So, zurück zum eigentlichen Thema: Liefern wir beliebige und widersprüchliche Ergebnisse?

Meine Antwort darauf wäre: Nein, aber es sieht von außen leider tatsächlich so aus.

Das Problem ist doch dieses:

Die Folge der großen Diversität in der Methodik ist, dass verschiedene Studien zu unterschiedlichen Ergebnissen führen.
Wenn wir Effekte in der Zellkultur sehen, heißt das nicht, dass diese Effekte noch da sind, wenn wir die Substanz an Tiere verfüttern – vielleicht schafft sie es ja noch nicht mal über die Darmbarriere, oder sie wird von der Leber gleich komplett verstoffwechselt, ohne jemals in den Blutkreislauf zu gelangen.
Wenn wir Effekte sehen, wenn wir Ratten im Grammmaßstab mit Glyphosat füttern, heißt das nicht, dass die paar Mikrogramm, die dann über die menschliche Nahrung aufgenommen werden, schädlich sind.
Usw. usw.

Wir Wissenschaftler wissen, dass eine Studie allein nicht reicht, um eine gültige Aussage zu treffen, sondern dass es dafür ein Zusammenspiel, die Meta-Analyse, von verschiedensten Studien zur Toxizität in vivo und in vitro, zur realen Exposition sowie zur Epidemiologie braucht, die, je höhere ihre Zahl wird und je aussagekräftiger sie werden, eine reale Wirkung immer wahrscheinlicher und wahrscheinlicher macht, bis man sie annähernd bewiesen hat.
Dementsprechend formulieren wir unsere Schlussfolgerungen vorsichtig:
Our results indicate that xyz might aid in protecting…

Und dann kommt der Journalist.

Und was macht er? Er sieht eine einzelne in vitro Studie und macht daraus eine Headline: „Milch ist krebserregend!“ ^{War nur ein Beispiel, keine Angst}
Eine andere Zeitung zieht unterdessen was epidemiologisches aus dem Ärmel und titelt: „Milch fördert die Gehirnentwicklung!“ ^{Auch nur ein Beispiel, sorry.}

^{Spoiler Alert: So rücken sie bei uns nie an. Quelle: pixabay, CC0}

Otto Normalverbraucher schmeißt dann verständlicherweise die Zeitung hin und glaubt, wir würden ihn verarschen. Und als Wissenschaftler würdest du dann am Liebsten die Redaktion anzünden. Kann man nicht machen, klar. Schade irgendwie.

Es ist doch leider so: Wissenschaft wird von den meisten Medien stiefmütterlich behandelt. Ab und zu mal eine Schlagzeile beisteuern, das soll sie. Aber wichtig genug, um wen zu bezahlen, der sich auskennt, der vielleicht eine naturwissenschaftliche Ausbildung genossen oder gar selbst mal wissenschaftlich tätig war und demzufolge die Aussagekraft einzelner Studien richtig einordnen kann?
Fehlanzeige. Zumal die Konsequenzen, nämlich den Vertrauensverlust, ja wer anderer (die Wissenschaft) ausbadet. Und man dann am Ende – Gott bewahre – keine reißerische Schlagzeile mehr hätte. Wie z.B. die, dass gin tonic gegen Heuschnupfen hilft, was natürlich ausgemachter Unsinn ist, wie @egotheist kürzlich beschrieben hat.

Studien-Spam

Zusätzlich dazu gibt es ein weiteres Problem. Ernstzunehmende Wissenschaft durchlauft vor der Publikation einen aufreibenden „peer-reviewing“ Prozess. Heißt auf Deutsch: Bevor ein Journal mein Paper publiziert, schickt sie es zu anderen Wissenschaftlern, die sich im Fachgebiet auskennen. Oder anders ausgedrückt: zur Konkurrenz. Und sollte es nicht stimmig, logisch, aktuell und korrekt sein, zerreißen sie es mir in der Luft. Und genauso mache ich es bei ihnen auch.
Man bekommt dann eine Anwort mit seitenlangen Anweisungen, was man noch alles zu machen hat, damit die Studie auch nur halbwegs publizierbar ist. Die sinnvollen davon setzt man um, den Rest diskutiert man weg und erst wenn die Reviewers zufrieden sind, publiziert man. So geht Qualitätssicherung.

Leider gibt es durch die gestiegenen Anforderungen und die höhere Spezialisierung eine steigende Zahl von Wissenschaftlern, v.a. aus unterfinanzierten Regionen, die diesem Prozess nicht mehr gewachsen sind. Die wollen (müssen) aber auch irgendwo publizieren. Und tun das dann in Zeitschriften, die kein peer reviewing – und teilweise noch nicht mal die Korrektur durch ein menschliches Wesen - verlangen. Dementsprechend schlecht ist die Qualität dort.
Ernsthafte Wissenschaftler haben durchaus Humor bewiesen, und auf diesem Weg schon den ärgsten Käse publiziert, um zu zeigen, wie gefährlich dieses System ist. So wurde 2014 ein paper des australischen Informatikers Peter Vamplev im "International Journal of Advanced Computer Technology" zur Veröffentlichung akzeptiert, das nur aus einer Textzeile bestand, die sich wieder und wieder wiederholte:
"Get me off your fucking mailing list!"^Ref

Dieser Spam hat inzwischen Steemit-artige Ausmaße angenommen, so dass davon ausgegangen werden kann, dass eine Recht große Zahl an Studien, die durchs Netz geistern, falsche Ergebnisse berichten. Das hatte @lauch3d vor ein paar Monaten mal sehr spannend als Thema.

Wieder: Für Wissenschaftler eigentlich kein großes Problem. Wir erkennen nicht-peer-reviewte Artikel und Journals sehr schnell, bzw. recherchieren in Datenbanken, in denen von vorne herein nur peer-reviewte Artikel zu sehen sind. Die Pseudowissenschaft (und auch schlechte Arbeiten, die es irgendwie doch in ein besseres Journal geschafft haben) ignorieren wir einfach.
Laien (inkl. schlecht ausgebildete Wissenschaftsreporter) stellt das aber vor eine weitere Herausforderung.

Schwarze Schafe

Und klar wird es auch vereinzelt Wissenschaftler geben, die sich nicht an die Regeln halten und Studien verfälschen. Sie dürften aber nach meiner persönlichen Einschätzung Einzelfälle sein. Nicht zuletzt auch weil ihre Karriere definitiv vorbei ist, wenn es auffliegt. Dann publizierst du nirgends wo mehr. Na gut, das International Journal of Advanced Computer Technology mal ausgenommen.

Fazit

Die Lebenswissenschaften liefern keinesfalls beliebige Resultate.
Man muss nur wissen, wie sie zu interpretieren sind. Eine Studie alleine sagt gar nichts, vor allem dann, wenn es sich um eine in vitro Arbeit handelt. Wer diese Limitationen kennt und beachtet, kann sich auf Daten verlassen.

Allerdings muss man selbstkritisch anmerken, dass wir es offensichtlich nicht gut hinkriegen, unsere Ergebnisse richtig zu kommunizieren. Zu einem Teil tragen daran auch die Journalisten die Verantwortung, die nicht verstehen (wollen), wie unsere Disziplin funktioniert.

---

Disclaimer:
In meinem Blog schreibe ich meine ehrliche Meinung als toxikologischer Forscher, nicht mehr und nicht weniger. Ich bin ein Mensch, manchmal unterlaufen mir Fehler. Diskutiert mit mir, seid anderer Meinung – wenn ihr die besseren Argumente bringt, überleg‘ ich gern ein zweites Mal.