home>mypoint>archiv>2005011401.xml Artikel teilen:

Statistisch signifikant

Statistisch signifikant: So übertitelt Nature Medicine das Editorial der aktuellen Ausgabe und reagiert damit auf die im letzten Jahr geäußerte Kritik an der statistischen Ungenauigkeit vieler in der Zeitschrift publizierter Studien. Nach eigenen Analysen will Nature nun für alle in der Verlagsgruppe erscheinenden Zeitschriften neue Richtlinien zur Beschreibung statistischer Daten erlassen.

Erstmals im Mai letzten Jahres kamen Zweifel an der Zuverlässigkeit der Beschreibung von quantitativen Daten in Nature auf. Die Zeitschrift BMC Medical Research Methodology veröffentlichte eine Studie von Emili Garcia-Berthou and Carles Alcaraz, in der diese 181 in Nature publizierte Beiträge untersuchten und in 38% mindestens einen statistischen Fehler nachweisen konnten. Dies löste damals eine breite Berichterstattung in den internationalen Medien aus. Die Financial Times zitierte eine Studie aus dem Jahr 2000, in der Robert Matthews ähnliche Resultate für die Zeitschrift Nature Medicine belegen konnte. Dies veranlasste die Verlagsleitung dazu, bei zwei Experten der Columbia University eine eigene Überprüfung in Auftrag zu geben. Dabei wurden 21 Beiträge auf ihren statistischen Methoden hin untersucht.

Begründete Kritik

Das Ergebnis war für die Zeitschrift überraschend und alarmierend zugleich. In den Beiträgen waren reihenweise Fehler zu finden. Manche Autoren gaben die Größe der untersuchten Samples nicht an, andere machten Rundungsfehler oder gaben p-Werte an, ohne die dafür notwendigen statistischen Tests zu erwähnen. In manchen Fällen fehlten die Maßeinheiten, so dass nicht klar war, ob es um Standardabweichungen oder Standardfehler ging. In anderen Fällen waren die gewählten Samples einfach zu klein. „Wir haben aus dieser Überprüfung gelernt, dass die statistischen Kenntnisse der meisten unserer Autoren, Gutachter und Herausgeber eher rudimentär sind, und dass die geäußerte Kritik durchaus begründet ist und von uns sofortige Maßnahmen erfordert“, heißt es im Editorial von Nature Medicine. Die Verleger sehen zwar keinen Anlass, Begutachtungen durch Statistiker einzuführen, wie dies in klinischen Zeitschriften üblich ist, da es sich bei den entdeckten Mängeln vor allem um einfache und grundsätzliche Fehler handelt. Die Verlagsgruppe will aber klare Richtlinien für die Beschreibung quantitativer Daten und statistischer Methoden einführen. Noch wird an deren Ausformulierung gearbeitet, doch ist bereits klar, dass in Zukunft im Methodenteil der Beiträge eine eigene Rubrik zu den statistischen Methoden vorgeschrieben sein wird.