PISA-Studie

Die PISA-Studie (Programme for International Student Assessment) ist eine von der OECD weltweit durchgeführte Studie (Schulleistungsuntersuchung) über die Kenntnisse und Fähigkeiten 15jähriger Schülerinnen und Schüler. Dabei wurden rund 180.000 Mädchen und Jungen aus 32 Staaten untersucht, davon 5.000 aus Deutschland.

Durchführung

Zusätzlich zur internationalen Studie führen einige teilnehmende Staaten noch nationale Ergänzungsstudien durch. In Deutschland wird die Durchführung der ersten Studie vom Max-Planck-Institut für Bildungsforschung in Berlin koordiniert.

Der Test umfasste Fragebögen mit Aufgaben zur jeweiligen Landessprache (2000) und aus der Mathematik (2003); er soll in dreijährigem Turnus fortgesetzt werden, zunächst mit Aufgaben aus den Naturwissenschaften (2006).

Die OECD diskutiert aufgrund positiver Erfahrungen mit der PISA-Studie, nun auch eine Studie über Erwachsene zu entwickeln, die so genannte PISA-für-alle-Studie.

Ergebnisse

Finnland schnitt beim ersten Teil der PISA-Studie am besten ab.

Deutschland landete bei der Auswertung im hinteren Mittelfeld (hinter den USA). Neben dem schlechten Gesamtergebnis fällt auf, dass in Deutschland die soziale Herkunft stärker als in jedem anderen Land über Bildungschancen entscheidet. Abgeschlagen auf den letzten Plätzen liegen Länder wie Mexiko und Brasilien.

Im innerdeutschen Vergleich ergab sich ein deutlicher Vorsprung von Bundesländern, deren Schulwesen traditionell als strenger gilt. Ähnlich starke Unterschiede innerhalb eines Staats fanden sich auch in Belgien.

Die PISA-Ergebnisse sind konsistent mit denen der TIMSS-Studie, die in den 1990er deutschen Schülern schlechte Leistungen in Mathematik bescheinigt hatte.

Rezeption in Deutschland

In Deutschland haben die PISA-Ergebnisse ein so beträchtliches Medien-Echo gefunden, dass man von einem PISA-Schock sprechen kann. Besonderes Interesse fand der Leistungsvergleich der Bundesländer; bis dato hatten die Kultusministerien einen solchen Vergleich stets zu verhindern gewusst.

PISA hat eine verschärfte Diskussion über das deutsche Bildungssystem ausgelöst, wobei die wenigsten Diskutanten die Studie gelesen haben dürften; vielfach wurden nur altbekannte Positionen bekräftigt.

Als Erklärung für das hervorragende Abschneiden der Finnen wird angeführt, dass die Schulen in Finnland sehr autonom handeln können und zugleich einer wirkungsvollen Qualitätskontrolle unterliegen. Statt detaillierte Lehrpläne vorzuschreiben, beschränkt sich die finnische Bildungsbürokratie darauf, Lernziele vorzugeben und landesweite Tests zu erarbeiten, mit denen überprüft wird, wie gut die Ziele erreicht wurden.

Methodenkritik

Die der PISA-Studie zugrunde liegende Methodik, besonders aber die Art ihrer Umsetzung, gibt Anlass zur Kritik. Da nicht einmal minimale statistische Anforderungen eingehalten wurden, ist keine Vergleichbarkeit zwischen den Ländern oder gar ein "ranking" möglich.

Ausgewählte Kritikpunkte:

• Großbritannien und die USA hätten aus der Studie herausgenommen werden müssen, weil sie den Stichprobenrücklauf nicht geschafft haben.
• Die Grundgesamtheit verschulter 15-jähriger ist in den getesteten Ländern unterschiedlich.
• Nicht alle Länder konnten ausreichend Institutionen zur Mitarbeit bewegen.
• Zufallsstichproben wurden mit Willkürstichproben "ergänzt", um auf die von der OECD geforderten Zahlen zu kommen.
• In manchen Ländern tauchen die leistungsschwächeren Schülerinnen und Schüler nicht unter den Prüflingen auf.

Die Fragstellung müsste also lauten: Wie ist es gekommen, dass die PISA-Studie in vielen Ländern in weiten Bereichen der Politik und Schulverwaltung ernsthaft zur Diskussionsgrundlage gemacht wird? Wieso werden womöglich noch weitere Mittel in Folgestudien investiert, ohne dass das Forschungsdesign korrigiert wird?

Ein direkter Vergleich mit der PISA2-Studie ist auch nicht gegeben. Die PISA2-Studie wurde in deutschen Schulen durchgeführt und sollte ein innerdeutsches Ranking ermöglichen. Hier wurden allerdings eher Wissens-Fragen gestellt, wohingegen die ursprüngliche PISA-Studie vor allem die Fähigkeit zum logischen Denken prüfte. Dies führte zu einer teilweisen Umkehrung des Ranking der deutschen Prüflinge. Ein simples Eingruppieren der einzelnen Bundesländer in die weltweite Original-PISA-Studie, wie es einige Politiker gerne machten, ist also nicht möglich.

Anmerkungen

• Großbritannien und die USA hätten aus der..._

Es gibt zwei Möglichkeiten wie sich das Fehlen von Ergebnissen auswirken kann:

a) Rückläufer fehlen zufällig: die Genauigkeit der Messwerte für diese Länder ist herabgesetzt, die Messung aber an sich ist dadurch nicht ungültig.

b) Rückläufer fehlen systematisch: der Messwert für diese Länder ist verzerrt. Eventuell müssen diese Länder jeweils mit diesem Hinweis versehen werden. Einzig und allein diese Länder werden können in der Rangfolge und Punktezahl falsch bewertet werden. Der Reihenfolge aller anderen Teilnehmerländer bleibt bestehen.

Nach Durchsicht der Testberichte kann kein Hinweis darauf gefunden werden, dass die Stichproben dieser beiden Staaten unzulässig oder besonders niedrig gewesen wären. Die Teilnahmerate lag in den USA bei 85%, in Großbritannien bei 81%. Die deutsche Teilnahmerate lag bei 86%. In Australien nahmen mit 81% proportional am wenigsten Schüler teil.

• Die Grundgesamtheit..._

Dieser Einwand ist nicht zulässig, da zu den Stichproben das Alter der Schüler und die Lernjahre bekannt waren und so in die Beurteilung der Leistungen einfließen konnten.

• Willkürliche Ergänzung..._

Davon ist nichts bekannt. Die Ziehung der Stichprobe wurde von den Veranstaltern überwacht.

• Auschluss leistungsschwacher Schüler..._

Die Auschlussraten liegen im Allgemeinen zwischen 2% und 4%. Einzelne Ländern wie Polen und Luxemburg erreichen eine Auschlussrate von 9%. Dies ist - soweit statistisch relevant - an entsprechender Stelle angemerkt.

• Vergleich zwischen den Ergebnissen der beiden Durchläufe sei nicht möglich..._

Durch so genannte Anchoritems (Gleiche Fragen die in beiden Durchläufen benutzt werden) sind die Ergebnisse durchaus vergleichbar. Selbstverständlich sind die Punktezahlen nicht direkt vergleichbar, da zum Teil andere Fragen gestellt werden. Wenn nun aber beide Durchläufe gemeinsam auf die in beiden vorkommenden Fragen geeicht werden, ist die Vergleichbarkeit unter den Durchläufen gegeben.

Der Fokus von PISA2 liegt anders, natürlich ändert sich die Reihenfolge von Teilnehmern, wenn ein anderer Bereich getestet wird.

Die Einwände gegen die Einwände sind aus methodischer Sicht nicht relevant. Ob ich dieselbe Frage stelle oder eine andere hat nichts mit der Zufälligkeit der Stichprobe zu tun, die alleine die Gültigkeit der Ergebnisse wahrscheinlich macht. Die Zufälligkeit ist nicht mehr gegeben, wenn ich nicht im ersten Anlauf einen Rücklauf erreiche, der für statistische Berechnungen hoch genug ist, sondern stattdessen zwei Stichproben hintereinander ziehen muss, weil ich dann jeweils zwei unabhängige Stichproben von ca. 40% aus der Population habe, die gleichermassen systematisch verzerrt sein können, und die ich deshalb nicht einfach addieren kann und sagen, ich hätte einen 80%igen Rücklauf. Genau das ist aber geschehen. Großbritannien und USA haben tatsächlich nicht einmal die Vorgaben für einen zweiten Anlauf erreicht. Nachzulesen ist das alles recht versteckt aber mit Suchfunktion auffindbar im Technical Annex der PISA-Studie http://www.pisa.oecd.org/tech/download.htm.

Weblinks

• PISA-Homepage der OECD
• PISA: Ergebnisse und Berichte Max-Planck-Institut für Bildungsforschung, Berlin
• Bibliographie Online-Literatur zur PISA-Studie