PISA entzaubert: Warum internationale Bildungsrankings weniger aussagen, als Politik und Medien glauben
- Benjamin Metzig
- 28. Apr.
- 6 Min. Lesezeit
Wenn neue PISA-Ergebnisse erscheinen, beginnt fast immer dasselbe Ritual. Schlagzeilen zählen Plätze. Minister sprechen von Aufholjagden oder Abstürzen. Kommentatoren suchen hektisch nach dem „Geheimnis“ der jeweils führenden Länder. Für ein paar Tage wirkt Bildungspolitik dann wie eine Mischung aus Börsenbericht und Medaillenspiegel.
Das Problem ist nur: Genau so funktionieren diese Daten nicht.
Die PISA-Studie der OECD ist weder wertlos noch ein statistischer Trick. Im Gegenteil: Sie ist eines der aufwendigsten internationalen Instrumente, die wir für den Bildungsvergleich haben. Aber sie ist auch kein Weltmeisterschaftsturnier der Schulen. Wer aus ihr vor allem Ranglisten macht, verwandelt ein komplexes Diagnosewerkzeug in eine politische Reizmaschine.
Gerade deshalb lohnt es sich, die PISA-Debatte einmal zu entzaubern. Nicht, um die Studie kleinzureden. Sondern um ihren tatsächlichen Wert zu erkennen.
Was die PISA-Studie wirklich misst
PISA testet 15-Jährige, also Jugendliche in einer Phase, in der sie in vielen Ländern kurz vor dem Ende der Pflichtschulzeit stehen. Gemessen werden Kompetenzen in Lesen, Mathematik und Naturwissenschaften. Die OECD betont dabei selbst, dass PISA gerade nicht einfach den Lehrplan abfragt. Entscheidend ist, ob Jugendliche Wissen anwenden, Probleme verstehen, Schlüsse ziehen und mit unbekannten Situationen umgehen können.
Das ist eine sinnvolle Idee. Wer wissen will, wie gut ein Bildungssystem junge Menschen auf ein modernes Leben vorbereitet, darf nicht nur Vokabeln und Rechenrezepte abfragen. Die PISA-Logik lautet deshalb: Können Jugendliche mit dem, was sie gelernt haben, tatsächlich etwas anfangen?
Nur folgt daraus eben auch die erste wichtige Einschränkung: PISA misst nicht „die Schule eines Landes“ in ihrer ganzen Breite. Es misst einen eng definierten Ausschnitt davon. Wer aus diesem Ausschnitt ein Gesamturteil über Lehrkräfte, Lehrpläne, föderale Strukturen, Klassengrößen, Schulformen und Chancengerechtigkeit ableiten will, hängt an die Daten mehr Bedeutung, als sie tragen können.
Definition: Was PISA ist
PISA ist ein internationaler Kompetenztest für 15-Jährige. Er ist ein starkes Vergleichsinstrument, aber kein vollständiges Urteil über ein gesamtes Bildungssystem.
Warum Ranglisten mehr Eindeutigkeit vorspielen, als die Daten hergeben
Der öffentliche Teil der PISA-Erzählung beginnt fast immer mit der Frage: Wer ist vorn? Wer ist abgestürzt? Wer hat wen überholt?
Genau an dieser Stelle wird es unseriös.
Die OECD erklärt im Reader’s Guide zu PISA 2022, dass kleine Punktunterschiede nur zusammen mit statistischer Signifikanz und Konfidenzintervallen interpretiert werden dürfen. Anders gesagt: Zwei Länder können in der Tabelle mehrere Plätze auseinanderliegen und statistisch trotzdem nicht sauber voneinander zu unterscheiden sein.
Die OECD weist sogar in ihren PISA-FAQs darauf hin, dass exakte Rangplätze oft kein sinnvoller Maßstab sind. Eigentlich müsste also viel öfter von Leistungsgruppen oder Unsicherheitsbereichen die Rede sein. Stattdessen bekommen wir Schlagzeilen, die so tun, als sei Platz 9 eine klare Tatsache und Platz 13 schon fast eine nationale Krise.
Das ist journalistisch bequem, aber analytisch schwach. Denn eine Rangliste verwandelt fließende Unterschiede in harte Grenzen. Sie suggeriert Präzision, wo in Wahrheit Schätzungen mit Messfehlern, Stichprobenfehlern und methodischen Annahmen vorliegen.
Kurz gesagt: PISA kann Unterschiede sichtbar machen. Aber es produziert keine mathematisch saubere Bundesliga-Tabelle.
Schon die Stichprobe ist enger, als viele glauben
Ein zweites Missverständnis ist noch grundlegender. PISA testet nicht „alle Jugendlichen“ eines Landes, sondern 15-Jährige, die bestimmte Einschlusskriterien erfüllen und in Bildungseinrichtungen erfasst werden. Die Studie von Leslie und David Rutkowski zur vorsichtigeren Interpretation von PISA erinnert daran, dass diese Zielpopulation nicht identisch mit allen 15-Jährigen ist.
Das klingt technisch, ist aber politisch brisant. Denn in diesen Definitionen steckt bereits Systemrealität:
Wie viele Jugendliche sind zu diesem Zeitpunkt überhaupt in regulären Schulen?
Wer wird ausgeschlossen?
Wie verteilen sich Förderbedarfe, Sprachbarrieren oder Abwesenheiten?
Wie stark unterscheiden sich Bildungswege mit 15 bereits zwischen Ländern?
Die OECD setzt dafür zwar klare Standards. Im Reader’s Guide heißt es etwa, dass die definierte Zielpopulation mindestens 95 Prozent der gewünschten Zielpopulation abdecken soll. Aber schon diese Regel zeigt, wie weit der Weg von der simplen Schlagzeile „Land X ist besser als Land Y“ bis zur tatsächlichen Messung ist.
PISA ist also kein Blick aus dem All auf „Bildung“. Es ist ein aufwendig konstruierter Ausschnitt. Ein wertvoller Ausschnitt, aber eben ein Ausschnitt.
2022 war zusätzlich ein Sonderfall
Wer PISA 2022 liest, sollte außerdem nicht so tun, als habe diese Runde unter normalen Bedingungen stattgefunden. Die Tests waren pandemiebedingt von 2021 auf 2022 verschoben worden. Die OECD selbst schreibt, dass Lockdowns, Schulschließungen und Störungen im Erhebungsprozess zu zusätzlichen Problemen geführt haben.
Im Reader’s Guide finden sich deshalb Hinweise für mehrere Bildungssysteme, die bestimmte technische Standards etwa bei Ausschluss- oder Rücklaufquoten nicht vollständig erfüllten. Auch nationale Stellen wie das NCES in den USA erläutern, wie Non-Response-Bias-Analysen nötig wurden, um mögliche Verzerrungen einzuordnen.
Das heißt nicht, dass PISA 2022 unbrauchbar wäre. Es heißt aber sehr wohl, dass man die Ergebnisse mit derselben Vorsicht lesen sollte, die die Studie selbst an mehreren Stellen verlangt.
Wer also aus den 2022er Zahlen eine glasklare, zeitlose Rangordnung der Bildungssysteme bauen will, ignoriert bereits die Gebrauchsanweisung des eigenen Instruments.
Die eigentliche Geschichte heißt oft Ungleichheit
Noch gravierender ist, was durch den Ranking-Fetisch verdeckt wird. PISA erzählt nämlich nicht nur etwas über Durchschnittswerte, sondern auch über soziale Spaltung.
Laut OECD lagen 2022 im Schnitt der OECD-Länder sozioökonomisch privilegierte Jugendliche in Mathematik 93 Punkte vor benachteiligten Jugendlichen. Für Deutschland war der Abstand noch größer: In der deutschen Country Note nennt die OECD 111 Punkte. Außerdem erklärte der sozioökonomische Status in Deutschland 19 Prozent der Leistungsvarianz in Mathematik, verglichen mit 15 Prozent im OECD-Schnitt.
Das ist keine Fußnote. Das ist der Kern der Sache.
Denn wenn ein Land im Ranking mittelmäßig abschneidet, kann das sehr unterschiedliche Gründe haben. Vielleicht ist das Gesamtniveau schwach. Vielleicht ist die Spitze gut, aber der untere Bereich bricht weg. Vielleicht verteilt ein System Chancen besonders ungleich. Vielleicht erzeugt es im Durchschnitt nur deshalb akzeptable Werte, weil die privilegierten Gruppen viel kompensieren.
Die Rangliste verdichtet all diese Unterschiede zu einem einzigen Tabellenplatz. Genau dadurch verliert sie einen großen Teil der politisch interessanten Information.
Faktencheck: Warum der Mittelwert trügt
Ein Durchschnittswert kann steigen, obwohl benachteiligte Gruppen zurückfallen. Und er kann sinken, obwohl ein System gerechter wird. Ohne Blick auf Streuung und soziale Herkunft bleibt der Rangplatz analytisch dünn.
Warum Politik so gern auf die Tabelle starrt
Wenn das alles so offensichtlich ist, warum dominiert dann trotzdem die Ranglogik?
Weil Ranglisten politisch extrem praktisch sind.
Sie liefern einfache Sieger und Verlierer. Sie erzeugen Druck. Sie erlauben alarmistische Überschriften. Und sie bieten Regierungen wie Opposition einen sofort verständlichen Hebel: „Schaut, wir fallen zurück“ oder „Schaut, unser Reformkurs wirkt“.
Forschende wie Rie Kijima und Phillip Lipscy beschreiben internationale Tests deshalb nicht nur als Messinstrumente, sondern auch als Produzenten von Statushierarchien. Sobald ein Land eine Zahl und einen Platz bekommt, entsteht ein Reputationsspiel. Bildung wird in einen Wettbewerb übersetzt, in dem das Klettern auf der Liste selbst zum politischen Ziel werden kann.
Ähnliche Einwände gibt es seit Jahren in der Bildungsforschung. Radhika Gorur warnt vor einem „Seeing like PISA“: einer Sicht auf Schule, die nur noch das als real betrachtet, was in vergleichbare Indikatoren passt. Johanna Ringarp zeigt am Beispiel von Deutschland und Schweden, wie PISA als Legitimation für Reformen genutzt wurde. Nicht selten werden Ergebnisse also nicht nur ausgewertet, sondern politisch gerahmt, verkürzt und instrumentalisiert.
Das bedeutet nicht, dass Reformen nach PISA automatisch falsch sind. Es bedeutet nur: Wer sich auf PISA beruft, sollte präzise sagen, welcher Befund genau welche Maßnahme rechtfertigt. Dieser Schritt fehlt in der öffentlichen Debatte erstaunlich oft.
Was internationale Bildungsrankings trotzdem können
Die Versuchung wäre nun, das Pendel in die andere Richtung schlagen zu lassen und PISA für überschätzt oder überflüssig zu erklären. Das wäre ebenfalls falsch.
PISA ist nützlich, weil die Studie Dinge sichtbar macht, die nationale Selbstbilder gern verdecken:
ob Leistungsniveaus über die Jahre sinken oder steigen
wie stark soziale Herkunft mit Lernerfolg zusammenhängt
ob ein System Spitzenergebnisse nur mit harter Ungleichheit erkauft
ob benachteiligte Jugendliche trotz widriger Ausgangslagen resilient erfolgreich sein können
wie stark die Unterschiede innerhalb eines Landes im Vergleich zu denen zwischen Ländern ausfallen
Gerade weil PISA nicht nur testet, sondern auch Kontextdaten sammelt, ist die Studie mehr als ein Punktestand. Sie kann Hinweise auf Zusammenhänge liefern, die für Bildungspolitik wirklich relevant sind.
Der Fehler liegt also nicht darin, internationale Vergleiche anzustellen. Der Fehler liegt darin, diese Vergleiche auf den Tabellenplatz zu schrumpfen.
Was eine erwachsene PISA-Debatte tun würde
Eine ernsthafte Debatte über die PISA-Studie würde bei jeder Veröffentlichung mindestens fünf Fragen stellen:
Welche Unterschiede sind statistisch überhaupt belastbar?
Was genau misst der Test in dieser Runde und was gerade nicht?
Wie sehen Streuung, Ungleichheit und Risikogruppen aus?
Welche methodischen Einschränkungen gab es in der Erhebung?
Welche Reformfolgerungen lassen sich aus den Daten wirklich ableiten und welche werden nur politisch hineingelesen?
Das klingt weniger dramatisch als „Bildungsdesaster“, wäre aber deutlich näher an der Wirklichkeit.
Deutschland wäre damit übrigens nicht schlechter beraten, sondern besser. Denn die OECD-Daten legen nahe, dass hier nicht einfach irgendein diffuser „Leistungsabfall“ diskutiert werden sollte, sondern sehr konkret die Verbindung von Kompetenzniveau, sozialer Herkunft und Systemträgheit. Wer nur auf den Platz in der Tabelle starrt, unterschätzt womöglich genau die Baustellen, die tatsächlich bearbeitet werden müssten.
PISA ist kein Orakel, sondern ein Werkzeug
Die vielleicht wichtigste Erkenntnis lautet deshalb: PISA ist weder die Wahrheit über Bildung noch bloß ein mediales Spektakel. Es ist ein Werkzeug. Ein anspruchsvolles, nützliches, aber begrenztes Werkzeug.
Werkzeuge haben einen Sinn, wenn man sie richtig benutzt. Ein Thermometer taugt viel, aber niemand würde aus einer Temperaturmessung allein die ganze Krankengeschichte eines Menschen ableiten. Bei PISA geschieht genau das ständig: Ein einzelner Indikator wird zur Generaldiagnose eines ganzen Systems aufgeblasen.
Internationale Bildungsrankings sagen also nicht nichts. Sie sagen sogar eine Menge. Aber sie sagen weniger über nationale Ehre und mehr über Messgrenzen, soziale Ungleichheit und politische Deutungsmuster, als uns die Schlagzeilen glauben machen.
Vielleicht wäre das schon ein Fortschritt: PISA nicht länger als jährliche Kränkung oder Trophäe zu behandeln, sondern als Anlass, präziser über Bildung zu sprechen.
Kommentare