L'error PISA i els seus misteris

En aquesta nova edició, l’informe PISA arriba a la seva majoria d’edat: ja ha fet els 18 anys. Des dels seus inicis, l’any 2000, una de les principals virtuts del PISA ha estat la d’oferir dades d’avaluació independents. Això té una importància enorme en un país com el nostre, on no tenim la tradició que tenen els països nòrdics o anglosaxons de fer avaluacions externes i independents, o d’una cultura de la transparència i la rendició de comptes. El PISA ha estat clau per oferir dades que permeten comparar-nos amb altres països, i entre comunitats autònomes. Cada tres anys ha permès valorar l’evolució dels resultats escolars dels alumnes de 15 anys, i comparar-nos. El fet que les dades PISA siguin de fàcil accés per als investigadors –quan aquí les dades són escasses– ha permès als que fan recerca educativa treballar amb dades gratuïtes, fiables i comparables. És un fet força excepcional i per això l’OCDE i el PISA són un referent en el món de la recerca educativa, on la inversió està sota mínims.

Hem fet molts aprenentatges del PISA comparant països i polítiques educatives. En concret sabem que els països amb millor rendiment escolar també són els que tenen més cura per l’equitat. El PISA ens ha introduït la cultura de l’avaluació i l’aprenentatge per competències. A Catalunya des del 2008 tenim proves externes de competències bàsiques, que es proposen l’objectiu de millorar els resultats i el sistema. Si bé és cert, també, que la gran crítica al PISA és la seva limitació: no totes les competències s’avaluen, i prou sabem que per tenir èxit a la vida no tot es redueix a ser competent en ciències, matemàtiques o lectura. Aviat sortiran noves dades del mateix PISA sobre “competències globals”, que mesuren actituds molt més properes al que entenem per “educació a la ciutadania”, i que no cal dir que són més necessàries que mai. Quin sentit té que els països on no es respecten els drets humans esdevinguin referents en educació pel fet de ser al “top del rànquing” dels resultats PISA?

No sempre, però, hem fet cas del que ens deia l’OCDE. Un exemple trist és el de la repetició escolar: el PISA ens diu que repetim el triple a Espanya que la mitjana de l'OCDE. El mateix passa amb l’agrupament per nivells: va ser gràcies al PISA que vam saber que és una pràctica estesa i contraproduent. L’OCDE i el PISA també ens han dit que els països capdavanters són els que més fan per seleccionar, atreure, formar, prestigiar i retenir els docents: tenim molts deures per fer. L’exemple paradigmàtic ha estat Finlàndia i els seus deixebles, que els han passat al davant, com Estònia, que ja ocupa el primer lloc a Europa. El PISA permet compartir i aprendre entre països, més enllà de competir. Per això Andreas Schleicher (el pare del PISA) organitza reunions per invitació i a porta tancada de ministres i representants sindicals i altres líders docents: per debatre i aprendre junts sobre els sistemes d’alt rendiment a partir dels resultats comparats del mateix PISA.

El que ha passat amb el darrer PISA a Espanya desdiu de la cultura que dèiem de transparència i rigor. És molt estrany que a darrera hora l’OCDE anunciï que els resultats de les proves de lectura –corresponents al 50%– no es publiquen per greus anomalies en els resultats. Per què es va anunciar això només 15 dies abans que es fes públic l’informe? I encara més, per què es publiquen uns resultats que la mateixa OCDE diu que estan afectats i que en els propers mesos en mesurarà el nivell d’error? La cuina del PISA no és tan transparent com les dades un cop publicades. Sabem que, en passar de la prova en paper i llapis a la prova a l’ordinador el 2015 a la majoria de països, els que van fer la prova informàtica van obtenir una puntuació molt inferior a la dels companys a qui es va assignar aleatòriament la prova en paper –amb diferències de vegades equivalents a 20 punts! (que corresponen a sis mesos d’escolarització addicional)–. Sembla que el mateix PISA ho ha compensat però no ha pogut erradicar el problema. Diferències postcorrecció de 10 punts de la prova PISA entre el paper i l’ordinador segueixen sent relativament freqüents (John Jerrim, IOE-UCL).

Què ha passat a Espanya? Quan i com es decideix no publicar les dades de lectura? Potser no ho sabrem mai del tot. Potser l’error no és del PISA sinó de la gestió espanyola del PISA, i de la desconfiança entre govern central i autonomies. ¿Però podem fer interpretacions d’unes dades de matemàtiques i ciències de les quals la mateixa OCDE posa en dubte la qualitat? Tanmateix, llegim anàlisis que fan explicacions i interpreten la baixada de nivell dels alumnes i l’estancament dels resultats, o l’efecte de la generació de les retallades. Hi ha massa interessos dels uns i els altres en joc. Estarem d’acord fàcilment que cal invertir i millorar el finançament i les polítiques educatives –però serà millor no fonamentar-ho en dades discutibles, que encara s’estan revisant.

I Catalunya? Si la ministra Celaá ha dit més d’un cop que el Canadà és el seu model, prou deu saber que els representants dels estats canadencs participen directament a les reunions OCDE. El mateix passa amb el Regne Unit: els representants d’Escòcia són interlocutors directes de l’OCDE. Ja que les comunitats autònomes paguen la seva mostra –i l’ampliació de la mostra, si és el cas–, per què no poden preguntar directament al senyor Schleicher què ha passat, o fer l’anàlisi del que ha passat, i sobretot participar en la presa de decisions? ¿No seria més fàcil entre tots esbrinar on ha estat l’error?