El distorsionado uso de los resultados de PISA

Atención, se abre en una ventana nueva. PDFImprimirCorreo electrónico


Add this to your website

Regiones 18 09 2016

Los puntajes de PISA se han convertido en un referente mundial sobre buenos logros escolares, pero su relevancia merece una revisión. Para empezar, PISA corresponde a criterios curriculares del siglo XX y no del XXI. Sus pruebas miden conocimientos y habilidades sobre áreas curriculares similares de los últimos 120 años, distantes de las habilidades para la vida en el siglo XXI. No mide resiliencia, persistencia, colaboración, cooperación, conciencia cultural, capacidad de diseñar estrategias, empatía, compasión, pensamiento divergente ni creatividad.

Sus puntajes están fuertemente influidos por el nivel de pobreza y bienestar de los evaluados, así como factores extraescolares que contribuyen al desempeño general de la educación en un país.

Tampoco es sostenible argumentar una correlación entre sus puntajes, la competitividad y el desarrollo económico de los países. Veamos:

1). El desarrollo de países al que contribuyen los adultos entre 25-65 años no corresponde a los puntajes de los países que dan las pruebas PISA con jóvenes de 15 años de edad. Japón que desde hace 15 años mantiene altos puntajes en PISA, tiene una economía estancada. 

2). ¿Tiene sentido decir que en 3 años desde el año 2012 el sistema educativo de Finlandia se cayó porque en el año 2015 se cayeron sus puntajes en PISA, o más bien que los asiáticos se han dedicado a entrenarse intensamente para esas pruebas? 

3). Hong Kong y Macao no representan la realidad educativa de China. Son regiones con administración especial cuyos colegios no siguen las pautas centrales de China. Shanghai que lidera PISA es una ciudad de apenas 23 millones de chinos (1.5% de la población total) que incluyen 140,000 millonarios  que hacen de esa ciudad una de las más altas nivel de educación en el mundo. 84% de los egresados de sus secundarias van a la universidad comparado con menos del 25% del resto de China. Además, la secundaria es pagada y solo da acceso a los que pagan, por lo que la muestra de estudiantes que dan PISA es recortada hacia arriba.

4). Países como Estonia, Slovenia, Eslovaquia, Polonia y Latvia superan en puntajes a EE.UU. siendo este país líder mundial en creatividad, innovación, emprendedurismo y  generación de patentes.  

Son unos cuantos argumentos como para repensar el tema.

En FB https://www.facebook.com/leon.trahtemberg/posts/861530200614183?pnref=story

Columnas afines:
 
“PISA conduce a los países a no modernizar sus sistemas educativos”. La asesora en innovación educativa de la OCDE Valerie Hannon cree que el sistema de evaluación de PISA es "limitado" porque mide competencias demasiado académicas  
 
La OCDE imbeciliza el concepto de conocimiento a través de PISA. Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica.  Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. 

“En la evaluación, la LOMCE ha sido un obstáculo en el camino que se había emprendido” Paco Luna, experto en evaluación de Euskadi, sobre sus límites y sus posibilidades. Estas evaluaciones son técnicamente potentes, pero tienen limitaciones. Una muy fuerte es cuando se llega al nivel de resultados de alumnos. En ocasiones, los que estamos en este campo actuamos con una cierta arrogancia técnica, pensando que nuestros instrumentos son capaces de describir mejor la situación de aprendizaje de un centro que las pruebas que hace el propio centro.  Es cierto que hay quejas en ese sentido, pero está muy relacionado con dónde sitúas la evaluación. Si lo haces como referencia única de un centro, entonces es normal que se pongan nerviosos, porque les estás dando una única fotografía que tienen que trasladar a las familias. Pero si les garantizas que es una información interna, sin rankings ni difusión de esa información, y que tienen autonomía para actuar a partir de esos resultados, no tiene por qué ser así. Si es una información complementaria periódica para compararte con otros centros y puedes analizar qué cambiar, estas evaluaciones aportan información y no tienen por qué ponerte demasiado nervioso porque no tienen consecuencias directas ni en el sueldo ni en los resultados académicos; es una información más para la toma de decisiones. 

"International Comparisons: More Fizzle than Fizz" by Gerald Bracey  Fellow at the Education Policy Studies Laboratory at Arizona State University

How Does PISA Put the World at Risk (Part 1): Romanticizing Misery by Yong Zhao 

How Does PISA Put the World at Risk (Part 2): Glorifying Educational Authoritarianism by Yong Zhao 

How Does PISA Put the World at Risk (Part 3): Creating Illusory Models of Excellence by Yong Zhao 

How Does PISA Put the World at Risk (Part 4): Misleading the World by Yong Zhao 

How Does PISA Put the World at Risk (Part 5): Racing to the Past by Yong Zhao 

LT: ¿Por qué China y Singapur, campeones PISA no son capaces de producir un Steve Jobs o un Mark Zuckerberg? ¿Qué  no nos dice PISA respecto a superpotencias creativas como Estados Unidos e Israel? Qué  preferimos en Perú ¿ver a PISA como referente para nuestras metas educativas o a las grandes incubadoras de talentos que hay en EE.UU. Israel, Holanda, Alemania, etc? http://www.woz.org/in-the-news/2011/bbc-news-audio-today-steve-wozniak-think-yourself

En FB: https://www.facebook.com/leon.trahtemberg/posts/882370345196835?pnref=story 

Interesante gráfico que muestra una correlación opuesta entre emprendedurismo de las naciones medido por Global Entrepreneurship Monitor survey 2011) y los puntajes de las pruebas PISA (2009). Vale la pena que los "hinchas" de PISA (entre los que no me incluyo) le presten atención. (Yong Zhao, World Class Learners, pag12). https://www.facebook.com/photo.php?fbid=882495015184368&set=a.146081782159032.21853.100002716323653&type=3&theater

OECD and Pisa tests are damaging education worldwide - academics  The Guardian 06 05 2014 In this letter to Dr Andreas Schleicher, director of the OECD's Programme for International Student Assessment, academics from around the world express deep concern about the impact of Pisa tests and call for a halt to the next round of testing "We are frankly concerned about the negative consequences of the Pisa rankings. These are some of our concerns"  

La OCDE imbeciliza el concepto de conocimiento a través de PISA Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica. Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. Y esto va bajando hasta la directora de escuela. 

 El gigante chino de la educación New Oriental Education & Technology Group Inc anticipa a los alumnos las preguntas que vendrán en el SAT o TOEFL para que saquen mejores puntajes.  (¿Toda vía hay quienes piensan que los exámenes internacionales que se rinden periódicamente no pueden ser entrenables/engañables y con ello darle ventajas a unos contra otros -frente a los que sostienen que hacen mediciones imparciales en condiciones equitativas-?)  

Jugando con las muestras evaluadas PISA ha permitido que china y varios países asiáticos la conviertan en una herramienta de propaganda (Forbes, 4/1/2017) Are The PISA Education Results Rigged? What this means in practice is the ability of some education administrators choosing their top-performing students from smaller samples in cities or city-states such as Chinese Taipei, Macao, Hong Kong and Singapore. The PISA results appear to be a huge propaganda victory for the educational systems of Asians and the Chinese. But the real danger in widely circulating the PISA results lies not in fooling thousands of headline readers around the world, but in the complicit cover-up of the huge disparities in education among Asian provinces. By allowing countries to potentially rig the test, the OECD is failing in its mandate to help governments foster prosperity by providing information  

14 12 2016 Instituciones y personalidades internacionales firman “Manifiesto internacional contra PISA y la lógica estandarizadora de la educación en el mundo”  Ante la sexta entrega de los resultados del Programa Internacional para la Evaluación de Estudiantes (PISA), los abajo firmantes declaramos nuestro más absoluto rechazo a la prueba, a sus versiones nacionales, y a la lógica homogeneizadora de los sistemas educacionales que se impone. 

España "El fin de la educación no es crear seres empleables, sino íntegros" (César Bona, España) Bona promueve un cambio educativo basado en el aprendizaje competencial, donde se ponga al centro al niño, no las notas ni el currículo educativo ni el maestro. “El fin de la educación no es crear seres empleables. Hay gente que solo piensa que hay que formar para trabajar, pero de lo que se trata es de crear seres íntegros. Cualquier jefe o compañero requiere gente que vea retos en lugar de problemas, que sean creativos, que sepan trabajar en equipo, respetuosos… Todo eso es lo que debe trabajarse." "Hay que parar de tanto conocimiento e invitar a la reflexión a los niños también y dar importancia a cuestiones como la autoestima. El factor que más influye en el éxito académico es el autoconcepto y las expectativas que tienen los demás de ti. Para formar seres íntegros, el conocimiento es una de las partes que hay que tener en cuenta, pero es preciso educar en la frustración, en la resiliencia, en la autoexigencia, en el respeto a las diferencias… Y todo eso no se tiene en cuenta en PISA".  

Artículos afines:

No hay correlación entre puntajes en PISA, competitividad y desarrollo económico

"No creo en los resultados de PISA" El presidente del Instituto Weizmann pide que la educación fomente la imaginación. Zajfman preside el Instituto Weizmann de Israel, el sexto mejor centro educativo de ciencias —según el Índice de Innovación Natural 2017— y el único no estadounidense entre los diez que encabezan el ranking. En sus años como investigador de Física Molecular y luego dirigiendo a este instituto que sacó tres premios Nobel, comprobó que "sin el uso de la imaginación, la Matemática y la Física son inútiles". Es por eso que este científico descree de los resultados de las pruebas PISA, las que miden la capacidad de resolución de problemas en Matemática, Ciencia y Lengua en alumnos de 15 años. "La ciencia consiste en hacer buenas preguntas o pensar varias respuestas a un problema. No tiene sentido que se le pida al estudiante que memorice una respuesta concreta para un tipo de dificultad". 

Ya sabemos cómo serán los próximos resultados de PISA

PISA distorsiona la educación (Revista Padres-Cosas 208)

PISA: Me arrepiento de sobrevalorarla

¿Cuándo y adónde medir la calidad de la educación?

PISA 2012 ¿Qué tanta sorpresa?

Perú en las pruebas PISA 2009

PISA 2009 sigue dando que hablar

Evaluación Pisa 2002. Otra vez, los coleros de la Educación Mundial

Números y educación (Santiago Cardozo)   Exaspera un poco ver cómo la reflexión sobre educación ha sido plenamente copada por el “virus” de los números: encuestas, porcentajes, indicadores, gráficas de barra o de torta o de líneas o de lo que sea, esta parece ser la lógica que asume hoy la reflexión sobre la educación; especie de zona dentro de la cual se puede reflexionar sobre lo educativo. Llegados a este punto, es como si la educación se identificara punto por punto con el aparato estadístico que procura “reflejarla”.

¿Por qué este aparato estadístico se ha vuelto la forma misma de la reflexión sobre la educación? ¿Por qué las autoridades educativas se mueven de acuerdo con esta lógica, situándola en el centro del debate y de sus decires, como si lo educativo no fuera más que un estado traducible a porcentajes, indicadores, expresable en intrincadas grillas de medición de la realidad misma? ¿Por qué esta necesidad de lo estadístico?   

RESULTADOS DE PISA 2016 FAVORECEN AL PERÚ 

En la entrevista de Fernando Vivas que publica El Comercio de hoy 27/11, el Ministro Jaime Saavedra anuncia que el 5 de diciembre se levantará la autocensura de los ministerios de educación para dar la información de los resultados de PISA 2015 que hace semanas ya tienen en su poder.  

—FV: El 5 de diciembre conoceremos los resultados de las pruebas PISA.

JS: La última vez éramos los últimos, pero éramos el país que más había mejorado.

—FV:¿Se anima a hacer una apuesta sobre cuánto habremos ascendido?

JS: No, porque la OCDE es muy pulcra al anunciar la prueba. Lo que sé es que hemos mejorado.

LT: Algunos funcionarios de otros países han filtrado los resultados que coinciden con lo que dice Jaime  Saavedra, en el sentido de que el resultado del Perú lo coloca en un orden de mérito algo mejor que en Pisa 2012. Al parecer eso ocurre por haberse sumado más países "débiles" al conjunto de países   participantes, en un contexto en el que  toda la educación de América Latina está en crisis. Sin embargo, no dejará de ser una buena noticia para la debilitada autoestima nacional en materia educativa y para dar ánimos al equipo ministerial de Saavedra para seguir con los esfuerzos de reflotar la educación peruana.

Particularmente espero que la publicación de esos resultados no perturbe el entendimiento de que 1) PISA son pruebas cuyo valor es muy limitado y sus rankings como sinónimo de mejor o peor calidad de la educación son  crecientemente cuestionados por analistas en diversos países (Ejemplo: si Finlandia cae 5 a 10 puestos de una PISA a otra o China sube esos 5 puestos, quiere decir que en 3 años se malogró la calidad de la educación finlandesa o se disparó la calidad de la china?) y  2) Subir o bajar unos puestos en el grupo de lo que PISA rankea como los coleros no debería distraer los esfuerzos por encontrar fórmulas peruanas que promuevan la innovación educativa y los saltos de calidad educativa  más rápidos y eficaces.. El próximo CADE será una oportunidad para apuntalar esta urgencia.  

GESTIÓN 25/11/2016: PISA 2015: OCDE anuncia la fecha en que se presentarán los resultados de la prueba escolar

En FB https://www.facebook.com/groups/comitedelectura/permalink/1879552985610495/

En FB https://www.facebook.com/leon.trahtemberg/posts/918814524885750?pnref=story

============================================================= 

#1 También  hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

Enderezando la torre de PISA, por Sergio Urzua. Sostiene que: "Sin entrar en los desafíos técnicos que implica examinar el punto, cabe recordar que la literatura ha documentado una asociación robusta entre PISA y el desempeño económico de los países (Hanushek y Woessmann, 2012), dimensión de incuestionable trascendencia. La lógica es simple: mejores sistemas educativos generan individuos mejor preparados para enfrentar el mercado laboral y, por lo tanto, en el mediano y largo plazo esto se debería traducir en un mayor crecimiento económico. De hecho, a la luz de dicha evidencia, es posible estimar que los avances del Perú en PISA ya habrían significado un aumento de casi 4% en el producto per cápita del país, no el actual, sino el del 2050. Es que los retornos económicos de hacer las cosas bien en educación toman tiempo, pero se acumulan y tarde o temprano se concretan."

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo  miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas a las de los académicos citados en esta columna)

#2 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

The Economist editorializa valorando PISA. Dice: Culture or policy? What the world can learn from the latest PISA test results

Sostiene que: "PISA has flaws. It is one of many standardised tests, and tests are not all there is to learning. But it matters. It is the most influential research report in education for good reason. It offers informed guidance on what policymakers should do to fix their school systems. Just as importantly, it tells them what not to do".

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas-opuestas a las de los otros académicos consultados por The Economist)

#3 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

ANDRÉS OPPENHEIMER El desastre educativo de las AméricasSostiene que: "En Singapur y Pekín, visité los institutos privados nocturnos que enseñan matemáticas, ciencias e inglés, y me sorprendió verlos repletos de estudiantes hasta altas horas de la noche. A las 9 de la noche, vi a estudiantes sentados en sus pupitres con los mismos uniformes escolares con los que habían salido de sus casas a las 6:30 de la mañana.

Lo que es más, sus padres y abuelos estaban sentados en la parte de atrás del aula, matando el tiempo leyendo revistas, para luego llevarlos a sus casas. Una parte considerable de la población de estos países tiene una cultura familiar de educación: los padres y los abuelos invierten gran parte de su tiempo y dinero en la educación de sus hijos"

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. En el caso de Oppenheimer coincido con las conclusiones pero no con su admiración a los resultados de PISA porque el retraso al que alude no requiere de PISA para reconocerse, ni requiere poner a PISA como el referente para reformular la educación de nuestros países, entre otras razones porque las habilidades del pasado no equivalen a las requeridas para el futuro, aunque en EE.UU. suele ser una convicción muy popular. Por lo demás no imagino que la familia y cultura latinoamericana pueda ni quiera reproducir el modelo de estudiante asiático que describe)