Las pruebas PISA son como una religión

Atención, se abre en una ventana nueva. PDFImprimirCorreo electrónico


Add this to your website

El Tiempo 05 11 216 Regiones 06 11 2016 (Artículo basado en el Capítulo 1  “The Wrong Bet “ de World Class Learners de Yong Zhao

Al igual que la religión tiene dogmas fundacionales y recetas para la buena conducta (para ser bien visto a los ojos de Dios) PISA tiene sus dogmas fundacionales que prometen que los mejores tendrán una economía con alta competitividad y recetas para el buen desempeño basadas en cumplir con los estándares en ciertas áreas evaluables. La OECD es el Vaticano de PISA donde están el Papa y los Sumo Sacerdotes del saber escolar liderando su iglesia mundial. Entre sus súbditos hay muchos políticos y gobernantes como los peruanos. Yo pertenezco al equipo de los herejes críticos a PISA, TIMSS (y sus hermanos menores como las ECE nacionales).

PISA pretende la homogenización de los aprendizajes de los alumnos que deben consumir la misma dieta educacional a lo largo de todo el planeta obligando a los profesores a estandarizar sus enseñanzas y evaluaciones (¿en nombre del respeto por las diferencias?). Con ello lo único que se logra es estrechar el currículo porque lo que será evaluado es lo que adquiere mayor jerarquía en el imaginario de la comunidad y en las decisiones políticas de financiamiento, plan de horas, evaluaciones y bonificaciones. La enseñanza se reduce a un entrenamiento para dominar ciertas habilidades básicas dañando la formación de los alumnos que deben enfrentar una sociedad crecientemente globalizada, interdependiente e interconectada confrontada con continuamente cambiantes tecnologías y altas demandas al pensamiento creativo, divergente y original. 

Las oportunidades laborales ya no son locales sino planetarias, porque pueden ser tercerizadas y realizadas en lugares remotos, ya que a igualdad de capacitación se contrata a quien lo hace al menor precio. Lograr mejorar puntajes en pruebas homogéneas de habilidades básicas o actividades con rutas pre establecidas se logra a menores costos en los países en desarrollo, especialmente los asiáticos (que de hecho destacan en eso).  

Si el sistema educación debe preparar alumnos para trabajos que aún no existen con tecnologías que aún no se conocen para resolver problemas que aún no han aparecido, ¿qué sentido tiene  asumir que hay conocimientos y habilidades prescritas que serán la clave del éxito futuro?. Más aún, cuando sabemos que los trabajos que puedan estandarizarse serán reemplazados por los robots. 

Las ventajas entonces de una buena educación la tendrán quienes sepan diferenciarse por su originalidad, creatividad, capacidad de investigar cosas nuevas y “salirse de la caja”, aptitudes que están ausentes de las pretensiones de las pruebas PISA.

Quien sabe ser herejes ante PISA nos dé más luces respecto a la opaca educación actual y las metodologías con las que se implementa.  

En FB: https://www.facebook.com/leon.trahtemberg/posts/897393410361195?pnref=story

Artículos afines:

Expert Yong Zhao: How PISA created an illusion of education quality and marketed it to the world 

“PISA conduce a los países a no modernizar sus sistemas educativos”. La asesora en innovación educativa de la OCDE Valerie Hannon cree que el sistema de evaluación de PISA es "limitado" porque mide competencias demasiado académicas  

Las pruebas educativas a gran escala (como PISA) a menudo conllevan efectos secundarios. PISA según la investigación, tiene con algunos efectos secundarios graves y perjudiciales. Estudiantes en países que obtuvieron los mejores resultados en el PISA 2018 a menudo tienen un bienestar inferior, medido por la satisfacción de los estudiantes con la vida y la escuela. y promedio de desarrollo ". "Las evaluaciones a gran escala pueden proporcionar información útil para la política educativa, pero la dependencia excesiva de los resultados de las pruebas puede causar problemas. Cuando el enfoque se centra en los puntajes de los estudiantes y la clasificación de los países, otras cosas importantes, como la creatividad, el pensamiento empresarial, el bienestar social y emocional ser crítico y el pensamiento crítico podrían descuidarse. Estos preciados resultados educativos son cosas que las evaluaciones a gran escala a menudo no logran captar ". 

La OCDE imbeciliza el concepto de conocimiento a través de PISA. Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica.  Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. 

VIDEO La Voz de Iñaki: El informe Pisa Critica al uso público de las pruebas PISA diseñadas además para lidiar con el pasado más que con el futuro

“En la evaluación, la LOMCE ha sido un obstáculo en el camino que se había emprendido” Paco Luna, experto en evaluación de Euskadi, sobre sus límites y sus posibilidades. Estas evaluaciones son técnicamente potentes, pero tienen limitaciones. Una muy fuerte es cuando se llega al nivel de resultados de alumnos. En ocasiones, los que estamos en este campo actuamos con una cierta arrogancia técnica, pensando que nuestros instrumentos son capaces de describir mejor la situación de aprendizaje de un centro que las pruebas que hace el propio centro.  Es cierto que hay quejas en ese sentido, pero está muy relacionado con dónde sitúas la evaluación. Si lo haces como referencia única de un centro, entonces es normal que se pongan nerviosos, porque les estás dando una única fotografía que tienen que trasladar a las familias. Pero si les garantizas que es una información interna, sin rankings ni difusión de esa información, y que tienen autonomía para actuar a partir de esos resultados, no tiene por qué ser así. Si es una información complementaria periódica para compararte con otros centros y puedes analizar qué cambiar, estas evaluaciones aportan información y no tienen por qué ponerte demasiado nervioso porque no tienen consecuencias directas ni en el sueldo ni en los resultados académicos; es una información más para la toma de decisiones. 

VIDEO Redes y Poder presentación y análisis #entrevista a León Trahtemberg, 08-12-2016  Entrevista de Alfonso Baella a León Trahtemberg sobre la coyuntura política, el sentido de los resultados de PISA, el rol del ministro de Educación Jaime Saavedra, la promoción de la innovación, y el pacto político por la educación

OECD and Pisa tests are damaging education worldwide - academics  The Guardian 06 05 2014 In this letter to Dr Andreas Schleicher, director of the OECD's Programme for International Student Assessment, academics from around the world express deep concern about the impact of Pisa tests and call for a halt to the next round of testing "We are frankly concerned about the negative consequences of the Pisa rankings. These are some of our concerns"  

(Brillante) Yong Zhao: What Brexit and U.S. Election Surprises Can Teach Us about PISA   PISA’s confidence in the predictive power of its assessment also comes from the past. The subjects it chose to assess–science, reading, and math—have long been believed as important for success in life all over the world. They have been the core subject matter schools teach worldwide with the belief that they are essential for living in the modern age. But will these subjects turn out to help today’s fifteen-year olds ten, twenty, or thirty years later? Are they right candidates for all people in the future, or might different individuals need different sets of skills and knowledge?

Does PISA results in reading, math, and science accurately capture the domains of expertise each individual needs for successful participation in the future society anywhere in the world?

PISA not only tries to use its test results in these subjects to predict what skills and knowledge fifteen-year olds will need to succeed in the future, it also disseminates, based on these scores, education policies and practices it believes will equip children with these skills and knowledge. It has the potential to affect the livelihood of hundreds of millions of children, hence the entire world. The consequences are serious. The stakes are so high. Therefore, we must question the quality of the PISA results before eagerly jumping to conclusions. Don’t read too much into it. 

La OCDE imbeciliza el concepto de conocimiento a través de PISA Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica. Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. Y esto va bajando hasta la directora de escuela. 

"No creo en los resultados de PISA" El presidente del Instituto Weizmann pide que la educación fomente la imaginación. Zajfman preside el Instituto Weizmann de Israel, el sexto mejor centro educativo de ciencias —según el Índice de Innovación Natural 2017— y el único no estadounidense entre los diez que encabezan el ranking. En sus años como investigador de Física Molecular y luego dirigiendo a este instituto que sacó tres premios Nobel, comprobó que "sin el uso de la imaginación, la Matemática y la Física son inútiles". Es por eso que este científico descree de los resultados de las pruebas PISA, las que miden la capacidad de resolución de problemas en Matemática, Ciencia y Lengua en alumnos de 15 años. "La ciencia consiste en hacer buenas preguntas o pensar varias respuestas a un problema. No tiene sentido que se le pida al estudiante que memorice una respuesta concreta para un tipo de dificultad". 

También en EE.UU. hay debate U.S. Math Scores Fall in Global Rankings

The latest PISA rankings show a decline in U.S. math scores, but experts say that focusing on successes at home may be more important.

While PISA may be a wake-up call for some, for others, like Stanford University Professor Martin Carnoy, the international comparisons are deceptive.

Carnoy, who has spent more than 20 years researching international education, says the rise and fall of PISA scores typically has less to do with a country’s education system and more to do with demographic changes. He warns educators and policy makers against comparing countries with completely different populations, cultures, economies, and attitudes toward education.

“The biggest problem is presenting test scores without correcting for social class differences, both between countries and within a country over time,” said Carnoy, “One should be very careful about jumping to conclusions about what these test score comparisons mean: These tests were never meant to be a race, and we weren’t supposed to be the horses.”

Carnoy says U.S. educators trying to make sense of PISA can learn more from what’s happening in some of our states’ most successful education systems, like the one in Massachusetts, rather than from what’s happening in South Korea. 

Números y educación (Santiago Cardozo)   Exaspera un poco ver cómo la reflexión sobre educación ha sido plenamente copada por el “virus” de los números: encuestas, porcentajes, indicadores, gráficas de barra o de torta o de líneas o de lo que sea, esta parece ser la lógica que asume hoy la reflexión sobre la educación; especie de zona dentro de la cual se puede reflexionar sobre lo educativo. Llegados a este punto, es como si la educación se identificara punto por punto con el aparato estadístico que procura “reflejarla”.

El gigante chino de la educación New Oriental Education & Technology Group Inc anticipa a los alumnos las preguntas que vendrán en el SAT o TOEFL para que saquen mejores puntajes.  (¿Toda vía hay quienes piensan que los exámenes internacionales que se rinden periódicamente no pueden ser entrenables/engañables y con ello darle ventajas a unos contra otros -frente a los que sostienen que hacen mediciones imparciales en condiciones equitativas-?)  

Jugando con las muestras evaluadas PISA ha permitido que china y varios países asiáticos la conviertan en una herramienta de propaganda (Forbes, 4/1/2017) Are The PISA Education Results Rigged? What this means in practice is the ability of some education administrators choosing their top-performing students from smaller samples in cities or city-states such as Chinese Taipei, Macao, Hong Kong and Singapore. The PISA results appear to be a huge propaganda victory for the educational systems of Asians and the Chinese. But the real danger in widely circulating the PISA results lies not in fooling thousands of headline readers around the world, but in the complicit cover-up of the huge disparities in education among Asian provinces. By allowing countries to potentially rig the test, the OECD is failing in its mandate to help governments foster prosperity by providing information  

España "El fin de la educación no es crear seres empleables, sino íntegros" (César Bona, España) Bona promueve un cambio educativo basado en el aprendizaje competencial, donde se ponga al centro al niño, no las notas ni el currículo educativo ni el maestro. “El fin de la educación no es crear seres empleables. Hay gente que solo piensa que hay que formar para trabajar, pero de lo que se trata es de crear seres íntegros. Cualquier jefe o compañero requiere gente que vea retos en lugar de problemas, que sean creativos, que sepan trabajar en equipo, respetuosos… Todo eso es lo que debe trabajarse." "Hay que parar de tanto conocimiento e invitar a la reflexión a los niños también y dar importancia a cuestiones como la autoestima. El factor que más influye en el éxito académico es el autoconcepto y las expectativas que tienen los demás de ti. Para formar seres íntegros, el conocimiento es una de las partes que hay que tener en cuenta, pero es preciso educar en la frustración, en la resiliencia, en la autoexigencia, en el respeto a las diferencias… Y todo eso no se tiene en cuenta en PISA".  

Columnas afines:

El distorsionado uso de los resultados de PISA

No hay correlación entre puntajes en PISA, competitividad y desarrollo económico

Ya sabemos cómo serán los próximos resultados de PISA

PISA distorsiona la educación (Revista Padres-Cosas 208)

PISA: Me arrepiento de sobrevalorarla

¿Cuándo y adónde medir la calidad de la educación?

PISA 2012 ¿Qué tanta sorpresa?

Perú en las pruebas PISA 2009

PISA 2009 sigue dando que hablar

Evaluación Pisa 2002. Otra vez, los coleros de la Educación Mundial  ¿Por qué este aparato estadístico se ha vuelto la forma misma de la reflexión sobre la educación? ¿Por qué las autoridades educativas se mueven de acuerdo con esta lógica, situándola en el centro del debate y de sus decires, como si lo educativo no fuera más que un estado traducible a porcentajes, indicadores, expresable en intrincadas grillas de medición de la realidad misma? ¿Por qué esta necesidad de lo estadístico?   

"International Comparisons: More Fizzle than Fizz" by Gerald Bracey  Fellow at the Education Policy Studies Laboratory at Arizona State University

How Does PISA Put the World at Risk (Part 1): Romanticizing Misery by Yong Zhao 

How Does PISA Put the World at Risk (Part 2): Glorifying Educational Authoritarianism by Yong Zhao 

How Does PISA Put the World at Risk (Part 3): Creating Illusory Models of Excellence by Yong Zhao 

How Does PISA Put the World at Risk (Part 4): Misleading the World by Yong Zhao 

How Does PISA Put the World at Risk (Part 5): Racing to the Past by Yong Zhao 

LT: ¿Por qué China y Singapur, campeones PISA no son capaces de producir un Steve Jobs o un Mark Zuckerberg? ¿Qué  no nos dice PISA respecto a superpotencias creativas como Estados Unidos e Israel? Qué  preferimos en Perú ¿ver a PISA como referente para nuestras metas educativas o a las grandes incubadoras de talentos que hay en EE.UU. Israel, Holanda, Alemania, etc? http://www.woz.org/in-the-news/2011/bbc-news-audio-today-steve-wozniak-think-yourself

En FB: https://www.facebook.com/leon.trahtemberg/posts/882370345196835?pnref=story 

Interesante gráfico que muestra una correlación opuesta entre emprendedurismo de las naciones medido por Global Entrepreneurship Monitor survey 2011) y los puntajes de las pruebas PISA (2009). Vale la pena que los "hinchas" de PISA (entre los que no me incluyo) le presten atención. (Yong Zhao, World Class Learners, pag12). https://www.facebook.com/photo.php?fbid=882495015184368&set=a.146081782159032.21853.100002716323653&type=3&theater

RESULTADOS DE PISA 2016 FAVORECEN AL PERÚ 

En la entrevista de Fernando Vivas que publica El Comercio de hoy 27/11, el Ministro Jaime Saavedra anuncia que el 5 de diciembre se levantará la autocensura de los ministerios de educación para dar la información de los resultados de PISA 2015 que hace semanas ya tienen en su poder.  

—FV: El 5 de diciembre conoceremos los resultados de las pruebas PISA.

JS: La última vez éramos los últimos, pero éramos el país que más había mejorado.

—FV:¿Se anima a hacer una apuesta sobre cuánto habremos ascendido?

JS: No, porque la OCDE es muy pulcra al anunciar la prueba. Lo que sé es que hemos mejorado.

LT: Algunos funcionarios de otros países han filtrado los resultados que coinciden con lo que dice Jaime  Saavedra, en el sentido de que el resultado del Perú lo coloca en un orden de mérito algo mejor que en Pisa 2012. Al parecer eso ocurre por haberse sumado más países "débiles" al conjunto de países   participantes, en un contexto en el que  toda la educación de América Latina está en crisis. Sin embargo, no dejará de ser una buena noticia para la debilitada autoestima nacional en materia educativa y para dar ánimos al equipo ministerial de Saavedra para seguir con los esfuerzos de reflotar la educación peruana.

Particularmente espero que la publicación de esos resultados no perturbe el entendimiento de que 1) PISA son pruebas cuyo valor es muy limitado y sus rankings como sinónimo de mejor o peor calidad de la educación son  crecientemente cuestionados por analistas en diversos países (Ejemplo: si Finlandia cae 5 a 10 puestos de una PISA a otra o China sube esos 5 puestos, quiere decir que en 3 años se malogró la calidad de la educación finlandesa o se disparó la calidad de la china?) y  2) Subir o bajar unos puestos en el grupo de lo que PISA rankea como los coleros no debería distraer los esfuerzos por encontrar fórmulas peruanas que promuevan la innovación educativa y los saltos de calidad educativa  más rápidos y eficaces.. El próximo CADE será una oportunidad para apuntalar esta urgencia.  

GESTIÓN 25/11/2016: PISA 2015: OCDE anuncia la fecha en que se presentarán los resultados de la prueba escolar

En FB https://www.facebook.com/groups/comitedelectura/permalink/1879552985610495/

En FB https://www.facebook.com/leon.trahtemberg/posts/918814524885750?pnref=story

 

============================================================= 

#1 También  hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

Enderezando la torre de PISA, por Sergio Urzua. Sostiene que: "Sin entrar en los desafíos técnicos que implica examinar el punto, cabe recordar que la literatura ha documentado una asociación robusta entre PISA y el desempeño económico de los países (Hanushek y Woessmann, 2012), dimensión de incuestionable trascendencia. La lógica es simple: mejores sistemas educativos generan individuos mejor preparados para enfrentar el mercado laboral y, por lo tanto, en el mediano y largo plazo esto se debería traducir en un mayor crecimiento económico. De hecho, a la luz de dicha evidencia, es posible estimar que los avances del Perú en PISA ya habrían significado un aumento de casi 4% en el producto per cápita del país, no el actual, sino el del 2050. Es que los retornos económicos de hacer las cosas bien en educación toman tiempo, pero se acumulan y tarde o temprano se concretan."

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo  miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas a las de los académicos citados en esta columna)

#2 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

The Economist editorializa valorando PISA. Dice: Culture or policy? What the world can learn from the latest PISA test results

Sostiene que: "PISA has flaws. It is one of many standardised tests, and tests are not all there is to learning. But it matters. It is the most influential research report in education for good reason. It offers informed guidance on what policymakers should do to fix their school systems. Just as importantly, it tells them what not to do".

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas-opuestas a las de los otros académicos consultados por The Economist)

#3 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

ANDRÉS OPPENHEIMER El desastre educativo de las AméricasSostiene que: "En Singapur y Pekín, visité los institutos privados nocturnos que enseñan matemáticas, ciencias e inglés, y me sorprendió verlos repletos de estudiantes hasta altas horas de la noche. A las 9 de la noche, vi a estudiantes sentados en sus pupitres con los mismos uniformes escolares con los que habían salido de sus casas a las 6:30 de la mañana.

Lo que es más, sus padres y abuelos estaban sentados en la parte de atrás del aula, matando el tiempo leyendo revistas, para luego llevarlos a sus casas. Una parte considerable de la población de estos países tiene una cultura familiar de educación: los padres y los abuelos invierten gran parte de su tiempo y dinero en la educación de sus hijos"

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. En el caso de Oppenheimer coincido con las conclusiones pero no con su admiración a los resultados de PISA porque el retraso al que alude no requiere de PISA para reconocerse, ni requiere poner a PISA como el referente para reformular la educación de nuestros países, entre otras razones porque las habilidades del pasado no equivalen a las requeridas para el futuro, aunque en EE.UU. suele ser una convicción muy popular. Por lo demás no imagino que la familia y cultura latinoamericana pueda ni quiera reproducir el modelo de estudiante asiático que describe)