¿No hay alternativa a PISA?

Atención, se abre en una ventana nueva. PDFImprimirCorreo electrónico


Add this to your website

Los Andes, Puno 04 12 2016, y Diarios Regionales 04 12 2016

Una y otra vez, los analistas de la educación usan los resultados de PISA y sus hermanos menores  ECE (evaluaciones censales) como los indicadores claves sobre cuán bien o mal anda la educación de un país, su diferencia respecto a otros, y sus tendencias en el tiempo. Con ello, de al menos 20 indicadores que inciden en los aprendizajes de los alumnos y su desempeño en la vida ciudadana, profesional y social, se escogen dos, matemáticas y lectura, por considerarlos más fáciles de medir, usando además una muy particular asignar puntajes, pretendiendo con ello ilustrarnos sobre la calidad de la educación que reciben los alumnos en las escuelas.

Lo más curioso del asunto es que cuando se evalúa la conducta de un ciudadano adaptado y socialmente responsable, con valores y sensibilidad social, a nadie se le ocurre investigar si sabe o no matemáticas.  Cuando se investiga la conducta descarriada de los delincuentes, las personas promiscuas, viciosas, drogadictas, violadoras, violentas, criminales, se detecta que hay problemas con una infancia infeliz, falta de maduración emocional, problemas de salud mental, incapacidad de adaptación positiva a la sociedad, limitado pensamiento crítico y ético, etc. que deberían ser indicadores mucho más cruciales a la hora de evaluar la calidad de la educación que tuvo un alumno. 

Quiere decir que una buena educación tiene que ver con la calidad del vínculo de los profesores con los alumnos, su autonomía, capacidad de auto-regulación, su creatividad y originalidad, su capacidad de asumir compromisos sociales, su proactividad para llevar a cabo iniciativas, y su capacidad de tener ideas originales y resolver problemas de la vida diaria, más que los artificialmente inventados para que usen fórmulas matemáticas en su resolución.

Si todo eso es lo que define una educación de calidad y los atributos de un ciudadano informado,  adaptado y comprometido con el bienestar común,  ¿por qué se sigue insistiendo que eso se logra con las pruebas PISA o las ECE?

No se trata de despreciar la importancia de cierta solvencia en matemáticas y lectura. Se trata de mantener un adecuado balance entre todos los componentes de una educación integral, que es la que debería estar en la visión de quien informa sobre la calidad de la educación.

En FB: https://www.facebook.com/leon.trahtemberg/posts/923766941057175?pnref=story

Artículos afines:

Expert Yong Zhao: How PISA created an illusion of education quality and marketed it to the world 

“PISA conduce a los países a no modernizar sus sistemas educativos”. La asesora en innovación educativa de la OCDE Valerie Hannon cree que el sistema de evaluación de PISA es "limitado" porque mide competencias demasiado académicas  

Las pruebas educativas a gran escala (como PISA) a menudo conllevan efectos secundarios. PISA según la investigación, tiene con algunos efectos secundarios graves y perjudiciales. Estudiantes en países que obtuvieron los mejores resultados en el PISA 2018 a menudo tienen un bienestar inferior, medido por la satisfacción de los estudiantes con la vida y la escuela. y promedio de desarrollo ". "Las evaluaciones a gran escala pueden proporcionar información útil para la política educativa, pero la dependencia excesiva de los resultados de las pruebas puede causar problemas. Cuando el enfoque se centra en los puntajes de los estudiantes y la clasificación de los países, otras cosas importantes, como la creatividad, el pensamiento empresarial, el bienestar social y emocional ser crítico y el pensamiento crítico podrían descuidarse. Estos preciados resultados educativos son cosas que las evaluaciones a gran escala a menudo no logran captar ". 

La OCDE imbeciliza el concepto de conocimiento a través de PISA. Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica.  Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. 

Sala i Martín avisa: PISA no mide conocimientos esenciales

El economista y profesor de Columbia University Xavier Sala i Martín, ha advertido en una retahíla de tuits que alegrarse por los buenos resultados de las evaluaciones PISA es "un gravísimo error" porque estas pruebas no lo miden todo y dejan de lado competencias, habilidades y conocimientos que son tanto o más necesarios que las matemáticas, la expresión escrita y las ciencias, las tres áreas que PISA evalúa. El economista catalán avisa de que concentrar la educación en estas pruebas puede arrinconar aprendizajes decisivos para el mundo que viene, como pasó en la China medieval. 

VIDEO La Voz de Iñaki: El informe Pisa Critica al uso público de las pruebas PISA diseñadas además para lidiar con el pasado más que con el futuro

“En la evaluación, la LOMCE ha sido un obstáculo en el camino que se había emprendido” Paco Luna, experto en evaluación de Euskadi, sobre sus límites y sus posibilidades. Estas evaluaciones son técnicamente potentes, pero tienen limitaciones. Una muy fuerte es cuando se llega al nivel de resultados de alumnos. En ocasiones, los que estamos en este campo actuamos con una cierta arrogancia técnica, pensando que nuestros instrumentos son capaces de describir mejor la situación de aprendizaje de un centro que las pruebas que hace el propio centro.  Es cierto que hay quejas en ese sentido, pero está muy relacionado con dónde sitúas la evaluación. Si lo haces como referencia única de un centro, entonces es normal que se pongan nerviosos, porque les estás dando una única fotografía que tienen que trasladar a las familias. Pero si les garantizas que es una información interna, sin rankings ni difusión de esa información, y que tienen autonomía para actuar a partir de esos resultados, no tiene por qué ser así. Si es una información complementaria periódica para compararte con otros centros y puedes analizar qué cambiar, estas evaluaciones aportan información y no tienen por qué ponerte demasiado nervioso porque no tienen consecuencias directas ni en el sueldo ni en los resultados académicos; es una información más para la toma de decisiones. 

VIDEO Redes y Poder presentación y análisis #entrevista a León Trahtemberg, 08-12-2016  Entrevista de Alfonso Baella a León Trahtemberg sobre la coyuntura política, el sentido de los resultados de PISA, el rol del ministro de Educación Jaime Saavedra, la promoción de la innovación, y el pacto político por la educación

(Brillante) Yong Zhao: What Brexit and U.S. Election Surprises Can Teach Us about PISA 

PISA’s confidence in the predictive power of its assessment also comes from the past. The subjects it chose to assess–science, reading, and math—have long been believed as important for success in life all over the world. They have been the core subject matter schools teach worldwide with the belief that they are essential for living in the modern age. But will these subjects turn out to help today’s fifteen-year olds ten, twenty, or thirty years later? Are they right candidates for all people in the future, or might different individuals need different sets of skills and knowledge?

Does PISA results in reading, math, and science accurately capture the domains of expertise each individual needs for successful participation in the future society anywhere in the world?

PISA not only tries to use its test results in these subjects to predict what skills and knowledge fifteen-year olds will need to succeed in the future, it also disseminates, based on these scores, education policies and practices it believes will equip children with these skills and knowledge. It has the potential to affect the livelihood of hundreds of millions of children, hence the entire world. The consequences are serious. The stakes are so high. Therefore, we must question the quality of the PISA results before eagerly jumping to conclusions. Don’t read too much into it. 

OECD and Pisa tests are damaging education worldwide - academics  The Guardian 06 05 2014 In this letter to Dr Andreas Schleicher, director of the OECD's Programme for International Student Assessment, academics from around the world express deep concern about the impact of Pisa tests and call for a halt to the next round of testing "We are frankly concerned about the negative consequences of the Pisa rankings. These are some of our concerns" 

14 12 2016 Instituciones y personalidades internacionales firman “Manifiesto internacional contra PISA y la lógica estandarizadora de la educación en el mundo”  Ante la sexta entrega de los resultados del Programa Internacional para la Evaluación de Estudiantes (PISA), los abajo firmantes declaramos nuestro más absoluto rechazo a la prueba, a sus versiones nacionales, y a la lógica homogeneizadora de los sistemas educacionales que se impone. 

España "El fin de la educación no es crear seres empleables, sino íntegros" (César Bona, España) Bona promueve un cambio educativo basado en el aprendizaje competencial, donde se ponga al centro al niño, no las notas ni el currículo educativo ni el maestro. “El fin de la educación no es crear seres empleables. Hay gente que solo piensa que hay que formar para trabajar, pero de lo que se trata es de crear seres íntegros. Cualquier jefe o compañero requiere gente que vea retos en lugar de problemas, que sean creativos, que sepan trabajar en equipo, respetuosos… Todo eso es lo que debe trabajarse." "Hay que parar de tanto conocimiento e invitar a la reflexión a los niños también y dar importancia a cuestiones como la autoestima. El factor que más influye en el éxito académico es el autoconcepto y las expectativas que tienen los demás de ti. Para formar seres íntegros, el conocimiento es una de las partes que hay que tener en cuenta, pero es preciso educar en la frustración, en la resiliencia, en la autoexigencia, en el respeto a las diferencias… Y todo eso no se tiene en cuenta en PISA".  

También en EE.UU. hay debate U.S. Math Scores Fall in Global Rankings

The latest PISA rankings show a decline in U.S. math scores, but experts say that focusing on successes at home may be more important.

While PISA may be a wake-up call for some, for others, like Stanford University Professor Martin Carnoy, the international comparisons are deceptive.

Carnoy, who has spent more than 20 years researching international education, says the rise and fall of PISA scores typically has less to do with a country’s education system and more to do with demographic changes. He warns educators and policy makers against comparing countries with completely different populations, cultures, economies, and attitudes toward education.

“The biggest problem is presenting test scores without correcting for social class differences, both between countries and within a country over time,” said Carnoy, “One should be very careful about jumping to conclusions about what these test score comparisons mean: These tests were never meant to be a race, and we weren’t supposed to be the horses.”

Carnoy says U.S. educators trying to make sense of PISA can learn more from what’s happening in some of our states’ most successful education systems, like the one in Massachusetts, rather than from what’s happening in South Korea. 

Números y educación (Santiago Cardozo)   Exaspera un poco ver cómo la reflexión sobre educación ha sido plenamente copada por el “virus” de los números: encuestas, porcentajes, indicadores, gráficas de barra o de torta o de líneas o de lo que sea, esta parece ser la lógica que asume hoy la reflexión sobre la educación; especie de zona dentro de la cual se puede reflexionar sobre lo educativo. Llegados a este punto, es como si la educación se identificara punto por punto con el aparato estadístico que procura “reflejarla”.

Jugando con las muestras evaluadas PISA ha permitido que china y varios países asiáticos la conviertan en una herramienta de propaganda (Forbes, 4/1/2017) Are The PISA Education Results Rigged? What this means in practice is the ability of some education administrators choosing their top-performing students from smaller samples in cities or city-states such as Chinese Taipei, Macao, Hong Kong and Singapore. The PISA results appear to be a huge propaganda victory for the educational systems of Asians and the Chinese. But the real danger in widely circulating the PISA results lies not in fooling thousands of headline readers around the world, but in the complicit cover-up of the huge disparities in education among Asian provinces. By allowing countries to potentially rig the test, the OECD is failing in its mandate to help governments foster prosperity by providing information  

Columnas afines:

Las pruebas PISA son como una  religión 

El distorsionado uso de los resultados de PISA

No hay correlación entre puntajes en PISA, competitividad y desarrollo económico

Ya sabemos cómo serán los próximos resultados de PISA

PISA distorsiona la educación (Revista Padres-Cosas 208)

PISA: Me arrepiento de sobrevalorarla

¿Cuándo y adónde medir la calidad de la educación?

PISA 2012 ¿Qué tanta sorpresa?

Perú en las pruebas PISA 2009

PISA 2009 sigue dando que hablar

Evaluación Pisa 2002. Otra vez, los coleros de la Educación Mundial

¿Por qué este aparato estadístico se ha vuelto la forma misma de la reflexión sobre la educación? ¿Por qué las autoridades educativas se mueven de acuerdo con esta lógica, situándola en el centro del debate y de sus decires, como si lo educativo no fuera más que un estado traducible a porcentajes, indicadores, expresable en intrincadas grillas de medición de la realidad misma? ¿Por qué esta necesidad de lo estadístico?   

La OCDE imbeciliza el concepto de conocimiento a través de PISA Pablo Gentili es uno de los mayores expertos en educación y desigualdad de Latinoamérica. Hablamos con él sobre OCDE, PISA y educación. Es una visión reduccionista de la educación impuesta por la capacidad de orientación de la política de la OCDE. ¿Qué hacen PISA y la OCDE? Determinan, con un criterio arbitrario y que no se pone nunca en discusión, qué necesita aprender un joven para tener éxito. Esto debería ser motivo de un gran debate público: qué es necesario saber. Si para triunfar en la vida hay que hacer lo que dice la OCDE, ¿para qué necesitas la música? ¿Para qué sirve el arte, la sociología, la filosofía? ¿Para qué sirve pensar, inclusive, en la matemática como una herramienta de transformación? La matemática que se aprende, es una matemática para los negocios, para la empresa, para la gestión, para el management. No es una matemática humana. Es una visión totalmente limitada, primitiva de la educación. La OCDE no es que sea tan mala, pero imbeciliza el concepto de conocimiento en una sociedad, que, a su vez, imbeciliza lo que dice la OCDE. Cuando Wert entiende lo que dice la OCDE, lo trivializa mucho más, lo estupidiza mucho más. Y esto va bajando hasta la directora de escuela. 

"International Comparisons: More Fizzle than Fizz" by Gerald Bracey  Fellow at the Education Policy Studies Laboratory at Arizona State University

How Does PISA Put the World at Risk (Part 1): Romanticizing Misery by Yong Zhao 

How Does PISA Put the World at Risk (Part 2): Glorifying Educational Authoritarianism by Yong Zhao 

How Does PISA Put the World at Risk (Part 3): Creating Illusory Models of Excellence by Yong Zhao 

How Does PISA Put the World at Risk (Part 4): Misleading the World by Yong Zhao 

How Does PISA Put the World at Risk (Part 5): Racing to the Past by Yong Zhao 

LT: ¿Por qué China y Singapur, campeones PISA no son capaces de producir un Steve Jobs o un Mark Zuckerberg? ¿Qué  no nos dice PISA respecto a superpotencias creativas como Estados Unidos e Israel? Qué  preferimos en Perú ¿ver a PISA como referente para nuestras metas educativas o a las grandes incubadoras de talentos que hay en EE.UU. Israel, Holanda, Alemania, etc? http://www.woz.org/in-the-news/2011/bbc-news-audio-today-steve-wozniak-think-yourself

En FB: https://www.facebook.com/leon.trahtemberg/posts/882370345196835?pnref=story 

Interesante gráfico que muestra una correlación opuesta entre emprendedurismo de las naciones medido por Global Entrepreneurship Monitor survey 2011) y los puntajes de las pruebas PISA (2009). Vale la pena que los "hinchas" de PISA (entre los que no me incluyo) le presten atención. (Yong Zhao, World Class Learners, pag12). https://www.facebook.com/photo.php?fbid=882495015184368&set=a.146081782159032.21853.100002716323653&type=3&theater

RESULTADOS DE PISA 2016 FAVORECEN AL PERÚ 

En la entrevista de Fernando Vivas que publica El Comercio de hoy 27/11, el Ministro Jaime Saavedra anuncia que el 5 de diciembre se levantará la autocensura de los ministerios de educación para dar la información de los resultados de PISA 2015 que hace semanas ya tienen en su poder.  

—FV: El 5 de diciembre conoceremos los resultados de las pruebas PISA.

JS: La última vez éramos los últimos, pero éramos el país que más había mejorado.

—FV:¿Se anima a hacer una apuesta sobre cuánto habremos ascendido?

JS: No, porque la OCDE es muy pulcra al anunciar la prueba. Lo que sé es que hemos mejorado.

LT: Algunos funcionarios de otros países han filtrado los resultados que coinciden con lo que dice Jaime  Saavedra, en el sentido de que el resultado del Perú lo coloca en un orden de mérito algo mejor que en Pisa 2012. Al parecer eso ocurre por haberse sumado más países "débiles" al conjunto de países   participantes, en un contexto en el que  toda la educación de América Latina está en crisis. Sin embargo, no dejará de ser una buena noticia para la debilitada autoestima nacional en materia educativa y para dar ánimos al equipo ministerial de Saavedra para seguir con los esfuerzos de reflotar la educación peruana.

Particularmente espero que la publicación de esos resultados no perturbe el entendimiento de que 1) PISA son pruebas cuyo valor es muy limitado y sus rankings como sinónimo de mejor o peor calidad de la educación son  crecientemente cuestionados por analistas en diversos países (Ejemplo: si Finlandia cae 5 a 10 puestos de una PISA a otra o China sube esos 5 puestos, quiere decir que en 3 años se malogró la calidad de la educación finlandesa o se disparó la calidad de la china?) y  2) Subir o bajar unos puestos en el grupo de lo que PISA rankea como los coleros no debería distraer los esfuerzos por encontrar fórmulas peruanas que promuevan la innovación educativa y los saltos de calidad educativa  más rápidos y eficaces.. El próximo CADE será una oportunidad para apuntalar esta urgencia.  

GESTIÓN 25/11/2016: PISA 2015: OCDE anuncia la fecha en que se presentarán los resultados de la prueba escolar

En FB https://www.facebook.com/groups/comitedelectura/permalink/1879552985610495/

En FB https://www.facebook.com/leon.trahtemberg/posts/918814524885750?pnref=story

 ============================================================= 

#1 También  hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

Enderezando la torre de PISA, por Sergio Urzua. Sostiene que: "Sin entrar en los desafíos técnicos que implica examinar el punto, cabe recordar que la literatura ha documentado una asociación robusta entre PISA y el desempeño económico de los países (Hanushek y Woessmann, 2012), dimensión de incuestionable trascendencia. La lógica es simple: mejores sistemas educativos generan individuos mejor preparados para enfrentar el mercado laboral y, por lo tanto, en el mediano y largo plazo esto se debería traducir en un mayor crecimiento económico. De hecho, a la luz de dicha evidencia, es posible estimar que los avances del Perú en PISA ya habrían significado un aumento de casi 4% en el producto per cápita del país, no el actual, sino el del 2050. Es que los retornos económicos de hacer las cosas bien en educación toman tiempo, pero se acumulan y tarde o temprano se concretan."

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo  miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas a las de los académicos citados en esta columna)

#2 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

The Economist editorializa valorando PISA. Dice: Culture or policy? What the world can learn from the latest PISA test results

Sostiene que: "PISA has flaws. It is one of many standardised tests, and tests are not all there is to learning. But it matters. It is the most influential research report in education for good reason. It offers informed guidance on what policymakers should do to fix their school systems. Just as importantly, it tells them what not to do".  http://www.economist.com/news/international/21711247-reforming-education-slow-and-hard-eminently-possible-what-world-can-learn?fsrc=scn/tw/te/bl/ed/whattheworldcanlearnfromthelatestpisatestresults

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. Dicho sea de paso si se lee a Martin Carnoy de Stanford y a Yong Zhao de Kansas se encontrarán sustentaciones distintas-opuestas a las de los otros académicos consultados por The Economist)

#3 También hay fans de PISA. Es bueno leer de todo para formarse criterios propios.

ANDRÉS OPPENHEIMER El desastre educativo de las AméricasSostiene que: "En Singapur y Pekín, visité los institutos privados nocturnos que enseñan matemáticas, ciencias e inglés, y me sorprendió verlos repletos de estudiantes hasta altas horas de la noche. A las 9 de la noche, vi a estudiantes sentados en sus pupitres con los mismos uniformes escolares con los que habían salido de sus casas a las 6:30 de la mañana.

Lo que es más, sus padres y abuelos estaban sentados en la parte de atrás del aula, matando el tiempo leyendo revistas, para luego llevarlos a sus casas. Una parte considerable de la población de estos países tiene una cultura familiar de educación: los padres y los abuelos invierten gran parte de su tiempo y dinero en la educación de sus hijos"

(LT: Mi opinión (obviamente diferente, para los que me siguen en FB) la publicará El Comercio el próximo miércoles. En el caso de Oppenheimer coincido con las conclusiones pero no con su admiración a los resultados de PISA porque el retraso al que alude no requiere de PISA para reconocerse, ni requiere poner a PISA como el referente para reformular la educación de nuestros países, entre otras razones porque las habilidades del pasado no equivalen a las requeridas para el futuro, aunque en EE.UU. suele ser una convicción muy popular. Por lo demás no imagino que la familia y cultura latinoamericana pueda ni quiera reproducir el modelo de estudiante asiático que describe)

Una columna que levanta alertas "Es la educación,  estúpido" (Por Anwar Moguel, México).  Hoy vi éste artículo sobre los dramas de la sociedad mexicana. ¿Es casual que parezca haberse escrito para calzar con el Perú y cualquier otro país de América Latina? ¿No será que "alguien" nos ha lavado la cabeza para desconectar la escuela de la vida real y hacernos creer que un periodico retoque curricular con pruebas aggiornadas producirá  egresados mejor educados? Quizá ya sea hora de empezar a pensar que la buena educación  no pasa por pontificar resultados en pruebas censales o PISA sino en tener una imagen de persona bien formada y educada en términos de actitudes y conductas frente a temas de la vida cotidiana que  los peruanos quisiéramos transformar, y hacer de eso la médula de nuestro proyecto educativo.

Por ejemplo, si se quiere evaluar el nivel educativo del colegio ABCDE ¿qué datos usa normalmente tanto el Minedu como muchos analistas? Los resultados de las pruebas censales, el % de ingreso a la universidad, y eventualmente la tasa de promoción o repitencia de los alumnos. ¿Qué nos dice eso de cómo son y serán esos alumnos como personas eticas, sensibles al prójimo, con alta  autoestima, con una autoimagen de personas valiosas,  capaces de ser miembros constructivos de su comunidad; qué  nos dice de su nivel de tolerancia a la diversidad, su capacidad decresolver conflictos sin violencia, de ofrecerse voluntario para trabajo solidario y para conciliar cuando sus compañeros están  conflictuados; qué  nos dice de su autodisciplina y nivel de regulación personal wue le permite distanciarse de los vicios y asumir una sexualidad responsable... 

Dirán  que eso es difícil de evaluar. Pero por ello es que hay que opacarlo frente a lo que es menos decisivo pero más fácil de evaluar de modo estandarizado e informatizado?

En FB: https://www.facebook.com/leon.trahtemberg/posts/954480861319116?pnref=story