Resulta de cierta forma frustrante que la educación sea la única política que se somete a un escrutinio periódico y cuyos resultados se exponen públicamente. Lo mismo debería ocurrir con todos los sectores y actores que intervienen en el diseño y ejecución de las acciones gubernamentales. Sorprende que el frenesí evaluador aplicado al campo educativo no tenga su correlato en las políticas económicas, en el desempeño parlamentario, en las políticas de salud, de empleo, de transporte o de vivienda, en la ejecución de las obras públicas, el funcionamiento del sistema tributario, del sistema judicial, de la policía, del ejército o de las políticas de seguridad.
El inventario de sistemas de evaluación que se han multiplicado durante los últimos años en el sistema escolar ponen en evidencia que la educación es una de las políticas públicas más democráticas que llevan a cabo nuestros gobiernos. No puede decirse lo mismo de otras, sometidas a un persistente ostracismo y llamativa indiferencia con relación a los resultados alcanzados. Se supone que a la educación se la evalúa porque de ella depende nuestro futuro y, además, en ella se invierte mucho dinero del presupuesto nacional. Sin embargo, nadie dudaría que el futuro también depende de la economía y que mucho dinero se gasta en subsidios estatales a grandes empresas privadas, como los bancos, los productores agrarios, los empresarios del transporte urbano y la industria farmacéutica, entre otros. Mientras tanto, aunque el ciudadano común cada vez tiene más información sobre cómo funcionan las escuelas, poco y nada conoce sobre cómo funcionan y qué resultados tienen estas otras acciones gubernamentales.
No creo que semejante situación deba hacernos rechazar la evaluación sistemática de los sistemas educativos, sino más bien, exigir que lo mismo sea realizado, con transparencia y claridad, en todos los campos de actuación de nuestros gobiernos. Si evaluamos a los docentes y a sus alumnos, también deberíamos evaluar a todos los funcionarios públicos, a nuestros representantes en los parlamentos, a los agentes de seguridad, a los jueces, a las empresas que prestan servicios al Estado y a las que se benefician de los recursos presupuestarios, con préstamos o con subsidios gubernamentales. Si nuestras sociedades están en condiciones de saber cómo funciona la educación, también lo están para saber cómo funciona todo lo demás. Suponer que los ciudadanos no necesitan o, aunque lo necesitan, no están en condiciones de entender cómo funciona el Estado, expresa un gran desprecio a la democracia en un sentido republicano.
Evaluar la evaluación educativa
Evaluar la educación es un asunto serio y complejo. En este sentido, resulta sorprendente la liviandad con que se multiplican acciones de evaluación de los sistemas o de las instituciones escolares y cómo éstas presentan sus resultados como la evidencia indiscutible de un funcionamiento comparable, inclusive, a escala internacional. Evaluar es importante. En este sentido, evaluar bien y no trivializar la evaluación constituye un requisito fundamental a la hora de utilizar cierta información para conocer el desempeño de nuestras instituciones y, en función de éstas, orientar políticas públicas destinadas a mejorarlas.
Un lamentable ejemplo de la actual trivialización de la evaluación educativa son los
ranking universitarios, cuya proliferación ha sido notable en los últimos años. Se sostiene, con razón, que las universidades constituyen instituciones fundamentales para promover el desarrollo de las naciones. Siendo así, se establecen un conjunto de variables que definen la calidad de los ámbitos académicos y, en función de estas, se jerarquizan las instituciones universitarias por orden decreciente de calidad. El Ranking Académico de las Universidades del Mundo (
Academic Ranking of World Universities, ARWU), elaborado por el Centro de las Universidades de Clase Mundial (
Center for World-Class Universities, CWCU) de Shangai, y uno de los más difundidos, establece, por ejemplo, que los indicadores de una buena universidad deberían ser: “el número de alumnos y profesores que han ganado premios Nobel y medallas Fields, el número de investigadores altamente citados, el número de artículos publicados en las revistas
Nature y
Science, el número de artículos indexados en el Science Citation Index - Expanded (SCIE) y en el Social Sciences Citation Index (SSCI), y el rendimiento
per cápita respecto al tamaño de la institución”. Su pomposo nombre “universidades de clase mundial” no podría hacernos cuestionar semejantes atributos como los que, en efecto, definen una buena universidad. Entre tanto, en éste, como en muchos otros casos, la afirmación de ciertas variables no sólo limita enormemente el espacio de la clasificación, sino que parece desconocer las especificidades nacionales e internacionales en el desarrollo científico, reduciendo los indicadores elegidos a un conjunto de aspectos que cualquier universidad en buena parte del planeta no estaría en condiciones de cumplir.
No hay que ser un especialista en sociología universitaria para saber que la utilización de citaciones académicas en inglés desconsidera la producción científica de una parte significativa del mundo cuyos investigadores no escriben en esta lengua. Que el inglés es importante, nadie lo duda, pero que sólo parezca relevante la producción intelectual en esta lengua, no deja de ser un gesto de prepotencia académica que deberíamos haber superado. Del mismo modo, si el haber ganado el Premio Nóbel es un indicador de calidad, tampoco debe sorprender que ninguna institución africana figure entre las 200 “mejores” universidades del mundo y sólo 5, una egipcia y cuatro sudafricanas, figuren entre las 500 más destacadas. África ha tenido 4 Premios Nóbel de Literatura y 7 Premios Nóbel de la Paz. Casi todos ellos no dictan clase en ninguna universidad, porque han muerto, o, porque cuando vivían, estaban presos. Por su parte, América Latina, posee 16 Premios Nóbel: 6 de Literatura, 3 de Medicina, 2 de Química y 5 de la Paz. Gran parte de ellos también han muerto y, mientras estaban vivos, los del campo científico, dedicaron buena parte de su trabajo académico en universidades del Norte. América Latina, cuyos científicos hablan y casi siempre escriben en castellano o portugués, posee 10 universidades entre las 500 rankeadas por ARWU: 1 mexicana, 6 brasileñas, 1 argentina y 2 chilenas.
El 3% de las 500 “mejores” universidades del mundo son africanas o latinoamericanas, lo que supuestamente permitiría explicar por qué ambas regiones están como están en materia de desarrollo económico y social. Estados Unidos posee 146 entre las 500 elegidas, lo que también revelaría el enorme potencial económico, militar y científico del país, aunque no tanto su nivel de pobreza infantil, que hoy alcanza a 32% de sus niños y niñas, según ha revelado recientemente UNICEF.
Como quiera que sea, los ranking universitarios se establecen sobre un modelo de universidad que desconsidera el aporte que realizan las universidades al desarrollo nacional y su capacidad para promover más y mejor justicia social. Del mismo modo, desconsidera factores fundamentales de la historia y de las especificidades nacionales que explican cuestiones de enorme relevancia que estas clasificaciones ignoran. Por ejemplo, no cabe duda que la
Universidad de Harvard posee una enorme relevancia científica mundial. El ingreso promedio de una familia que envía su hijo a Harvard es de 450.000 dólares, un valor que sólo dispone el 2% de la sociedad norteamericana. Se trata de una institución donde el prestigio académico convive con un inmenso elitismo. En Harvard, como en muchas de las mejores universidades norteamericanas, uno de los factores que influye en la selección de alumnos es la capacidad que disponen sus familias de hacer donaciones a la institución. No debe sorprender que las donaciones de las familias más ricas, muchas veces millonarias, ocurren con mayor regularidad cuando sus hijos aspiran a ingresar a estas universidades. (
Piketty, T. 2014: 473)
En este sentido, la comparación de Harvard con universidades que poseen algunas pocas décadas de historia, o apenas algunos años de existencia, parece trivial y simplificador. Seguramente, un trabajador metalúrgico de la periferia de Buenos Aires podrá sentirse frustrado al ver que la
Universidad Arturo Jauretche no figura entre las 500 primeras clasificadas en el ranking de Shangai. Entre tanto, no creo que semejante frustración disminuya la alegría que este trabajador debe sentir al ver que su hija o su hijo pueden ahora, por primera en su historia familiar, tener acceso a la educación superior, gracias al desarrollo de universidades públicas cuyo foco en la promoción de la justicia social han multiplicado las oportunidades educativas de los jóvenes de sectores populares en Argentina.
Los gobiernos de
los presidentes Lula da Silva y de Dilma Rousseff duplicaron en una década el número de estudiantes universitarios existentes en Brasil. Lo hicieron promoviendo una política de inclusión en el sistema universitario sin precedentes en la historia nacional: crearon 18 nuevas universidades públicas y 173 nuevos campus en todo el país. Gran parte de los nuevos alumnas y alumnos son también la primera generación de estudiantes universitarios en sus familias. Hace 10 años, en Brasil, un joven de sectores populares no podía siquiera imaginar que estudiaría en una universidad. Hoy, aunque la Universidad de San Pablo siga sin mejorar sustantivamente en el ranking de Shangai, la situación ha cambiado drásticamente.
Según el punto de vista que se utilice, la Universidad Arturo Jauretche es mucho mejor que la Universidad de Harvard. Aunque allí no dicte clases ningún Premio Nóbel, sus profesores no publiquen en Nature ni en Science, aunque sus profesores no siempre escriban en inglés y casi nunca sean citados por los científicos norteamericanos o chinos, a ella pueden ingresar jóvenes de sectores populares argentinos. No parece ser poca cosa, al menos, desde la perspectiva de la construcción de un país más justo.
Toda evaluación supone establecer parámetros de comparación. Pero sabemos que no todo es comparable ni, mucho menos, rankeable. Discutir qué se evalúa no es un detalle menor cuando se analiza una política pública. Supongo que un ranking del aporte que las universidades realizan a la promoción de más y mejores oportunidades educativas para los más pobres sería tan simplificador e intrascendente como el que realiza el CWCU de Shangai. Sin embargo, si lo hiciéramos, me temo que la lista sería muy diferente a las que habitualmente circulan cuando se discute cómo deben ser nuestras universidades y qué modelo universitario debemos aspirar a construir.
Evaluar es un asunto serio y complejo. Y, como lo es, evaluar la evaluación es siempre una tarea imprescindible.
¿Y PISA?
El
Programa Internacional de Evaluación de Estudiantes (Programme for International Student Assessment, PISA), desarrollado y promovido por la
OCDE, es un sistema internacional de evaluación de competencias educativas. Comenzó a ser implementado en el año 2000 y aplicado la población estudiantil de 15 años en más de 70 países. Su lema es:
“¿qué es importante que los ciudadano sepan y sean capaces de hacer?” Una pregunta que seguramente ameritaría un estudio pormenorizado y de enorme complejidad, donde las especificidades nacionales o regionales no podrían ser de forma alguna un factor residual, pero que los expertos de la OCDE aspiran a responder con la aplicación de una prueba trienal de dos horas de duración en Lectura, Matemática y Ciencias.
Se trata, sin lugar a dudas, del más influyente y extendido sistema de evaluación internacional de la educación. Sus resultados son esperados como el sorteo de los grupos que disputaran el Mundial de Fútbol por parte de la FIFA. El anuncio de la clasificación de desempeño genera, en los países participantes y en los que no lo son, grandes debates públicos, un aquelarre de análisis y un interminable repertorio de explicaciones estrafalarias por parte de los ministros de educación de los países mal clasificados en el ranking final de notas. Suele no haber nada más enternecedor (o trágico) que un funcionario explicando por qué el país ha empeorado su desempeño en la prueba o por qué no ha mejorado todo lo que se esperaba.
Se supone que PISA ofrece indicadores sobre la calidad de los sistemas educativos participantes de la prueba. También, que el desempeño educativo (medido por el Programa) constituye un insumo indispensable para explicar el grado de desarrollo o de atraso de una nación. Así, cuando son enunciados los resultados, curiosos del todo el mundo corren a Finlandia o a Corea para conocer las recetas milagrosas que explican el buen desempeño educativo de sus alumnos y el alto grado de bienestar de sus economías, supuestamente, una consecuencia de la capacidad analítica desarrollada por los adolescentes en sus escuelas.
Los periódicos y los canales de televisión dedican al tema un espacio que nunca antes la educación había logrado. La lista de ganadores y perdedores recorre el mundo. Los culpables del fracaso y los protagonistas del éxito son rápidamente identificados. Se piden cabezas, se exigen cambios, se multiplican infinitas promesas que se deshacen cuando, tres años más tarde, se publican los nuevos resultados. Y todo vuelve a comenzar.
Me cuesta creer que algún fabricante de test de multiple choice haya jamás imaginado el poder que tendría un cuestionario de algunas pocas preguntas para explicar el presente y predecir el futuro de las principales naciones del mundo. Recuerdo que, cuando estudiaba ciencias de la educación en la Universidad de Buenos Aires, a este tipo de herramientas de evaluación se las consideraba simplistas, reduccionistas y su generalización comparativa altamente peligrosa para las sociedades, las familias, los docentes y sus alumnos.
Pero los tiempos han cambiado y el método no sólo se ha sofisticado sino sus resultados han ganado el estatus de lo infalible.
A diferencia de los ranking universitarios y de otros sistemas de evaluación internacionales, de PISA participan los gobiernos por decisión propia. Así mismo, invierten sumas casi nunca reveladas en la aplicación de la prueba.
PISA es, para algunos, un buen negocio. El año que viene, la prueba será diseñada por la multinacional de la educación
Pearson, dedicada a la producción de libros didácticos, tecnología educativa, evaluaciones y cursos en línea. Más allá del
contrato con la OCDE, no cabe duda que las ventajas económicas de gestionar una prueba como PISA otorga a Pearson una enorme ventaja la hora de vender servicios a los gobiernos que quieran mejorar su desempeño en las próximas evaluaciones.
John Fallon, director ejecutivo de Pearson festejó el contrato con la OCDE afirmando que "la educación de alta calidad es vital para el desarrollo económico de una nación y el bienestar social - y PISA es un punto de referencia clave por el cual las naciones pueden medir su propio progreso y aprender unos de otros. Así que estamos encantados de tener la oportunidad de trabajar con la OCDE y las comunidades académicas de todo el mundo para desarrollar la prueba del 2015”.
- El negativo papel de las pruebas estandarizadas internacionales en promover la competencia, etiquetando y clasificando alumnos y docentes en función de su rendimiento.
- La tentación de los países a seguir caminos fáciles y de corto plazo para mejorar su desempeño en las pruebas, desconsiderando que los cambios en el campo educativo llevan mucho más que los tres años que separa una prueba de otra.
- PISA mide unas dimensiones del aprendizaje e ignora otras, lo que “reduce peligrosamente nuestro imaginario colectivo acerca de lo que la educación es y debería ser”.
- PISA está dominada por una visión economicista y unilateral de la educación.
- La OCDE asume un mandato que no le corresponde, adjudicandose un papel de gran agencia de evaluación internacional, opacando a instituciones como la UNESCO y UNICEF.
- La implementación de las pruebas se realiza en muchos países con asociaciones entre el sector público y privado, abriendo oportunidades de negocios que entran en franco antagonismo con los intereses educativos. (La carta no menciona al contrato entre Pearson y la OCDE, aunque hace evidente relación al mismo). “Algunas de estas empresas ofrecen servicios educativos a las escuelas estadounidenses y a los distritos escolares de manera masiva y con fines de lucro, al tiempo que persiguen planes de desarrollo de la educación primaria con fines de lucro en África, donde la OCDE ahora está planeando introducir el programa PISA”.
- PISA contribuye a consolidar una euforia evaluadora que “perjudica a nuestros hijos y empobrece nuestras aulas”.
https://orcid.org/0000-0001-8035-0091
%2B23.05.02.png)
