La evaluación de los aprendizajes en la Educación Media Superior
Introducción
El 4 de agosto pasado se presentaron los resultados de la prueba Plan Nacional para la Evaluación de los Aprendizajes-Media Superior (Planea-MS), aplicada a quienes estaban por egresar del bachillerato en el ciclo 2014-2015. Con algunas excepciones, en casi todos los titulares de los periódicos del día siguiente se puso énfasis en los “malos resultados” de los alumnos y se ofreció a la opinión pública una lectura incompleta o precipitada de los mismos.
Comprensiblemente, a los medios informativos les pareció más noticioso o atractivo referirse a los resultados desfavorables de los estudiantes y llamar la atención sobre una hipotética “catástrofe educativa”. Sin embargo, conviene señalar que los diarios no prestaron mayor atención al hecho de que el desempeño escolar de los jóvenes registró cierta mejoría con respecto al año anterior; tampoco hicieron alusión a las acciones que se pondrían en marcha para mejorar el desempeño de los estudiantes de bachillerato en las próximas ediciones de la prueba, y, finalmente, no advirtieron al lector sobre algunos recaudos metodológicos de la prueba Planea-MS.
Las ausencias indicadas son comunicacionalmente importantes porque la mayoría de los artículos de opinión subsecuentes, al apoyarse casi siempre en el contenido de las notas informativas, reprodujeron algunos de los problemas ya señalados. Por estas razones, conviene revisar con cierto detalle algunos de los rasgos técnicos de Planea-MS; sus resultados principales, incluida la comparación con la Evaluación Nacional del Logro Académico en Centros Escolares 2014 (Enlace) para determinar si tiene sustento (o no) la idea de que la Educación Media Superior (EMS) “va de mal en peor”, como resumió la situación alguno de los diarios, y la identificación de algunas de las acciones de la reforma educativa que están siendo impulsadas para favorecer un mejor desempeño de los estudiantes.
Sobre la prueba Planea-MS
Planea-MS es una prueba estandarizada, con reactivos de opción múltiple, dirigida a los alumnos que cursan el último ciclo escolar de la EMS en la modalidad escolarizada de los diferentes subsistemas (bachilleratos generales y tecnológicos) y tipos de sostenimiento. Esta prueba no tiene consecuencias sobre estudiantes, docentes o escuelas. Esencialmente, Planea-MS evalúa indicios de competencias disciplinares básicas, comunes a todos los planes y programas de la EMS, en los campos tanto de las matemáticas como del lenguaje y la comunicación (comprensión lectora).
Esta prueba incorpora las directrices y recomendaciones del Instituto Nacional para la Evaluación de la Educación (INEE). La Prueba Planea-MS estableció, entre otras cosas, una nueva escala de calificación y nuevos puntos de corte para categorizar los resultados en cuatro niveles de desempeño (I, II, III y IV).
Los puntos de corte de Planea-MS son más estrictos que los de Enlace. El significado de los cuatro niveles de desempeño fue determinado por un grupo de expertos a los que se solicitó definir los indicadores de competencia del Marco Curricular Común de la EMS que caracterizan cada nivel.
Resultados nacionales
Los resultados obtenidos por los estudiantes de la EMS en la Prueba Planea-MS 2015 se presentan en el Cuadro. En él se puede advertir, en general, que el panorama está dominado por desempeños deficientes. Esta situación implica, por ejemplo para el caso de matemáticas, que una proporción muy significativa de los alumnos se clasifica en el nivel I. En este caso, los estudiantes solo tienen dominio de las operaciones básicas con números enteros. Esto no significa que no respondan ningún otro tipo de reactivos, aunque sus respuestas globales en la prueba permiten afirmar que cuentan únicamente con esa capacidad básica. Esta interpretación es similar cuando nos referimos a los resultados en el campo de lenguaje y comunicación, puesto que aquí los estudiantes tienen problemas para elaborar conclusiones simples derivadas de la información que leen.
En los niveles II, III y IV, lo que distingue a un grupo de estudiantes de otro es el grado de dominio de diferentes tareas que deseablemente debieran realizar los egresados de la EMS. Esto implica el desarrollo de competencias de análisis y de interpretación relevantes para resolver ejercicios y situaciones cada vez más complejas. Sin embargo, es incorrecto decir, como lo hicieron algunos analistas, que el nivel IV es el “estándar” para la EMS. En todo caso, los alumnos clasificados en ese nivel pueden considerarse como “los mejores de los mejores”, puesto que demuestran un avance muy significativo en el desarrollo de sus competencias y son capaces de responder reactivos que implican tipos variados de procesos cognitivos.
Resultados por subsistema
El servicio de bachillerato es proporcionado por más de 16 mil planteles de sostenimiento público y particular en los que estudian actualmente casi 5 millones de jóvenes. Los planteles públicos se organizan en más de 30 subsistemas y alrededor de 150 expresiones organizativas en todos los estados, con diferentes formas de financiamiento y distintas modalidades de organización. En esta compleja arquitectura institucional, los resultados deficientes son la regla. Los tres siguientes subsistemas obtuvieron los mejores resultados en la EMS:
• Los planteles del bachillerato técnico industrial federal, en los que estudian más de 611 mil jóvenes, concentran, en el área de matemáticas, a 38% de los alumnos en el nivel I, 33.9% en el II, 17.4% en el III y 10.7% en el IV;
• Los bachilleratos de las universidades autónomas estatales, en los que estudian más de 485 mil jóvenes, presentan en estos cuatro niveles a 43.5, 33.1, 15.4 y 8% de sus alumnos de tercer grado, respectivamente;
• En el Centro de Enseñanza Técnica Industrial (CETI), subsistema federal pequeño (con alrededor de 5 mil estudiantes) localizado en Jalisco, únicamente 13% de los estudiantes se ubica en el nivel I, 18% en el II y casi 69% en los niveles III y IV.
Estos tres subsistemas son los que también presentan los mejores resultados en el área de lenguaje y comunicación de Planea-MS 2015. Concentran a 33.1, 36.1 y 13% de sus estudiantes en el nivel I.
Llama la atención que las escuelas particulares, donde estudian más de 930 mil jóvenes, registran resultados que están por debajo de los tres anteriores. Concentran, en el nivel I, a 49.4% de los estudiantes en el área de matemáticas y a 39.6% en lenguaje y comunicación. Estas cifras muestran que no hay garantía de obtener buenos resultados en el aprendizaje de los jóvenes en ese subsistema, en buena medida por su enorme heterogeneidad.
El subsistema de EMS más grande del país que está bajo el control de las entidades federativas, el Colegio de Bachilleres, registró igualmente un alto porcentaje de estudiantes en el nivel I, tanto en el área de matemáticas (54.7%) como en lenguaje y comunicación (46.5%).
Otros subsistemas, como el Colegio Nacional de Educación Profesional Técnica (Conalep) y el Colegio de Bachilleres del Distrito Federal, concentran una proporción incluso mayor de estudiantes en ese nivel.
Como se puede advertir, la diversidad institucional y organizacional de la EMS juega su parte, al menos parcialmente, en la configuración de los resultados de pruebas como la de Planea-MS. Dicha heterogeneidad ha sido un obstáculo para impulsar la adopción de políticas educativas unívocas, simultáneas y ordenadas. Afortunadamente, se trabaja en la construcción del Sistema Nacional de Educación Media Superior, que es un mandato de la Ley General de Educación, con el cual se busca que en este archipiélago educativo haya mayor coordinación, comunicación y cooperación entre subsistemas y planteles.
Otras diferencias relevantes
Además de presentar los resultados por subsistema, existen otras dimensiones relevantes de diferenciación del desempeño escolar de los estudiantes de bachillerato, entre las que destacan las siguientes:
• Turnos matutino y vespertino. En los planteles que cuentan con ambos turnos (un total de mil 476) se advierte que los estudiantes del primero registran una proporción mayor en los niveles III y IV de matemáticas que los del turno vespertino, con 20.6 y 14%, respectivamente. Estos resultados sugieren que dentro de una misma escuela existen condiciones diferenciadas que necesitan ser comprendidas y abordadas por las comunidades escolares para intentar corregirlas.
• Planteles pequeños y grandes. Se observa igualmente que los planteles grandes registran mejores resultados que los pequeños; por ejemplo, de nuevo en matemáticas, los 6 mil 121 planteles con un máximo de 32 alumnos (los más pequeños), concentran buena parte de su matrícula (60%) en el nivel I y menos del 14% en los niveles III y IV. En contraste, alrededor de 39% de los estudiantes de los planteles con mayor matrícula (329 centros escolares con 600 alumnos o más) se concentra en el nivel I y más del 26% en los niveles III y IV. Es necesario profundizar en la comprensión de los efectos que provoca la disponibilidad de mayores recursos docentes y directivos, las más amplias e intensas interacciones entre los estudiantes o la disponibilidad de más y mejor equipamiento, u otros factores que suelen caracterizar a los planteles con mayor matrícula y mejores desempeños de aprendizaje.
• Marginación. De los planteles ubicados en localidades con alto grado de marginación, en la prueba de matemáticas 60.6% de sus alumnos se clasifica en el nivel I y 13.9% en los niveles III y IV, en contraste con el 47.7 y 20.7%, respectivamente, de los estudiantes de planteles en localidades de muy baja marginación.
Todos estos datos sugieren que el desempeño escolar no está determinado únicamente por la calidad de la educación en las aulas, sino también por otros muchos factores de carácter organizacional, económico, social y cultural que el sistema educativo a menudo no es capaz de superar.
La comparación 2014 y 2015
Contar con evaluaciones como Planea-MS permite no solo disponer de datos relevantes sobre el desempeño escolar de los estudiantes en un momento específico (en este caso el final del ciclo escolar 2014-2015), sino también, al repetirse sistemáticamente en el tiempo, de información sobre los cambios en los aprendizajes. Así, se puede contar con una “foto” de un momento inicial y, con el paso del tiempo, con una serie de tomas repetidas en años subsecuentes, con metodologías comparables, para conocer la dirección y magnitud de los movimientos.
Al ser este el primer año de realización de Planea-MS, se buscó comparar los resultados con Enlace 2014 para identificar los cambios en el aprendizaje de los alumnos de un año a otro. Tomando en cuenta que, por sus características, Planea-MS 2015 no puede compararse de manera directa con los resultados de la prueba Enlace (porque los estándares que se utilizaban para calificar a los estudiantes son diferentes y responden a distintos criterios de evaluación), se tuvieron que realizar ajustes (reescalamiento) para asegurar la comparabilidad con los datos de Enlace para el año 2014.
Esto fue posible porque en ambos años se aplicó una “prueba vínculo” —adicional a la que contestaron los jóvenes (Enlace en 2014 y Planea-MS en 2015)—, que permite relacionar los resultados de ambas pruebas a partir de los parámetros calculados con la metodología propia de Planea-MS.
Los datos disponibles muestran que entre 2014 y 2015 se produjeron mejoras en lenguaje y comunicación (la proporción de jóvenes en los niveles III y IV pasó de 33.1 a 36%) y se registró cierta estabilidad en matemáticas (con una pérdida de medio punto, al pasar de 19.3 a 18.8%). Adicionalmente, en el área de lenguaje y comunicación, la proporción de estudiantes en los niveles III y IV aumentó en 29 entidades, mientras que en 18 entidades crecieron o se mantuvieron estables las proporciones en esos dos niveles.
Los datos también indican que algunas entidades federativas registraron importantes cambios en los resultados del aprendizaje en el último año:
• En el área de lenguaje y comunicación destaca Puebla, estado que obtuvo un aumento de casi 10 puntos en la proporción de estudiantes clasificados en los niveles III y IV (al pasar de 39.9 a 49.6%). Con incrementos menores, de alrededor de 5 puntos, destacan entidades como Aguascalientes, Colima, Guanajuato, Jalisco, Veracruz y Sinaloa.
• En el área de matemáticas, se registraron ganancias más pequeñas. Los estados que lograron mayores aumentos fueron Hidalgo, Jalisco, Nayarit, Puebla y Sinaloa.
Estos resultados indican que el avance es posible. Sin embargo, los cambios en el desempeño escolar suelen ser relativamente lentos y solo excepcionalmente rápidos. En materia de aprendizajes, los cambios suelen darse con cierta parsimonia porque se requiere alinear muy diversos procesos relevantes. Además, los resultados de pruebas como Planea-MS no solo reflejan los aprendizajes de una generación de alumnos en el bachillerato, sino también su desempeño en los niveles previos.
¿Cómo mejorar el desempeño escolar?
José Luis Gaviria, de la Universidad Complutense de Madrid, señala que en el desempeño escolar de los estudiantes intervienen esencialmente tres componentes: el capital intelectual con que cuenta el alumno (entendido como la suma de las capacidades intelectuales y el aprendizaje acumulado); el conjunto de capacidades y conocimientos de los maestros, combinados con los recursos didácticos disponibles, y el tiempo real que los docentes dedican de manera efectiva a actividades de aprendizaje.
Conviene examinar brevemente estos tres factores:
1. El capital intelectual se construye a lo largo de la vida de los jóvenes. Los datos que derivan de los cuestionarios de contexto asociados con la prueba Planea permiten establecer que el desempeño es mejor entre los estudiantes que provienen de hogares con mayor capital cultural y mejor condición socioeconómica. Estas son circunstancias en las que las políticas educativas difícilmente pueden influir en el corto plazo.
2. Por el contrario, el tiempo en aula, es decir, el tiempo que los maestros dedican a actividades de aprendizaje efectivo, es un elemento clave en el que la política educativa puede incidir directamente. Es posible, por ejemplo, ampliar la jornada escolar y garantizar que el tiempo adicional sea utilizado de manera efectiva, dedicado a la actividad de aprendizaje. Un dato relevante, que se deriva de un estudio de observación en aulas de EMS realizado con el apoyo del Centro de Investigación y Docencia Económica (CIDE), reveló que los maestros de matemáticas o de lenguaje y comunicación dedican 71% de su tiempo en el aula a actividades de aprendizaje, casi 25% a la gestión de aula y el resto (4%) a otras tareas que no guardan relación con el aprendizaje en aula.
3. Sin embargo, en la interacción con los docentes, los estudiantes de nivel Medio Superior se “enganchan” por un tiempo relativamente reducido en actividades de aprendizaje (alrededor de 53% del tiempo). Esta situación se relaciona con el hecho de que los profesores, por lo general, recurren a métodos tradicionales de enseñanza. Para estimular cambios en la eficiencia de la acción docente se requiere fortalecer los esfuerzos de formación continua y desarrollo profesional, y el trabajo colaborativo, entre otras cosas.
Distintas investigaciones indican que los factores principales del desempeño de los estudiantes son ellos mismos, seguidos de los maestros. Lo que sucede en sus hogares y en las escuelas son también factores que inciden en el desempeño, pero con efectos menores que los dos anteriores. En consecuencia, es preciso concentrar la atención en los elementos más relevantes.
Diversas acciones innovadoras de la reforma educativa en México contribuirán a mejorar el desempeño escolar de los estudiantes, operando a través de alguno de los tres factores mencionados. Entre ese conjunto de acciones destacan las siguientes:
• El impulso al Servicio Profesional Docente, con el fin de favorecer que sean el mérito y el perfil de idoneidad del maestro los que determinen quién debe estar frente a un grupo, así como para apoyar la formación continua y el desarrollo profesional de los docentes en servicio para ampliar permanentemente sus capacidades.
• La difusión del trabajo colegiado frecuente (al menos una vez al mes) en todos los planteles de la EMS. La evidencia indica que los planteles con trabajo colegiado frecuente y sistemático impulsan prácticas docentes más efectivas y, por esta vía, un mejor desempeño escolar de los estudiantes.
• El desarrollo de habilidades socio-emocionales. En este renglón existe evidencia indiscutible de que el desarrollo de algunas habilidades, como la perseverancia y el autocontrol, tienen un impacto positivo en el desempeño escolar de los estudiantes.
• La consolidación de la normalidad mínima de los planteles, con el fin de garantizar un conjunto básico de condiciones organizacionales en la operación de estos para aprovechar al máximo el tiempo en la escuela. Por sí misma, esta intervención no asegura los mejores desempeños, pero es una condición necesaria para alcanzarlos.
• La implementación próxima de un modelo educativo revisado, cuya instrumentación deberá contribuir a superar las prácticas memorísticas, renovar planes y programas de estudio y fortalecer los esfuerzos de autonomía de gestión, entre otros objetivos.
Los resultados favorables que pueden derivarse de la instrumentación de estas acciones innovadoras en la mejora de los aprendizajes seguramente no se advertirán en el país de un año a otro. Para acelerar la transformación educativa, las acciones arriba enunciadas requieren ser complementadas con otro conjunto de intervenciones, impulsadas por las escuelas como comunidades de aprendizaje. Andy Hargreaves señala que en la “época de tests estandarizados es cuando más se requiere construir una comunidad de aprendizaje”, que tenga la confianza de poner a este primero y esperar a que después sigan los resultados.
Para hacer posibles las comunidades de aprendizaje, se requiere impulsar un conjunto de condiciones mínimas: primero, un director comprometido en cada plantel con la idea de la comunidad y que sepa cómo construirla y modelarla; segundo, los docentes de los planteles tienen que tener suficientes conocimientos y destrezas, y la disposición para mejorar su formación; finalmente, se necesita del compromiso y la participación activa de los diferentes integrantes de las comunidades de aprendizaje para mejorar el desempeño escolar de los estudiantes.
Entre las acciones dirigidas a apoyar los esfuerzos de las comunidades de aprendizaje, se está impulsando actualmente la elaboración de materiales para actualizar estrategias innovadoras y de microenseñanza que favorezcan que los estudiantes se “enganchen” en las actividades de aprendizaje en aula. Asimismo, se alienta la realización de cursos extracurriculares y tutorías para los alumnos, y se están focalizando acciones en los planteles que sistemáticamente presentan una mayor concentración de escolares en los niveles de logro más bajo. Se requiere, igualmente, motivar a los estudiantes a tener su mejor desempeño en las evaluaciones.
En la instrumentación de este tipo de acciones se busca configurar un modelo de intervención flexible y acorde a las realidades locales, que ponga en el centro a la escuela y sus estudiantes para lograr el propósito de que la reforma educativa se concrete tanto en las aulas como en los aprendizajes de los jóvenes.
___________
Rodolfo Tuirán es subsecretario de Educación Media Superior en la SEP. Daniel Hernández es coordinador sectorial académico de la Subsecretaría de Educación Media Superior.