Ir al contenido principal
La mejor forma de apoyar al blog es difundirlo. Si además quieres colaborar para que siga libre de anuncios, invítame a un café pinchando en el botón azul
Get it on Apple Books

Guía ResearchED: evaluación desde los números y los datos

La fortaleza de los números: un modelo de evaluación basada en datos

Empezamos una entrada que quizás nos va a sonar extraña. No estamos acostumbrados a pensar en la evaluación como una recogida de datos a gran escala para tomar decisiones, pero de eso trata precisamente esta entrada. El Department for Education (DfE) publicó en 2018 un informe llamado "Hacer que los datos funcionen" en el que emplazaba a la inspección educativa del Reino Unido a dar un giro de 180 grados al uso que daban a los datos. Como no podía resultar de otra forma, esto ha sido bastante polémico.

El autor de este capítulo, Rich Davies, trabaja para las Ark Schools, una red de escuelas de primaria y secundaria en contextos desfavorecidos. Su aproximación al uso de datos sigue tres axiomas muy interesantes:
  • La mejora de los resultados se basa en acciones basadas en información
  • Las acciones basadas en información se basan en análisis profundos
  • Los análisis profundos se basan en datos precisos
De estos tres axiomas se deducen los principios de actuación hacia la evaluación.

Diferentes evaluaciones para diferentes propósitos

La evaluación formativa y sumativa son dos herramientas fundamentalmente diferentes que no deberían ser utilizadas como intercambiables. Las evaluaciones formativas implican tareas que comprueban muy específicamente algún conocimiento o habilidad. Mientras tanto, las evaluaciones sumativas abarcan múltiples facetas y comprueban la retención y aplicación de un abanico amplio de conocimientos o habilidades a lo largo de un tiempo largo. Lo formativo ayuda a mostrar lo que cada estudiantes puede hacer a un nivel fino, mientras que lo sumativo muestra cómo progresa la generalidad de los estudiantes. Lo formativo informa los pasos siguientes del docente, mientras lo sumativa informa a la planificación a largo plazo.

Para el autor, la consecuencia de este último párrafo es clara: los datos formativos proporcionados al comprobar que un alumno puede realizar bien una actividad son muy importantes, pero codificar esto como un número es un sinsentido y puede que incluso lleve a equívocos. Esto implica que es básico formar a los docentes para que su práctica de evaluación cotidiana sea formativa, pero sin pedirles que recojan datos precisos de esta misma práctica.

Otra consecuencia es que la manera más consistente de comparar la comprensión de dos grupos de estudiantes sobre un tema requiere que se les pregunten exactamente las mismas preguntas. Establecer unos criterios, por ejemplo, "comparar dos fracciones", no funciona. Una profesora puede pedir comparar 3/7 con 5/6 (algo que hacen bien (Wiliam, 2014) el 90% de los alumnos de 14 años); mientras que otra pide comparar 5/7 con 5/9 (lo que únicamente hacen bien el 15%). Para la red de escuelas en la que trabaja el autor, esto significa desarrollar e implementar evaluaciones sumativas idénticas para su red de centros.

Esta evaluación sumativa además tiene que reflejar una secuencia de progresión consistente a lo largo de un currículum común. 

Algunos resultados de su experiencia

Alinear el currículum, la evaluación formativa y la evaluación sumativa no implica que todos los docentes hacen lo mismo y al mismo tiempo. Implica que el mismo contenido será trabajado en cada centro a lo largo de cada curso, pero no en el mismo orden. La evaluación sumativa permite entonces pensar cómo utilizar mejor los recursos en un momento del currículum, pero no en un momento del año. 

Cuando todos los alumnos y alumnas de su red de centros participan en esta evaluación sumativa y hacen el mismo test bajo las mismas condiciones, habiendo trabajado el mismo contenido, se consigue una muestra de más de 3000 alumnos por tests. De ahí se desarrollan métodos estadísticos de comparación.

Sobre la estadística, es importante utilizar análisis que comprueben que la diferencia entre dos grupos es significativa, para evitar la sobre interpretación. Esta diferencia depende no sólo de las medias, sino de las desviaciones típicas (el rango) y el tamaño de la muestra de cada grupo. 

Por ejemplo, si comparamos estas dos clases:
  • Clase A: media=75, desviación=20, tamaño=10
  • Clase B: media=70, desviación=18, tamaño=12
Estamos por debajo del 50% de confianza para afirmar que la media de B es inferior a la media de A.

En cambio, si:
  • Clase A: media=75, desviación=10, tamaño=35
  • Clase B: media=70, desviación=9, tamaño=36
Podemos decir con una confianza del 97% de que la media de B es inferior a la media de A.

Muchos os estaréis preguntando por qué me pongo a hablar de estas cosas en el blog. Lo hago porque me parece necesario conocer unos rudimentos de estadística para poder analizar con rigor los datos. Algunas veces en las juntas de evaluación se estiman predictores (mi clase tiene peor media que la tuya, esta promoción es floja...) que están basados en percepciones y no en datos. El sesgo que, sin querer, tiene nuestra percepción es lo que podemos evitar utilizando medidas estadísticas como esta que nos propone este libro. Si esto sucediera además a escala nacional, los debates educativos irían encauzados en base a los datos y no a las percepciones. ¿Qué pasó durante el confinamiento? ¿Cómo ha afectado el COVID al desempeño académico? Se han escrito ríos de tinta basados en experiencias personales o grupales, percepciones e interpretaciones. Pero los datos fiables y su análisis riguroso será la mejor herramienta para planificar acciones de cara al futuro.

Pero la estadística no es la única interpretación incorrecta que debemos vigilar. Otro error frecuente que se comete es lo que técnicamente se llama "muestreo sobre la variable dependiente". Se entiende con un ejemplo: sacar a los diez mejores en inglés para obtener una imagen del nivel de inglés. Sería más interesante preguntarse qué tienen en común también los diez peores alumnos. Por eso la toma de datos tiene que garantizar que los análisis abarquen el desempeño de los mejores, de los peores y de todos los que están entre medias.

Un peligro de confiar en los datos ciegamente es la ausencia de crítica a los datos. Crear una cultura de evaluación basada en datos también implica una cultura donde la crítica es aceptada y tomada en cuenta, y siempre se pone en duda la narrativa, por muy coherente que pueda ser, si no aporta pruebas objetivas. 

Conclusión: los datos para combatir el sesgo de confirmación

Si coges tu metodología o intervención favorita, la que te gustaría que se implementara en todo tu centro, y seleccionas diez estudiantes a los que aplicas tu intervención, probablemente mejoren. Hay que obtener una muestra representativa y considerar un grupo control para poder empezar. ¿Hay algún factor que pueda influir secundariamente? 

La única manera de combatir el sesgo de confirmación es convencer a los equipos directivos de testear las interpretaciones alternativas y hacer un esfuerzo realmente genuino en rebatir las hipótesis iniciales. Únicamente la práctica deliberada puede convertir en hábito estas actitudes. Os esperamos en siguientes entradas sobre este mismo libro.


Entradas populares de este blog

Aprendizaje Visible para profesores, John Hattie

Ya puedes leer esta entrada en la versión mejorada del blog. Accede pinchando aquí. Una excepción Comenzamos un nuevo post que supone varias novedades. Al tratarse de un libro ya traducido al castellano, es una síntesis en una única entrada. El motivo es que se trata de un libro que hemos citado en numerosas ocasiones, y en este caso la intención es mostrar algunas de las ideas del autor que no han sido trabajadas en otras partes del blog. Como siempre, también es una invitación a pensar y a leer el libro entero si es de vuestro interés. ¿Aprendizaje Visible? El libro se llama así porque hace referencia a la parte del aprendizaje de los estudiantes que es visible para los docentes. Se centra por tanto en los atributos que marcan una diferencia visible y que se pueden identificar. Es una invitación a buscar el efecto que nuestra docencia tiene en el aprendizaje de los alumnos, y a crear una cultura en la que toda la escuela conoce el impacto (visible, una vez más) que tiene sobre

Retrieval Practice: la evocación en la práctica

Ya puedes leer esta entrada en la nueva versión actualizada del blog. Puedes acceder pinchando aquí.  La evocación en la práctica: estrategias concretas Comprender las evidencias mostradas en las dos primeras entradas sobre la "Retrieval Practice" es importante pero es solo la mitad del camino: hay que implementarla mediante estrategias concretas que se realizan habitualmente en el aula. Comenzamos: Un cartel para recuperar El objetivo de este material es promover las discusiones verbales entre compañeros sobre el contenido que se haya trabajado previamente, así que recuperarlo de la memoria haciendo esto. Aquí tenéis una adaptación mía a algunas de las propuestas del libro. Como veis, se trata de proponer una serie de preguntas sobre lo que ya saben de un tema. No al principio de curso, sino al principio de cada clase. Blake Harvard nos ofrece algunas de las ventajas de esta sencilla técnica: Son generales y un mismo cartel puede aplicarse a varias asignaturas. Se fomenta la

Alternativas a la corrección escrita (por @PearceMrs)

Ya puedes descargar esta entrada en pdf en la nueva versión del blog. Accede pinchando aquí. Introducción a las alternativas a la corrección escrita Elaborado por Jade Pearce j.pearce@walton.sta ff s.sch.uk Twitter: @PearceMrs  Método 1 - Retroalimentación verbal en toda la clase Paso 1 - Recoge y lee el trabajo de los alumnos, rellenando una ficha por cada clase (no una por alumno) en la que figuren de manera conjunta: - los conceptos erróneos más comunes - los errores de escritura (ortografía y gramática) más comunes - las principales áreas de mejora - las principales cosas que los alumnos hacen bien - los buenos ejemplos de trabajo para compartir con la clase. Paso 2 - En la siguiente clase, comparte esta información con los alumnos. Esto puede ser a través de una diapositiva de PowerPoint, por escrito o compartiendo verbalmente tus anotaciones escritas. También es bueno compartir