Adociencia

Y por qué hasta ahora no se ha hablado de ellos

Por  Victoria Villar el 10 de junio de 2026

Me presento

Soy profesora de inglés. Tengo acumulados 25 años de experiencia educativa en 5 países y varios sistemas educativos, incluido el Bachillerato Internacional. A partir de mi puesto como Responsable de Idiomas en el Programa del Diploma en el Centro de Evaluación y Currículo en Cardiff entre los años 2000 y 2003, me interesé por el tema de la evaluación, su influencia tanto en el sistema como en los alumnos y los distintos problemas que surgen en diferentes entornos educativos para gestionarlos. Desafortunadamente, en el 2003 decidí dejar mi puesto por razones familiares y aunque ha seguido interesándome, no he llegado a profundizar en el tema de la forma en que debiera haberlo hecho. 

A lo largo de mi periplo profesional en los últimos 10 años por diferentes centros públicos como profesora y tanto públicos como privados como concertados como madre y alumna, me he encontrado con una serie de situaciones que merecen análisis detallado, una cierta dosis de calma y otra de lógico enfado, creado por la confusión y el abandono en el cual parecen moverse nuestros centros educativos a pesar de los continuos esfuerzos, tanto políticos como personales, por mejorar. 

Uno de los lugares en los que trabajé es Hong Kong, ahora parte de China pero hasta hace poco una especie de ciudad estado con ciertos poderes legislativos en referencia a educación, evaluación y gestión de centros educativos. De hecho, a través de mi puesto como profesora en el Hong Kong Institute of Education en 2004, recibí una invitación expresa del gobierno de Hong Kong a votar su propuesta legislativa para los cambios en los exámenes públicos. También trabajé en un instituto de la República Checa como profesora ‘nativa’ adjunta al departamento de lengua inglesa, en una escuela bilingüe privada en Lisboa y en diversos institutos y centros de menores en Galicia, incluida la cárcel para menores en el barrio de Palavea, el IES Eusebio da Guarda y el IES Antón Fraguas de Santiago de Compostela en donde compartí la sala de profesores y el día a día con Néstor Rega. En la sede central de la EOI de Santiago de Compostela tuve el honor de contribuir al trabajo de redacción y edición de exámenes del C2 de lengua inglesa y pude comprobar cómo desde un centro relativamente pequeño se puede llegar a publicar exámenes de una cierta calidad y rigor tanto técnico como de gestión, lo cual no es fácil. 

Desde mi incorporación a la lista de sustitutos e interinos en el 2014 he podido comprobar de primera mano cómo las calificaciones y las idiosincrasia de nuestro sistema educativo impactan en los distintos tipos de alumnos, en diferentes entornos, en nuestras familias y, más allá de completar el ciclo educativo anterior a la formación universitaria o para el empleo, cómo encaja o desencaja con el entramado social y laboral en el que nos movemos todos. Por ejemplo, como docentes en  Galicia tendemos a sentirnos orgullosos porque nuestros exámenes son difíciles y nos jactamos de aquellos alumnos que alcanzan los mayores honores a nivel nacional a través de premios y medallas. Es cierto que a nivel comparativo nuestros profesores y examinadores son altamente exigentes. La coyuntura que se deriva de dicho celo profesional es que alumnos de otras comunidades autónomas accedan con notas más elevadas pero sin garantías de tener un mejor nivel de conocimientos a nuestras facultades de ingeniería, mientras que nuestros alumnos deben coger la maleta para irse a facultades en las que la media de entrada es menor. Independientemente de que se pueda o no corroborar dicha información con datos macro, la realidad es que sí genera una sensación de injusticia. Como veremos más adelante un buen sistema de evaluación y calificación crea confianza a través de una percepción externa de ser, entre otros factores, justo. 

En los siguientes párrafos me centraré en lo que considero son los pilares tanto técnicos como educativos como de gestión que fundamentan la confianza y validez de un proceso de evaluación de ‘high stakes’ o alta importancia, tal y como es la prueba de acceso a la universidad, PAU. Para ello, utilizaré como referente en comparación los exámenes del Bachillerato Internacional y los del Reino Unido. Lo hago así porque son dos que conozco bien y que forman parte de nuestro entorno de referente cultural europeo e internacional. 

Validez y Fiabilidad – Pilares Fundamentales de una Evaluación de Calidad

Es esencial entender tanto ambos conceptos como su papel e interacción tanto con el proceso de evaluación como con el resultado del mismo y su efectividad para utilizarse como instrumento de certificación o selección. Es decir, si una prueba de evaluación es válida y fiable, como por ejemplo los exámenes de certificación de nivel de inglés de Cambridge University Assessment, tanto las empresas a la  hora de contratar empleados, como las instituciones educativas a la hora de admitir alumnos, pueden estar seguros de que una persona con un C1 está capacitada y ha demostrado su desenvoltura en situaciones que requieren una alta efectividad comunicativa y que implican complejidad en el uso del idioma, tanto a nivel de gramática, léxico y comunicación oral. Sin embargo, esa persona no ha demostrado tener un nivel de ejecución lingüística equivalente al de un hablante o escritor nativo, lo cual sí sucede con el C2. Si el sistema de evaluación de nuestras EOIs está a la misma altura, tendremos la misma seguridad. Esto debería de ser así ya que a través del CEFR (Common European Framework of Reference) para idiomas se han desarrollado instrumentos de evaluación, informes y desarrollo y edición de pruebas y exámenes para garantizar dicha equivalencia. Como persona interesada en el tema, podría dedicarme a debatir si esto se cumple realmente y hasta qué nivel y existen diferentes ámbitos de debate. Desde mi punto de vista y experiencia profesional, considero los exámenes de Cambridge más válidos y fiables que los de las EOIs por diversos motivos pero también entiendo que sí se ha trabajado mucho para alcanzar dicha equivalencia y a grandes rasgos me fío del proceso. En general y con alguna reserva en la cual no voy a entrar porque me interesa hablar del PAU.

Validez

Es la relación entre el examen, su cualificación y los conocimientos, contenidos y habilidades que pretende evaluar. Por ejemplo, un examen de matemáticas administrado en una segunda lengua presenta dificultades extrínsecas a los conceptos matemáticos. En este caso, la lengua o idioma de redacción funciona como un obstáculo a la validez de la prueba. Los problemas mencionados por los profesores y alumnos de la PAU en referencia a las pruebas de Dibujo Técnico mal planteadas se refieren a la validez del examen. 

Fiabilidad

Es la correlación entre el examen y otros exámenes o pruebas de tal forma que si un alumno tiene certificado el nivel C2 de inglés su resultado en la PAU que por legislación se aproxima a un nivel entre el B1 y el B2 debe de ser por necesidad la máxima puntuación, si no ha existido problema por parte del alumno de indisposición o similar. Si un alumno que tiene en vigor la certificación C2 obtiene un 7.5 de nota y alumnos que no han alcanzado dicho nivel obtienen un 8, existe un problema con el examen de la PAU. ¿Por qué afirmo que el problema está en la PAU y no en la certificación? Pues precisamente porque los exámenes y pruebas que certifican el nivel de idiomas pasan por un proceso riguroso de estandaridazión que la CIGA no lleva a cabo. De ahí todos los problemas que han surgido este año y otros a los que se ha dado menor importancia mediática, pero que de todas formas han existido y afectado la nota de cientos de miles de alumnos a lo largo de los años. La pregunta es, si existen procesos y modelos de certificación y de calidad a la hora de escribir, estandarizar, realizar, corregir y calificar un examen, ¿por qué no se utilizan en la prueba más importante en nuestro país y en nuestra comunidad autónoma?

Proceso de Creación de un Examen Estandarizado

Diseño de una prueba

Antes de redactar una prueba, es fundamental diseñarla. En esta etapa, se deben tomar numerosas decisiones cruciales.

¿Qué tipo de resultados se deben reportar? ¿Solo la puntuación final o también puntuaciones parciales?

¿Cuánto debe durar la prueba? Es decir, ¿cuánto tiempo se dispone para su realización y cuántas preguntas debe incluir?

¿Cómo se debe realizar la prueba? ¿En papel o en computadora?

¿Qué tipo de preguntas debe incluir? ¿Opción múltiple? ¿Desarrollo de textos? ¿Completar espacios en blanco? ¿Preguntas con apoyo tecnológico?

¿Cómo se deben distribuir las preguntas de la prueba según el área temática? ¿Cuántas preguntas debe haber en cada área temática principal y secundaria?

Por supuesto, en esta etapa también se toman muchas otras decisiones.

Desarrollo de ítems

RTD se centra en el desarrollo de ítems. Esta es la parte principal del trabajo de desarrollo de pruebas.

Este proceso generalmente comienza con la asignación de tareas a los redactores de ítems, a menudo como parte del trabajo de profesores a tiempo completo. Se les conoce como borradores de ítems porque no supervisan los ítems durante todo el proceso. Sin embargo, su creatividad es vital. Aportan la idea inicial que puede desarrollarse hasta convertirse en un ítem de alta calidad. Este tipo de creatividad puede ser agotadora, pero su labor es fundamental. Por ejemplo, los médicos en ejercicio suelen ser los redactores de ítems para los exámenes de certificación médica.

Los profesionales de desarrollo de contenido (CDP) guían los ítems a lo largo del resto del proceso. Editan los ítems, revisándolos y perfeccionándolos repetidamente. Esto comienza con sus decisiones iniciales sobre si los borradores de ítems deben continuar o descartarse. Realizan sus ediciones iniciales, aplicando sus conocimientos de evaluación, de contenido y de cómo los examinados piensan y responden a los ítems.

Durante el proceso, los CDP comparten los ítems con diversos paneles de expertos externos (expertos en la materia) que los revisan y proporcionan retroalimentación. En el caso de las evaluaciones de primaria y secundaria, estos expertos suelen ser docentes a tiempo completo. Pueden revisar la validez del contenido de los ítems y su imparcialidad (es decir, elementos que puedan otorgar ventajas o desventajas particulares a determinados grupos de examinados). Los CDP utilizan esta retroalimentación para realizar rondas posteriores de revisión y perfeccionamiento.

Por supuesto, también se realizan rondas de corrección de pruebas, edición y verificación de datos. En algún momento del proceso, se deben crear y finalizar los gráficos. Los textos de lectura deben crearse o licenciarse legalmente, incluso antes de que los redactores de ítems reciban sus asignaciones.

Tras todas estas rondas de revisión y perfeccionamiento, los ítems se someten a pruebas de campo. Se les entregan a un gran número de examinados reales o voluntarios para que los prueben, pero sin que estos ítems influyan en sus puntuaciones. Estos ítems de prueba de campo pueden integrarse en medio de una prueba operativa o presentarse en una sección aparte.

Los psicometristas toman los resultados de esas pruebas de campo y examinan las propiedades estadísticas de los ítems, asegurándose de que no presenten problemas de imparcialidad, que su dificultad calculada empíricamente sea apropiada y que se ajusten a sus métodos y modelos estadísticos. Cuando surgen problemas evidentes, los remiten a los CDP para su análisis. Si las anomalías se pueden explicar y no indican problemas más profundos, los ítems se pueden conservar. De lo contrario, se descartan, quizás para una revisión posterior o incluso para siempre.

Elaboración de preguntas

La prueba que realiza un examinado se compone de los ítems aprobados para su inclusión en el banco de ítems. Las versiones de una prueba —denominadas formularios— deben cumplir con todos los requisitos establecidos en la fase de diseño. Es importante la variedad de preguntas, el nivel de dificultad, el orden de los ítems y los grupos de ítems, y, por supuesto, la distribución de los ítems entre las distintas secciones de la materia.

Estas preguntas se revisan minuciosamente, incluyendo todos sus gráficos. Se realizan varias rondas de revisión para detectar problemas y evitar que afecten a los examinados.

Administración de la prueba

Los examinados realizan la prueba. Se debe asegurar de que las condiciones son ideales, que no se permita que los alumnos copien entre ellos o desde fuera y que todos realicen la prueba al mismo tiempo.

Calificación

Algunas pruebas pueden ser calificadas automáticamente por ordenador. Los ítems que no admiten calificación automatizada tienen su propio proceso para desarrollar guías de calificación que garanticen una calificación consistente para todos los examinados. Incluso la calificación automatizada suele requerir el desarrollo previo de procedimientos de calificación y cierta cantidad de calificación humana en tiempo real para entrenar los sistemas de calificación basados ​​en inteligencia artificial. Entre esto y la capacitación de los evaluadores en esos procedimientos, la calificación de las pruebas estandarizadas es mucho más compleja de lo que la gente ajena al tema cree.

Informes de puntuación

Aún queda trabajo por hacer después de calificar las pruebas, pero la mayor parte se basa en el trabajo previo realizado en etapas anteriores del proceso, especialmente en la fase de diseño. Por ejemplo, la conversión de las puntuaciones brutas (es decir, la cantidad de preguntas correctas o incorrectas) a puntuaciones escaladas (es decir, las puntuaciones reportadas) depende de procesos estadísticos diseñados y configurados previamente. Las puntuaciones deben presentarse en informes diseñados para diferentes públicos, también en la fase de diseño.

¿Eso es todo?

No. Definitivamente no es todo. Hay muchos pasos que omitimos, muchos factores que no mencionamos y cada paso mencionado tiene muchísimos subpasos. Aquí no he hablado del proceso de corrección y estandarización de las correcciones. Lo dejaré para otro momento. 

Es mucho trabajo.

Dado que muchas personas realizan evaluaciones a gran escala y que sus resultados influyen en decisiones importantes, los desarrolladores de pruebas deben de tomarse su trabajo muy en serio y cumplir rigurosamente todos los pasos necesarios para ello. De lo contrario nos encontramos con pruebas que no cumplen los requisitos, que son demasiado fáciles o demasiado difíciles para los contenidos oficiales legislados por el Ministerio de Educación o de calificaciones que no se ajustan a la realidad según le haya tocado al alumno un examinador corrector u otro. Como he dicho, esto también se puede regular, no sucede en estos momentos en Galicia y es un factor determinante a la hora de proveer unas calificaciones justas y fiables. 

Las Oposiciones… ¿son válidas y fiables?

En educación rotundamente no. De eso también hablaré otro día.