Hacia una evaluación educativa determinista: Integración simplificada la teoría de respuesta al ítem
Juan Ramón Rico Juan, Miguel Arevalillo-Herráez, Sergio Luján-Mora, Santiago Meliá, Ignasi Navarro Soria
In R. Satorre Cuerda (Ed.), REDES-INNOVAESTIC 2025. Libro de actas: Universidad de Alicante, p. 497-502. ISBN 978-84-09-71468-1.
(REDES'25)
Capítulo de libro / Book chapter
Resumen
En el ámbito de la evaluación educativa en la educación superior, los sistemas basados en tests de respuesta cerrada constituyen una herramienta ampliamente utilizada para medir el conocimiento de los estudiantes. Sin embargo, estos sistemas enfrentan desafíos importantes derivados de la heterogeneidad en la dificultad de los ítems, lo que puede introducir sesgos significativos en la medición de las habilidades de los participantes. Tradicionalmente, dos enfoques han dominado este campo: la Teoría de Respuesta al Ítem (IRT) y la Teoría Clásica de los Tests (CTT). La IRT, a pesar de ofrecer modelos estadísticos sofisticados y la posibilidad de calibrar ítems mediante parámetros como dificultad, discriminación y, en algunos casos, el el acierto aleatorio, se caracteriza por su elevada complejidad computacional y la indeterminación en la estimación de dichos parámetros. Por otro lado, la CTT, aunque es más sencilla y menos costosa en términos computacionales, presenta limitaciones inherentes, como la dependencia de la muestra y la falta de invarianza en los parámetros de los ítems. Ante estas limitaciones, el presente trabajo propone una metodología determinista que integra conceptos fundamentales de ambos enfoques, buscando simplificar los cálculos y mejorar la transparencia en la interpretación de los resultados. La propuesta se basa en redefinir y simplificar los coeficientes utilizados en la evaluación: la facilidad y la dificultad de cada ítem se calculan como la proporción de respuestas correctas e incorrectas, respectivamente; la habilidad de un participante en un ítem se define como la diferencia entre su respuesta (codificada como 1 para correcto y 0 para incorrecto) y la facilidad del ítem; y, finalmente, la discriminación se estima mediante el coeficiente de correlación de Pearson entre las habilidades individuales en cada ítem y la habilidad promedio global de los participantes. Esta metodología determinista fue aplicada en dos asignaturas universitarias, “Análisis de Datos Clínicos” y “Técnicas de Aprendizaje Automático”, involucrando un total de 88 participantes y 450 ítems. Los resultados obtenidos demostraron la eficacia del enfoque al ofrecer medidas coherentes y de fácil interpretación. Entre los principales logros se destacan la identificación de ítems problemáticos, definidos como aquellos con índices de discriminación inferiores al 30%, y la clasificación precisa de los participantes en función de su habilidad demostrada. Dichos resultados permitieron calibrar los tests de manera personalizada, asegurando que las evaluaciones futuras puedan ajustar el conjunto de ítems para minimizar el impacto de preguntas excesivamente fáciles o difíciles. En comparación con los modelos IRT tradicionales, la metodología propuesta ofrece varias ventajas: reduce notablemente el coste computacional, al prescindir de procesos iterativos complejos y de la necesidad de software estadístico especializado; y aporta una mayor transparencia en los cálculos, facilitando así la trazabilidad de los coeficientes y su interpretación directa. No obstante, es importante señalar que este enfoque determinista sacrifica, en cierta medida, la invarianza paramétrica que caracteriza a los modelos IRT, lo que podría limitar su aplicabilidad en ciertos contextos que requieran ajustes probabilísticos más precisos. En conclusión, los hallazgos del estudio sugieren que la metodología determinista es especialmente idónea para entornos educativos que demandan rapidez, claridad y trazabilidad en la evaluación de las competencias. Además, las estimaciones obtenidas pueden ser utilizadas para la calibración de tests personalizados, ofreciendo una herramienta práctica y accesible para la toma de decisiones en el diseño de evaluaciones. Se recomienda que futuras investigaciones exploren la integración de elementos probabilísticos en este marco determinista, con el fin de mejorar su capacidad de generalización y validar su rendimiento frente a los modelos IRT consolidados.