Estudio presentado en el CIIE 2026 mostró que las instrucciones directas a modelos de lenguaje generan preguntas de evaluación escolar de mejor calidad que los procesos secuenciales, aunque la revisión de especialistas sigue siendo imprescindible para asegurar su validez.

¿Cómo puede la inteligencia artificial contribuir a la elaboración de instrumentos de evaluación educativa? Esa fue la pregunta que motivó una investigación desarrollada por especialistas del área de innovación del Centro de Medición MIDE UC, cuyos resultados fueron presentados en el VII Congreso Interdisciplinario de Investigación en Educación (CIIE 2026).

La ponencia, titulada “Generación de 30 ítems con LLMs: ¿one-shot prompting o generación quirúrgica?”, estuvo a cargo de los especialistas Diego Ocampo Varela y Nicolás Torres Ulloa, quienes analizaron la capacidad de los modelos de lenguaje de gran escala (LLMs) para apoyar la construcción de preguntas de selección múltiple destinadas a estudiantes de enseñanza media.

La elaboración de ítems para evaluaciones educativas exige conocimiento disciplinar especializado, tiempo y rigurosos procesos de validación. Frente a este desafío, el estudio buscó determinar qué estrategia de generación automática de preguntas ofrece mejores resultados para apoyar las etapas iniciales de diseño de pruebas.

Dos estrategias para generar preguntas

La investigación comparó dos modalidades de generación de ítems a través de inteligencia artificial:

• Generación directa o one-shot: creación de la pregunta completa mediante una única instrucción estructurada.
• Generación por etapas o “quirúrgica”: elaboración secuencial del enunciado, la respuesta correcta y las alternativas incorrectas.

Para evaluar la calidad de las preguntas producidas, los investigadores sometieron los resultados a la revisión de paneles de expertos en las asignaturas de Matemática y Lenguaje.

Los hallazgos evidenciaron una diferencia significativa entre ambos enfoques. La generación directa obtuvo una aprobación global del 77%, con 23 de las 30 preguntas evaluadas consideradas satisfactorias por los especialistas. En contraste, la generación por etapas alcanzó un 50% de aprobación, con 15 preguntas aceptadas.

Al analizar los resultados por asignatura, también se observaron diferencias relevantes:

• En Matemática, la generación directa alcanzó un 86% de aprobación (12 de 14 ítems), mientras que la generación por etapas obtuvo un 71% (10 de 14 ítems).
• En Lenguaje, la distancia fue mayor: la generación directa logró un 69% de aprobación (11 de 16 preguntas), frente al 31% obtenido por el método por etapas (5 de 16 preguntas).

Según los autores del estudio, una de las principales explicaciones de estos resultados radica en el denominado “efecto de arrastre de errores”. Cuando la construcción de la pregunta ocurre en varias etapas, una imperfección inicial en el enunciado puede propagarse hacia la respuesta correcta y los distractores, afectando la calidad final del ítem.

Innovación con supervisión experta

Los resultados sugieren que los modelos de lenguaje pueden transformarse en una herramienta valiosa para agilizar la generación de borradores de preguntas de evaluación, reduciendo tiempos y apoyando el trabajo de los equipos especializados.

Sin embargo, el estudio también advierte que el desempeño de estas herramientas varía según la disciplina evaluada, por lo que el análisis de calidad debe realizarse de manera diferenciada y no únicamente a partir de indicadores globales.

La investigación refuerza así una idea clave para el uso responsable de la inteligencia artificial en educación: aunque estas tecnologías pueden aumentar la eficiencia de los procesos de desarrollo de evaluaciones, la validación y el juicio profesional de expertos siguen siendo fundamentales para garantizar la calidad, pertinencia y validez de los instrumentos.

Con este trabajo, MIDE UC continúa aportando evidencia sobre el uso de tecnologías emergentes en evaluación educacional, promoviendo una innovación metodológica que combine el potencial de la inteligencia artificial con los estándares de calidad que requiere la medición educativa.

Estudio presentado por investigadores de MIDE UC en el CIIE 2026 mostró que las instrucciones directas a modelos de lenguaje generan preguntas de evaluación escolar de mejor calidad que los procesos secuenciales, aunque la revisión de especialistas sigue siendo imprescindible para asegurar su validez.