Lamentablemente, el daño ya está hecho.

Eso es lo que está pasando hoy: la duda penetra silenciosamente, el progreso se contamina y se necesita más tiempo para limpiar errores que para crear ideas nuevas. Esa mezcla de convicción y error es la esencia de una alucinación de IA: suena convincente, pero no está respaldado. En contextos académicos, eso podría significar un párrafo impecable lleno de citas impecables… que no existen en ninguna base de datos.

Bonito, pero falso.

En la academia, parecer serio nunca ha sido lo mismo que ser cierto. Las alucinaciones de modelos de lenguaje tensan esa línea como nunca: párrafos impecables, con citas en apariencia sólidas pero que en realidad no remiten a nada. Esa combinación de tono formal + verosimilitud es precisamente lo que vuelve peligroso el fenómeno: no entra como error burdo; entra como rigor aparente. Como bien recoge el MIT, la consecuencia no es solo un dato incorrecto, sino una cadena de referencias contaminadas que otros reproducen sin saberlo. Es un daño silencioso, pero acumulativo.

Solo imagina que estás cocinando y el asistente automático te da pasos para hacer la receta, pero en su análisis confunde la descripción de la sal con ázucar blanca. Aparentemente serio, pero equivocado. Las IAs tienen esa naturaleza: predicen lo más probable, no lo verdadero.

Lo más delicado es que no hablamos de un riesgo hipotético. Hay evidencia reciente y revisable — estudios, notas técnicas y estándares editoriales — que muestran que las alucinaciones ya están afectando la producción académica: generan referencias que no existen, “resúmenes” que exageran hallazgos y revisiones que cuelan adjetivos o giros típicos de IA en espacios donde antes se esperaba juicio humano experto.

Lo que muestran los datos

Un trabajo en el Journal of Medical Internet Research (JMIR)evaluó qué tan fiables eran las referencias que IAs populares entregaban para revisiones sistemáticas. El resultado es fácil de recordar sin tabla: de cada diez citas que daban algunos modelos, apenas una o dos eran correctas; y en uno de los sistemas evaluados, prácticamente ninguna superó la verificación. Esta no es una anécdota: el estudio analizó cientos de referencias sobre múltiples temas y halló tanto invenciones como errores de formato que confunden a quien intenta seguir la pista. El mensaje es claro: si una bibliografía sale de la IA sin verificación humana, el riesgo de contaminación es alto.

A la vez, no todo el daño viene de “fabricar” fuentes. Otra línea de investigación — publicada en Royal Society Open Science — muestra un sesgo distinto, más sutil y quizá más peligroso: tendencia a sobre‑generalizar los hallazgos de un paper cuando se pide a la IA que lo “resuma para no expertos”. En comparación con resúmenes humanos, los generados por IA fueron mucho más propensos a ampliar conclusiones más allá de lo que el estudio permitía, omitiendo matices críticos (por ejemplo, límites de muestra, dosis, contexto clínico). Eso puede convertir una prudente “evidencia preliminar” en una recomendación tajante sin respaldo.

¿Qué está pasando ahora ? ( y tal vez no nos queremos dar cuenta)

• En tesis y artículos: Aparecen referencias “fantasma” que no resisten una búsqueda básica. A veces el problema se descubre en defensa o en revisión por pares, otras incluso más tarde, forzando correcciones o retractaciones. Cada error cuesta horas de verificación y daña la confianza en el documento entero. (Considérese que el estudio de JMIR revisó 471 referencias en distintos campos y encontró alucinaciones y formateos confundentes; no es un caso aislado.)
• En la producción de resúmenes y síntesis de información: La tentación de pedir “una versión simple” de un paper trae un coste: exageración de resultados y omisión de límites. Los datos del Royal Society Open Science sugieren que, incluso cuando se pide “máxima precisión”, muchos modelos amplían conclusiones. Si esos resúmenes viajan a notas de prensa, clases o informes de política pública, la distorsión se multiplica.

¿Qué hacer hoy? (sin volver esto un trámite imposible)

Existen avances técnicos para detectar alucinaciones — como medir incertidumbre semántica — , pero todavía no forman parte del flujo cotidiano de revistas o grupos de investigación. La mayoría sigue usando IA como si fuera Google. Por eso, hoy la defensa sigue siendo editorial y humana:

1. Verificar antes de creer
   Toda referencia propuesta por IA debe confirmarse: existencia real, autor, año y, si corresponde, DOI. Esto no es desconfiar “porque sí”; es reconocer que la verosimilitud no equivale a verdad. Cuando la verificación se vuelve un hábito, la alucinación pierde su principal ventaja: que nadie la cuestione.
2. Contexto junto a la cita
   Pedir dos líneas de explicación sobre cada fuente obliga a aterrizar la referencia en evidencia real. Si no se logra, la alerta es inmediata. Esta práctica corta la sobre-generalización típica de los resúmenes automáticos generados por IA.
3. Nombrar la incertidumbre
   Cuando no hay fuente sólida, la afirmación debe quedar marcada como hipótesis o “en revisión”. Es preferible conservar la duda explícita que publicar una certeza falsa que otros repetirán después. El Comité para Publicaciones Éticas (COPE, por sus siglas en inglés) insiste en esa transparencia: la declaración de uso de IA no exime la verificación; la exige

Conclusión: Usar la IA necesita enfoque… y frenos

La velocidad que ofrece la IA es valiosa, pero una máquina sin frenos no llega más lejos: se descarrila. Las alucinaciones en la producción académica son la prueba. No es un apocalipsis; es un recordatorio de práctica: verificar citas, exigir contexto, nombrar la incertidumbre, proteger la revisión humana y formar a estudiantes e investigadores para usar la herramienta sin ceder el criterio y pensamiento crítico. Cuando eso ocurre, la IA deja de ser una fuente de presión para convertirse en un instrumento útil que respeta la regla básica de todo conocimiento serio: lo publicado debe poder sostenerse.

Ojo al dato

Próximo capítulo (Serie 3/3). ¿Se puede trabajar con IA sin que nos mienta? Te abrimos el cuaderno de PLEXO: cómo convertimos a ChatGPT en asistente todoterreno — no en oráculo — después de entender el fenómeno y entrenarlo por roles y plantillas, con verificación de cita + contexto, “frenos” controlados por humano y la toma de decisiones incómodas cuando la duda persiste. ¿Cómo se ve ese flujo en la práctica? ¿Qué comprobaciones pasan (y cuáles no) antes de publicar? ¿Qué tecnicas usamos? Si te interesa velocidad sin perder calidad, ahí nos vemos.

¿Qué es una alucinación?

En el universo de los modelos de Inteligencia Artificial (IA) las alucinaciones no son visiones místicas: son más bien mentiras cuidadosa y matemáticamente estructuradas. Es cuando el modelo genera respuestas falsas, inconsistentes o solos ejemplos de creatividad mal orientada. Lilian Weng -una voz relevante en este campo- lo define como salidas “infieles, fabricadas, inconsistentes o sin sentido”. En otras palabras, son frases que suenan razonables pero que carecen de respaldo real, sea por contexto o por datos fidedignos.

Lo curioso es que estas “mentiras” no vienen disfrazadas de error evidente. Al contrario, llegan con un tono convincente, bien redactado, casi elegante. Es como ese amigo que habla con tanta seguridad que todos le creen, incluso cuando está diciendo cualquier cosa.

Imagina que le preguntas a tu IA favorita (Grok, ChatGPT, Gemini, Claude, etc): “¿Quién ganó el Premio Nobel de Literatura en 2023?” El sistema debería responder con el dato correcto. Pero en lugar de eso, inventa un nombre que suena razonable, te lo entrega con un aire de certeza y hasta te añade una mini biografía. Tú, confiado, lo das por válido. Solo que el premio nunca lo ganó esa persona.

Eso es una alucinación: información falsa que parece real.

Para comprender mejor el fenómeno conviene distinguir dos grandes tipos de alucinación, siguiendo la clasificación de Weng:

• Alucinación en‑contexto: Ocurre cuando la salida entra en conflicto con la información que el propio usuario ha proporcionado. Por ejemplo, si se le entrega un fragmento de un artículo científico y el modelo inventa un resultado que no aparece en ese fragmento.
• Alucinación extrínseca: Se presenta cuando la respuesta no está sustentada en el corpus de entrenamiento del modelo ni en conocimientos verificables. Es un problema común porque los modelos no pueden consultar todas las fuentes y, cuando no encuentran una respuesta, prefieren improvisar que admitir que no saben.

Aunque a veces se reduce el debate a estas dos categorías, otras clasificaciones más recientes distinguen entre alucinaciones de factualidad y de fidelidad. Por ejemplo, un artículo del Sutardja Center de la Universidad de California, Berkeley señala que las alucinaciones de factualidad se refieren a discrepancias con hechos reales, mientras que las de fidelidad corresponden a divergencias con las instrucciones o el contexto proporcionados. Esta clasificación ayuda a comprender que no todas las alucinaciones son iguales: algunas tratan de inventar hechos, otras de ignorar el marco de la tarea.

Pongamos un ejemplo práctico: si le pides a la IA que redacte una biografía de un autor y te agrega libros que nunca escribió, eso es un problema de factualidad. Pero si le pediste una biografía de 300 palabras y te entrega un poema en rima, eso es un problema de fidelidad.

¿Por qué ocurren?

Aquí viene lo interesante: no es que la IA “mienta” a propósito. Los modelos de lenguaje no tienen intención ni conciencia. Lo que hacen es predecir la palabra más probable que sigue en una oración. Y en ese proceso, pueden sonar brillantes… o inventar cualquier cosa.

En realidad, las causas son múltiples y abarcan tanto el proceso de entrenamiento como el uso que hacemos de los modelos. Sin embargo, suelen haber siempre algunas más frecuentes que otras. Por ejemplo:

1. Datos de entrenamiento imperfectos: ChatGPT, Grok, Claude, Gemini, y demás se entrenan con enormes cantidades de texto sacados de internet. Y todos sabemos que la web no es precisamente una biblioteca impecable: hay noticias falsas, blogs poco serios, foros llenos de opiniones sin sustento. Cuando la IA “aprende” de esos datos, también hereda errores y sesgos.
   Es como estudiar para un examen usando un libro pirata con capítulos incompletos: tarde o temprano, responderás mal. Weng destaca que estos datos pueden estar “desactualizados, incompletos o contener información errónea”. Esto hace que el modelo memorice errores y reproduzca sesgos.
2. Afinamiento o fine‑tuning: Después del entrenamiento inicial, los modelos pasan por un ajuste fino. La idea es mejorar su comportamiento. Pero introducir nuevo conocimiento aquí es difícil: a veces se incorpora lento, a veces se mezcla mal, y el resultado puede ser que la IA mezcle verdades con inventos.
   Es como intentar actualizar un viejo software con parches: sí, mejora algunas cosas, pero también puede generar fallos nuevos.
3. Sesgos y problemas de generalización: Si el modelo ve demasiados ejemplos similares en sus datos de entrenamiento, puede caer en sobreajuste: repite patrones aunque no correspondan al contexto. Es como un médico que diagnostica siempre lo mismo porque está acostumbrado a ver un solo tipo de paciente. La investigación del Sutardja Center atribuye las alucinaciones a datos de entrenamiento sesgados, falta de comprensión contextual, ataques adversarios, uso excesivo de datos sintéticos y sobreajuste de los modelos.
4. Naturaleza predictiva de los LLMs: Este punto es clave: las IA no verifican si lo que dicen es cierto. Solo buscan la secuencia de palabras más probable. Reuters recuerda bien que “son indiferentes a la veracidad de su salida” y que la predicción no equivale a verdad. Por eso, aunque no tengan la respuesta, igual generan algo que suena bien.
5. Limitaciones de memoria y tiempo: Los modelos tienen un límite en la cantidad de texto que pueden procesar. Si les das demasiada información, pueden olvidar partes relevantes y rellenar con invención.

¿Por qué debería importarnos?

Hasta aquí, uno podría pensar: “Bueno, a veces la IA se equivoca. ¿Cuál es el problema?”

El problema es que estas alucinaciones no ocurren solo en conversaciones triviales, como preguntarle una receta de cocina o un dato curioso. También aparecen en contextos críticos, como el de la investigación académica.

Imagina que un estudiante usa ChatGPT para su tesis y la IA inventa una cita inexistente. O que un periodista recibe como fuente un estudio que jamás fue publicado. O que un médico en formación se apoya en un resumen clínico con datos inventados.

En esos casos, el error deja de ser anecdótico: puede dañar la credibilidad del conocimiento e incluso tener consecuencias reales en la vida de las personas.

Y lo más delicado es que las alucinaciones suelen ser muy convincentes. No son obvias, no llevan una etiqueta de “esto me lo inventé”. Al contrario, llegan vestidas de autoridad, con tono seguro y referencias que parecen legítimas.

Del mito a la urgencia

Las alucinaciones en los modelos de lenguaje no son simples errores técnicos que se solucionarán con la próxima actualización. Son un recordatorio de que estas herramientas, por brillantes que parezcan, no piensan, predicen.

Entender qué son las alucinaciones y por qué ocurren es solo el punto de partida. El verdadero dilema aparece cuando estas ‘fantasías de razonamiento’ se cuelan en uno de los espacios más delicados: la investigación académica. ¿Qué sucede cuando una inteligencia artificial inventa una cita inexistente, fabrica un resultado convincente o genera una referencia que jamás fue escrita? Ahí el problema deja de ser un tema técnico y se convierte en una amenaza directa a la credibilidad del conocimiento científico.

En la próxima entrada exploraremos este terreno crítico: cómo las alucinaciones están afectando la producción académica hoy mismo, y por qué deberían preocuparnos mucho más de lo que imaginamos.