Continuamos nuestro diálogo con el artículo «Epistemological Fault Lines Between Human and Artificial Intelligence» de Quattrociocchi, Capraro y Perc:
(5) Fractura causal (Causality fault): Los humanos razonamos causalmente, es decir, imaginamos contrafácticos y buscamos las explicaciones, las causas de los sucesos. Por el contrario, los LLMs solo encuentran patrones, correlaciones, no explicaciones causales. Y todo hombre de bien con una mínima formación epistemológica (tristemente, algo que hoy no abunda) tiene tatuado en el cerebro la máxima: Correlación no implica causalidad. Que dos fenómenos estén correlacionados temporalmente no implica que tengan ninguna relación (Necesariamente hay que ver las divertidas correlaciones espurias de Tyler Vigen), y que los LLMs no sean capaces de ver esto es de suma gravedad: Pueden cometer errores de bulto. Y es que esto es una limitación esencial de los sistemas estadísticos. Si solo operas basándote en frecuencias estadísticas, solo puedes encontrar correlaciones.
Objeción: el tema de la causalidad es otro problema que ha atravesado la historia de la filosofía sin solución aparente. Habría autores que defenderían que la causalidad no existe, que todo son correlaciones. Así, desde la clásica negación moderna de David Hume, tendríamos también a autores más contemporáneos como Ernst Mach o Bertrand Russell, o, en la actualidad, a van Fraassen quienes, mutatis mutandi, niegan la realidad ontológica de la causalidad. Y es que la pregunta sigue en pie: ¿Cómo los humanos diferenciamos la causalidad de la mera correlación? En teoría porque encontramos mecanismos causales, pero no siempre ocurre así. Cuando llueve, yo creo que la causa de las gotas que caen sobre mí son las nubes, pero puedo ignorar perfectamente el mecanismo físico que causa la lluvia. Es más, creo que en gran parte de lo que hacemos en nuestra vida cotidiana, ignoramos los mecanismos causales, más cuando estamos rodeados de complejos artefactos tecnológicos ¿Alguien sabría describir con precisión el mecanismo causal que va desde que enciendes la tele hasta que aparece el logo de Netflix? Si nosotros solo operamos por correlaciones en la mayoría de nuestras acciones y si en una gran mayoría de veces las correlaciones implican causalidades, una máquina que solo opera por correlaciones será competente en la mayoría de los casos. Por eso ChatGPT es tan bueno en la mayoría de los casos. Pero sí, todavía tenemos la asignatura pendiente de enseñar a pensar causalmente a las máquinas. Estoy de acuerdo con los autores del artículo en que son dos formas diferentes de pensar.
(6) Fractura metacognitiva (Metacognitive fault): Los humanos pueden reconocer su propia ignorancia y la de otros, dudar, suspender el juicio, revisar creencias, corregirlas… Para los humanos la incertidumbre es parte constitutiva, esencial, del proceso de conocimiento. Sin embargo, los LLMs no funcionan así, carecen por completo de una representación interna de incertidumbre epistémica. Se ha repetido hasta la saciedad de que solo muestran una apariencia de respuesta coherente, por eso alucinan intentándose la información cuando no la tienen. Los ingenieros están teniendo muchísimas dificultades para solucionar este problema porque, además, la naturaleza recursiva de estos sistemas, hace que un error en pasos iniciales, se repita, e incluso se incremente, en los subsiguientes. Además, si seguimos atacando desde el lado fenomenológico, los LLMs no sienten ningún tipo de irritación ante la duda, de fricción cognitiva, es decir, no les molesta no saber algo, no sufren por la incertidumbre.
Objeción: se están investigando muchas técnicas para intentar solucionar el problema. La primera y más obvia es hacer un fine tuning al modelo a partir de textos de epistemología intentando enseñarle a rechazar preguntas fuera de su dominio, a declarar ignorancia y a no inventar respuestas. Pero claro, el “no sé” es un output más, no un acto real de suspensión del juicio, no emerge de una evaluación interna de la verdad o falsedad de la información, sino de reglas aprendidas. El sistema no decide no responder sino que genera una respuesta del tipo “no sé” como cualquier otra. Más claro: el sistema no diferencia entre juicios y juicios acerca de los propios juicios, no puede ponerse en modo meta. Otras técnicas como el RAG, chain-of-thought, self-consistency, reflection loops, epistemic signals, etc. adolecen del mismo problema: no hay un segundo orden genuino. Otro camino ha sido el de utilizar verificadores externos controlados por humanos (el sempiterno human-in-the-loop). Quizá pueda funcionar pero el caso es que se estaría externalizando la autoridad epistémica, la metacognición estaría fuera, no dentro del propio sistema.
(7) Fractura axiológica (Value fault): Nuestros juicios están cargados de valores, identidad y responsabilidad. Las decisiones tienen consecuencias reales y comprometen al sujeto. Como sostiene Robert Brandom, afirmar algo es asumir un compromiso y quedar expuesto a la corrección. Obviamente, en los LLMs no hay valores propios ni compromiso ni responsabilidad con lo dicho. Parece muy ridículo regañar o castigar a Gemini cuando no nos dá la respuesta correcta. Los LLMs no son agentes morales.
Objeción: Aquí vale también girar la mirada hacia nosotros: ¿De dónde vienen nuestros valores y propósitos? ¿Qué es lo que nos convierte o nos legitima como agentes morales? Yo aquí suelo ser muy kantiano y me gusta apelar a la intención (lo que Kant llamaba «buena voluntad», gute wille): si una máquina realiza una acción con auténtica intención estará llevando a acabo una acción moral y, por tanto, será un agente moral sujeto a responsabilidad por las consecuencias de la acción. Y aquí hay una tajante diferencia entre el hombre y la IA: las máquinas no tienen intención, solo tienen objetivos. Sus objetivos pueden ser buenos, pero solo en la medida en que han sido configurados de forma externa por humanos. No obstante, el debate no está para nada cerrado, es más, se ha abierto y es muy fecundo e interesante.
Quattrociocchi, Capraro y Perc llaman, un tanto desafortunadamente a mi juicio, «Epistemia» a este estado distópico en el que ya estamos, o si no al que nos dirigimos muy rápidamente, en el que se sustituye el conocimiento por la persuasión lingüística. Adjunto el fragmento del artículo original donde lo definen (punto VI. p. 8-9):
Definimos la Epistemia como la condición estructural en la que la plausibilidad lingüística sustituye a la evaluación epistémica. Designa un régimen en el que los sistemas producen respuestas sintácticamente bien formadas, semánticamente fluidas y retóricamente convincentes, sin instanciar los procesos mediante los cuales las creencias normalmente se forman, prueban y revisan. El usuario experimenta la posesión de una respuesta sin haber pasado por la labor cognitiva del juicio.
La Epistemia no es una peculiaridad psicológica ni un mal uso transitorio de la tecnología. No se reduce al sesgo de automatización —la tendencia a confiar excesivamente en las recomendaciones automatizadas — ni a un mero problema de atribución de autoridad errónea, en el que los usuarios tratan incorrectamente a un sistema como experto. Tanto el sesgo de automatización como los efectos de autoridad pueden exacerbar la Epistemia, pero presuponen que el sistema subyacente es, al menos en principio, un agente epistémico que podría merecer o no confianza. En el caso de modelos lingüísticos extensos, esta presuposición es falsa. El problema central no es que los usuarios confíen en la fuente incorrecta, sino que interactúan con una fuente que carece de mecanismos internos para formar, mantener o revisar creencias.
La Epistemia es, en cambio, un fenómeno arquitectónico que surge cuando se insertan sistemas generativos en flujos de trabajo epistémicos sin mecanismos internos de referencia, verificación o mantenimiento de creencias. En estas condiciones, la plausibilidad se convierte en un sustituto funcional de la justificación. Lo que se optimiza no es la corrección de las afirmaciones con respecto al mundo, sino su adecuación a una distribución aprendida de usos lingüísticos.
La característica distintiva de la Epistemia es la disociación entre contenido y evaluación. En la cognición humana, el juicio está inmerso en un bucle epistémico: las afirmaciones se contrastan con la evidencia, las creencias chocan con contraejemplos y las conclusiones pueden revisarse a la luz de nueva información y la retroalimentación social. En los sistemas generativos, en cambio, no existe un locus interno donde las afirmaciones puedan ser probadas, retractadas o defendidas. El modelo no distingue entre continuaciones «verdaderas» y «falsas»; distingue entre las más y las menos probables. Lo que se genera no es lo que se sostiene, sino lo que encaja.
La Epistemia es, por lo tanto, el resultado de un desajuste preciso: una competencia lingüística altamente sofisticada sumada a la ausencia de control epistémico. A medida que los sistemas generativos mejoran, este desajuste se vuelve más peligroso, no menos. Cuanto más persuasivo se vuelve el sistema, más fácil es confundir coherencia con corrección, fluidez con fiabilidad y competencia estilística con conocimiento.
Es importante destacar que la Epistemia no depende de las tasas de error. Persiste incluso cuando los sistemas son factualmente precisos. El daño principal no es la producción de falsedades, sino la elusión estructural de la propia evaluación. Cuando las respuestas se entregan de forma definitiva, sin rastros visibles de incertidumbre, conflicto o fundamento probatorio, el usuario se coloca en una posición de pasividad epistémica. El juicio no se ejerce; se consume.
En este sentido, la Epistemia marca una transformación no en lo que se sabe, sino en cómo se produce el conocimiento. Transforma la actividad epistémica de un proceso a un producto. La pregunta operativa ya no es «¿Qué debo creer, dada la evidencia disponible?», sino «¿Qué suena correcto, dado lo que se me presenta?». Los mecanismos de escrutinio, contestación y revisión son reemplazados por mecanismos de aceptación o rechazo inmediato de respuestas prefabricadas.
La Epistemia, por lo tanto, designa una reconfiguración del entorno epistémico: un mundo en el que el acceso a resultados lingüísticamente competentes se vuelve más fácil que el acceso a creencias justificadas, y en el que la experiencia de comprensión se separa de la práctica de la justificación. Es en esta brecha —entre respuestas fluidas y cognición responsable— donde se arraiga una nueva forma de inestabilidad epistémica.
No sé si comparto con los autores esta preocupación por la pérdida de estos valores epistémicos que representan los LLMs porque entiendo que una buena cultura epistemológica es algo que nunca se ha tenido. En cualquier sociedad, solo un reducido número de gente muy cualificada tiene una adecuada formación para evaluar debidamente la justificación de cualquier relato. La gente siempre ha creído en chismes, cuentos de hadas, fantasmas y demás majaderías desde tiempos inmemoriales, y lo sigue haciendo en el presente a pesar de estar ya a más de dos siglos de la Ilustración. Internet está ya muy lleno de fakes y no veo que las alucinaciones de los LLMs vayan a empeorar mucho más esto. En cualquier caso, está bien el golpe de atención ante algo de lo que hay que estar alerta.
Imagen: Versión del Guernica de Picasso como si hubiera sido pintado por Velázquez según Gemini.
La Máquina de Von Neumann 
