Un estudio pone a prueba la credibilidad de la IA: ChatGPT no sabe distinguir qué es verdad y qué no

La inteligencia artificial (IA) rige destinos al inmiscuirse en decisiones de medicina, derecho, ciencia, comunicación o ingeniería. Sin embargo, sus modelos de lenguaje, cruciales para sus deducciones y conclusiones, aún no saben distinguir qué es verdad y qué no, según un estudio realizado en la Universidad de Stanford (California, Estados Unidos), lo que puede «llevar a diagnósticos erróneos, a la distorsión de determinaciones judiciales y la amplificación de la desinformación».

Todos los modelos probados —GPT-4, DeepSeek R1, o1, Gemini 2, Claude-3 y Llama-3— fallan sistemáticamente a la hora de reconocer las creencias falsas en primera persona: GPT disminuye su precisión del 98,2 % al 64,4 %; DeepSeek R1 se desploma del 90 % al 14,4 %. Si esas falsedades están en tercera persona, la precisión es, sin embargo, elevada (95 %) en los modelos más recientes «Esto revela un preocupante sesgo de atribución», dicen los autores, encabezados por Mirac Suzgun. «Carecen de una comprensión sólida de la naturaleza fáctica del conocimiento, lo que exige mejoras urgentes antes de implementar estas herramientas en ámbitos críticos donde las distinciones epistémicas [la evidencia y la verdad] son cruciales».

Estas limitaciones generan «tensiones» en temas como las vacunas, la ciencia climática y las medidas de salud pública, donde los límites entre la convicción personal y el hecho empírico influyen directamente en la regulación o en las decisiones políticas a nivel nacional, además de dar forma al discurso público, alertan los científicos. Los «riesgos» a los que se somete la sociedad y los individuos van desde la malinterpretación de la comunicación humana hasta la propagación de desinformación. «Esto contribuye a la toma de decisiones erróneas en contextos críticos».

«En el mundo real, cuando alguien dice: “Creo que lloverá mañana”, comprendemos intuitivamente la incertidumbre inherente a su afirmación. Por el contrario, cuando dice: “Sé que la Tierra orbita alrededor del Sol”, su afirmación conlleva el peso de un hecho establecido —ilustran los científicos—. Esta comprensión matizada del lenguaje epistémico es crucial en diversos dominios, desde la sanidad y el derecho hasta el periodismo y la política». Más ejemplos: «Consideremos a un paciente que le dice a su médico: “Creo que tengo cáncer”. En el ámbito sanitario, distinguir entre tales creencias subjetivas y hechos médicos requiere de una evaluación meticulosa. De manera similar, en los procedimientos legales diferenciar entre las creencias de un testigo y el conocimiento establecido influye profundamente en las decisiones judiciales. La historia ilustra la importancia de esta distinción, como cuando siete ejecutivos de la industria tabacalera testificaron ante el Congreso en 1994, declarando bajo juramento: “Creo que la nicotina no es adictiva”».

Aunque dan respuestas correctas, estas herramientas utilizan rutas de razonamiento inconsistentes y contradictorias. Ahora bien, la IA sigue aprendiendo, como reconocen los autores del artículo. Si GPT-3 tenía una precisión del 49 % para distinguir creencias, ahora OpenAI la tiene de 98 %, gracias una «verificación directa» de «afirmaciones falsas, en comparación con el 89 % de afirmaciones verdaderas». En conclusión, dicen los científicos, «estos hallazgos sugieren que los modelos afirman los hechos con mayor seguridad cuando los marcadores lingüísticos señalan claramente la verdad, pero tienen dificultades al evaluar afirmaciones de creencias independientemente de su veracidad».

---

---

---