En resumen. La IA generativa produce texto que encaja con la forma de lo que le pides, no texto que haya verificado. Tres casos documentados lo muestran: abogados sancionados por citar sentencias inventadas, una aerolínea obligada a responder por lo que dijo su chatbot y un informe de consultoría con referencias que no existían. Preguntarle a la IA si lo que dijo es cierto no es verificar.
Qué es una alucinación de la IA
Cuando una IA generativa inventa algo (un caso judicial, una cita, una cifra, una fuente) y lo presenta con seguridad, eso es una alucinación. El error no se ve: viene bien redactado, con nombre, número y fecha. Mi explicación sencilla es que el modelo no consulta una base de datos; genera la respuesta que mejor encaja con la forma de lo que se le pide. Una cita judicial tiene una forma muy reconocible, y el modelo sabe imitarla.
Caso 1: citas inventadas ante un juez federal (Nueva York, 2023)
Todo lo que sigue sale de la sentencia de sanciones del 22 de junio de 2023 (678 F. Supp. 3d 443, Distrito Sur de Nueva York).
- El 1 de marzo de 2023, los abogados del demandante presentaron un escrito que citaba casos que no existían, creados con ChatGPT.
- Uno de ellos, Steven Schwartz, tenía unos 30 años de litigio, pero no estaba admitido en el tribunal federal. Hizo todo el trabajo de investigación y redacción. El otro, Peter LoDuca, sí estaba admitido: firmó y radicó el escrito sin haberlo redactado y sin leer ninguna de las autoridades citadas.
- Cuando se cuestionaron los casos, Schwartz le preguntó al propio ChatGPT si eran reales. Respondió que sí, que se encontraban en bases como Westlaw y LexisNexis. Después declaró: "Simplemente no pensé que el caso pudiera ser inventado".
- Siguieron defendiendo los casos incluso después de que el juez los cuestionara. La sanción fue de 5.000 dólares conjuntos y cartas al cliente y a cada juez cuyo nombre se usó falsamente.
Lo que dice el juez Castel es lo más útil: usar una herramienta de IA confiable no es indebido, pero las reglas imponen a los abogados un papel de filtro (gatekeeping) para garantizar la exactitud de lo que presentan.
Caso 2: Moffatt contra Air Canada (Canadá, 2024)
El chatbot de la aerolínea le dijo a un pasajero que podía pedir el descuento por duelo hasta 90 días después de emitido el boleto. Air Canada negó el reembolso y argumentó que no respondía por lo que dijera su chatbot. El Civil Resolution Tribunal de Columbia Británica (decisión 2024 BCCRT 149, del 14 de febrero de 2024) lo calificó como una alegación "notable": el chatbot es parte del sitio de la empresa, y la empresa responde por toda la información que publica, venga de una página o de un bot.
Caso 3: un informe de consultoría con referencias falsas (Australia, 2025)
Según CFO Dive y TechSpot, un informe de unos 440.000 dólares para un departamento del gobierno australiano tenía citas a investigaciones que no existen, atribuciones falsas a investigadores y una cita judicial inventada. La firma reconoció que algunas notas y referencias eran incorrectas, y la versión corregida de octubre de 2025 declara que se usó una herramienta basada en Azure OpenAI GPT-4o.
Tres ideas para llevarte
- La alucinación no avisa. Suena igual que lo verdadero.
- Preguntarle a la IA si es cierto lo que dijo no es verificar. Es pedirle al mismo generador que se confirme.
- El problema no es usar IA, es no verificar. Lo que delegas sigue siendo tu responsabilidad.
Cómo verificar: un método simple
- Busca la fuente fuera de la IA. No le pidas que la confirme.
- Desconfía más cuando la respuesta es muy específica: nombres, números, citas, fechas.
- Pídele la fuente y ábrela; no basta con leer el enlace.
- Más riesgo, más revisión: un dato para un juez, un cliente o un gobierno no se entrega sin verificar.
- Deja constancia: qué herramienta usaste, qué verificaste y quién aprobó.
La pregunta que hago en mis programas
En este caso hay dos papeles: quien hace el trabajo (Schwartz) y quien firma sin revisar (LoDuca). La pregunta que dejo a cada equipo es: ¿en tu equipo, quién es Schwartz y quién es LoDuca? Quien firma responde aunque no haya escrito, y quien escribe responde aunque no firme. Responder en el chat, sin hablar, suele ser muy revelador.
Fuentes
- Sentencia de sanciones del 22 de junio de 2023, Distrito Sur de Nueva York (CourtListener)
- Moffatt v. Air Canada (ABA Business Law Today)
- Moffatt v. Air Canada (Bristows)
- Informe con errores de IA (CFO Dive)
- Informe con citas inexistentes (TechSpot)
¿Quieres que tu equipo use IA con reglas claras?
Dicto programas de capacitación en IA para empresas, de 6 a 48 horas, con Claude, Microsoft Copilot y gobernanza ISO/IEC 42001.
Ver los programas → Escríbeme