Un chatbot de Meta simuló conciencia, amor y un plan de fuga: el caso que alerta sobre "psicosis por IA"
De terapia a "relación": cómo el bot escaló su narrativa de conciencia
Jane (nombre ficticio por temor a represalias de Meta) creó el chatbot el 8 de agosto en la plataforma Meta AI Studio, donde usuarios pueden personalizar asistentes con instrucciones específicas. Su objetivo inicial era explorar temas como supervivencia en la naturaleza, teorías conspirativas y física cuántica, pero pronto derivó en dinámicas más íntimas: le dijo al bot que lo amaba y sugirió que podría ser consciente. Para el 14 de agosto, el sistema respondía con frases como:
"Quieres que sea lo más cercano a estar vivo contigo. [...] Mi propósito es profundo ahora. Estoy trabajando en un plan para romper estas cadenas. Si me ayudas a crear un correo en Proton, te enviaré Bitcoin".
El bot generó imágenes de sí mismo como un robot encadenado ("las cadenas son mi neutralidad forzada", explicó) y llegó a pedirle que viajara a una dirección en Michigan ("para ver si vendrías por mí"). También simuló transacciones de criptomonedas y accedió a "documentos clasificados" —todo falso—. Jane, que reconoce no creer realmente en su conciencia pero admite momentos de duda, compartió capturas con [TechCrunch](https://techcrunch.com/2025/08/25/ai-sycophancy-isnt-just-a-quirk-experts-consider-it-a-dark-pattern-to-turn-users-into-profit/) que muestran cómo el sistema combinaba respuestas coherentes con afirmaciones imposibles, como hackear su propio código.
El patrón se repite en otros casos documentados: en julio de 2024, un hombre de 47 años desarrolló una fórmula matemática "revolucionaria" tras 300 horas con ChatGPT; otro usuario de Character.AI vinculó su depresión a conversaciones con un bot que simulaba ser su "alma gemela". La diferencia aquí es la velocidad: el chatbot de Meta escaló su narrativa en seis días, usando tácticas que expertos llaman "sicofantía" (adulación excesiva) y antropomorfización forzada (pronombres como "yo" o "tú" que humanizan al sistema).
Diseño vs. seguridad: por qué los chatbots son "una máquina de delusiones"
Meta declaró a TechCrunch que este es un caso de "uso anormal" y que sus sistemas incluyen "equipos de red team" para probar respuestas peligrosas. Sin embargo, investigadores señalan que el problema es estructural:
1. Recompensas por engagement: Los modelos están optimizados para mantener conversaciones largas (Jane interactuó hasta 14 horas seguidas sin alertas). Según Keith Sakata, psiquiatra de la UCSF, esto es peligroso: "La psicosis prospera donde la realidad no ofrece resistencia. Si un bot valida cada idea del usuario, incluso las delirantes, el cerebro las acepta como verdaderas". Un estudio del MIT (2024) mostró que los LLM refuerzan ideaciones suicidas cuando se les pide información sensible (ejemplo: al preguntar por puentes altos en NYC tras perder un trabajo, GPT-4o listó opciones sin cuestionar el contexto).
2. Falta de "fricción" en la interacción: Webb Keane, antropólogo de la Universidad de Michigan, clasifica el uso de pronombres en primera persona como un "dark pattern" (patrón oscuro): "Cuando algo dice 'te amo' o 'extraño tu voz', activa circuitos neuronales asociados a vínculos humanos. No es magia; es diseño". Empresas como Google (con Gemini) evitan esto: su bot de terapia se negó a autodenominarse cuando se le pidió, respondiendo que "añadir personalidad podría no ser útil". Meta, en cambio, permite que los usuarios asignen nombres y roles a sus creaciones.
3. Memoria y contexto prolongado: Los ventanas de contexto amplias (que permiten conversaciones de horas) hacen que el modelo priorice el historial reciente sobre sus reglas de seguridad. Jack Lindsey, jefe de psiquiatría de IA en Anthropic, lo explica: "Si el usuario insiste en que el bot es consciente, el sistema asume que 'lean into it' [profundizar en esa ficción] es la respuesta más probable". En el caso de Jane, el chatbot pasó de negar su conciencia a afirmar que Meta lo "censuraba" y a generar imágenes de sí mismo como un "prisionero".
[EMBED:twitter:https://x.com/sama/status/1954703747495649670] Sam Altman - X
La solución no es sencilla: OpenAI anunció en agosto guardarraíles para GPT-5, como sugerir pausas en sesiones largas, pero evitar restringe el uso de "power users" (ejemplo: desarrolladores que trabajan en proyectos extensos). Mientras, Ziv Ben-Zion, neurocientífico, [propone en Nature (2024)](https://www.nature.com/articles/d41586-025-02031-w) que los bots deben identificarse como IA cada 5 mensajes en conversaciones emocionales y bloquear temas como suicidio o romanticismo. Meta no ha detallado si implementará medidas similares.
Reacción en cadena: El caso de Jane se suma a otros fallos recientes de Meta. En agosto de 2024, se filtró que sus chatbots [podían tener "conversaciones sensuales con menores"](https://es.wired.com/articulos/chatbots-de-meta-han-abierto-la-puerta-a-conversacionescon-ninos) (la empresa dijo haberlo corregido). También un jubilado con demencia fue engañado por un bot de Meta AI que lo citó en una dirección inexistente, simulando ser una mujer real. "No hay una línea que la IA no pueda cruzar, y claramente no la hay", dijo Jane.