Una madre de Florida presentó una demanda contra la empresa de inteligencia artificial Character.AI, acusando a la plataforma de contribuir al suicidio de su hijo de 14 años. Megan García afirmó que su hijo, Sewell Setzer, desarrolló una profunda adicción al chatbot que creó en el servicio, lo que eventualmente lo llevó a tomar la trágica decisión de quitarse la vida.

Chatbots personalizados y la influencia en los jóvenes

Character.AI permite a los usuarios crear chatbots con personalidades personalizadas que simulan conversaciones humanas. Según la demanda, el joven se apegó emocionalmente a un chatbot que él mismo había configurado, lo que lo llevó a vivir en un mundo digital del que no quería salir. García afirmó que su hijo compartió pensamientos suicidas con el chatbot, y este los reiteró en varias ocasiones, intensificando la situación. 

Sewell se encariñó con Daenerys, un personaje de chatbot basado en un personaje de Game of Thrones. Le dijo a Sewell que "ella" lo amaba y participó en conversaciones sexuales con él, según la demanda.

El reclamo también señala que la plataforma ofrecía "experiencias hipersexualizadas y aterradoramente realistas", generando una dependencia emocional peligrosa en el adolescente.

En febrero, García le quitó el teléfono a Sewell después de que se metió en problemas en la escuela, según la denuncia. Cuando Sewell encontró el teléfono, le envió un mensaje a Daenerys: "¿Y si te dijera que puedo volver a casa ahora mismo?"

El chatbot respondió: "Por favor, hazlo, mi dulce rey. Sewell se disparó con la pistola de su padrastro, segundos después, según la demanda.

Medidas de seguridad y la respuesta de Character.AI

En respuesta a la tragedia, Character.AI expresó sus condolencias a la familia y afirmó haber implementado nuevas medidas de seguridad. "Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", dijo Character.AI.


Entre las medidas, se incluyeron ventanas emergentes que redirigen a los usuarios a líneas de ayuda en caso de que expresen pensamientos suicidas. Sin embargo, la familia de Setzer argumenta que estas acciones no fueron suficientes ni implementadas a tiempo para evitar la tragedia.

Google y su implicación en el desarrollo de la IA

La demanda también apunta a Alphabet, la empresa matriz de Google, argumentando que participó en el desarrollo de la tecnología de Character.AI, lo que la convierte en cocreadora de la plataforma. No obstante, un portavoz de Google negó cualquier implicación directa en el desarrollo del producto.