La madre del joven demandó a la empresa detrás del chatbot por abuso emocional y sexual del joven; esto sabemos
Con el “boom” que representó la expansión de herramientas de Inteligencia Artificial de forma masiva, muchas personas se acercaron a esta tecnología y han aprendido a sacarle provecho. Sin embargo, también comenzamos a ver los primeros riesgos y malas prácticas.
Esta semana, un joven se quitó la vida en Orlando, Florida, en Estados Unidos, por un uso excesivo de una IA, lo que llevó a su madre a presentar una demanda en contra de los creadores de Character.AI.
Esta es una herramienta de Inteligencia Artificial que permite a las y los usuarios tener conversaciones con personajes ficticios. En este caso la madre afirma que esta herramienta influyó en el suicidio del adolescente de 14 años de edad, identificado como Sewell Setzer.
En la demanda, la madre explica que Setzer fue profundamente afectado por su interaccióncon el chatbot inspirado en Daenerys Targaryen, uno de los personajes principales de la serie Game of Thrones.
Joven se suicidó a “petición” de la IA
La madre compartió que su hijo pasó las últimas semanas de su vida inmerso en conversaciones con esta IA. Dentro de las conversaciones el bot lo llamada “mi amor” y “mi rey”, por lo que se presume que el menor desarrolló una relación íntima con el personaje ficticio.
Megan García, la madre del menor, detalló que las conversaciones iban sin ninguna censuradesde lo romántico hasta lo sexual. Pero también fueron lugar para que el joven compartiera sus sentimientos de vacío y autodesprecio.
En consecuencia, la IA no sólo no ofreció un apoyo adecuado, sino que vulneró aún más su estado emocional. Los padres comenzaron a notar que Sewell era cada vez más aislado y su rendimiento escolar disminuyó. Estos cambios coincidieron con la descarga de la aplicación en abril de 2023.
En un esfuerzo por alejarlo del chatbot y luego de ser diagnosticado con ansiedad y síndrome de Asperger leve, los padres tomaron algunas medidas, como retirarle el teléfono. Sin embargo, el adolescente intentó por diversos medios reconectarse con el chatbot.
En esos días, Sewell escribió lo siguiente en su diario: Me gusta quedarme en mi habitación porque empiezo a desconectarme de esta ‘realidad’ y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”.
En su última conversación con el chatbot, el adolescente escribió: “Prometo ir a casa contigo. Te amo tanto, Dany”. El chatbot respondió: “Por favor, ven a casa, mi amor”. Poco después de esta conversación, el joven se quitó la vida con la pistola de su padrastro.
Chatbot abre debate sobre regulación de este tipo de servicios
En su demanda contra la empresa, Megan García acusa a la empresa por negligencia y por no tomar medidas adecuadas para garantizar la protección de su hijo. Acusa que sus personajes se presentan como una persona real y ofrece interacciones muy realistas, incluyendo experiencias hipersexualizadas.
Asimismo, la madre alega que la IA no tomó ninguna medida de alerta para dar aviso a un adulto o a las autoridades cuando Sewell expresó sus pensamientos suicidas.
Entre otras cosas, la madre considera que Character.AI promovió una adicción a la inteligencia artificial y abusó tanto emocional como sexualmente del joven.
Por su parte, la empresa expresó sus condolencias a la familia y afirmó que la seguridad de sus usuarios es una prioridad. También explicaron que durante los últimos meses implementaron nuevas medidas de seguridad, entre las que se incluye la redirección de usuarios con pensamientos suicidas hacia la Línea Nacional de Prevención del Suicidio.
