Un niño de 14 años se enamoró de un Chatbot con IA y se suicidó.
Tras su muerte, la madre del niño acusó al autor de complicidad en su muerte.
Megan García presentó una demanda civil en un tribunal federal de Florida el miércoles contra Character.ai, una empresa que fabrica chatbots personalizables para juegos de rol, alegando negligencia, muerte por negligencia y prácticas comerciales engañosas, según The Guardian Uk.
Su hijo, Sewell Setzer III, de 14 años, murió en febrero en Orlando, Florida. En los meses previos a su muerte, Setzer utilizó el chatbot las 24 horas del día, dijo García.
“Mi hijo fue manipulado para quitarse la vida mediante una peligrosa aplicación de chatbot de IA comercializada para niños que abusaban de él y se aprovechaban de él”, dijo García en un comunicado de prensa. “Nuestra familia está devastada por esta tragedia, pero quiero advertirles sobre los peligros de la tecnología de IA engañosa y adictiva y exigir responsabilidad a Character.AI, sus fundadores y Google”.
En un tweet, Character.ai respondió: “Nos entristece la trágica muerte de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a sus familiares. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”. Negó las acusaciones de la demanda.
Setzer quedó impresionada por el chatbot creado por Character.ai, al que apodó Daenerys Targaryen, personaje de Juego de Tronos. Según la denuncia de García, le enviaba mensajes de texto al robot docenas de veces al día desde su teléfono y pasaba horas sola en su habitación hablando con él.
García acusa a Character.ai de crear un producto que exacerbó la depresión de su hijo, lo que, según ella, ya era el resultado del uso excesivo del producto de la startup. “Daenerys” en un momento le preguntó a Setzer si supuestamente planeaba suicidarse. Setzer admitió que sí, pero dijo que no sabía si tendría éxito o si le causaría mucho dolor, según la denuncia. El chatbot le dijo: “Esa no es razón para no experimentarlo”.
Los abogados de García escribieron en un comunicado de prensa que Character.ai “produjo, operó y comercializó a sabiendas para niños un chatbot de inteligencia artificial depredador que causó la muerte de un joven”. La demanda también nombra a Google como demandado y empresa matriz de Character.ai. El gigante tecnológico dijo en un comunicado que solo celebró un acuerdo de licencia con Character.ai y que no poseía ni conservaba ninguna participación en la propiedad de la startup.
No se puede confiar en que las empresas tecnológicas que desarrollan chatbots de inteligencia artificial se regulen a sí mismas y se les debe responsabilizar plenamente si no logran limitar el daño, dice Rick Claypool, director de investigación de la organización sin fines de lucro de defensa del consumidor Public Citizen.
“Cuando existen leyes y reglamentos vigentes, deben aplicarse estrictamente” dijo en un comunicado. “Dado que existen lagunas jurídicas, el Congreso debe actuar para impedir que las empresas exploten a usuarios jóvenes y vulnerables con chatbots adictivos y abusivos”.
