La empresa Opadai Reconoció el martes que su chatbot de inteligencia artificial (AI) ChatGPT comete fallas en casos «sensibles» y prometió cambios después de recibir una demanda de responsabilidad de su tecnología en el suicidio de un menor en los Estados Unidos.
Este martes, los padres de un joven de 16 años que se le quitan la vida después de meses de interactuar con Chatgpt demandaron a Openi y su propietario, Sam Altman en California, argumentando que el chatbot, bajo el modelo GPT-4O, no aplicó medidas de seguridad a pesar de reconocer las intenciones suicidas de la joven.
Boletín medio comercio
Mira: los experimentos muestran que los metales pueden ocurrir en Marte, ¿por qué es importante?
Operai publicó una publicación de blog titulada «Ayuda a las personas cuando lo necesitan más» y, aunque no se refirió a la demanda, indicó que ChatGPT está capacitado para recomendar a esos usuarios que «expresen intención suicida» del contacto de las organizaciones de ayuda profesional.
Sin embargo, reconoció que a pesar de tener eso y otros mecanismos de seguridad para cuando detecta que «alguien es vulnerable y el riesgo puede ser» los sistemas ChatGPT «se quedan cortos» y el chatbot «no se comportó como se debe en situaciones sensibles».
Sam Altman, CEO de Operai. (Foto: AFP)
La compañía explicó que los mecanismos de seguridad funcionan mejor en intercambios cortos y pueden fallar en largas interacciones que «degradan» el entrenamiento de IA, por lo que funciona específicamente que toma medidas si detecta esa «intención suicida» en múltiples conversaciones.
Mira: iPhone 17: Apple da fecha para la presentación de su nuevo ‘teléfono inteligente’, el 9 de septiembre
ChatGPT, dijo que la compañía también reconoce cuándo el usuario tiene menos de 18 años para aplicar medidas de protección, pero ahora incluirá controles parentales para que los adolescentes responsables sepan cómo usan esa tecnología y exploran la posibilidad de conectarlos directamente con un contacto de emergencia.
Entre otras cosas, la compañía dijo que sus sistemas de «mitigación» se han centrado en casos de autolesiones, pero ahora también cubrirán otras «angustia emocional», y el modelo GPT-5 se actualizará para poder «descalificar» situaciones de ese tipo «conectando a la persona con realidad».
Del mismo modo, estudiar «conectar a las personas con terapeutas certificados antes de estar en una crisis aguda», lo que implicaría crear «una red de profesionales graduados a los que las personas pueden llamar directamente a través de ChatGPT», pero consideró que esta posibilidad llevará tiempo.
