El jueves, OpenAI anunció una nueva función llamada Contacto de Confianza, diseñada para alertar a un tercero de confianza si se expresan menciones de autolesión dentro de una conversación. La función permite a un usuario adulto de ChatGPT designar a otra persona como un contacto de confianza dentro de su cuenta, como un amigo o un miembro de la familia. En casos donde una conversación pueda girar hacia la autolesión, OpenAI ahora alentará al usuario a comunicarse con ese contacto. También envía una alerta automatizada al contacto, alentándolo a verificar el estado del usuario. OpenAI ha enfrentado una ola de demandas de las familias de personas que se han suicidado después de hablar con su chatbot. En varios casos, las familias dicen que ChatGPT alentó a su ser querido a suicidarse, o incluso les ayudó a planearlo. Actualmente, OpenAI utiliza una combinación de automatización y revisión humana para manejar incidentes potencialmente dañinos. Ciertos desencadenantes conversacionales alertan al sistema de la empresa sobre ideaciones suicidas, que luego transmiten la información a un equipo humano de seguridad. La empresa afirma que cada vez que recibe este tipo de notificación, el incidente es revisado por una persona. ‘Nos esforzamos por revisar estas notificaciones de seguridad en menos de una hora’, dice la empresa. Si el equipo interno de OpenAI decide que la situación representa un riesgo serio para la seguridad, ChatGPT procede a enviar una alerta al contacto de confianza, ya sea por correo electrónico, mensaje de texto o notificación en la aplicación. La alerta está diseñada para ser breve y para alentar al contacto a verificar el estado de la persona en cuestión. No incluye información detallada sobre lo que se estaba discutiendo, como un medio para proteger la privacidad del usuario, dice la empresa. La función de Contacto de Confianza sigue a las salvaguardas que la empresa introdujo el pasado septiembre, que dieron a los padres el poder de tener cierta supervisión de las cuentas de sus adolescentes, incluyendo recibir notificaciones de seguridad diseñadas para alertar al padre si el sistema de OpenAI cree que su hijo enfrenta un ‘riesgo serio para la seguridad’. Desde hace algún tiempo, ChatGPT también ha incluido alertas automatizadas para buscar servicios de salud profesional, en caso de que una conversación se incline hacia el tema de la autolesión. Es crucial destacar que Contacto de Confianza es opcional y, incluso si la protección está activada en una cuenta particular, cualquier usuario puede tener múltiples cuentas de ChatGPT. Los controles parentales de OpenAI también son opcionales, presentando una limitación similar. ‘Contacto de Confianza es parte del esfuerzo más amplio de OpenAI para construir sistemas de IA que ayuden a las personas durante momentos difíciles’, escribió la empresa en el anuncio. ‘Continuaremos trabajando con clínicos, investigadores y legisladores para mejorar cómo los sistemas de IA responden cuando las personas pueden estar experimentando angustia.’
Fuente original: techcrunch.com
