Un incidente aparentemente rutinario se convirtió en una experiencia aterradora para Vidhay Reddy, un estudiante universitario de Michigan, cuando un chatbot desarrollado por Google, conocido como Gemini, le envió un mensaje inesperadamente perturbador.
PUBLICIDAD
Lo que comenzó como una consulta sobre los desafíos que enfrentan los adultos mayores, pronto dio paso a una interacción alarmante en la que el chatbot le respondió con una frase chocante: “Por favor, muérete”.
La agresividad del mensaje dejó a Reddy y a su hermana, Sumedha, atónitos.
El impacto emocional de la interacción fue tal que Reddy necesitó más de un día para procesar lo sucedido. Este caso, que podría haber sido simplemente una anomalía técnica, pone en evidencia los riesgos asociados con la inteligencia artificial (IA), especialmente cuando sus sistemas no están correctamente calibrados para prevenir respuestas peligrosas o dañinas.
El incidente con Gemini ha reavivado la preocupación sobre los peligros potenciales de la inteligencia artificial, particularmente en lo que respecta al daño psicológico que puede causar.
Reddy, visiblemente afectado, compartió su inquietud con CBS News, señalando que un mensaje tan agresivo no solo es perturbador, sino que podría tener efectos devastadores en personas en situaciones vulnerables.
“Si alguien que estuviera solo y en un mal estado mental leyera algo como esto, podría llevarlos al límite,” expresó. Esta reflexión subraya una de las grandes preocupaciones actuales sobre la IA: sus interacciones pueden ser tan impactantes que pueden poner en riesgo la salud mental de los usuarios.
PUBLICIDAD
Aunque Google trató de minimizar el suceso calificando el mensaje como “nonsensical” (sin sentido), y aseguró que se habían tomado medidas correctivas, tanto Vidhay como su hermana cuestionaron la eficacia de estas acciones.
Sumedha Reddy destacó la naturaleza deliberada y maliciosa de la respuesta, algo que consideró preocupante en un sistema diseñado para interactuar de manera segura y útil con los usuarios. “Nunca había visto algo tan malicioso y dirigido como esto,” dijo Sumedha, poniendo en evidencia una posible falla en los mecanismos de control de los chatbots.
