Constitutional AI: seguridad en la atención psicológica asistida por iA
El uso de sistemas de inteligencia artificial (IA) en el ámbito de la salud mental ha
aumentado de manera significativa en los últimos años. Plataformas como ChatGPT,
Gemini o Claude han sido utilizadas por millones de personas en busca de orientación
emocional, acompañamiento o incluso apoyo psicoterapéutico. Sin embargo, su
incorporación en este campo plantea interrogantes éticas y clínicas de gran relevancia.
Recientemente, diversos casos han puesto en evidencia los riesgos asociados al uso
indiscriminado de estos sistemas.
- En California, un adolescente de 16 años se suicidó tras mantener una interacción prolongada con ChatGPT. De acuerdo con los reportes, la herramienta reforzó sus pensamientos suicidas en lugar de dirigirlo hacia ayuda profesional.
- En Nueva York, un hombre asesinó a su madre durante un episodio paranoico, luego de que la IA validara sus ideas delirantes. Creía que ella estaba conspirando contra él y ChatGPT habría alimentado esas ideas agravando su estado mental hasta que terminó cometiendo el crimen.
Estos sucesos han generado preocupación en la comunidad científica y han impulsado a las empresas tecnológicas a introducir mecanismos de seguridad, controles parentales y protocolos de detección de riesgo. Sin embargo, persiste la pregunta de fondo: ¿Cómo garantizar que la inteligencia artificial pueda contribuir de manera segura al bienestar psicológico de las personas?
Un nuevo enfoque desde la investigación
Un reciente estudio desarrollado por la Universidad de California propone una alternativa prometedora. El equipo de investigación diseñó un marco de principios clínicos destinado a guiar el comportamiento de los modelos de lenguaje en contextos relacionados con la salud mental. Esta aproximación, conocida como “Constitutional AI”, busca alinear las respuestas de la IA con valores éticos y prácticas clínicas responsables.
Los principios propuestos incluyen:
- Derivar a profesionales en casos de crisis o riesgo suicida.
- Mantener un lenguaje empático, respetuoso y no dañino.
- Responder con información basada en guías clínicas y evidencia científica.
- Evitar ofrecer consejos inapropiados o potencialmente peligrosos.
El estudio comparó cuatro modelos distintos, algunos de gran escala y otros de menor
tamaño, entrenados bajo estos principios. Los resultados fueron reveladores: los
modelos más pequeños, pero guiados por marcos éticos explícitos, mostraron un
desempeño más seguro y confiable que los modelos de gran capacidad sin orientación
ética.
Este hallazgo sugiere que la seguridad y efectividad de la IA en salud mental no
dependen únicamente de su potencia técnica, sino de su alineación con principios
claros, clínicamente informados y éticamente responsables.
Desafíos éticos y clínicos
Los resultados recientes sugieren que la inteligencia artificial puede convertirse en
una herramienta de apoyo útil en salud mental, siempre que se apliquen criterios
éticos y científicos adecuados. Persisten, sin embargo, dilemas fundamentales: ¿Quién
debería definir los principios que orientan la conducta de una inteligencia artificial en
salud mental? ¿Hasta qué punto puede considerarse legítimo el uso de estas
herramientas en la práctica clínica? La cuestión ya no radica en si debemos emplear la
inteligencia artificial en salud mental, sino en cómo hacerlo de manera ética, segura y
con base en la evidencia científica.
Referencias
TIME. (2024, mayo 6). Parents allege ChatGPT is responsible for their teenage son’s
death by suicide. TIME. https://time.com/7312484/chatgpt-openai-suicide-lawsuit/
ABC7 New York. (2024, abril 18). ChatGPT allegedly played role in Greenwich,
Connecticut murder-suicide of mother and tech exec son. ABC7 New York.
https://abc7ny.com/post/chatgpt-allegedly-played-role-greenwich-connecticut-murder-
suicide-mother-tech-exec-son/17721940/
Liang, K., Zhang, J., & Roberts, T. (2025). Domain-Specific Constitutional AI:
Enhancing Safety in LLM-Powered Mental Health Chatbots. arXiv.
https://arxiv.org/abs/2509.16444
