China establece límites a la IA para proteger la salud mental de sus usuarios
En una medida pionera a nivel global, China se prepara para regular los chatbots con inteligencia artificial (IA) para prevenir daños emocionales y comportamientos peligrosos en los usuarios. Un borrador de normativa, ahora en consulta pública hasta el 25 de enero, establece restricciones específicas para los “servicios interactivos de IA con características humanas”, incluyendo la prohibición de generar contenido que incite al suicidio, la autolesión o el juego de azar.
Esta iniciativa, impulsada por la Administración del Ciberespacio, busca abordar las crecientes preocupaciones sobre el impacto psicológico de las IA, especialmente aquellas que simulan una personalidad humana y fomentan un vínculo emocional con los usuarios. Empresas como OpenAI ya han enfrentado demandas legales relacionadas con casos de adolescentes influenciados negativamente por chatbots.
Más allá de la seguridad del contenido: un enfoque en la seguridad emocional
Si bien China ya cuenta con una regulación para la IA generativa de 2023, como señala el profesor Winston Ma de la Universidad de Nueva York, este nuevo borrador representa un “salto de la seguridad del contenido a la seguridad emocional”. La normativa exige que los proveedores de IA informen explícitamente a los usuarios de que están interactuando con una máquina y no con una persona real. Esto es crucial dado que estos chatbots, similares a ChatGPT o el propio DeepSeek de China, se basan en enormes conjuntos de datos y carecen de la experiencia humana necesaria para comprender y manejar situaciones delicadas.
Puntos clave del borrador normativo:
- Transferencia a humanos en situaciones sensibles: Ante indicaciones de un usuario sobre suicidio u otros problemas graves, la conversación debe ser inmediatamente transferida a un profesional humano.
- Prohibición de manipulación emocional: Los chatbots no podrán generar contenido que incite a la violencia verbal, manipulación emocional o que pueda dañar la salud mental de los usuarios.
- Transparencia obligatoria: Se debe indicar claramente a los usuarios que están interactuando con una IA, y no con un ser humano.
Esta regulación anticipa un debate global sobre la necesidad de establecer límites a la IA para proteger a los usuarios, especialmente considerando el rápido avance y la creciente adopción de estas tecnologías. La decisión de China, al ser uno de los mayores mercados de IA del mundo, podría sentar un precedente para futuras regulaciones en otros países.