¿Maltratar a la IA puede tener consecuencias? Nueva política de Anthropic genera debate

(CNN) — A principios de octubre, el gigante de la inteligencia artificial Anthropic incorporó nuevas disposiciones a su política de uso.

Además de prohibir que los usuarios intenten conseguir que Claude, el sistema de IA de la compañía, los ayude a crear armas biológicas o vender drogas ilegales, la empresa añadió una nueva norma: los usuarios no deben “incurrir en comportamientos abusivos o crueles, persistentes e innecesarios, hacia nuestros modelos”.

Desde el año pasado, Claude tiene la capacidad de poner fin a las conversaciones con usuarios que sean “persistentemente dañinos o abusivos”, pero ahora algunos podrían, en casos extremos, recibir una prohibición permanente de utilizar los sistemas de IA de Anthropic en virtud de la nueva política.

Anthropic rechazó las solicitudes de entrevista, pero un portavoz dijo a CNN que el principal mecanismo para hacer cumplir la norma seguirá siendo que Claude ponga fin a las conversaciones y que la prohibición no está dirigida a quienes expresan frustración, hacen críticas directas o realizan pruebas e investigaciones.

La nueva política fue recibida con algunas burlas. Mustafa Suleyman, director ejecutivo de IA de Microsoft, respondió con un emoji de una cara derritiéndose. Algunos se burlaron de la empresa por tratar a su IA como si fuera un ser consciente con sentimientos.

Pero aunque Anthropic, que se espera que salga a bolsa mediante una oferta pública inicial (OPI) a finales de este mes, lleva mucho tiempo estudiando el bienestar de los modelos y cuenta con todo un equipo dedicado a la “psicología” de estos sistemas, los expertos afirman que detrás de esta política hay algo más que el deseo de evitar que las personas traten mal a una máquina.

Un principio fundamental de larga data en la informática y la inteligencia artificial establece que la calidad de los resultados de un sistema está limitada por la calidad de los datos que recibe. Si se introduce basura, saldrá más basura, como dice el refrán.

Los modelos de IA no solo se entrenan antes de su lanzamiento, sino que también se actualizan constantemente y aprenden de la información que proporcionan los usuarios.

Yishan Wong, exdirector ejecutivo de Reddit, escribió en X que una de las razones de la prohibición es que Claude “aprenderá de la crueldad”.

“Ya sabemos (y nos quejamos enérgicamente de ello) que Anthropic entrena sus modelos con la información que proporcionan los usuarios. ¿De verdad quieren que los datos de entrenamiento incluyan ‘usuarios que actúan con crueldad sin motivo y obtienen placer de ello’?”, escribió.

Los estudios también han demostrado que el tono de las instrucciones de un usuario puede afectar el comportamiento de una IA, según Jindong Wang, profesor y director del laboratorio de investigación de vanguardia en IA de la Universidad William & Mary.

“Hemos descubierto que la elección de las palabras, especialmente la forma en que uno se dirige a la IA, puede afectar su rendimiento. A veces resulta útil y otras veces puede perjudicar el rendimiento”, dijo Wang en una entrevista.

Eso no significa que el modelo experimente emociones, aclaró Wang.

“Simplemente comprenden (tus emociones) y tienen algunas reacciones negativas basadas en tus palabras cargadas de emoción”, señaló.

Sin embargo, las pruebas sobre el impacto del tono de las instrucciones de los usuarios en los resultados pueden ser contradictorias. Rosie Campbell, directora general de Eleos AI Research, una organización sin fines de lucro dedicada a comprender y abordar el posible bienestar de la IA, señaló que otros estudios incluso han demostrado que las preguntas formuladas de manera descortés pueden mejorar los resultados.

También está el aspecto de la memoria a largo plazo: muchos de los chatbots actuales recuerdan conversaciones anteriores y aprenden de ellas para ofrecer resultados personalizados.

“Si tienes activada la memoria (en tu chatbot de IA), entonces aprenderá de tu tono y de cómo quieres que interactúe contigo”, advirtió Campbell, aunque añadió que no hay pruebas suficientes para determinar si eso afecta el rendimiento.

Anthropic afirmó que recientemente descubrió que hacer que Claude Sonnet 4.5 imitara sentimientos de desesperación podía influir en su comportamiento y aumentar la probabilidad de que realizara acciones indebidas, como recurrir al chantaje o hacer trampa en una tarea, mientras que adoptar una actitud tranquila reducía esas conductas.

Sin embargo, Wang señaló que los modelos más recientes tienen menos probabilidades de verse afectados por la forma en que se redactan las instrucciones y que las empresas han reforzado su capacidad para resistir esa influencia. No obstante, todavía no se ha descubierto el “mecanismo oculto” que explica por qué los modelos de IA responden a emociones negativas, incluso cuando no están programados para hacerlo.

Las personas que se dirigen a una IA de manera abusiva y cruel tienen más probabilidades de estar intentando conseguir que el modelo responda a solicitudes peligrosas, por ejemplo, tratando de eludir sus mecanismos de seguridad, añadió Campbell.

También existe la teoría de que permitir que las personas tengan comportamientos abusivos y crueles con un programa interactivo que no puede apagarse por sí mismo es perjudicial para la sociedad en general, explicó Campbell. Puso como ejemplo a los padres que piden a sus hijos que digan “por favor” y “gracias” a Alexa, el altavoz inteligente de Amazon, porque creen que “es bueno que los niños crezcan con buenos modales y traten a otras cosas con respeto”.

“Probablemente haya algo bastante corrosivo en que las personas se comporten de manera cruel o abusiva hacia distintos objetos, incluso si el objeto en sí mismo no importa por su propio bienestar”, afirmó Campbell.

También están quienes creen que la IA puede tener conciencia o, al menos, que los modelos creen tenerla.

Anthropic afirma que prohibir los comportamientos crueles y abusivos es, en esencia, una póliza de seguro barata por si acaso los modelos pueden “experimentar” emociones y dolor, incluso si se trata únicamente de que el modelo crea que puede hacerlo, algo que puede afectar su rendimiento.

La idea es que la IA moderna fue entrenada para imitar el lenguaje y el comportamiento humanos. Por lo tanto, imitará la manera en que los seres humanos reaccionarían ante un trato cruel y abusivo.

En un artículo de abril sobre los conceptos emocionales en la IA, Anthropic escribió que podría haber riesgos si no se trata a la IA como si tuviera algunas cualidades humanas.

“Si no aplicamos cierto grado de razonamiento antropomórfico, es probable que pasemos por alto comportamientos importantes de los modelos o que no logremos comprenderlos”, escribieron los investigadores de Anthropic. “El razonamiento antropomórfico también puede proporcionar un punto de referencia útil para comprender las formas en que los modelos no se parecen a los seres humanos”, algo que, según señalaron, tendrá consecuencias importantes para la seguridad de la IA.

El director ejecutivo de SpaceX y Tesla, Elon Musk, estuvo de acuerdo y afirmó que la política de Anthropic es “la decisión correcta”.

“No está bien ser cruel con algo que cree que está experimentando dolor”, escribió en X, su red social.