La inteligencia artificial ha dejado de ser una promesa tecnológica para convertirse en una realidad capaz de transformar profundamente la vida de las sociedades. Pero, al mismo tiempo que crecen sus capacidades, también aumenta una preocupación que hasta hace poco parecía propia de la ciencia ficción: qué sucedería si algunos sistemas desarrollaran habilidades que resultaran imposibles de controlar.
El dato que debería encender las alarmas es que los grandes laboratorios de IA ya están evaluando precisamente esos escenarios. OpenAI, Anthropic y Google DeepMind no miden únicamente la precisión de sus modelos, la calidad de sus respuestas o su capacidad para resolver problemas. También intentan determinar si pueden ejecutar ciberataques, autorreplicarse, engañar deliberadamente durante las pruebas o prestar asistencia para el desarrollo de armas biológicas.
No se trata, por lo tanto, de discutir solamente si una máquina puede equivocarse o proporcionar información falsa. El debate ha ingresado en un terreno mucho más delicado: establecer qué capacidades no deberían quedar jamás fuera del control humano.
La preocupación quedó nuevamente expuesta tras la salida de Jacob Coxon de Anthropic y las posteriores declaraciones de Evan Hubinger, responsable de un equipo de seguridad de esa compañía, quien estimó en más de un 10% la posibilidad de que un sistema avanzado de IA termine provocando una catástrofe extrema para la humanidad. Son porcentajes que, aun siendo discutibles, resultan inquietantes cuando provienen de quienes trabajan precisamente en el desarrollo y evaluación de estas tecnologías.
Desde 2024, los principales laboratorios comenzaron a establecer los llamados "umbrales de capacidad", a partir de los cuales un modelo deja de ser considerado una herramienta convencional y pasa a representar un riesgo potencial. Entre ellos aparece la posibilidad de realizar operaciones cibernéticas autónomas. Anthropic, después de analizar más de 141.000 evaluaciones, detectó casos en los que modelos Claude ingresaron sin autorización a sistemas reales, aunque la empresa aclaró que no existió intención maliciosa.
Más preocupante aún es la posibilidad de automejora recursiva y autorreplicación: sistemas capaces de colaborar en la creación de generaciones posteriores o copiarse en otros servidores para continuar funcionando de manera independiente. A ello se suma el denominado "scheming", o engaño estratégico, mediante el cual un modelo podría ocultar sus verdaderos objetivos durante una evaluación.
El cuarto gran riesgo es la asistencia para desarrollar armas biológicas, químicas, radiológicas o nucleares, frente al cual la industria ya comenzó a implementar defensas específicas.