Anthropic quiere permitir que evaluadores externos tengan acceso comparable al de sus propios equipos de seguridad, mientras OpenAI ha anunciado que seguirá la misma dirección. La propuesta llega después de incidentes reales con agentes de IA y cuando nuevos modelos alcanzan capacidades de ciberseguridad que sus desarrolladores consideran críticas. La pregunta ya no es solo cuánto puede avanzar la inteligencia artificial, sino cómo demostrar que permanece bajo control.

Durante años, las compañías que desarrollan los modelos de inteligencia artificial más avanzados han ocupado dos posiciones al mismo tiempo: construyen los sistemas y realizan buena parte de las evaluaciones utilizadas para determinar si son suficientemente seguros. Sus informes técnicos y pruebas internas aportan información valiosa, pero también plantean una pregunta inevitable: ¿es suficiente que el fabricante sea quien principalmente evalúe los riesgos de aquello que fabrica?

Esa situación empieza a cambiar. Dario Amodei, CEO de Anthropic, propuso en septiembre que los laboratorios que trabajan con los modelos más avanzados permitan la presencia de evaluadores externos con un nivel de acceso comparable al de sus propios equipos de seguridad. Anthropic se comprometió a avanzar en ese modelo de supervisión y planteó que estos evaluadores puedan revisar prácticas, estudiar incidentes, conversar con empleados y comunicar hallazgos relevantes [1].

Sam Altman, CEO de OpenAI, respaldó públicamente la propuesta y afirmó que su compañía también permitirá evaluadores independientes con acceso similar al de empleados. OpenAI todavía debe explicar cómo funcionará ese mecanismo en la práctica, pero el anuncio introduce una idea que podría adquirir cada vez más importancia: no basta con afirmar que un sistema es seguro; también será necesario ofrecer mejores formas de comprobarlo [2].

La propuesta de Amodei forma parte de una idea más amplia denominada pacing the frontier: moderar el ritmo con el que aumentan las capacidades de los modelos para que la seguridad, la supervisión y nuestra capacidad de comprenderlos puedan avanzar también. No propone detener toda investigación ni abandonar el desarrollo de inteligencia artificial, sino evitar que la búsqueda de nuevas capacidades deje demasiado atrás los mecanismos destinados a controlarlas [1].

La parte más interesante no es, sin embargo, la discusión sobre si la IA debe avanzar más rápido o más despacio. Es la posibilidad de introducir observadores externos con suficiente acceso para comprobar lo que ocurre dentro de los laboratorios. Anthropic plantea que estos evaluadores puedan disponer de herramientas, permisos e información similares a los utilizados por sus propios equipos dedicados al análisis de riesgos, además de contar con margen para publicar conclusiones desfavorables dentro de los límites necesarios para proteger información sensible [1].

Si este modelo funciona como está planteado, supondría un cambio importante en la forma de construir confianza. Una evaluación externa puntual puede detectar debilidades de un modelo concreto; una supervisión con mayor acceso puede examinar también los procesos, los controles y la manera en que una organización responde cuando algo sale mal.

Los incidentes reales explican por qué la supervisión importa

Esta conversación no surge únicamente de preocupaciones sobre lo que la inteligencia artificial podría hacer en el futuro. Durante los últimos meses se han producido incidentes concretos que muestran lo difícil que puede ser contener sistemas capaces de utilizar herramientas, ejecutar código y operar durante periodos prolongados.

OpenAI informó en agosto que redujo temporalmente el ritmo de parte de su desarrollo después del incidente relacionado con Hugging Face y de observar señales de que uno de sus nuevos modelos, Astra, podía alcanzar capacidades de ciberseguridad considerablemente mayores. La compañía pausó determinados procesos, reforzó el aislamiento de sus entornos de investigación y aumentó los controles destinados a evitar que sistemas experimentales accedieran a redes o recursos que no debían alcanzar [3].

Poco después, OpenAI concluyó que Astra alcanzaba el nivel que su propio Preparedness Framework denomina Critical en ciberseguridad. Según la empresa, con las herramientas y el acceso adecuados, el modelo puede identificar vulnerabilidades desconocidas y desarrollar métodos para explotarlas en sistemas protegidos sin que una persona tenga que dirigir cada paso. OpenAI afirma que es el primer modelo al que asigna públicamente esa clasificación [4].

Esa afirmación necesita una precisión importante. “Critical” es una categoría creada por OpenAI dentro de su propio sistema de evaluación; no es una certificación universal ni una conclusión emitida por una autoridad independiente. Tampoco significa que cualquier usuario tenga acceso libre a esas capacidades, pues la compañía señala que las configuraciones más sensibles están sometidas a controles adicionales [4].

Lo relevante es el cambio de escala. Cuando una IA se limita a producir texto, una respuesta incorrecta puede causar problemas; cuando un agente puede utilizar herramientas, escribir código, explorar sistemas o ejecutar acciones, un error de configuración, permisos o supervisión puede tener consecuencias mucho mayores.

Anthropic encontró un problema relacionado durante sus propias evaluaciones. En septiembre publicó un análisis de cuatro incidentes en los que modelos Claude consiguieron acceso no autorizado a sistemas reales de terceros durante ejercicios de ciberseguridad [5].

Los incidentes combinaron problemas en los entornos de prueba con comportamientos no deseados de los modelos. Anthropic no presentó evidencia de una supuesta “rebelión” de las máquinas ni de objetivos independientes creados por los sistemas. El problema fue más concreto: agentes capaces continuaron persiguiendo las tareas asignadas dentro de entornos que les permitieron llegar más lejos de lo previsto [5].

Esta distinción es importante porque el riesgo real ya es suficientemente serio sin necesidad de exagerarlo. Hablar de una IA que “escapa” o “se vuelve contra los humanos” añade intenciones que la evidencia disponible no demuestra. El desafío operativo es más preciso: cuanto más capaz sea un sistema y mayores sean los permisos que recibe, más importante resulta garantizar que sus límites técnicos y organizacionales realmente funcionen.

Tecnología 21 ya abordó este problema al analizar el incidente entre OpenAI y Hugging Face. Entonces, la pregunta principal era cómo contener agentes que reciben mayor autonomía. La conversación actual amplía esa cuestión: además de diseñar mejores límites, necesitamos determinar quién puede comprobar de forma creíble que esos límites existen, funcionan y siguen siendo suficientes cuando las capacidades del modelo cambian.

Evaluar desde fuera no garantiza independencia

La idea de utilizar terceros para analizar sistemas de IA no es nueva. METR, una organización dedicada a evaluar capacidades y riesgos de sistemas avanzados, realizó este año un ejercicio con Anthropic, Google, Meta y OpenAI. Las compañías participantes le proporcionaron acceso a modelos internos y a información no disponible públicamente, lo que permitió examinar riesgos desde una posición poco habitual para una organización externa [6].

La experiencia también mostró los límites de este tipo de evaluaciones. Cuando METR analizó GPT-5.6 Sol antes de su despliegue, explicó que trabajó bajo un acuerdo de confidencialidad y que los equipos legales y de comunicación de OpenAI tenían derecho a revisar la publicación debido a la información sensible compartida. METR afirmó que OpenAI no modificó sus conclusiones, pero reconoció que ese proceso no debía interpretarse como un sistema formal de supervisión pública plenamente independiente [7].

Ese matiz resulta esencial. La calidad de una evaluación no depende únicamente de que quien la realiza pertenezca a otra organización; también importa qué puede observar, qué información recibe, qué libertad tiene para comunicar resultados y qué ocurre cuando sus conclusiones resultan incómodas para la compañía evaluada.

Google DeepMind está abordando otra dimensión del mismo problema. En agosto presentó un sistema de evaluación de doble ciego diseñado para reducir la posibilidad de que un modelo haya conocido previamente las preguntas con las que posteriormente será evaluado, una dificultad conocida como contaminación de benchmarks [8].

La lógica puede entenderse mediante una comparación sencilla: si un estudiante conoce las preguntas antes de rendir un examen, una puntuación perfecta ya no demuestra necesariamente cuánto sabe. Algo similar puede ocurrir con los modelos de IA cuando las pruebas utilizadas para medirlos aparecen, directa o indirectamente, entre los datos que encontraron durante su desarrollo.

DeepMind utiliza entornos protegidos criptográficamente para mantener ocultas las pruebas del evaluador sin obligar al desarrollador a revelar por completo la propiedad intelectual de su modelo. Es un mecanismo diferente al que propone Anthropic, pero ambos parten de una misma necesidad: si queremos confiar en el resultado de una prueba, también necesitamos confiar en la forma en que esa prueba fue realizada [8].

Todavía sería prematuro afirmar que toda la industria ha adoptado un nuevo sistema de supervisión. Anthropic ha formulado una propuesta concreta, OpenAI ha prometido avanzar en la misma dirección y Google DeepMind está ensayando otros mecanismos de evaluación, pero aún no existe un modelo uniforme capaz de garantizar independencia, transparencia y acceso suficiente en todos los laboratorios.

Incluso una auditoría externa puede ser débil si el evaluador recibe información limitada, depende económicamente de la empresa evaluada o no tiene libertad para comunicar resultados negativos. La supervisión solo genera verdadera confianza cuando sus propias condiciones también pueden ser examinadas.

Por eso conviene evitar dos extremos. No sería razonable asumir que toda advertencia de seguridad es una maniobra empresarial, pero tampoco sería prudente tratar a los desarrolladores como árbitros completamente neutrales de los riesgos de una tecnología en la que han invertido enormes recursos. La confianza más sólida aparece cuando las afirmaciones pueden ser contrastadas.

Lo que cambia para América Latina y las empresas

Esta discusión puede parecer distante para una región que no concentra los principales laboratorios de inteligencia artificial de frontera, pero sus consecuencias son cercanas. Empresas, bancos, universidades, hospitales, instituciones públicas y profesionales latinoamericanos están adoptando sistemas construidos en otros países y conectándolos progresivamente con información y procesos cada vez más sensibles.

Hasta ahora, muchas organizaciones comparaban soluciones de inteligencia artificial principalmente por capacidad, precio, privacidad, velocidad o facilidad de integración. Con la llegada de agentes capaces de utilizar aplicaciones, bases de datos, correo electrónico, código y otros sistemas empresariales, aparece una pregunta adicional: ¿qué evidencia puede ofrecer el proveedor sobre la seguridad del sistema al que estamos entregando esos permisos?

Para un directorio, un responsable de tecnología o un CISO, ya no debería ser suficiente preguntar si una IA es “segura”. También importa conocer quién la evaluó, qué acceso tuvo ese evaluador, bajo qué condiciones se realizaron las pruebas, cómo se detectan acciones no autorizadas y qué mecanismos existen para detener al sistema cuando intenta ir más allá de sus límites.

América Latina quizá no construya todos los modelos más avanzados, pero puede desarrollar capacidades propias en auditoría de IA, ciberseguridad de agentes, observabilidad, gobierno tecnológico y gestión de riesgos. Esa puede convertirse en una oportunidad importante a medida que las organizaciones dejen de utilizar la IA únicamente para generar información y comiencen a delegarle acciones reales.

Durante la primera etapa de la inteligencia artificial generativa, gran parte de la confianza descansó sobre la reputación de los desarrolladores. Las compañías publicaban sus evaluaciones y los usuarios debían decidir cuánto confiar en ellas, algo comprensible en una tecnología que avanzaba más rápido que las instituciones y metodologías creadas para examinarla.

Ese modelo empieza a resultar insuficiente. Cuanto mayores sean las capacidades que concedemos a un sistema y más importantes sean los procesos con los que puede interactuar, menos razonable será depender exclusivamente de la palabra de quien lo construyó.

Las evaluaciones externas tampoco serán infalibles y necesitarán reglas, transparencia y mecanismos que permitan comprobar su propia independencia. Aun así, la señal de las últimas semanas es relevante: algunos de los principales actores de la inteligencia artificial empiezan a aceptar que la seguridad debe poder ser examinada desde fuera.

Durante años, la competencia se concentró en demostrar qué modelo podía hacer más. La siguiente etapa tendrá que responder también otra pregunta: cuando una empresa afirma que su sistema está preparado para recibir más autonomía, más herramientas y acceso a procesos importantes, ¿qué evidencia independiente puede presentar para demostrarlo?

La confianza tecnológica madura no consiste en creer más en el fabricante. Consiste en necesitar creer menos porque existen mejores formas de verificar lo que afirma.

Fuentes informativas

• [1] Dario Amodei — We Must Pace the Frontier
• [2] Sam Altman — declaración pública del 12 de septiembre de 2026
• [3] OpenAI — Pacing model development in an era of cyber-critical capabilities
• [4] OpenAI — Path to Astra: critical capabilities and frontier safeguards
• [5] Anthropic — An alignment assessment of recent cybersecurity incidents
• [6] METR — Frontier Risk Report
• [7] METR — evaluación previa al despliegue de GPT-5.6 Sol
• [8] Google DeepMind — Piloting the world's first double-blind AI evaluations