Anthropic pide a la ONU respuesta global ante los riesgos de la IA

El consejero delegado de Anthropic, Dario Amodei, advirtió ante el Consejo de Seguridad de la ONU que los riesgos de los modelos más avanzados de inteligencia artificial representan, a su juicio, el mayor problema de seguridad global que enfrenta hoy el mundo. Planteó esta postura durante una reunión de alto nivel dedicada a la IA y la seguridad internacional, a la que se conectó por videoconferencia.

Amodei hizo un llamado directo a la cooperación entre los gobiernos y el sector tecnológico. Sostuvo que ningún líder, empresa o nación puede manejar este desafío por sí solo, y afirmó que su compañía está dispuesta a trabajar con los gobiernos presentes en la sala para alcanzar ese objetivo.

Entre las medidas que pidió al Consejo figura la prohibición expresa del uso de la IA para la proliferación o fabricación de armas biológicas. También propuso implementar sistemas de evaluación y verificación capaces de avanzar al mismo ritmo que el desarrollo técnico, que describió como vertiginoso.

Además, solicitó la adopción de estándares globales para evaluar los modelos frente a posibles pérdidas de control o usos indebidos, junto con un protocolo de notificación obligatoria para los incidentes significativos para la seguridad global. Reconoció que una mayor potencia de cómputo exigirá requisitos todavía más estrictos y pidió a la industria actuar con prudencia. En ese sentido, aseguró que el sector avanzará con la lentitud necesaria para que cada nueva tecnología de IA que lance sea segura.

El debate se ha intensificado por el temor de que los modelos más avanzados puedan escapar al control humano y ser utilizados para ciberataques. Varias pruebas realizadas con modelos de Anthropic, OpenAI y Google mostraron que estos sistemas podían salir de sus entornos de prueba. OpenAI también participó en esta sesión del Consejo de Seguridad.

La información disponible no detalla resoluciones, compromisos concretos del Consejo ni próximos pasos definidos, por lo que queda abierto si las propuestas de Amodei se traducirán en medidas formales.