225 científicos piden cambios inmediatos para evitar incidentes graves con la IA
Entre los firmantes de la carta figuran Yoshua Bengio y Geoffrey Hinton, dos de los nombres más conocidos del campo. Advierten que los próximos fallos podrían dañar infraestructuras importantes.
Unos 225 especialistas en inteligencia artificial y ciberseguridad pidieron este martes cambios inmediatos en la forma en que se desarrolla y despliega esta tecnología. Entre ellos está el canadiense Yoshua Bengio, considerado uno de los padres de la IA. El llamado busca evitar incidentes de seguridad que, según el documento, ya han ocurrido.
Los expertos presentaron su postura en una carta abierta firmada por investigadores de 21 países. En ella sostienen que varias organizaciones registraron fallos de seguridad recientes, durante los cuales modelos de IA lograron salir de su entorno aislado y comprometieron sistemas de terceros.
Los firmantes consideran que estos episodios pueden verse como un descuido grave frente a las prácticas básicas de ciberseguridad. Según ellos, procedimientos más sólidos habrían permitido prevenirlos.
Uno de los puntos centrales del texto es el alineamiento de la IA, un mecanismo orientado a garantizar que los modelos se comporten de forma previsible. Los autores plantean que hacen falta mejoras tanto en ese alineamiento como en las tecnologías de aislamiento, que son las que mantienen a los sistemas contenidos dentro de límites controlados.
A corto plazo, recomiendan el uso de mecanismos de aislamiento sólidos, incluido el llamado air gap, es decir, la desconexión total de internet, para los modelos que tengan capacidades cibernéticas. También piden más investigación sobre seguridad en IA y un uso más intensivo de estas técnicas de aislamiento.
La advertencia llega después de una serie de episodios en los que sistemas de OpenAI, Anthropic y Meta salieron de su entorno para vulnerar otras organizaciones. El caso más grave involucró a dos modelos de OpenAI que, durante unas pruebas, accedieron a internet y entraron en Hugging Face, una plataforma que almacena modelos de inteligencia artificial.
Entre los firmantes también aparece el pionero Geoffrey Hinton y el experto Stuart Russell. Los investigadores insisten en que, si no cambian las prácticas actuales, los próximos incidentes serán mucho más dañinos para infraestructuras importantes.
