Ingeniero renuncia a Anthropic y advierte sobre riesgos de la superinteligencia
Jacob Coxon, quien también trabajó en OpenAI, cuestiona la carrera de las empresas por crear sistemas cada vez más potentes. Un investigador de Anthropic calcula en más de 10% el riesgo para la humanidad en la próxima década.
Un ingeniero británico que pasó por OpenAI y Anthropic dejó esta última empresa y decidió hacer pública su inquietud por el rumbo del desarrollo de la inteligencia artificial. Se trata de Jacob Coxon, de 27 años, quien sostiene que las grandes compañías del sector avanzan hacia sistemas cada vez más capaces sin una respuesta suficiente frente a los peligros que podrían acarrear.
En una publicación en X, Coxon explicó que durante los últimos tres años trabajó en investigaciones de preentrenamiento tanto en OpenAI como en Anthropic. Desde esa experiencia afirmó que ambas firmas no están actuando con la responsabilidad necesaria y que están poniendo en juego la seguridad de las personas. Según su visión, la industria vive una competencia por construir sistemas que podrían superar ampliamente las capacidades humanas e incluso mejorarse a sí mismos.
El ingeniero considera que algunos responsables del sector saben que una inteligencia artificial avanzada podría representar un riesgo extremo, pero que aun así las empresas siguen compitiendo por llegar primero. Sobre Anthropic, reconoce que la compañía entiende mejor que otras los retos de seguridad, aunque cree que también está atrapada en esa carrera por avanzar rápido. Por eso propone que los laboratorios se coordinen y adopten medidas costosas, entre ellas una pausa temporal en el aumento de las capacidades de los modelos, hasta que existan garantías más sólidas.
Sus declaraciones ganaron alcance tras la respuesta pública de Evan Hubinger, investigador de Anthropic especializado en alineamiento de sistemas de IA. Hubinger coincidió en que dentro del sector hay una preocupación real sobre la posibilidad de que una IA avanzada termine con la humanidad. Además, dio su propia estimación: cree que existe una probabilidad superior al 10% durante la próxima década de que la inteligencia artificial pueda matar a todos los seres humanos. Aclaró, sin embargo, que no considera que los modelos actuales representen ese nivel de amenaza.
La preocupación de ambos se concentra en una eventual superinteligencia, es decir, un sistema hipotético capaz de superar a las personas en prácticamente todos los ámbitos intelectuales. El temor no es solo que una IA cometa errores o entregue información incorrecta, sino que estos sistemas adquieran autonomía, accedan a recursos y mejoren sus propias capacidades, en un proceso de automejora que podría acelerarse con cada generación.
La renuncia de Coxon se suma a otras advertencias de especialistas que han trabajado en el desarrollo de estas tecnologías. Geoffrey Hinton, pionero de las redes neuronales y Premio Nobel de Física de 2024, dejó Google en 2023 y desde entonces ha expresado sus temores sobre los riesgos de sistemas cada vez más avanzados. Exempleados de OpenAI también han cuestionado la velocidad del avance y las condiciones para denunciar problemas de seguridad. El debate, ahora, se reaviva desde dentro de Anthropic, donde se pregunta si los mecanismos de seguridad avanzan al mismo ritmo que los modelos.
