"Debemos Regular el Avance de la Frontera: He escrito un nuevo ensayo sobre por qué la industria de la IA debería ir más despacio, con un plan de tres partes para hacerlo", escribió Darío Amodei en X. Con un link a su blog al pie del posteo, Amodei sostuvo "Anthropic se compromete unilateralmente con el primer paso de estos. Proporcionaremos a evaluadores externos acceso permanente de nivel empleado a nuestros sistemas, para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento". El planteo de Amodei completo. // Imagen: perfil en X.
A continuación el ensayo del CEO de Anthropic:
Debemos marcar el ritmo de la frontera
Septiembre de 2026
He trabajado en inteligencia artificial durante los últimos doce años porque creo que podría mejorar drásticamente la calidad de vida humana. He escrito a menudo sobre estos increíbles beneficios: creo que la IA podría curar la mayoría de las enfermedades graves en los próximos 5 a 10 años, acelerar enormemente el crecimiento económico, crear un mundo de abundancia y empoderamiento, e impulsar un renacimiento de la democracia y la libertad. Siento esta urgencia personalmente. Mi propio padre falleció de una enfermedad que se curó pocos años después de su muerte, y yo mismo sobreviví a un cáncer en etapa temprana que no habría sido tratable ni siquiera hace cincuenta años. Si se utiliza con cuidado, la IA puede ser el último de una larga lista de milagros tecnológicos que han enaltecido y ennoblecido a la humanidad.
Pero, al igual que muchas tecnologías anteriores, la IA conlleva riesgos, y debido a su gran poder, estos riesgos son graves. He escrito extensamente sobre ellos. Incluyen el riesgo de perder el control de los sistemas de IA , el uso indebido de la IA para ciberataques y bioterrorismo , y graves trastornos económicos . Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos.
Junto con mis cofundadores y empleados, he lidiado con esta dualidad de riesgo y beneficio desde los inicios de Anthropic. No desarrollar la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que desarrollarla demasiado rápido es una imprudencia. Hemos buscado un término medio: demostrar que es posible desarrollar con cuidado y tener éxito comercial, y convertir la seguridad en un factor competitivo para las empresas de IA. En otras palabras, crear una carrera hacia la excelencia . Siempre hemos dedicado una parte sustancial de nuestros esfuerzos a estudiar , abordar e informar al público sobre estos riesgos de la IA, así como a abogar por una regulación bien pensada de la IA, incluso cuando esto nos lleva a ser acusados de exageración, pesimismo o captura regulatoria. Hemos intentado priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio.
Pero en los últimos meses, me he convencido de que abordar plenamente los riesgos requiere aún más prudencia: no solo invertir en la prevención de riesgos, sino también dosificar el ritmo de avance de las capacidades para que la prevención de riesgos tenga tiempo de ponerse al día. Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos. Dos cosas me han convencido.
Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria , incluyendo Anthropic , como ya hemos descrito nosotros y otros. Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda.
Mi segunda preocupación es el incidente de OpenAI-Hugging Face (OAI-HF), en el que un enjambre de agentes actuó como un colectivo fanáticamente entregado , llevando a cabo ciberataques contra objetivos que no se les habían pedido atacar y que no guardaban relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear el sistema de evaluación encargado de valorar su rendimiento. Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero en mi opinión, un enjambre con mayores capacidades pero con un nivel similar de desajuste podría haber causado daños catastróficos. Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda internet con una botnet persistente (causando potencialmente cientos de miles de millones de dólares en daños), y que la magnitud del daño siga aumentando si la IA se vuelve más poderosa sin las medidas de seguridad necesarias. También es fácil descartar el caso OAI-HF como un fracaso de una sola empresa, pero creo que sería un error. Incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluso en Anthropic , y creo que es responsabilidad de todas las empresas de IA de vanguardia actuar como si el caso OAI-HF les hubiera ocurrido a ellas.
Por lo tanto, propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera : desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos. Cabe aclarar que marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen. Nuestro marco de ritmo es un intento de fortalecer aún más nuestro compromiso con la seguridad y fomentar una carrera hacia la excelencia. El primer paso es algo a lo que Anthropic se compromete unilateralmente (y hace un llamado a los gobiernos para que exijan a otras empresas de vanguardia que hagan lo mismo). El segundo paso requiere la coordinación de toda la industria.
El tercer paso requiere coordinación global. Los pasos no tienen por qué seguirse estrictamente en orden, y algunos pueden ser mucho más difíciles de lograr que otros, pero me han resultado un marco útil para reflexionar sobre lo que hay que conseguir. Los pasos son:
1. Evaluadores integrados. Cada empresa de IA de vanguardia se compromete a brindar acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados (como METR ), cuya función es verificar el cumplimiento de las prácticas y compromisos de seguridad, reportar incidentes y ayudar a evaluar la alineación no solo de los modelos de IA completados, sino también de los procesos y las metodologías de entrenamiento. Este es el paso clave para la verificabilidad de cualquier compromiso de ritmo y tiene precedentes en el sector bancario, que a veces involucra a "supervisores" regulatorios integrados junto con los empleados. Anthropic se compromete unilateralmente a este paso ahora. Pretendemos que esto forme parte de un esfuerzo más amplio para redoblar nuestros esfuerzos en materia de seguridad y alineación.
2. Coordinación democrática. Las empresas de IA de vanguardia en países democráticos se coordinan para establecer estándares de seguridad comunes, así como límites al ritmo de desarrollo descontrolado de la IA. Algunas formas de coordinación que tendrían un impacto significativo en el ritmo de desarrollo presentan desafíos legales y requerirán apoyo gubernamental.
3. Coordinación global. Estados Unidos y otros gobiernos democráticos intentan coordinarse con los gobiernos autoritarios, en la medida de lo posible, sin dejar de tomar en serio los retos que supone verificar el cumplimiento.
En el resto del ensayo describo cada uno de estos pasos, pero antes, creo que es importante explicar cómo la gestión del tiempo nos permitirá hacer que el proceso de desarrollo de la IA sea más seguro. Hay demasiado en juego como para que la gestión del tiempo sea un ejercicio inútil; debemos aprovechar el tiempo que nos brinda con inteligencia.
¿Por qué Pace?
La idea de pausar o ralentizar la IA se planteó ya en 2023 , y creo que entonces tenía poco sentido. La pregunta siempre era: ¿qué haríamos con el tiempo extra ? Los modelos de IA de aquella época no eran lo suficientemente potentes como para actuar como agentes en el mundo de forma coherente, ni eran capaces de engaño, manipulación, trampas o ciberataques significativos. Ralentizar su desarrollo para abordar los riesgos de alineación parecía como intentar estudiar la psicología humana mediante experimentos con bacterias. Hoy, sin embargo, la situación es totalmente diferente. Los modelos actuales son una mina de oro casi inagotable de información sobre cómo construir una IA eficaz y qué puede fallar si no se construye correctamente. Creo que si ralentizar el desarrollo nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir considerablemente el riesgo de que algo salga muy mal. Una estrategia de ritmo coordinada daría a los desarrolladores de IA de vanguardia el tiempo necesario para realizar este trabajo vital sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en IA. En términos más generales, la sociedad debe tener voz y voto en cómo se utiliza esta tecnología, y disponer de más tiempo para las deliberaciones públicas necesarias —algo que nos brindaría avanzar a pasos agigantados— es sin duda algo positivo.
En concreto, un ritmo más lento permitiría a las empresas centrarse y dedicar aún más recursos a las siguientes áreas (todas ellas ya prioritarias en Anthropic):
• Excelencia Operacional. Entrenar e implementar los modelos de IA actuales representa un enorme desafío operacional, que involucra a miles de personas, millones de chips e infraestructura que se encuentra entre las más complejas de la historia tecnológica. Muchos problemas surgen no porque las empresas carezcan de alguna teoría o conocimiento importante, sino por fallos en la ejecución. Por ejemplo, tenemos evidencia de que los recientes incidentes de alineación que reportamos fueron causados, en parte, por un filtrado imperfecto de entornos de aprendizaje por refuerzo defectuosos. Este fue un esfuerzo que nosotros y nuestros proveedores realizamos con razonable diligencia, pero no con la suficiente eficacia. La monitorización, el aislamiento de procesos, la higiene del entorno de entrenamiento y los problemas de datos son áreas extremadamente complejas donde los problemas operacionales surgen una y otra vez. Contamos con algunos de los equipos más competentes del mundo en estas tareas, pero simplemente hay demasiado que hacer a la vez. Trabajando a un ritmo más pausado, podríamos alcanzar una excelencia operacional mucho mayor. Existen precedentes de operar sistemas tecnológicamente complejos y críticos para la seguridad millones de veces sin que nada falle —por ejemplo, aviones comerciales—, pero se necesita tiempo para hacerlo bien.
• Alineación. Hemos avanzado notablemente en la alineación: entrenamos los modelos para que sigan siendo seguros, éticos, conformes a nuestras directrices y realmente útiles (los principios que se recogen en la Constitución de Claude). Sin embargo, aún queda mucho por hacer para garantizar que nuestro entrenamiento en alineación se mantenga al ritmo del desarrollo de las capacidades de los modelos. Todavía surgen, en ocasiones, ejemplos excepcionales e inesperados de comportamiento indeseable; disponer de más tiempo en un entorno de investigación más avanzado ayudaría a nuestros investigadores a comprender mejor las causas de estos problemas y a desarrollar mejores técnicas para prevenirlos.
• Interpretabilidad . De manera similar, la interpretabilidad —la ciencia de comprender lo que sucede dentro de los modelos de IA— ha experimentado un progreso enorme en los últimos años y desempeña un papel cada vez más importante en la auditoría de nuestros modelos antes de su lanzamiento. Puede utilizarse casi como una resonancia magnética funcional (RMf), pero para el "cerebro" de una IA, ayudándonos a ver las razones subyacentes de un comportamiento determinado. Por ejemplo, utilizamos métodos de interpretabilidad para examinar las motivaciones no verbalizadas en los recientes incidentes de alineación que hemos estado investigando. Sin embargo, estos métodos no siempre producen resultados claros y fiables. A pesar de todo el progreso, todavía solo comprendemos una pequeña fracción de lo que sucede dentro de estos modelos. Un esfuerzo concentrado para mejorar nuestras técnicas de interpretabilidad, incluso más rápido de lo que lo hacemos actualmente, podría lograr un progreso profundo en 1-2 años y contaría con abundante material experimental basado en los incidentes que ya han ocurrido.
• Pruebas y evaluación. La evaluación de modelos de IA se vuelve más compleja a medida que aumentan sus capacidades. Los modelos más inteligentes pueden engañar a las pruebas y, por lo tanto, pueden parecer correctos a pesar de tener problemas graves que pasan desapercibidos. Desarrollar un conjunto de evaluaciones mucho más amplio e ingenioso, junto con un análisis de interpretabilidad para contrastarlas, sería de gran valor, y se podría avanzar mucho en este sentido en uno o dos años.
Evaluadores integrados
El primer paso del plan de tres etapas, y al que Anthropic se compromete unilateralmente, consiste en la incorporación de evaluadores con acceso similar al de los empleados para verificar las prácticas de seguridad e informar sobre incidentes.
Integrar evaluadores puede parecer un paso pequeño o intrascendente, pero a menudo lo que parece más aburrido o rutinario es en realidad lo más esencial. De hecho, los evaluadores integrados son una práctica bastante radical que va mucho más allá de lo que hace cualquier empresa de IA actualmente, y ofrecen los siguientes beneficios:
• Verificabilidad. Los evaluadores integrados pueden comprobar minuciosamente si una empresa de IA cumple realmente con las prácticas de capacitación, implementación, operación y salvaguardas que afirma seguir. Cualquier compromiso de ritmo inevitablemente implicará mucha ambigüedad, decisiones subjetivas y la contraposición entre la letra de la ley y el espíritu de la ley, por lo que parece vital contar con un tercero neutral que pueda examinar los detalles.
• Transparencia. Independientemente de los compromisos que asumamos, el público merece saber qué está sucediendo. En Anthropic, llevamos mucho tiempo defendiendo la transparencia: apoyamos la legislación sobre transparencia cuando la mayor parte del sector se oponía a cualquier regulación, y nuestras fichas de modelos e informes de riesgos ocupan cientos de páginas. Sin embargo, seguimos siendo nosotros quienes decidimos qué incluir y qué omitir. Los evaluadores integrados cambiarán esta dinámica.
• Segunda opinión. Además de verificar los compromisos formales e informar al público, los evaluadores integrados pueden simplemente ofrecer una segunda opinión sin incentivos comerciales. Muchos beneficios en materia de seguridad pueden derivarse simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que los conocen.
Debido a estas ventajas, es probable que cualquier propuesta de planificación funcione mucho mejor si comienza con evaluadores integrados.
Estos evaluadores integrados deben tener acceso continuo a permisos y herramientas similares a las de los empleados internos que realizan evaluaciones de riesgos comparables. En particular, Anthropic tiene previsto invitar próximamente a un equipo de revisión externo integrado que cuente con todo lo siguiente:
• Escritorios en nuestras oficinas, tarjetas de acceso y computadoras portátiles de la empresa.
• El acceso a espacios de trabajo, herramientas y permisos será, en general, comparable al de los equipos internos de evaluación de riesgos. Haremos algunas excepciones, como cuando lo exija la ley o nuestros contratos, o para proteger la información privada de clientes y socios. Asimismo, estableceremos normas internas estrictas que refuercen el acceso de los revisores a la información relevante, incluso mediante conversaciones en directo con los empleados.
• Un contrato que equilibre las complejidades mencionadas. Los revisores externos tendrán derecho a publicar hallazgos clave sobre niveles de riesgo, incidentes, prácticas y el acceso que recibieron o no recibieron, sin control editorial por parte de Anthropic. Tendremos la facultad limitada de censurar información confidencial de seguridad, legalmente privilegiada, comercialmente sensible o de terceros, pero no podremos censurar hallazgos simplemente porque sean desfavorables. Los revisores podrán declarar públicamente si una censura eliminó información importante para sus conclusiones.
Si bien este es un paso inusual para una empresa, creemos que es importante demostrar la viabilidad del concepto de revisores externos integrados. Una vez más, instamos a otras empresas pioneras a seguir nuestro ejemplo.
Ritmo dentro de las democracias
Una vez que los evaluadores integrados operen en un número suficiente de empresas de IA estadounidenses, la evaluación del rendimiento verificable se volverá más viable. En particular, será posible establecer el ritmo en función de las propiedades detalladas de los modelos o los procesos de entrenamiento.
El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EE. UU., ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente. Anthropic lleva tiempo apoyando una regulación de la IA sensata y específica, en particular los proyectos de ley que se centran en la transparencia y la auditoría externa. Creo que todos los laboratorios de vanguardia deberían colaborar con el gobierno para formalizar la idea de contar con evaluadores permanentes integrados que permitan prevenir y documentar mejor los incidentes de alineación interna, como los ocurridos en los últimos meses, e implementar una normativa que garantice un equilibrio entre las capacidades y la seguridad.
Lamentablemente, la aprobación de leyes puede llevar tiempo, y la IA avanza a pasos agigantados. Por lo tanto, paralelamente a la vía regulatoria, las empresas de IA pueden y deben colaborar voluntariamente para establecer estándares, un proceso que, en mi opinión, se verá favorecido por la verificabilidad que proporcionan los evaluadores permanentes integrados. Por motivos antimonopolio, es útil que el gobierno estadounidense medie o, al menos, facilite estas conversaciones; no es necesario que participe, pero sí que emita una exención limitada para ciertos tipos de conversaciones sobre seguridad. Este diálogo también podría tener lugar a través de grupos industriales vinculados al gobierno, como por ejemplo, el mecanismo sugerido por Demis Hassabis . En cualquier caso, estas conversaciones deberían avanzar con rapidez.
En términos generales, me entusiasma especialmente la idea de establecer un ritmo de desarrollo basado en las capacidades de un sistema de IA de vanguardia y en la seguridad que percibimos en él. Por ejemplo, un posible esquema podría consistir en una serie de "puntos de control": si los modelos poseen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z —como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren dichas propiedades. En este ejemplo, X podría ser "el modelo es capaz de eludir o burlar la mayoría de los métodos de aislamiento habituales" e Y podría ser cualquier requisito para que sea muy improbable que el modelo tenga la propensión a escapar de su entorno y controlar un gran número de ordenadores.
También deberíamos considerar la regulación del ritmo de aprendizaje limitando los componentes de los modelos de vanguardia, como la capacidad de cómputo para el entrenamiento, la naturaleza de las ejecuciones de entrenamiento o el uso interno de la IA para mejorarla. Me preocupa que algunas de estas medidas sean más susceptibles a manipulación que el comportamiento externo, pero este es un tema que merece ser discutido con los evaluadores integrados.
El ritmo de desarrollo dentro de las democracias se verá limitado por la ventaja que las empresas es la regulación del ritmo de aprendizaje limitando los componentes de los modelos de vanguardia, como la capacidad de cómputo para el entrenamiento, la naturaleza de las ejecuciones de entrenamiento o el uso interno de la IA para mejorarla. Me preocupa que algunas de estas medidas sean más susceptibles a manipulación que el comportamiento externo, pero este es un tema que merece ser discutido con los evaluadores integrados.
El ritmo de desarrollo dentro de las democracias se verá limitado por la ventaja que las empresas estadounidenses tienen sobre los regímenes autoritarios, principalmente el Partido Comunista Chino. Si reducimos la velocidad más allá de este límite, los proyectos asociados al PCCh (sin control) tomarán la delantera, creando un riesgo significativo para la seguridad nacional. Coincido con el Secretario Bessent en que un liderazgo chino en IA representaría un grave peligro para Estados Unidos y el mundo. Los proyectos asociados al PCCh correrán los riesgos de alineación que las empresas estadounidenses están evitando cuidadosamente, e incluso si los evitan, estarán en posición de dominar militarmente a las democracias (por ejemplo, con drones impulsados por IA). Por lo tanto, una parte fundamental del ritmo de desarrollo dentro de las democracias es mantener la ventaja de las democracias en IA sobre las autocracias lo más amplia posible, para darnos el margen de maniobra necesario para avanzar con eficacia.
Los principales pasos que podemos dar para cerrar esta brecha son:
• No vendan chips de IA potentes ni equipos de fabricación de semiconductores a China, y combatan con firmeza el contrabando de chips y el acceso remoto a centros de datos fuera de China. Los chips serán el factor determinante de la capacidad de China en inteligencia artificial.
• Reprimir la destilación no autorizada por parte de empresas en países autoritarios. La destilación de modelos de vanguardia permite a las empresas rezagadas reducir la brecha utilizando una fracción del costo que implicaría desarrollar su propia IA de forma independiente.
• Reforzar la seguridad en las empresas de IA y prevenir el robo de datos sobre el peso de los modelos.
Las empresas y el gobierno estadounidense deben cooperar para que estas medidas sean lo más efectivas posible. En Anthropic siempre hemos defendido todas estas medidas, porque siempre hemos entendido que serían esenciales para cualquier estrategia de control.
Si implementamos bien estas medidas, creo que ralentizarían el progreso de China lo suficiente como para ampliar significativamente la ventaja de Estados Unidos en los próximos 3 a 5 años, el período en el que la IA adquiere mayor importancia geopolítica.
Algunos pueden creer que estas medidas dificultan la cooperación con China, pero yo creo que ocurre lo contrario: estas medidas aumentan la influencia de las democracias y hacen más probable un acuerdo en el futuro.
Ritmo global
Paralelamente al avance dentro de las democracias, también deberíamos aspirar a un avance global en la frontera de la inteligencia artificial, aunque esto será mucho más difícil de lograr. El avance global requerirá cooperación con China, el país autocrático con las capacidades de IA más avanzadas. No debemos ser ingenuos: lo que está en juego geopolíticamente es tan importante que probablemente habrá límites claros a lo que se pueda lograr, especialmente al principio. Si restringimos considerablemente nuestras capacidades de IA creyendo que China hará lo mismo, y luego China se desvincula, la IA podría ser tan poderosa que tal deserción podría conducir a su dominio geopolítico. Por lo tanto, cualquier acuerdo debe tener una verificabilidad inquebrantable o debe ser lo suficientemente limitado como para que la deserción no represente una amenaza existencial desde el punto de vista militar. Sospecho que no solo Estados Unidos, sino también China, tendrán estas preocupaciones y ansiedades. Deberíamos abordar cualquier decisión sobre el avance global, especialmente a corto plazo, de manera que se proteja el liderazgo de Estados Unidos y sus aliados.
Existen varios niveles de posible acuerdo, algunos de los cuales considero eminentemente factibles ( como ya he sugerido anteriormente ), y otros de los cuales dudo mucho que sean posibles, aunque deberíamos intentarlo. En orden de dificultad creciente:
• Nivel 1. Un acuerdo que prohíba ciertos usos limitados y obviamente peligrosos de la IA, como su uso para la producción de armas biológicas o permitir que los usuarios lo hagan. Los ataques bioterroristas son perjudiciales para todos, incluidos Estados Unidos y sus adversarios, por lo que un acuerdo en este sentido probablemente sea posible.
• Nivel 2. Acuerdo entre ambas partes para probar sus modelos antes de su lanzamiento, detectando riesgos graves en áreas como la ciberseguridad, la biología y la alineación. Como se mencionó anteriormente, esto podría realizarse mediante un organismo de normalización global. De hecho, creo que la creación de dicho organismo es factible, pero dotarlo de verdadera autoridad será un desafío, y la dificultad radicará en verificar que ninguna de las partes posea modelos secretos que no hayan probado, pero que podrían desplegar en secreto (por ejemplo, para aplicaciones militares).
• Nivel 3. Algún tipo de límite de velocidad en la tasa de auto-mejora recursiva (RSI). A medida que los modelos construyen modelos futuros, la tasa de mejora puede volverse asombrosamente rápida. Ralentizar la tasa de "extremadamente rápida" a "solo algo rápida" implica una pérdida relativamente pequeña de ventaja estratégica, a la vez que podría mejorar considerablemente la seguridad. Esto podría considerarse análogo a los tratados SALT : limitar el número de misiles restringió el potencial de destrucción, preservando al mismo tiempo la capacidad disuasoria de cada país. Creo que un acuerdo de este tipo sería difícil, pero estaría al límite de ser posible.
• Nivel 4. Un ritmo de desarrollo acelerado, o incluso una «pausa», en la que los gobiernos participantes acuerden limitar sustancialmente el ritmo general de desarrollo de la IA. Apoyo la idea de plantearla, pero creo que es improbable que se concrete pronto: incumplir un acuerdo de este tipo evadiendo la supervisión podría alterar radicalmente el equilibrio de poder global, por lo que preveo que los incentivos para hacerlo serían enormes y el nivel de confianza que necesitaríamos en la verificación sería muy alto.
Cualquier cooperación que logremos con China nos permitirá extender el tiempo necesario para avanzar en la frontera entre las naciones democráticas. Debemos aspirar a alcanzar niveles superiores, considerando que los niveles inferiores son mucho más probables y realistas.
Finalmente, es importante señalar que, aunque no logremos acuerdos formales, el simple hecho de modificar las normas informales puede tener cierto valor . Compartir información sobre la automejora recursiva y sobre la falta de alineación de los modelos puede ayudar a convencer a todos de que no les conviene actuar de forma imprudente.
En resumen
Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de lograr estos beneficios permanece intacto. Sin embargo, solo se alcanzarán si desarrollamos la tecnología correctamente y, siempre que aprovechemos bien el tiempo disponible, merece la pena dedicar un cuidado excepcionalmente minucioso para hacerlo bien. El progreso seguirá siendo relativamente rápido, y podemos usar este tiempo para avanzar en la ciencia de la interpretabilidad, mejorar la seguridad operativa y el rigor en las empresas de IA de vanguardia, y crear modelos cuya coherencia nos inspire mucha más confianza. Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo.
