Un grupo de expertos de OpenAI están denunciando lo que dicen es una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, que está compitiendo para construir los sistemas de inteligencia artificial más poderosos jamás creados.
El grupo, que incluye a nueve empleados actuales y anteriores de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de inteligencia artificial se vuelvan peligrosos.
Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y se hizo público con el lanzamiento de ChatGPT en 2022, está priorizando las ganancias y el crecimiento en un esfuerzo por construir inteligencia artificial general, o AGI, el término industrial para una computadora. programa capaz de hacer todo lo que un humano puede hacer.
También alegan que OpenAI utilizó tácticas duras para evitar que los trabajadores expresaran sus preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no menosprecio que los empleados salientes debían firmar.
“OpenAI está realmente entusiasmado con la construcción de AGI y está compitiendo imprudentemente para ser el primero”, dijo Daniel Kokotajlo, ex investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
El grupo publicó una carta abierta el martes pidiendo a las principales empresas de inteligencia artificial, incluida OpenAI, que establezcan una mayor transparencia y una mayor protección para los denunciantes.
Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI aprobaron la carta de forma anónima porque temían represalias por parte de la empresa, dijo Kokotajlo. También firmó un empleado actual y anterior de Google DeepMind, el laboratorio central de inteligencia artificial de Google.
Una portavoz de OpenAI, Lindsey Held, dijo en un comunicado: “Estamos orgullosos de nuestro historial de ofrecer los sistemas de IA más capaces y seguros y creemos en nuestro enfoque científico para abordar el riesgo. Estamos de acuerdo en que un debate riguroso es fundamental dada la importancia de esta tecnología, y continuaremos colaborando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo”.
Un portavoz de Google se negó a hacer comentarios.
La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando del intento de golpe del año pasado, cuando los miembros de la junta directiva de la compañía votaron a favor de despedir a Sam Altman, el director ejecutivo, por preocupaciones sobre su sinceridad. El Sr. Altman regresó días después y la junta se reformó con nuevos miembros.
La compañía también enfrenta batallas legales con creadores de contenido que la acusan de robar obras protegidas por derechos de autor para entrenar a sus modelos. (El New York Times demandó a OpenAI y a su socio, Microsoft, por infracción de derechos de autor el año pasado.) Y la reciente presentación de un asistente de voz hiperrealista se vio empañada por una disputa pública con la actriz de Hollywood Scarlett Johansson, quien afirmó que OpenAI había imitado su voz sin permiso.
Pero nada caló más que la acusación de que OpenAI era demasiado arrogante en materia de seguridad.
El mes pasado, dos investigadores senior de IA, Ilya Sutskever y Jan Leike, abandonaron OpenAI bajo una nube. El Dr. Sutskever, que había estado en la junta directiva de OpenAI y votó a favor de despedir al Sr. Altman, había dado la alarma sobre los riesgos potenciales de los potentes sistemas de inteligencia artificial. Su partida fue vista por algunos empleados preocupados por la seguridad como un revés.
También lo fue la partida del Dr. Leike, quien junto con el Dr. Sutskever había liderado el equipo de “superalineación” de OpenAI, centrado en gestionar los riesgos de potentes modelos de IA. En una serie de publicaciones públicas anunciando su partida, el Dr. Leike dijo que cree que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por los antiguos empleados. Pero su salida provocó que otros ex empleados de OpenAI hablaran.
“Cuando me inscribí en OpenAI, no me suscribí a esta actitud de ‘Pongamos las cosas en el mundo y veamos qué sucede y arreglémoslas más tarde'”, dijo Saunders.
Algunos de los ex empleados tienen vínculos con Altruismo Efectivo, un movimiento de inspiración utilitarista que se ha preocupado en los últimos años por prevenir las amenazas existenciales de la inteligencia artificial. Los críticos han acusado al movimiento de promover escenarios apocalípticos sobre la tecnología, como la idea de que un sistema alternativo de inteligencia artificial fuera de control podría tomar el control y acabar con la humanidad.
Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió que predijera los avances de la IA. No era, por decirlo suavemente, optimista.
En su trabajo anterior en una organización de seguridad de IA, predijo que AGI llegaría en 2050. Pero después de ver lo rápido que estaba mejorando la IA, acortó su plazo. Ahora cree que hay un 50% de posibilidades de que AGI llegue en 2027, en sólo tres años.
También cree que la probabilidad de que la IA avanzada destruya o dañe catastróficamente a la humanidad (una estadística sombría a menudo abreviada como “p(doom)” en los círculos de la IA) es del 70%.
En OpenAI, Kokotajlo señaló que, aunque la compañía contaba con protocolos de seguridad, incluido un esfuerzo conjunto con Microsoft conocido como “junta de seguridad de implementación”, que se suponía debía revisar los nuevos modelos para detectar riesgos clave antes de que se publicaran públicamente, rara vez parecía ralentizar cualquier cosa.
Por ejemplo, dijo, en 2022 Microsoft comenzó a probar silenciosamente en India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creían que contenía una versión inédita de GPT-4, el modelo de lenguaje grande a la vanguardia de OpenAI. Kokotajlo dijo que le habían dicho que Microsoft no había obtenido la aprobación de la junta de seguridad antes de probar el nuevo modelo, y después de que la junta se enteró de las pruebas -a través de una serie de informes de que Bing se estaba comportando de manera extraña con los usuarios- no hizo nada para detener a Microsoft. difundirlo más ampliamente.
Un portavoz de Microsoft, Frank Shaw, cuestionó esas afirmaciones. Dijo que las pruebas en India no habían utilizado GPT-4 ni ningún modelo OpenAI. La primera vez que Microsoft lanzó tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisada y aprobada por un predecesor en la junta de seguridad.
Finalmente, Kokotajlo dijo que se preocupó tanto que, el año pasado, le dijo a Altman que la empresa debería “orientarse a la seguridad” y dedicar más tiempo y recursos a la protección contra los riesgos de la IA en lugar de esforzarse por mejorar sus modelos. Dijo que el señor Altman había dicho que estaba de acuerdo con él, pero que no había cambiado mucho.
En abril se fue. En un correo electrónico a su equipo, dijo que se iba porque había “perdido la confianza en que OpenAI se comportará de manera responsable” a medida que sus sistemas se acercan a la inteligencia a nivel humano.
“El mundo no está preparado y nosotros no estamos preparados”, escribió Kokotajlo. “Y me preocupa que estemos avanzando independientemente y racionalizando nuestras acciones”.
OpenAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo emblemático de IA y que estaba formando un nuevo comité de seguridad para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
Al irse, Kokotajlo se negó a firmar los documentos estándar de OpenAI para los empleados salientes, que incluían una estricta cláusula de no menosprecio que les impedía decir cosas negativas sobre la empresa o correr el riesgo de que les robaran el capital invertido.
Muchos empleados podrían perder millones de dólares si se niegan a inscribirse. La fortuna adquirida por Kokotajlo valía alrededor de 1,7 millones de dólares, dijo, lo que representaba la gran mayoría de su patrimonio neto, y estaba dispuesto a renunciar a todo.
(El mes pasado estalló una pequeña tormenta después de que Vox informara la noticia de estos acuerdos. En respuesta, OpenAI dijo que nunca había recuperado el capital que adquirió de ex empleados y que no lo haría. Altman ha dicho que estaban “realmente avergonzados”. que no habían estado al tanto de los acuerdos, y la compañía dijo que eliminaría las cláusulas de no menosprecio de su documentación estándar y liberaría a los ex empleados de sus acuerdos).
En su carta abierta, Kokotajlo y otros ex empleados de OpenAI piden que se ponga fin al uso de acuerdos de no menosprecio y confidencialidad en OpenAI y otras empresas de IA.
“Amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones excepto a las mismas empresas que tal vez no estén abordando estos problemas”, escriben.
También piden a las empresas de inteligencia artificial que “apoyen una cultura de crítica abierta” y establezcan un proceso de presentación de informes para que los empleados planteen inquietudes de seguridad de forma anónima.
Contrataron a un abogado pro bono, Lawrence Lessig, un destacado jurista y activista. Lessig también asesoró a Frances Haugen, una ex empleada de Facebook que se convirtió en denunciante y acusó a la empresa de anteponer las ganancias a la seguridad.
En una entrevista, Lessig dijo que si bien las protecciones tradicionales para los denunciantes generalmente se aplican a los informes de actividades ilegales, es importante que los empleados de las empresas de inteligencia artificial puedan discutir libremente los riesgos y daños potenciales, dada la importancia de la tecnología.
“Los empleados representan una línea importante de defensa de la seguridad, y si no pueden hablar libremente sin represalias, ese canal se cerrará”, dijo.
Held, portavoz de OpenAI, dijo que la empresa tiene “vías para que los empleados expresen sus inquietudes”, incluida una línea directa de integridad anónima.
Kokotajlo y su equipo se muestran escépticos respecto de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por eso también piden a los legisladores que regulen el sector.
“Es necesario que haya algún tipo de estructura de gobierno transparente y democráticamente responsable de este proceso”, dijo Kokotajlo. “En lugar de que un par de empresas privadas diferentes compitan entre sí y mantengan todo en secreto”.
