El nuevo comité se encargará de realizar recomendaciones a la junta directiva de OpenAI acerca de los protocolos y lineamientos de seguridad que deben implementarse en todos los productos y modelos de IA de la compañía.
Este martes 28 de mayo de 2024, la famosa firma de IA detrás de ChatGPT, OpenAI, anunció la formación de un nuevo comité de seguridad que será liderado por el CEO de la compañía, Sam Altman, junto al presidente Bret Taylor y los miembros de la junta directiva Adam D’Angelo y Nicole Seligman, quienes serán responsables de hacer recomendaciones al resto de los directivos sobre lineamientos críticos de seguridad que deberán seguir todos los modelos y operaciones de OpenAI.
A través de un comunicado publicado en su blog, la startup de inteligencia artificial señaló que la primera tarea del comité de seguridad será “evaluar y desarrollar aún más los procesos y salvaguardas de OpenAI” a lo largo de los próximos tres meses.
Al finalizar los 90 días, el comité compartirá sus conclusiones y recomendaciones con la junta directiva para que esta realice una revisión y posteriormente OpenAI anuncie una actualización sobre las sugerencias que se adopten para mejorar la seguridad de sus modelos de IA generativa.
Otros expertos técnicos que conformarán el nuevo equipo de seguridad de OpenAI incluyen al jefe de preparación, Aleksander Madry; la jefa de sistemas de seguridad, Lilian Weng; el jefe de ciencia de alineación, John Schulman; el jefe de seguridad Matt Knight y el científico en jefe Jakub Pachocki.
Adicionalmente, OpenAI anunció que contratará a otros especialistas en seguridad externos a la compañía para respaldar la investigación como los ex funcionarios de ciberseguridad de Estados Unidos, Rob Joyce y John Carlin.
¿Qué motivó a OpenAI a crear su nuevo comité de seguridad?
El anuncio de la formación del nuevo comité de seguridad se produce justo cuando la empresa de Sam Altman reveló que ha comenzado a entrenar a la próxima generación de su modelo de IA generativa, que se especula podría ser GPT-5. Esto se debe a que OpenAI pretende reforzar su seguridad antes de lanzarlo.
“Anticipamos que las recomendaciones del comité nos permitirán llevar al siguiente nivel de capacidades en nuestro camino hacia el desarrollo de una inteligencia artificial general segura”, señaló la firma de IA, haciendo referencia al impacto que esperan que genere el comité en sus productos.
Además de lo anterior, el nuevo comité de supervisión también llega después de que recientemente OpenAI se viera inmiscuido en polémica luego de que el nuevo asistente GPT-4o tenía una voz inquietantemente similar a la de Scarlett Johansson aun cuando la actriz rechazó las ofertas de la compañía para ser la voz oficial de ChatGPT.
Altman argumentó que OpenAI “nunca tuvo la intención” de hacer que su asistente de IA sonara como Scarlett Johansson. No obstante, la compañía se vio obligada a eliminar la voz para no entrar en una disputa legal con la superestrella de Hollywood.
Por otro lado, cabe mencionar que hace apenas un par de semanas, a principios de mayo, OpenAI disolvió el equipo de Superalignment, que se dedicaba a garantizar que el desarrollo de la inteligencia artificial se mantuviera alineada con los objetivos de seguridad de la industria.
La firma de IA suspendió la iniciativa menos de un año después de su creación a mediados del 2023, por lo que se espera que el nuevo comité de seguridad aborde las funciones del equipo de alineación, junto a otras cuestiones que los ayuden a desarrollar modelos de inteligencia artificial más seguros de cara al futuro.