La partida de Ilya Sutskever, el arquitecto de las salvaguardias de la IA, marca el fin de una era para OpenAI

La partida de Ilya Sutskever, el arquitecto de las salvaguardias de la IA, marca el fin de una era para OpenAI
La partida de Ilya Sutskever, el arquitecto de las salvaguardias de la IA, marca el fin de una era para OpenAI
-

Los obsesivos con la seguridad de la IA están abandonando OpenAI. El cofundador de la compañía, Ilya Sutskever, anunció a última hora del martes 14 de mayo su salida de la empresa estrella de Silicon Valley desde que lanzó ChatGPT. Dice que quiere centrarse en un proyecto personal. Es reemplazado por Jakub Pachocki, investigador encargado del desarrollo de GPT-4.

Esta salida es simbólica porque el científico jefe de OpenAI encarnaba una determinada visión de la empresa y, en general, de la inteligencia artificial. Ilya Sutskever está convencido de que algún día lograremos desarrollar una inteligencia artificial general (AGI), cuyas capacidades serían superiores a las humanas, y que esta superinteligencia debe controlarse absolutamente. Quien es descrito como un “líder espiritual” dentro de la empresa, es conocido sobre todo por cantar regularmente “ Siente el AGI”. ¿Se va porque cree que la empresa va por el camino equivocado? “La trayectoria de la empresa ha sido nada menos que milagrosa y confío en que OpenAI construirá una inteligencia artificial general que sea segura y beneficiosa”.insistió en una publicación en X.

Sin embargo, hace unos meses Ilya Sutskever parecía dudar del rumbo tomado por la empresa. Por eso también participó activamente en el despido de Sam Altman el pasado mes de noviembre (antes de lamentarse y desear su regreso). Él mismo lo admitió en X, cuando la empresa atravesaba un caos mediático. De acuerdo a La información, habría convencido a los demás miembros de la junta directiva de que Sam Altman estaba implementando una estrategia demasiado comercial y lanzando productos al mercado demasiado rápido. Una dirección que no está en línea con el deseo inicial de Open AI: construir una “Inteligencia general artificial beneficiosa para toda la humanidad. » Después de este episodio, Ilya Sutskever dejó la junta directiva, pero permaneció en su puesto en OpenAI. Sam Altman fue reintegrado después de una revuelta de los empleados contra la junta directiva.

OpenAI: los motivos del regreso triunfal de Sam Altman al frente de la estrella de la IA

Ilya Sutskever, el líder de los “pesimistas” de la empresa

Para entender los orígenes de la discordia debemos remontarnos a los orígenes de la empresa. Cuando Ilya Sutskever cocreó Open AI junto con Sam Altman y Elon Musk, la organización era una estructura sin fines de lucro. Su propósito no es obtener ganancias, sino garantizar la dirección correcta del desarrollo de la IA. Las cosas cambiaron en 2019 cuando OpenAI decidió crear una sociedad de beneficio limitado, conservando la junta directiva original. La coexistencia de estas dos intenciones creó una división dentro de los equipos, que se intensificó tras el lanzamiento de ChatGPT a finales de noviembre de 2022 y su monetización unos meses después.

Por un lado están los tecnooptimistas, encabezados en particular por el director general Sam Altman. Estos abogan por el rápido desarrollo comercial de la empresa. y por el otro “Los condenados por la IA”los pesimistas, imbuidos de ideales controvertidos a largo plazo, están convencidos de que la IA representa un riesgo existencial para la humanidad y que debemos garantizar que no se vuelva maliciosa, invirtiendo más en seguridad.

Pocas horas después del anuncio de su marcha, Jan Leike, otra figura del “condenadores” También anunció su dimisión. Este ingeniero dirigió el equipo de “Superalineación” de Open AI junto con Sustkever. Desde el verano de 2023, esta se encarga de garantizar que los sistemas desarrollados por la empresa estén alineados con lo que queremos los humanos. En una entrada de blog que presenta este nuevo equipo, OpenAI precisó que el 20% de la potencia informática de la empresa está dedicada a este objetivo. Este mismo artículo también reconoce que la empresa no dispone actualmente de los medios técnicos para garantizar que una IA “superinteligente” sea controlable. “Los humanos no podrán supervisar de manera confiable sistemas de inteligencia artificial que sean mucho más inteligentes que nosotros, y nuestras técnicas de alineación actuales no podrán adaptarse a estas superinteligencias. Necesitamos nuevos avances científicos y técnicos. »

En París y en todo el mundo, los preocupados por la inteligencia artificial piden una pausa

Las salidas se producen en pleno desarrollo comercial de la empresa

Jan Leike será sustituido por John Schulman, uno de los cofundadores de la empresa, que se puso del lado de Sam Altman durante el fiasco del pasado noviembre. Estas salidas no significan que la empresa abandone estos objetivos de “superalineación”; ningún anuncio parece ir en esta dirección. Pero para muchos observadores son simbólicos. Especialmente desde hace unas semanas, otros dos investigadores William Saunders (también miembro del equipo de superalineación) y Daniel Kokotajlo también renunció. En el foro del blog LessWrong (cercano a los ideales transhumanistas), Daniel Kokotailo, que aboga por una pausa en el desarrollo de la IA, justifica su dimisión. Habla de su desilusión con la capacidad y voluntad de la empresa para controlar la inteligencia artificial general.

Estas salidas también se producen en una etapa clave en el desarrollo de la empresa. lEl lunes, OpenAI presentó una nueva versión de ChatGPT que ahora puede mantener conversaciones orales y fluidas con sus usuarios. La firma también ha rebajado el precio de acceso a su tecnología.

ChatGPT se acerca al ideal de una IA capaz de conversar como un humano

¿De dónde sacar la conclusión de que la tribu de los tecno-optimistas del desarrollo comercial ha ganado definitivamente frente a la tribu de los pesimistas apegados a la seguridad? Puede ser. Pero no olvidemos que Sam Altman no está totalmente en desacuerdo con las ideas de Ilya Sutskever. Él mismo habla periódicamente de los riesgos existenciales relacionados con la llegada de la inteligencia artificial general.. Para él, generar ganancias con ChatGPT y otros productos es una forma de cumplir el objetivo principal de la empresa: crear una IA más segura, afirma. Y subrayar el peligro potencial de la tecnología que él está desarrollando y que su empresa es una de las únicas capaces de dominar, es también una muy buena jugada de marketing…

-

PREV Foto Elíseo: “Man Ray. Liberar la fotografía »
NEXT más espacio en este pequeño apartamento al que le faltaba