El CEO de OpenAI, Sam Altman, sobre la escasez de chips y el futuro de ChatGPT

La escasez de los chips informáticos especializados necesarios para ejecutar su software de inteligencia artificial está frenando el negocio de OpenAI, y la empresa no tiene intención de lanzar un producto orientado al consumidor más allá de ChatGPT. Esas son solo dos de las revelaciones Según se informa, el cofundador y director ejecutivo de OpenAI, Sam Altman, hizo una reunión privada en Londres con un grupo de desarrolladores de software y directores ejecutivos de startups hace dos semanas, según una publicación de blog escrita por uno de los participantes. La cuenta de la reunión a puerta cerrada, a la que supuestamente asistieron unas 20 personas, fue eliminada posteriormente a pedido de OpenAI, según una nota adjunta a la página donde apareció inicialmente.pero eso no ha impedido que la comunidad de IA estudie detenidamente los (supuestos) comentarios del influyente CEO.

Un sitio de archivo de Internet ya había guardado una copia de la publicación de blog original, y desde entonces ha circulado en las redes sociales y en varios foros de discusión orientados a codificadores. Altman dijo que la incapacidad de OpenAI para acceder a suficientes unidades de procesamiento de gráficos (GPU), los chips informáticos especializados que se utilizan para ejecutar aplicaciones de IA, está retrasando los planes a corto plazo de OpenAI y causando problemas a los desarrolladores que utilizan los servicios de OpenAI, según la publicación de blog escrita por Raza Habib, un experto en inteligencia artificial que también es cofundador y director ejecutivo de Humanloop. La startup de Habib con sede en Londres ha sido pionera en métodos para hacer que el entrenamiento de modelos de lenguaje grandes, como los que sustentan ChatGPT de OpenAI, sea más eficiente. La escasez de GPU ha dificultado que OpenAI permita a los usuarios enviar más datos a través de los modelos de lenguaje grande que respaldar su software, como ChatGPT, y ralentizó el lanzamiento planificado de funciones y servicios adicionales de la empresa. También ha hecho que los servicios existentes de OpenAI sean más lentos y menos confiables, según la publicación del blog, un hecho que está frustrando a los clientes y haciéndolos reacios a construir aplicaciones empresariales sobre la tecnología de OpenAI. La crisis del suministro de chips ha puesto en riesgo la ventaja de OpenAI como pionera en el auge de la IA generativa, ya que Google, así como sus rivales menos conocidos, han podido implementar servicios de la competencia y los competidores de código abierto han logrado una mayor presencia.

Altman expuso varias cosas que OpenAI simplemente no puede hacer todavía porque carece del hardware (es decir, los chips). Estos incluyen proporcionar una "ventana de contexto" más larga para la mayoría de los clientes de sus modelos de lenguaje grande GPT, escribió Habib en su publicación de blog. La ventana de contexto determina la cantidad de datos que se pueden usar en una sola solicitud que se alimenta al modelo y la duración de la respuesta del modelo. La mayoría de los usuarios de GPT-4 tienen una ventana de contexto de 8000 tokens (un token es un segmento de datos en el que el modelo de IA subyacente hace una predicción, equivalente a aproximadamente una palabra y media en inglés). OpenAI anunció una ventana de 32,000 tokens para usuarios selectos del modelo en marzo, pero a pocos usuarios se les ha otorgado acceso a esa función, un hecho que Altman atribuyó a la falta de GPU, escribió Habib.

La mayoría de las aplicaciones de inteligencia artificial del mundo están entrenadas y se ejecutan en GPU, un tipo de chip de computadora que está diseñado para procesar datos mediante procesamiento paralelo a altas velocidades. La mayoría de esos chips están fabricados por una sola empresa, Nvidia, y pueden costar de miles a cientos de miles de dólares. Los observadores del mercado ya saben que las acciones de Nvidia se han disparado debido a su asociación con el auge de la IA generativa, y su valoración de mercado recientemente cruzó el umbral de $ 1 billón.

Según los informes, el cofundador y director ejecutivo de OpenAI también aseguró a los desarrolladores que OpenAI no tiene planes de lanzar ningún producto orientado al consumidor más allá de ChatGPT, según la publicación de Habib. Habib había dicho que muchos desarrolladores en la reunión le dijeron a Altman que estaban preocupados por el uso de los modelos de IA de OpenAI para construir si OpenAI podría lanzar productos de la competencia más adelante. Según los informes, Altman dijo que ChatGPT sería su único producto orientado al consumidor y que su visión para su futuro era como un "asistente súper inteligente para el trabajo", pero que muchos casos específicos de la industria que involucran los modelos subyacentes de lenguaje grande GPT OpenAI "no tocarían". "

Según los informes, Altman también dijo que los comentarios que tuvo hace un mes sobre el final de "la era de los modelos gigantes" se habían interpretado incorrectamente. El jefe de OpenAI les dijo a los desarrolladores que solo quería decir que, dado el tamaño de GPT-4, el modelo de lenguaje grande más poderoso de OpenAI, ya es, no sería posible continuar ampliando los sistemas de IA de manera exponencial. Dijo en la reunión de Londres que OpenAI continuaría creando modelos más grandes, pero serían solo dos o tres veces más grandes que GPT-4, no millones de veces más grandes.

En la conversación con los desarrolladores, Altman también expuso la hoja de ruta a corto plazo de OpenAI. Dentro de 2023, Altman dijo que los objetivos de OpenAI eran hacer que GPT-4 sea más rápido y más barato, proporcionar una "ventana de contexto" más larga para permitir que las personas alimenten los modelos GPT de OpenAI con más datos y reciban resultados más largos, implementar una manera más fácil de ajustar GPT- 4 para casos de uso de clientes específicos, y también permite que ChatGPT y sus modelos de lenguaje extenso subyacentes retengan una memoria de diálogos anteriores, de modo que uno no tenga que repetir la misma secuencia de avisos cada vez que una persona quiera retomar una conversación en la que dejó o repitió una cierta interacción con el modelo, dijo la publicación del blog de Habib.

Según se informa, el próximo año, Altman dijo que la prioridad sería implementar la capacidad de GPT-4 para recibir imágenes como entradas y salidas, una característica que la compañía demostró cuando presentó el modelo en marzo, pero que aún no está disponible para la mayoría de los clientes.

En lo que respecta a la regulación, Altman dijo a los desarrolladores que no creía que los modelos existentes representaran un riesgo enorme y que "sería un gran error regularlos o prohibirlos", escribió Habib. Altman reiteró su postura pública de que OpenAI creía en la importancia del software de IA de código abierto y confirmó un informe de la publicación tecnológica The Information de que OpenAI está considerando el código abierto de uno de sus modelos. Según el blog, Altman dijo que la compañía podría abrir su modelo GPT-3 y que aún no lo había hecho porque Altman "era escéptico sobre cuántas personas y empresas tendrían la capacidad de alojar y servir" modelos de lenguaje grande.

Según los informes, Altman dijo en la reunión a puerta cerrada que la compañía todavía estaba tratando de averiguar cómo los clientes de ChatGPT Plus querían usar los complementos que permiten que el modelo de lenguaje grande use otro software. Habib dijo en el blog que esto probablemente significaba que los complementos aún no se ajustaban al mercado de productos y no se implementarían pronto para los clientes empresariales a través de la API de OpenAI.

Ni Habib ni OpenAI respondieron de inmediato a las solicitudes de comentarios de Fortune.

La publicación del blog de Habib inspiró una acalorada discusión en las redes sociales y en los foros de desarrolladores. Muchos dijeron que los comentarios de Altman mostraban el problema que representa la falta de GPU para aprovechar el potencial comercial de los modelos de lenguajes grandes. Otros dijeron que demostraba cuán vitales son para el futuro de la tecnología.

Meredith Whittaker, presidenta de Signal Foundation y una de las principales críticas de Big Tech, entrevistada al margen de una conferencia en Berlín, dijo que la publicación del blog mostraba el dominio que las empresas tecnológicas más grandes del mundo ejercen sobre los cimientos del software de inteligencia artificial actual porque solo estas empresas pueden permitirse los recursos informáticos y los datos necesarios para entrenar los modelos de IA más grandes. "Lo que se ve es que la restricción principal, incluso con acceso a la infraestructura de Microsoft, son las GPU", dijo, refiriéndose a la estrecha asociación de OpenAI con Microsoft, que hasta la fecha ha invertido 13.000 millones de dólares en la puesta en marcha de IA de San Francisco. "Se necesita una infraestructura increíblemente costosa para poder hacer esto". Dijo que la gente no debería confundir el hecho de que existe una comunidad de IA de código abierto "con un panorama realmente democrático y competitivo".

El reportero de Fortune David Meyer en Berlín contribuyó a este artículo.