Runway presenta Gen-3 Alpha, su último modelo de generación de video. Entrevista con su CEO que detalla a JDN su ambición de crear la nueva generación de herramientas para creativos de todo el mundo.
jdn. Runway pronto lanzará la versión Alpha de su próximo modelo Gen-3. cuales son sus habilidades ?
Cristóbal Valenzuela. Gen-3 Alpha es el primero y el más pequeño de nuestra próxima generación de modelos básicos, entrenado en una nueva infraestructura diseñada para el entrenamiento multimodal a gran escala. Este es un paso importante hacia nuestro objetivo de crear lo que llamamos modelos globales generales. (Modelos generales del mundo, ndlr). Destaca por una mejora significativa en términos de fidelidad y controlabilidad en la generación de vídeo.
Gen-3 Alpha ayuda a generar videos de hasta 10 segundos de duración mucho más rápido. Concretamente, un clip con una duración de 5 segundos tarda 45 segundos en generarse, y un clip de 10 segundos se genera en 90 segundos. Estamos entusiasmados de ponerlo en manos de creadores y empresas de todo el mundo.
¿Cuáles son las principales mejoras y diferencias con las generaciones anteriores de modelos, Gen-1 y Gen-2?
Nuestra generación Gen-X incluye varios modelos, incluido Gen-1, que es nuestro primer modelo de video lanzado hace un año. Gen-2 es la próxima generación, capaz de generar vídeos a partir de textos, vídeos e imágenes. Gen-3 incluye todas estas modalidades con mejoras notables. En primer lugar, permite obtener una mejor calidad de renderizado, gracias a animaciones más realistas y estilos más específicos. Por ejemplo, es posible optar por crear un personaje 2D o 3D con un estilo particular. Este modelo también ofrece mayor capacidad de control y permite modificar con mayor detalle determinados aspectos del contenido generado.
¿Cómo se diferencia Runway en este mundo altamente competitivo de generación de contenido asistida por IA?
Lanzamos la empresa en 2018 con el objetivo de crear modelos de IA de vanguardia para creadores y artistas. Hemos realizado investigaciones fundamentales y publicado avances significativos en sistemas multimodales para generación de imágenes y videos. Pero también desarrollamos herramientas.
Runway está verdaderamente dedicada a la fusión del arte y la ciencia. Esta combinación única, que combina investigación y aplicación concreta, se logra mediante una estrecha colaboración con artistas, directores y creativos. Nuestra investigación fundamental está orientada con el objetivo de proporcionar modelos que puedan ser controlados y utilizados para aplicaciones concretas.
¿Cómo está distribuida vuestra plantilla entre vuestras diferentes actividades, vinculadas a la investigación y la vertiente comercial? ?
La empresa cuenta con unas 90 personas, con oficinas en San Francisco y Nueva York. Tenemos algunos empleados en Europa, incluido un equipo en Londres. Alrededor del 70% de nuestra plantilla se dedica a la investigación y la ingeniería. Contamos con uno de los centros de investigación más sólidos en el campo de la generación de imágenes y videos. Nuestros investigadores trabajan en estrecha colaboración con artistas y especialistas en efectos visuales, lo que nos permite generar ideas interesantes e innovadoras.
¿Cuál es el perfil de usuario y qué necesidades cubre su plataforma? ?
Varias decenas de millones de personas han creado una cuenta en Runway. Nuestra plataforma es utilizada por muchos creativos y empresas, particularmente en la producción cinematográfica, así como por agencias y estudios de publicidad. Nuestros modelos son muy útiles en la postproducción pero también en la preproducción de vídeo. La preproducción incluye todo lo que se hace antes de crear contenido de video, como la creación de guiones gráficos, ideación, dirección de arte, etc. Por ejemplo, Madonna utilizó Runway para generar vídeos para su gira que se transmitieron durante sus conciertos. Nuestras herramientas también se utilizan para películas, programas de televisión, etc.
Runway desarrolla modelos de IA y casi 35 herramientas de IA generativa. ¿Su objetivo es seguir el modelo de Adobe ofreciendo un conjunto de software? ?
Queremos seguir nuestro propio camino sin limitarnos a una innovación incremental consistente en mejorar ligeramente el software existente. Crear una herramienta versátil que pueda satisfacer todas las necesidades de los creativos y al mismo tiempo ser muy específica para realizar determinadas tareas no es fácil. Queremos crear software dedicado a la animación y la creación de videos con tecnología de inteligencia artificial para los millones de creativos que tienen una historia que contar, ya sea larga o corta. Las próximas generaciones de software no se parecerán a las anteriores. Ofrecerán nuevas posibilidades, como la generación de vídeos en tiempo real, que aún no se pueden lograr con las herramientas existentes.
¿Cuál es su modelo de ingresos? ?
Hemos adoptado un modelo freemium, que permite a todos probar nuestras herramientas. Nuestras suscripciones pagas comienzan desde $12 mensuales. Nuestros clientes suelen ser creativos que trabajan en agencias de publicidad, equipos de producción, estudios, así como directores, músicos, etc. Nuestra creencia es que la creatividad es un estado de ánimo y que cualquiera puede ser creativo con las herramientas adecuadas en sus manos.
¿Cómo ve la competencia de OpenAI con su modelo Sora, pero también de Luma AI y, en general, de las numerosas empresas del sector? ?
Cuando se busca crear una nueva categoría de software y desarrollar un negocio importante, inevitablemente se atrae competencia. Sabíamos desde el principio que si lo conseguíamos, otros intentarían imitarnos. La próxima generación de modelos no sólo será mejor, sino que también brindará experiencias concretas al usuario. De hecho, existe una diferencia entre publicar hermosas demostraciones de investigación y crear productos. Lograr hacer ambas cosas no es fácil y me alegra ver que más actores intentan asumir este desafío.
Hay mucha opacidad sobre los datos utilizados para entrenar los modelos. ¿Cuáles son tus métodos en Runway? ?
Todos nuestros modelos se entrenan de diferentes maneras y utilizamos diferentes conjuntos de datos para cada uno de ellos. Para algunos, dependemos de asociaciones, como la de Getty Images, que nos permite utilizar sus datos. Próximamente se anunciarán otras asociaciones similares. Algunos de nuestros clientes también nos proporcionan datos que nos permiten perfeccionar determinados modelos. Hemos construido relaciones sólidas con varios socios, pero prefiero no revelar cierta información para proteger nuestra propiedad intelectual.
El pasado mes de junio anunciaste una recaudación de fondos de 141 millones de dólares en Series C con empresas como Google, Nvidia y Salesforce. ¿Cuáles son tus objetivos para los próximos años?
“Estamos pensando en abrir una oficina en Europa, quizás en París o Londres”
Estamos encantados de tener a estas empresas como socios y accionistas, sobre todo porque están familiarizadas con la innovación en este sector. Runway está creciendo más rápido de lo esperado, por lo que pronto haremos más anuncios. En los próximos años queremos seguir ampliando nuestro equipo de investigación. Estamos convencidos de que estas inversiones darán frutos en los próximos años.
¿En qué dirección le gustaría llevar esta investigación? ?
Gran parte de nuestros esfuerzos de investigación se centran en lo que llamamos Modelos Mundiales Generales. (modelos mundiales generales, nota del editor) que son esencialmente sistemas multimodales. El objetivo es poder generar contenidos de vídeo, imágenes, texto y audio dentro de entornos coherentes. Estamos pensando en abrir una oficina en Europa, quizás en París o Londres. Runway todavía tiene un largo camino por recorrer para llegar a toda la comunidad creativa de todo el mundo. Queremos crear la próxima generación de herramientas creativas.
¿Cuál fue el papel de Runway en la creación de Stable Diffusion? ?
Esta fue una contribución de uno de nuestros investigadores como parte de un proyecto de investigación de código abierto. Colaboramos periódicamente con universidades en diversos proyectos de investigación. Patrick Esse, uno de nuestros colaboradores e investigadores, colaboró con la Universidad Ludwig Maximilian de Munich para publicar un artículo de investigación accesible como código abierto. Luego, este modelo fue entrenado y mejorado por una empresa llamada Stability AI, con la que no tenemos ninguna conexión, y que se convirtió en Stable Diffusion.
