Google ha lanzado VideoPoet, una innovadora herramienta basada en inteligencia artificial (IA) capaz de generar vídeos de alta calidad a partir de simples descripciones textuales. Este avance, destacado en el blog de investigación de Google y en su sitio web dedicado, representa un salto cualitativo en la generación de vídeos, ofreciendo una amplia gama de aplicaciones, desde la animación de imágenes hasta la edición y estilización de vídeos, e incluso la generación de audio para acompañar los clips.
VideoPoet se distingue por su capacidad de generar vídeos sin necesidad de ejemplos previos específicos (zero-shot video generation), lo que significa que puede crear contenido relevante y coherente basándose únicamente en descripciones textuales. Esta característica lo convierte en una herramienta potencialmente revolucionaria para creadores de contenido, cineastas y profesionales del marketing, entre otros.
Google presenta VideoPoet, un modelo de lenguaje grande para la generación de vídeos sin ejemplos previos, marcando un hito en la creación de contenidos audiovisuales.
La plataforma puede realizar tareas como text-to-video, image-to-video, video stylization, video inpainting y outpainting, y video-to-audio. Entre los ejemplos generados por VideoPoet se incluyen escenas tan variadas como un astronauta bailando en Marte con fuegos artificiales de colores de fondo, y un dron FPV sobrevolando una ciudad cibernética nocturna iluminada por luces de neón.
VideoPoet integra varios componentes clave, incluyendo un tokenizador de vídeo MAGVIT V2 y un tokenizador de audio SoundStream, que transforman clips de vídeo y audio en secuencias de códigos discretos. Estos códigos son compatibles con modelos de lenguaje basados en texto, lo que facilita la integración con otras modalidades, como el texto. Un modelo de lenguaje autoregresivo aprende a través de video, imagen, audio y texto para predecir el siguiente token de video o audio en la secuencia.
VideoPoet no solo demuestra la capacidad de generar y editar vídeos con una alta consistencia temporal, sino que también establece un nuevo estándar en la generación de vídeo, especialmente en la producción de movimientos grandes, interesantes y de alta fidelidad. La herramienta soporta la generación de vídeos en orientación cuadrada o retrato, adaptando las generaciones hacia contenido de formato corto, así como la generación de audio a partir de un vídeo de entrada.
La capacidad de VideoPoet para generar vídeos y audio a partir de descripciones textuales abre nuevas posibilidades para la narración visual y la creación de contenido. Al democratizar la creación de vídeos de alta calidad, Google no solo avanza en el campo de la IA, sino que también proporciona a los creadores de contenido una herramienta poderosa para dar vida a sus visiones creativas de manera más eficiente y accesible.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
