Lumiere, la novedad de google en IA para editar videos e imágenes

Google presentó en las últimas horas, su nuevo lanzamiento, que tiene relación con la Inteligencia artificial generativa de video, llamada "Lumiere" (en honor a los hermanos creadores del cinematógrafo).

Tanto la propia Google como Meta habían publicado varios modelos de generación de video. Ahora, Lumiere llega ahora con el objetivo de recortar distancias en ese campo.

Lo que realmente diferencia a Lumiere de otros modelos es su arquitectura de "espacio-tiempo", que le permite generar clips completos en un solo paso, evitando así la inconsistencia temporal observada en modelos anteriores, en los que la imagen podía llegar a mutar de manera bastante grotesca durante los pocos segundos que duraba el vídeo.

Otro avance notable es la forma que facilita el proceso de edición de vídeo a los usuarios con pocos conocimientos: Lumiere puede modificar partes específicas de un vídeo con una simple máscara y un prompt de texto.

Este nuevo modelo permite: 

- Texto a vídeo: La base para cada modelo de vídeo.

- Imagen a vídeo: La segunda base para los modelos de vídeo en la actualidad, convierte imágenes fijas en vídeos.

- Generación 'estilizada': Utilizando una imagen de referencia, Lumiere puede generar vídeos basados en el estilo de una imagen que nosotros proporcionemos.

- Cinemagraphs: Lumiere puede animar únicamente partes específicas de imágenes estáticas.

- Edición de vídeo: Equivalente al 'inpainting' de la generación de imágenes, Lumiere puede editar cualquier parte específica de un vídeo aplicando un prompt únicamente a un área seleccionada del mismo.