Créditos de imagen: niños tímidos

La herramienta de generación de video de OpenAI, Sora, sorprendió a la comunidad de IA en febrero con un video fluido y realista que parece muy por delante de sus competidores. Pero el debut cuidadosamente organizado omitió muchos detalles, detalles que fueron completados por un cineasta al que se le concedió acceso anticipado para crear un cortometraje utilizando a Sora.

Shy Kids es un equipo de producción digital con sede en Toronto que fue seleccionado por OpenAI como uno de los pocos producir cortometrajes principalmente con fines promocionales de OpenAI, aunque tenían una libertad creativa considerable creando una “cabeza de aire”. En un entrevista con el medio de noticias de efectos visuales fxguideEl artista de postproducción Patrick Cederberg describió «realmente usar a Sora» como parte de su trabajo.

Quizás la conclusión más importante para la mayoría es simplemente esta: aunque el artículo de OpenAI que destaca los cortos deja al lector asumir que surgieron más o menos completamente formados de Sora, la realidad es que se trataba de producciones profesionales, completas con guiones gráficos, edición y corrección de color y trabajos posteriores como rotoscopia y VFX. Al igual que Apple dice «filmado con iPhone» pero no muestra la configuración del estudio, la iluminación profesional y el trabajo de color después del hecho, la publicación de Sora solo habla de lo que permite hacer a las personas, no de la forma en que realmente lo hicieron.

La entrevista de Cederberg es interesante y poco técnica, así que si estás interesado, ve a fxguide y léelo. Pero aquí hay algunas cosas interesantes sobre el uso de Sora que nos dicen que, por muy impresionante que sea, el modelo puede ser un salto menos gigante de lo que pensábamos.

El control sigue siendo en esta etapa lo más deseable y también lo más difícil de alcanzar. …Lo mejor que pudimos conseguir fue ser hiperdescriptivos en nuestras indicaciones. Explicar el vestuario de los personajes, así como el tipo de globo, fue nuestra forma de garantizar la coherencia, porque plano a plano/generación en generación, todavía no existe una función para un control total sobre la coherencia.

En otras palabras, cuestiones simples en el cine tradicional, como elegir el color de la ropa de un personaje, requieren soluciones y controles elaborados en un sistema generativo, porque cada plano se crea independientemente de los demás. Obviamente, esto podría cambiar, pero ciertamente hay mucho más trabajo en este momento.

Los resultados de Sora también tuvieron que ser monitoreados para detectar elementos no deseados: Cederberg describió cómo el modelo generaba regularmente en el globo una cara que el personaje principal tiene como cabeza, o un hilo que colgaba delante de él. Estos tenían que ser eliminados por correo, otro proceso tedioso, si no recibían el mensaje para excluirlos.

Realmente no es posible lograr tiempos y movimientos precisos de los personajes o de la cámara: «Hay un pequeño control temporal sobre dónde suceden estas diferentes acciones en la generación real, pero no es preciso…c «Es una especie de disparo en la oscuridad», Cederberg dicho.

Por ejemplo, cronometrar un gesto como un saludo es un proceso muy aproximado y basado en sugerencias, a diferencia de las animaciones manuales. Y una toma como una panorámica sobre el cuerpo del personaje puede reflejar o no lo que quiere el cineasta, por lo que en este caso el equipo representó una toma compuesta en orientación vertical y recortó en posproducción. Los clips generados también a menudo estaban en cámara lenta sin ningún motivo en particular.

Ejemplo de un disparo como sale de Sora y como acabó en el corto. Créditos de imagen: niños tímidos

De hecho, el uso de lenguaje cinematográfico común como «pan right» o «dolly» era generalmente inconsistente, dijo Cederberg, lo que el equipo encontró bastante sorprendente.

«Los investigadores, antes de acercarse a los artistas para jugar con esta herramienta, en realidad no pensaban como cineastas», dijo.

Como resultado, el equipo ejecutó cientos de generaciones, cada una de las cuales duró entre 10 y 20 segundos, y terminó usando solo unas pocas. Cederberg estimó la proporción en 300:1, pero, por supuesto, probablemente a todos nos sorprendería la proporción en una sesión fotográfica normal.

el equipo en realidad Hice un pequeño video detrás de escena. explicando algunos de los problemas que encontraron, si tiene curiosidad. Como gran parte del contenido adyacente a la IA, Los comentarios son bastante críticos con todo el proyecto. – pero no tan virulenta como la publicidad impulsada por IA que hemos visto ridiculizada recientemente.

La última cuestión interesante se refiere a los derechos de autor: si le pides a Sora que te regale un clip de “Star Wars”, él se negará. Y si intentas eludirlo con «un hombre vestido con una espada láser en una nave espacial retro-futurista», también se negará, porque mediante algún mecanismo reconoce lo que estás intentando hacer. También se negó a hacer un “plano de Aronofsky” o un “zoom de Hitchcock”.

Por un lado, tiene mucho sentido. Pero eso plantea la pregunta: si Sora sabe qué es, ¿eso significa que el modelo fue entrenado en ese contenido para reconocer mejor que está infringiendo? OpenAI, que mantiene sus tarjetas de datos de entrenamiento en secreto, hasta el punto de lo absurdo, como ocurre con Entrevista de la CTO Mira Murati con Joanna Stern – Es casi seguro que nunca nos lo dirá.

En cuanto a Sora y su uso en el cine, es claramente una herramienta poderosa y útil en su lugar, pero su lugar no es «crear películas desde cero». De nuevo. Como dijo otro villano, “eso viene después”.