Miércoles, OpenAI anuncio DALL-E 3, la última versión de su modelo de síntesis de imágenes AI que ofrece integración total con ChatGPT. DALL-E 3 renderiza imágenes siguiendo de cerca descripciones complejas y manejando la generación de texto en la imagen (como etiquetas y letreros), lo que desafió a los modelos anteriores. Actualmente en vista previa de búsqueda, estará disponible para los clientes de ChatGPT Plus y Enterprise a principios de octubre.

Al igual que su predecesor, DALLE-3 es un generador de texto a imagen que crea nuevas imágenes basadas en descripciones escritas llamadas indicaciones. Aunque OpenAI no ha publicado ningún detalle técnico sobre DALL-E 3, el modelo de IA en el corazón de versiones anteriores de DALL-E se entrenó en millones de imágenes creadas por artistas y fotógrafos humanos, incluidas algunas con licencia de sitios web como Shutterstock. . Es probable que DALL-E 3 siga esta misma fórmula, pero con nuevas técnicas de entrenamiento y más tiempo de entrenamiento con la computadora.

A juzgar por los ejemplos proporcionados por OpenAI en su blog promocional, DALL-E 3 parece ser un modelo de síntesis de imágenes radicalmente mejor que cualquier otro modelo disponible en términos de siguientes indicaciones. Aunque los ejemplos de OpenAI fueron seleccionados por su efectividad, parecen seguir fielmente las instrucciones rápidas y representar objetos de manera convincente con distorsiones mínimas. En comparación con DALL-E 2, OpenAI afirma que DALL-E 3 refina pequeños detalles como las manos de manera más efectiva, creando imágenes atractivas de forma predeterminada «sin necesidad de piratería ni ingeniería rápida».

En comparación, Midjourney, un modelo de síntesis de imágenes de IA de otro proveedor, reproduce bien los detalles fotorrealistas, pero aún requiere muchos retoques contrarios a la intuición con indicaciones para obtener control sobre la salida de imágenes.

DALL-E 3 también parece manejar texto en imágenes de una manera que su predecesor no podía (algunos modelos de la competencia como Stable Diffusion XL y DeepFloyd nos estamos mejorando a nosotros mismos). Por ejemplo, un mensaje que incluía las palabras «Una ilustración de un abogado sentado en la silla de un terapeuta, diciendo ‘Me siento tan vacío por dentro’ con un agujero del tamaño de un hoyo en el centro » creó perfectamente un abogado de dibujos animados con la cita del personaje. encapsulado en una burbuja.

En particular, OpenAI dice que DALL-E 3 fue «construido de forma nativa» en ChatGPT y llegará como una característica incorporada de ChatGPT Plus, lo que permitirá ajustar el chat de imágenes para utilizar el asistente de IA como socio de lluvia de ideas. Esto también significa que ChatGPT podrá generar imágenes basadas en el contexto de la conversación actual, lo que podría dar lugar a nuevas funciones. El asistente Bing Chat AI de Microsoft, también basado en tecnología OpenAI, puede generar imágenes durante una conversación desde marzo.

La tetera que creó una tormenta

La versión original de DALL-E. surgió en enero de 2021, y OpenAI lanzó su suite considerablemente más capaz en abril de 2022, lanzando una nueva era de imágenes generadas por IA con una explosión sorprendente que cautivó a sus primeros probadores beta cerrados. Los modelos DALL-E utilizan una técnica llamada difusión latente que refina el ruido en imágenes que «reconoce» a partir del conocimiento adquirido mediante el entrenamiento en un conjunto de datos y la guía de un mensaje. La misma tecnología permitió la aparición del modelo de difusión estable de peso abierto en agosto del año pasado.

Debido a la forma en que DALL-E aprendió conceptos sobre imágenes durante el entrenamiento mediante la recuperación de un conjunto masivo de datos de obras de arte producidas por humanos, la tecnología de generación de imágenes de IA ha sido extremadamente controvertida desde su introducción generalizada el año pasado. La tecnología ha generado protestas de artistas que temen que reemplace o reproduzca de manera poco ética sus estilos, demandas por infracción de derechos de autor basadas en imágenes extraídas utilizadas como datos de entrenamiento sin consultar a los titulares de derechos de autor, y nuevas resoluciones de derechos de autor de la Oficina de Derechos de Autor de EE. UU. y una agencia estadounidense. juez del tribunal superior.

En un guiño a estas controversias, OpenAI dice que DALL-E 3 está diseñado para satisfacer solicitudes que requieren una imagen al estilo de un artista vivo. OpenAI también proporciona un formulario donde los creadores pueden optar por no utilizar sus imágenes para entrenar futuros modelos. Parece poco probable que estas medidas satisfagan a los artistas que generalmente creen que el entrenamiento en IA debería ser voluntario en lugar de incluirse por defecto en los conjuntos de datos de imágenes.

Actualmente, la política de derechos de autor de EE. UU. establece que las obras de arte puramente generadas por IA no pueden recibir protección de derechos de autor. Por lo tanto, técnicamente cualquier imagen creada con DALL-E 3 será de dominio público. Aunque OpenAI no lo reconoce explícitamente, sí dice que «las imágenes que crea con DALL-E 3 le pertenecen y no necesita nuestro permiso para reimprimirlas, venderlas o comercializarlas». Este es un cambio marcado con respecto al año pasado, cuando OpenAI uso restringido de imágenes DALLE-2 basado en una licencia que dice que OpenAI «es dueño de todas las generaciones».

En cuanto a la seguridad, OpenAI dice que, al igual que DALL-E 2, ha implementado filtros de detección de imágenes y palabras clave en DALL-E 3 para limitar su capacidad de producir contenido violento, sexual u odioso. El sistema también está programado para rechazar solicitudes que generen imágenes de figuras públicas por su nombre, lo que causó problemas con el generador de imágenes de IA rival Midjourney cuando generó imágenes falsas del arresto de Donald Trump.

OpenAI dice que ha trabajado con expertos conocidos como “equipos rojos” para identificar y mitigar riesgos potenciales, como sesgos dañinos o la generación de propaganda y desinformación. OpenAI no ha dicho nada sobre el potencial de su herramienta para doblar el récord histórico con fabricaciones convincentes, aunque afirma estar experimentando con una herramienta de «clasificador de procedencia» que puede ayudar a identificar si una imagen fue generada o no por DALL-E 3.

Tal como están las cosas, todavía no tenemos acceso a DALL-E 3 para realizar pruebas, pero OpenAI dice que el generador de imágenes de IA se encuentra actualmente en pruebas cerradas. Planea ponerlo a disposición de los clientes de ChatGPT Plus y Enterprise «en octubre a través de la API y en laboratorios a finales de este otoño».