Los generadores de imágenes a partir de texto parecen haber llegado para quedarse. Si queremos “una pintura de un lindo gatito negro en una ciudad con estilo cyberpunk” y no queremos ponernos manos a la obra con lápices o pinceles, podemos resignar parte del proceso creativo tradicional y pedirle a DALL-E, Midjourney o Stable Diffusion que haga el trabajo por nosotros.
Esto es algo sorprendente si tenemos en cuenta que hace tan solo unos años era algo inimaginable. No obstante, los avances en el campo de la inteligencia artificial son cada vez mayores. Hace unos meses empezaron a aparecer los primeros generadores de vídeos a partir de texto, y ahora es el turno de darle la bienvenida a AudioGen, un generador de audio. Un “DALL-E”, del sonido.
La IA nos vuelve a sorprender
AudioGen es un programa de inteligencia artificial que genera sonidos a partir de descripciones textuales. Según explican los investigadores de Meta y de la Universidad Hebrea de Jerusalén, que son los responsables del proyecto, se utiliza un modelo generativo autorregresivo para interpretar los pedidos en lenguaje natural y generar desde cero muestras de audio.
We present “AudioGen: Textually Guided Audio Generation”!
— Felix Kreuk (@FelixKreuk) September 30, 2022
AudioGen is an autoregressive transformer LM that synthesizes general audio conditioned on text (Text-to-Audio).
📖 Paper: https://t.co/XKctRaShN1
🎵 Samples: https://t.co/e7vWmOUfva
💻 Code & models - soon!
(1/n) pic.twitter.com/UiJaA627bv
Veamos algunos ejemplos de AudioGen en acción. Como podemos escuchar en el Tweet compartido por el investigador Felix Kreuk, el programa de inteligencia artificial ha sido capaz de generar sonidos relacionados a “alguien silbando mientras el viento sopla”, “un hombre habla mientras los pájaros cantan y los perros ladran”, “sirenas y un motor zumbando se acercan y pasan”, entre otros pedidos realizados en lenguaje natural.
De acuerdo a los investigadores, este modelo de IA supera inconvenientes de audio complejos. Por ejemplo, puede distinguir entre diferentes tipos de sonidos y separarlos acústicamente. Por ejemplo, puede filtrar a dos personas que hablan al mismo tiempo. Y se trata de una característica elemental para poder generar una amplia variedad de muestras de audio precisas.
No sabemos específicamente el conjunto de datos se ha utilizado, pero los miembros el proyecto dicen que entrenaron el modelo “utilizando diez conjuntos de datos de audio y etiquetas coincidentes”. Recordemos que muchos modelos de IA son entrenados con conjuntos o subconjuntos de datos que contienen creaciones con derechos de autor, lo que está generando debates en relación al copyright.
Cabe señalar que el proyecto todavía está siendo desarrollado a puertas cerradas. No obstante, los investigadores pretenden ponerlo a disposición del público. Así, próximamente publicarán el código de AudioGen y demás detalles técnicos en su perfil de GitHub. Además, explican, seguirán trabajando para mejorar las capacidades del programa. Toca esperar para saber si estará al alcance de todos como los generadores de imágenes.
Imágenes | Pawel Czerwinski
Ver 8 comentarios