Google y OpenAI crean un método para que podamos saber cómo decide una red neuronal qué está viendo

Google y OpenAI crean un método para que podamos saber cómo decide una red neuronal qué está viendo
Sin comentarios Facebook Twitter Flipboard E-mail

Los sistemas de visión artificial han tenido siempre un poco de 'caja negra': nunca hemos terminado de comprender la razón por la que una IA podía acertar al reconocer a una persona como tal en una imagen, mientras el individuo de al lado podía ser erróneamente clasificado como un buzón de correos (por ejemplo).

Esto, que en otras circunstancias quizá no pasaría de ser un mera curiosidad, se ha convertido en algo cada vez más urgente a medida que esta tecnología se ha ido haciendo omnipresente en nuestro día a día.

Así, su papel en los debates en torno al posible sesgo discriminatorio de la IA, o su importancia en la conducción autónoma, y la posibilidad de que un mal funcionamiento de la visión artificial esté o haya estado detrás de algún accidente nos obliga a no posponer la tarea de comprender esta tecnología.

Cajas negras vs. 'atlas de activación'

Con este fin, Google y la entidad sin ánimo de lucro OpenAI han unido sus fuerzas para crear un sistema que permita dejar al descubierto cómo interactúan los componentes de las redes neuronales responsables de clasificar las imágenes. Según Chris Olah, ingeniero de OpenAI, pretendían hallar un modo de "alejar el zoom y ver una imagen más amplia de aquellas cosas que la red neuronal es capaz de representar".

Para ello, desarrollaron un método de mapeo de los datos visuales que los sistemas de visión artificial usan para 'comprender' lo que ven. Dicho método, que han bautizado con el nombre de 'Atlas de activación', permite revelar a los investigadores no sólo las formas abstractas, los colores y los patrones que los algoritmos reconocen, sino también el modo en que estos elementos se combinan para permitir que la IA identifique determinados seres y objetos.

Las 'neuronas' de estas redes neuronales (funciones modeladas a partir del ejemplo de las neuronas biológicas) no llevan cabo predicciones por separado, sino colectivamente, y gracias a eso aprenden a identificar patrones, y a realizar predicciones. Cada grupo de neuronas puede centrarse en el reconocimiento de una serie de características concretas de cada imagen.

via GIPHY

Como explica la web de OpenAI,

"Comprender qué sucede dentro de las redes neuronales no es sólo una cuestión de curiosidad científica: nuestra falta de comprensión al respecto dificulta que auditemos dichas redes. Antes, si alguien implementaba una pieza crítica de software, podría revisar todas las rutas a través del código, pero con redes neuronales nuestra capacidad para hacer este tipo de revisiones es mucho más limitada".

"Con los atlas de activación, los humanos pueden descubrir problemas no anticipados en las redes neuronales; por ejemplo: los lugares donde la red se basa en correlaciones espúreas para clasificar imágenes, o cuando reutilizar una característica entre dos clases conduce a errores extraños. Los humanos pueden incluso usar este entendimiento para 'hackear' el modelo, modificando las imágenes para engañarlo".

"Por ejemplo, es posible crear un tipo especial de atlas de activación para mostrar cómo una red neuronal separa las sartenes de los woks. Muchas de las cosas que muestra son esperables: las sartenes de freír son más cuadradas, mientras que los woks son más redondos y profundos".

"Pero también parece que el modelo ha aprendido que las sartenes y woks también pueden distinguirse por la comida que los rodea: en particular, wok se apoya por la presencia de fideos. Así que si agregamos fideos a la esquina de la imagen engañaremos al modelo el 45% de las veces".

Los investigadores concluyeron que los atlas de activación han resultado funcionar aún mejor de lo previsto, y que les hacen ser "más optimistas de cara a lograr la interpretabilidad de los modelos de visión artificial". Según Chris Olah, es "algo parecido a crear un microscopio. Al menos, eso es a lo que aspiramos".

Vía | OpenAI & VentureBeat

Inicio