Lo siento, pero no. No importa lo bueno que seas al Gran Turismo ni las plusmarcas que tengas enmarcadas y colgadas de la pared de tu cuarto, hay una contrincante a la que jamás podrás vencer. Se llama Sophy —GT Sophy, para ser más precisos— y podemos asegurarlo con certeza porque sus "padres", Polyphony Digital (PDI), Sony IA y y Sony Interactive Entertainment (SIE), la han creado y educado para ser imbatible en el asfalto digital. El empeño no les ha ido nada mal además. De momento, ha conseguido ya que muerdan el polvo algunos de los campeones mundiales.
¿Cómo? Muy fácil (o no): Sophy GT es una Inteligencia Artificial (IA). Y una muy peculiar. No solo sabe manejar los coches de Gran Turismo y conoce sus circuitos, que también. Su gran peculiaridad es que aprende y es capaz de aplicar estrategias y tácticas. Todo, ojo, con fair play.
Qué es exactamente GT Sophy. En una presentación en la que no ahorran épica, Sony y PDI definen a su criatura como “un revolucionario agente de carreras sobrehumano”, una herramienta “diseñada para competir con los mejores pilotos de Gran Turismo Sport y mejorar su experiencia de juego”. Básicamente y con algo menos de poesía, se trata de una inteligencia artificial 'adiestrada' con técnicas de aprendizaje de refuerzo profundo —DRL, en sus siglas en inglés— para las que han aprovechado algoritmos de aprendizaje de última generación y la infraestructura en la nube de SIE.
GT Sophy sabe manejarse en las carreras, conoce las dinámicas de los coches y también las maniobras "para conquistar las pistas difíciles" —ahí está de nuevo la retórica épica—; pero una de las razones que la hacen tan especial y ha traído de cabeza a los campeones de Gran Turismo es el dominio de las tácticas, como maniobras de bloqueo y pases cruzados. Eso sí, siempre con clase. Sony y PDI aseguran que cumple con un concepto algo difuso al que se refieren como “reglas de etiqueta”, algo así como un fair play para que no busque colisiones y respete a sus adversarios.
Un nuevo capítulo en la larga disputa humana vs máquina. Sophy no es la primera máquina que hace morder la lona a los humanos. Incluso a aquellos que son muy buenos en lo suyo. Qué buenos, los mejores. A mediados de los 90 IBM desarrolló una supercomputadora, Deep Blue, que consiguió vencer al ajedrez al Gran Maestro Gary Kaspárov en 1996. Cierto que el ruso se desquitó y le ganó alguna partida, pero la victoria final, en 1997, fue para la versión mejora de la computadora, Deeper Blue, lo que ya nos permitía ver que la lucha humano vs máquinas se prometía interesante.
Lo cierto es que la inteligencia artificial lleva tiempo en los arcade y en algunos juegos de estrategia a mayores del ajedrez, como el shogi o el go; pero con GT Sophy sus creadores han querido ir un paso más allá. “Sophy lleva la IA del juego al siguiente nivel, abordando el desafío de un simulador hiperrealista al dominar el control en tiempo real de vehículos con dinámicas complejas, todo mientras opera a centímetros de los oponentes”, explican los padres de la criatura.
En el caso de las carreras de coches como GT, también son bastante frecuentes los conocidos como NPC —Non-player character—, contrincantes que no están controlados por otros jugadores, pero que no tienen por qué ser de forma necesaria resultado de una inteligencia artificial.
Una carrera meteórica de la mano de la inteligencia artificial. Los trabajos para poner a punto GT Sophy se remontan a 2016, cuando se dieron los primeros pasos en la División de Investigación y Desarrollo de Sony, y han ido avanzando durante el último lustro con diferentes hitos hasta llegar a la prueba de fuego: las competiciones con algunos de los campeones internacionales de GT.
Las primeras pruebas arrancaron en marzo de 2021. Meses después, en junio, se avanzó con carreras a contrarreloj disputadas contra campeones como Emily Jones, Valerio Gallo e Igor Fraga; y ya en verano y otoño la IA siguió midiéndose con algunos de los mejores competidores de carne y hueso. En julio, Sophy logró el mejor tiempo de vuelta en las tres carreras y el primer lugar en dos. GT Top Driver Team sin embargo consiguió ganar a GT Sophy Team con una puntuación de 86 a 70. En octubre Sophy se hizo con el primer y segundo puesto en las tres carreras y ganó en puntaje.
Qué opinan los jugadores: una rival... y una aliada. Tras la prueba, los gamers humanos destacaban tanto el reto de competir con Sophy como lo que habían aprendido de cara a carreras futuras. “Nos mostró nuevas posibilidades que no habíamos imaginado antes”, reflexionó Fraga, campeón en la primera final mundial de la Nations Cup 2018 de los FIA Gran Turismo Championship. De opinión similar, Shotaro Ryu, subcampeón en la División de GT del Campeonato Esports del Festival Nacional de Deportes de Japón (categoría juvenil), apuntaba el potencial de la IA para convertirse en “excelentes compañeros” de los propios conductores.
La tecnología en la que se basa GT Sophy. Detrás del éxito de GT Sophy está la tecnología aportada por cada uno de sus tres “padres”: Sony AI, SIE y la propia Polyphony Digital. La última, por ejemplo, hizo posible el acceso a los API —application programming interface—, fundamental para entrenar a GT Sophy en el entorno de simulación creado por Gran Turismo Sport.
Otra de las piezas clave fue el aprendizaje automático por refuerzo (RL), que permite entrenar a la inteligencia artificial recompensando o penalizando sus acciones en función de los resultados.
Una inteligencia diseñada con mimo... y entrenada para ganar. “Los investigadores e ingenieros desarrollaron técnicas innovadoras de aprendizaje por refuerzo, incluido un nuevo algoritmo de entrenamiento llamado Quiantile-Regression Soft Actor-Critic (QR-SAC), codificaciones de las reglas de carreras comprensibles para los agentes y un régimen de entrenamiento que promovía la adquisición de habilidades de carrera con matices”, explican sus creadores.
Entre las claves de Sophy destaca el aprendizaje profundo por refuerzo (Deep RL), que ya ha dado resultados interesantes con inteligencias artificiales aplicadas a los juegos de arcade, estrategia y multijugador en tiempo real. Con la RL, puede valorar además los resultados de sus acciones e incluso recopilar sus propios datos de forma independiente a lo largo del proceso. Gracias a las técnicas de RL, Sophy consiguió dominar habilidades en el control del coche durante las carreras, tácticas —adelantamientos en esquinas cerradas, por ejemplo— y actitudes de competición.
Sobre todo, que no falte el fair play durante las carreras. “Los investigadores de IA de Sony encontraron formas de codificar las reglas escritas y no escritas de las carreras en una compleja función de recompensa. El equipo también consideró necesario equilibrar la población de oponentes para asegurarse de que GT Sophy tuviera carreras de entrenamiento competitivas y, al mismo tiempo, no se volviera demasiado agresivo o tímido para la competición humana”, detallan.
Para facilitar ese entrenamiento, Sony desarrolló Distributed, Asynchronous Rollouts and Training (DART), una plataforma web personalizada. Echando mano de ella, los investigadores de Sony IA pudieron trabajar con GT Sophy en consolas PlayStation 4 (PS4) en la plataforma en la nube de SIE. “El sistema permite al equipo ejecutar sin problemas cientos de experimentos simultáneos mientras exploran técnicas que llevarían a GT Sophy al siguiente nivel”, precisa. En total, DART tenía acceso a más de un millar de consolas PS4 que se utilizaron para recopilar datos y entrenarla.
Más allá de las carreras de GT. Todo el trabajo que hay detrás de GT Sophy se ha expuesto en un detallado artículo publicado en Nature. En él los investigadores señalan cómo las carreras de coches ofrecen un “ejemplo extremo” de las situaciones en las que la IA puede verse obligada a tomar decisiones en tiempo real mientras se interactúa con humanos.
“Las simulaciones de carreras, como el juego de PlayStation Gran Turismo, reproducen fielmente los desafíos de control no lineal de los autores de carreras reales y al mismo tiempo encapsulan las complejas interacciones entre múltiples agentes”, reflexionan los autores antes de destacar que, además de demostrar que funciona, su inteligencia artificial respeta el 'juego limpio'.
“Construimos una función de recompensa que permite al agente ser competitivo mientras se adhiere a las reglas de deportividad importantes, pero poco especificadas, de las carreras. Demostramos las capacidades de nuestro agente, GT Sophy, al ganar una competición cara a cara contra cuatro de los mejores pilotos de GT del mundo”, recalcan los investigadores en su artículo.
Sus aplicaciones futuras. Queda camino por recorrer, en cualquier caso. Aunque sus creadores insisten en que Sophy ha logrado un “hito importante”, deslizan que todavía hay “espacio para más investigación y desarrollo”. “En colaboración con PDI y SIE, Sony IA seguirá mejorando las capacidades de GT Sophy y explorando formas de integrar el agente en la serie Gran Turismo”, destaca la multinacional, que se muestra igualmente abierta a “explorar nuevas asociaciones para mejorar la experiencia de juego” de sus usuarios a través de la Inteligencia Artificial.
Imagen de portada | Gran Turismo
Ver 18 comentarios