Amazon ha invertido mucho dinero y trabajo en hacer que Alexa sea el asistente personal por voz más eficiente y mejor en el mercado. En un concurso desarrollado por la empresa (por segunda ocasión), los tres finalistas del mismo luchaban por un total de premios que llegaba a 650 mil dólares. Los ganadores, el equipo Gunrock se echó a la bolsa medio millón de dólares. El segundo lugar, Alquist, de la Universidad Técnica de Checoslovaquia, quien fue uno de los equipos ganadores en el concurso del 2017, se llevaron 100 mil dólares, la misma suma que el año pasado. El tercer premio, de 50 mil dólares fue para la Universidad escocesa Heriot-Watt, pero esta vez con un nuevo equipo bautizado como Alana.
Esta vez entraron equipos de 15 países, contra 22 del año pasado, aunque Amazon no dijo cuántos equipos participaron en total. Los ocho equipos finalistas se seleccionaron en febrero, en donde cada uno se ganó una beca de investigación por 250 mil dólares además de dispositivos Alexa y servicios de la web de Amazon (AWS) para apoyar sus desarrollos, teniendo acceso a los APIs de ASK (Alexa Skill Kit) y a las herramientas, datos y soporte del equipo de Alexa, para crear sus robots sociales y avanzar en el campo de las conversaciones de la Inteligencia Artificial.
El reto del concurso era “conversar coherentemente y con interés por 20 minutos con humanos sobre tópicos populares y noticias del día”.
En la fase semifinal, por un periodo de seis semanas, los robots fueron calificados por los clientes de Alexa. Las interacciones iniciaban con “Alexa, let’s chat” (Alexa, platiquemos). Al final de la interacción, los clientes tenías que dar una calificación, de 1 a 5 (con 5 la máxima), sobre cómo se sintieron hablando con el dispositivo social. Durante estas semifinales, el cliente promedio dio un 3.2 a la interacción, de acuerdo con Amazon, lo que representa un 10% con respecto a los resultados del año anterior. Este rating de los clientes determinó cuáles serían los dos equipos que llegarían a la final, que fueron Alquist y Alana. Por su parte, Amazon decidió un tercero, que fue Gunrock.
Durante el periodo final, los clientes de Alexa siguieron interactuando con los bots sociales y dieron la retroalimentación con los tres finalistas, en donde se hicieron 1.7 millones de conversaciones en el transcurso de 18 semanas. Más del 10% de las conversaciones de los clientes sumaron al menos 10 minutos. La decisión final se tomó en los cuarteles generales de Amazon en Seattle y no fue fácil, pues tardaron dos días en definir quiénes serían los ganadores.
De acuerdo con Dilek Hakkani-Tur, del equipo de Alexa: “juzgar una competencia conversacional de IA es difícil porque la conversación es inherentemente subjetiva y en donde no hay una respuesta correcta o equivocada en cada diálogo. No hay tampoco un criterio fijo para decir que una conversación es “coherente” o “interesante”. Para representar la diversidad de pensamientos y perspectivas, elegimos a jueces que eran expertos una variedad de disciplinas para evaluar de forma independiente la habilidad de cada robot social”.
El equipo ganador del año pasado, Sounding Board, de la Universidad de Washignton, logró una conversación promedio de 10:22 minutos, con una calificación promedio de 3.17 (de 5) por parte de los jueces. Este año Gunrock logró una conversación promedio de 9:59 minutos con una puntuación de 3.1.
Hay un premio especial, que nadie ganó, de un millón de dólares, por una conversación de 20 minutos, el cual se entregará a la universidad y no a los participantes. Mientras tanto es claro el progreso en varias áreas. Ya Amazon tiene pensada la 3a edición del concurso, el cual se abrirá a finales del invierno o a inicios de la primavera del 2019. Los equipos se anunciarán en junio del 2019 para alinearse con las actividades académicas de las universidades. Amazon busca que haya más competidores y que además, finalmente llegue el bot social que pueda ganarse el millón de dólares en una conversación de 20 minutos.