En un juego de fútbol, los fanáticos se emocionan al ver a un jugador correr por la línea de banda durante un contraataque o cuando un equipo está controlando el balón en el área de 18 yardas porque esas acciones podrían conducir a goles. Sin embargo, es difícil para los ojos humanos capturar por completo movimientos tan rápidos, y mucho menos predecir objetivos. Con el aprendizaje automático (ML), podemos incorporar información más detallada a nivel de píxel para desarrollar una solución que prediga los objetivos con gran confianza antes de que sucedan.
Sportradar, un proveedor líder de datos deportivos en tiempo real que recopila y analiza datos deportivos, y Laboratorio de soluciones de Amazon ML colaboró para desarrollar un Predictor de goles de fútbol basado en visión por computadora para detectar momentos emocionantes que conducen a goles, lo que aumenta la participación de los fanáticos y ayuda a las emisoras a brindar a los espectadores una experiencia mejorada. La mayoría de los modelos de reconocimiento de acciones se utilizan para identificar eventos cuando ocurren, pero Amazon ML Solutions Lab desarrolló un novedoso Predictor de goles de fútbol basado en visión por computadora que puede predecir goles de fútbol futuros 2 segundos antes del evento.
“Lanzamos deliberadamente uno de los problemas de visión por computadora más difíciles posibles al equipo de Amazon ML Solutions Lab para ver qué podía hacer el arte de lo posible, y estoy muy impresionado con los resultados”, dice Ben Burdsall, CTO del Grupo en Sportradar. “El equipo construyó un modelo de reconocimiento de acción de video para predecir los goles de fútbol futuros con dos segundos de anticipación utilizando Amazon SageMaker y demostró su aplicación para el seguimiento de la intensidad de los partidos. Esto ha abierto las puertas a muchas nuevas oportunidades comerciales. Los costos de implementación y la latencia de este modelo en nuestra línea de producción utilizando la infraestructura de AWS también parecen muy alentadores. Después de hoy, no tengo más escepticismo sobre el potencial de la visión por computadora para innovar nuestro negocio ".
El equipo utilizó Amazon SageMaker instancias de cuaderno para crear una canalización de procesamiento de datos que extrajo ejemplos de capacitación de videos sin procesar y usó transferencia de aprendizaje para afinar un Redes 3D infladas (I3D) modelo. Los resultados han inspirado a los equipos de ciencia de datos e innovación de Sportradar a desarrollar nuevas estadísticas para incorporar en sus videos de transmisión para mejorar la participación de los fanáticos.
Esta publicación explica cómo aplicamos el aprendizaje por transferencia utilizando un modelo I3D hacia la predicción de objetivos y usamos la inferencia para crear un índice de intensidad para cuantificar la probabilidad de que un equipo anote goles. Además, discutimos cómo construimos un índice de impulso para medir el cambio de velocidad durante los ataques. (Ataque es un término de fútbol que se utiliza para describir el movimiento del equipo en posesión de la pelota.) Con el índice de intensidad y el índice de impulso, podemos detectar si hay un momento intenso (un momento que conduce a un gol) en casi real -tiempo usando transmisiones en vivo y creando productos para ayudar a las emisoras a involucrar a los fans durante las transmisiones.
Procesando los datos y construyendo el modelo
Para capturar estos momentos intensos, traducimos este objetivo en un problema de clasificación binaria: diferenciar las actividades que conducen a metas de las que no. Las muestras de la clase positiva (clase de goles) son videoclips que están a 2 segundos de los goles, y los de la clase negativa son clips en los que los jugadores participan en actividades que no conducen a goles (clase de seguridad con balón). Generamos 1,550 clips de 398 partidos de fútbol profesional proporcionados por Sportradar.
Mucha acción puede suceder en unos pocos segundos durante los partidos de fútbol, por lo que usamos videoclips cortos para entrenar al modelo. Para este caso de uso, extrajimos clips de 5 segundos. Un desafío con el procesamiento de video es que leer múltiples transmisiones de video y extraer clips secuencialmente puede llevar mucho tiempo y tomar varias horas en completarse. Para acelerar el proceso de extracción de clips, creamos una canalización de datos utilizando multiprocesamiento en una computadora portátil de Amazon SageMaker usando una instancia ml.c5.18xlarge con 72 CPU para paralelizar el proceso de extracción de clips con gran cantidad de E / S y reducir el tiempo de extracción de clips de 12 horas a menos de 15 minutos.
Después del procesamiento de datos, construimos un modelo de clasificación binaria usando el I3D modelo de GluonCV's zoológico modelo. El modelo I3D utiliza convoluciones 3D para aprender información espacio-temporal directamente de los videos. Dado que no teníamos un gran conjunto de datos, empleamos transferencia de aprendizaje y afinado el modelo I3D para obtener modelos de video de buen rendimiento con nuestros propios datos. Para obtener más información sobre el ajuste fino y un modelo I3D utilizando GluonCV, consulte nuestra página, Ajuste de modelos de video SOTA en su propio conjunto de datos.
Usando instancias de notebooks de Amazon SageMaker, primero cargamos una red I3D previamente entrenada en el conjunto de datos Kinetcis400 en una notebook Jupyter. Luego, ajustamos esta red en los datos de Sportradar para encontrar el mejor conjunto de parámetros, especialmente aquellos específicos para los modelos de reconocimiento de acciones (por ejemplo, número de cuadros, número de segmentos, paso para muestreo de cuadros).
Resultados
Se utilizó recordar como nuestra métrica principal para la evaluación del modelo porque queríamos capturar objetivos cercanos al 100% (clase positiva). Los siguientes gráficos representan la matriz de confusión y la curva de recuperación de precisión. Puede verse que es difícil para el modelo diferenciar entre las dos clases cuando tenemos un recuerdo cercano al 100%. Recalibramos las probabilidades pronosticadas para observar el rendimiento del modelo para lograr un recuerdo del 80% y el 90% para la clase positiva (la secuencia conduce a una meta) respectivamente.
La siguiente tabla muestra la precisión y recuperación de la clase negativa cuando arreglamos la recuperación de la clase positiva. Podemos ver que nuestro modelo puede diferenciar las dos clases con la nueva configuración. Cuando fijamos la recuperación de la clase positiva en el 90%, podemos capturar el 68% de las muestras de la clase negativa y la precisión es del 75%.
| Al 80% de recuperación de objetivos | Al 90% de recuperación de objetivos | |
| Retirada de Ballsafe | 0.81 | 0.68 |
| Precisión de objetivos | 0.82 | 0.75 |
Índice de intensidad e índice de impulso
Después del entrenamiento y la validación, seleccionamos el modelo que ofrece la mejor recuperación en el conjunto de validación. Generamos inferencias sobre tres juegos completos de video utilizando una ventana móvil con las probabilidades predichas actuando como índice de intensidad. Para medir el cambio de velocidad durante los ataques, también generamos un índice de impulso para la marca de tiempo actual, utilizando la pendiente de la línea de regresión lineal de probabilidades predichas de cuatro marcas de tiempo anteriores. Finalmente, usamos la normalización mínima-máxima para escalar el índice entre -1 y 1. Por lo tanto, el índice de impulso mide efectivamente cómo cambian las probabilidades de gol predichas en los últimos segundos.
La siguiente imagen ilustra la inferencia del modelo usando una ventana móvil de 5 segundos en un clip de 40 segundos. Las áreas que están marcadas en rojo son momentos en los que los puntajes predichos señalan momentos intensos. Las dos primeras barras rojas representan una situación cercana al gol, un momento muy intenso en el juego. Finalmente, el equipo anotó un gol al final de ese clip durante la tercera barra roja de alta intensidad.
El medidor en el lado izquierdo mide el índice de impulso de -1 a 1, y el gráfico de líneas de intensidad del partido en la parte inferior son las predicciones de goles usando nuestro modelo. Debido a que puede suceder mucha acción en 2 segundos, las predicciones de alta probabilidad de gol del modelo siguen siendo razonables antes de que se pierdan los tiros.
Mira el video completo:
Rendimiento del modelo en producción
Sportradar está invirtiendo en visión por computadora tanto a través de investigación interna, desarrollo y asociaciones externas. Para facilitar la transición rápida de los modelos de visión por computadora desde el laboratorio a la producción y la ejecución de modelos de visión por computadora a escala, Sportradar ha desarrollado una canalización de inferencia de visión por computadora casi en tiempo real utilizando los servicios de AWS. La canalización ayuda a garantizar que los acuerdos de nivel de servicio y los requisitos de baja latencia para cargas de trabajo de visión artificial en tiempo casi real se cumplan de una manera rentable mediante el uso de Servicio Amazon Elastic Kubernetes (Amazon EKS), Streaming administrado por Amazon para Apache Kafka (Amazon MSK) y Amazon FSx para Lustre.
Cuando se implementó y probó en la canalización de inferencia de visión por computadora de Sportradar, la latencia para generar una inferencia a partir del modelo de predicción de objetivos presentado en este artículo fue de alrededor de 200 milisegundos, con una latencia total de procesamiento de un extremo a otro de alrededor de 700 milisegundos.
Resumen
Sportradar colaboró con el Laboratorio de soluciones de Amazon ML para desarrollar un novedoso Predictor de goles de fútbol basado en visión por computadora que predice los objetivos futuros con una precisión del 75% mientras mantiene el recuerdo en el 90%. Usamos el aprendizaje por transferencia para ajustar un modelo I3D en Amazon SageMaker para clasificar los ataques que conducen a objetivos, así como las actividades que no conducen a objetivos, y usamos la inferencia del modelo para crear un índice de impulso para señalar los momentos intensos en el fútbol. . Este modelo ha sido probado en la tubería de visión por computadora de Sportradar y puede lograr una inferencia casi en tiempo real con baja latencia en menos de segundos. Este enfoque se puede aplicar a otros deportes en términos de predicción de eventos clave y medición de la intensidad del juego utilizando una infraestructura de visión por computadora sin depender de sensores para la recopilación de datos.
Si desea obtener ayuda para acelerar el uso de AA en sus productos y servicios, comuníquese con el Laboratorio de soluciones de Amazon ML .
Para obtener más información sobre lo que está haciendo Amazon ML Solutions Lab en el mundo del deporte, consulte Página de AWS Sports ML.
Acerca de los autores
Daliana Liu un científico de datos sénior en el laboratorio de soluciones de Amazon ML. Crea soluciones de IA / ML para ayudar a los clientes de diversas industrias a acelerar sus negocios. Anteriormente, trabajó en la plataforma de pruebas A / B de Amazon ayudando a los equipos minoristas a tomar mejores decisiones basadas en datos.
Andrej Bratko lidera un equipo de científicos e ingenieros de datos en Sportradar que trabajan en soluciones de aprendizaje automático en áreas como la recopilación de datos deportivos, la gestión de riesgos de apuestas deportivas, el comercio de probabilidades y la integridad deportiva. Su equipo también es responsable de la infraestructura de análisis y big data de Sportradar que respalda el desarrollo y la implementación del modelo de aprendizaje automático. Tiene un doctorado en aprendizaje automático de la Universidad de Ljubljana, Eslovenia.
jure anterior es un científico de datos en Sportradar que trabaja principalmente en la gestión de riesgos en las apuestas deportivas. Además de su enfoque principal, tiene un gran interés en diferentes aplicaciones de aprendizaje automático y disfruta trabajando en soluciones de vanguardia para resolver problemas comerciales complejos.
Luka Pataky lidera el Equipo de Innovación en Sportradar, pionero en nuevas tecnologías y productos. Uno de los proyectos de innovación clave es la visión por computadora, donde dirige un equipo de ingenieros de datos y visión por computadora que trabajan en soluciones para recopilar datos deportivos y obtener una visión más profunda de los juegos. Su equipo también trabaja en otros proyectos relacionados con la aplicación de tecnologías emergentes a productos y procesos, así como proyectos que buscan reinventar la forma en que los fanáticos interactúan con los deportes y los datos.
mehdi noori es un científico de datos en el laboratorio de soluciones de ML de Amazon, donde trabaja con clientes en varias verticales, y los ayuda a acelerar su viaje de migración a la nube y a resolver sus problemas de aprendizaje automático utilizando soluciones y tecnologías de vanguardia.
Suchitra Sathyanarayana es gerente de Amazon ML Solutions Lab, donde ayuda a los clientes de AWS de diferentes sectores verticales a acelerar su adopción de la inteligencia artificial y la nube. Tiene un doctorado en Visión por Computadora de la Universidad Tecnológica de Nanyang, Singapur.
Uros Lipovsek es ingeniero de aprendizaje automático con experiencia en ML, visión por computadora, ingeniería de datos y devops. Está diseñando proyectos de visión por computadora en Sportradar y tiene una licenciatura en Economía con especialización en Econometría de la Universidad de Ljubljana.
