CLIPr aspire à contribuer à économiser 1 milliard d’heures de temps aux gens. Nous organisons la vidéo dans une source de données consultable de première classe qui ouvre le contenu le plus pertinent pour vos intérêts à l'aide des services AWS Machine Learning (ML). CLIPr simplifie l'extraction d'informations dans les vidéos, vous faisant gagner des heures en éliminant le besoin de les parcourir manuellement pour trouver les informations les plus pertinentes. CLIPr fournit des outils simples basés sur l'IA pour rechercher, interagir et partager du contenu sur des vidéos, révélant ainsi votre trésor enfoui en convertissant des informations non structurées en données et informations exploitables.
Comment CLIPr utilise les services AWS ML
Chez CLIPr, nous exploitons le meilleur de ce qu'AWS et la pile ML offrent pour ravir nos clients. À la base, CLIPr utilise les derniers principes de conception ML, sans serveur et infrastructure en tant que code (IaC). AWS nous permet de consommer les ressources cloud au moment où nous en avons besoin, et nous pouvons déployer un tout nouvel environnement client en quelques minutes avec un seul script. Le deuxième avantage est l’échelle. Le traitement vidéo nécessite une architecture capable d'évoluer verticalement et horizontalement en exécutant de nombreuses tâches en parallèle.
En tant que startup en phase de démarrage, le délai de mise sur le marché est crucial. Construire des modèles à partir de zéro pour les fonctionnalités clés de CLIPr telles que l'extraction d'entités, l'extraction de sujets et la classification nous aurait pris beaucoup de temps à développer et à former. Nous avons rapidement fourni des fonctionnalités avancées en utilisant les services AWS AI pour nos applications et flux de travail. Nous avons utilisé Amazon Transcribe pour convertir l'audio en transcriptions consultables, Amazon comprendre pour la classification et l'organisation des textes par sujets pertinents, Amazon Comprehend Medical extraire des ontologies médicales pour un client de soins de santé, et Amazon Reconnaissance pour détecter les noms, visages et types de réunions des personnes pour notre premier MVP. Nous avons pu itérer assez rapidement et obtenir des gains rapides qui nous ont aidés à clôturer notre cycle de pré-amorçage avec nos investisseurs.
Depuis lors, nous avons commencé à mettre à niveau nos flux de travail et nos pipelines de données pour créer des modèles de ML propriétaires internes, en utilisant les données que nous avons collectées au cours de notre processus de formation. Amazon Sage Maker est devenu un élément essentiel de notre solution. Il s'agit d'une structure qui nous permet de fournir du ML dans un modèle sans serveur avec une mise à l'échelle illimitée. La facilité d'utilisation et la flexibilité d'utiliser n'importe quel framework de ML et d'apprentissage profond de votre choix ont été un facteur d'influence. Nous utilisons des notebooks TensorFlow, Apache MXNet et SageMaker.
Parce que nous avons utilisé des frameworks open source, nous avons pu attirer et intégrer dans notre équipe des data scientists familiers avec ces plates-formes et les faire évoluer rapidement de manière rentable. En quelques mois seulement, nous avons intégré nos algorithmes et flux de travail de ML internes à SageMaker pour améliorer l'engagement client.
Le diagramme suivant montre notre architecture de services AWS.
L'expérience utilisateur la plus complexe est notre interface utilisateur Trainer, qui permet des examens humains des données collectées via le moteur de traitement IA de CLIPr dans une vue chronologique. Les humains peuvent augmenter les données générées par l’IA et également résoudre les problèmes potentiels. La surveillance humaine nous aide à garantir l'exactitude et à améliorer et recycler continuellement les modèles avec des prédictions mises à jour. Un excellent exemple en est l’identification du locuteur. Nous construisons des spectrographes à partir d'échantillons de voix et d'images vidéo des intervenants de la réunion, et pouvons identifier et corréler les noms et les visages (s'il existe une vidéo) des participants à la réunion. L'interface utilisateur du formateur inclut également la possibilité d'inspecter le flux de travail du processus, et les problèmes sont signalés pour aider nos data scientists à comprendre quelle formation supplémentaire peut être nécessaire. Un exemple typique est celui des indices visuels permettant d'identifier les noms d'orateurs différents selon les plates-formes de réunion.
Utiliser CLIPr pour créer une vidéo re:Invent personnalisée
Nous avons utilisé CLIPr pour traiter toutes les keynotes et sessions de leadership d'AWS re:Invent 2020 afin de créer une collection de vidéos consultables afin que vous puissiez facilement trouver, interagir et partager les moments qui vous intéressent le plus à travers des centaines de sessions re:Invent. CLIPr est devenu généralement disponible en décembre 2020 et nous avons lancé aujourd'hui la possibilité pour les clients de télécharger leur propre contenu.
Ce qui suit est un exemple de vidéo traitée CLIPr du discours d'ouverture d'Andy. Vous pouvez appliquer des filtres à l'intégralité de la vidéo pour faire correspondre les sujets générés automatiquement par les algorithmes CLIPr ML.
CLIPr crée dynamiquement une vidéo personnalisée à partir de la keynote en regroupant les sujets et les moments que vous sélectionnez. En choisissant Regarder maintenant, vous pouvez visionner votre vidéo composée des sujets et des moments que vous avez sélectionnés. En ce sens, CLIPr est une plateforme d'enrichissement vidéo.
Nos fonctionnalités de commentaires et de réactions offrent une expérience de co-visualisation où vous pouvez voir et interagir avec les réactions et les commentaires des autres utilisateurs, ajoutant ainsi une valeur collaborative au contenu. Aux débuts d'AWS, le faucon volant à basse altitude était un énorme contributeur aux forums d'utilisateurs AWS. L'équipe AWS a souvent sollicité l'avis des faucons volant à basse altitude sur les nouvelles fonctionnalités, les tarifs et les problèmes que nous rencontrions. Voler à basse altitude, c'était comme avoir un client à nos réunions sans y être réellement. Imaginez ce que ce serait si les clients, les propriétaires de services AWS et les présentateurs intervenaient et ajoutaient du contexte aux présentations re:Invent à grande échelle.
Nos clients apprécient beaucoup la fonctionnalité Smart Skip, où CLIPr vous donne la possibilité de passer au début du sujet d'intérêt suivant.
Nous avons créé une capacité de requête et de recherche en langage naturel afin que nos clients puissent trouver des moments facilement et rapidement. Par exemple, vous pouvez rechercher « SageMaker » dans la recherche CLIPr. Nous effectuons une recherche approfondie sur l'ensemble de nos ressources multimédias, allant des mots-clés, transcriptions vidéo, sujets et moments, pour présenter des résultats instantanés. Dans une recherche similaire (voir la capture d'écran suivante), CLIPr met en évidence les sessions principales d'Andy et inclut également des moments spécifiques où SageMaker est mentionné dans les sessions de Swami Sivasubramanian et Matt Wood.
CLIPr offre également des capacités d'analyse avancées à l'aide de graphiques de connaissances, vous permettant de comprendre les moments les plus importants, y compris les corrélations sur l'ensemble de vos ressources vidéo. Ce qui suit est un exemple des corrélations des graphiques de connaissances de toutes les vidéos re:Invent 2020 filtrées par sujets, conférenciers ou organisations spécifiques.
Nous fournissons une bibliothèque de contenu de sessions re:Invent, avec tous les keynotes et sessions de leadership, pour vous faire gagner du temps et tirer le meilleur parti de re:Invent. Essayez CLIPr en action avec les vidéos re:Invent et découvrez comment CLIPr utilise AWS pour que tout se réalise.
Conclusion
Créez un compte sur www.clipr.ai et créez une vue personnalisée du contenu re:Invent. Vous pouvez également télécharger vos propres vidéos, afin de passer plus de temps à créer et moins de temps à regarder !
À propos des auteurs
Humphrey ChenL'expérience de s'étend de la gestion de produits chez AWS et Microsoft aux rôles de conseil auprès de Noom, Dialpad et GrayMeta. Chez AWS, il a été responsable produit puis responsable des initiatives clés pour la vision par ordinateur d'Amazon. Humphrey sait comment prendre une idée et la concrétiser. Sa première startup était l'équivalent de Shazam pour la radio FM et a été lancée dans 20 villes avec AT&T et Sprint en 1999. Humphrey est titulaire d'un baccalauréat ès sciences du MIT et d'un MBA de Harvard.
Aaron Sloman est un ancien de Microsoft qui a lancé plusieurs startups avant de rejoindre CLIPr, avec des entreprises telles que Nimble Software Systems, Inc., CrossFit Chalk et speakTECH. Aaron était récemment l'architecte et CTO de OWNZONES, une société de chaîne d'approvisionnement et de collaboration multimédia, utilisant des technologies avancées de cloud et d'IA pour le traitement vidéo.
