Medal, une startup plus connue pour son produit de clipping de jeux vidéo, vient d'annoncer avoir levé 13 millions de dollars pour une valorisation de 333 millions de dollars auprès de plusieurs investisseurs, dont Horizons Ventures, OMERS Ventures, peak6 et Arcadia Investment Partners.
L'entreprise a également dévoilé Highlight, une nouvelle application de bureau multiplateforme qui agit comme un assistant IA contextuel pour les utilisateurs. L'application capture le contenu de votre écran et vous permet de poser des questions à un modèle de langage étendu (LLM) en fonction de ce contexte.
Henry Gladwyn, associé chez OMERS Ventures, a déclaré à TechCrunch lors d'un appel que la société de capital-risque avait vu une opportunité d'utiliser la technologie de base de Medal et de l'appliquer aux LLM.
« La technologie de base de Medal repose sur l'idée de comprendre ce qui se passe sur l'appareil d'une personne, qu'il s'agisse de la vidéo, de l'audio et de tout ce qui se passe autour. À l'origine, cette technologie était utilisée pour le découpage. Aujourd'hui, l'entreprise reprend cette technologie et l'applique aux LLM pour la sollicitation, ce qui est une utilisation intelligente », a déclaré Gladwyn.
Gladwyn a ajouté qu'il considérait Medal comme un produit permettant d'enregistrer les meilleurs moments de la vie virtuelle plutôt que comme une simple société de jeux. Et l'application Highlight est une extension naturelle de ce paradigme.
Comment fonctionne Highlight ?
Au fil des ans, les entreprises ont essayé de créer un assistant utile pour les utilisateurs qui exploite les informations à l'écran. Google essaie depuis des années avec Google Now, Google Assistant et maintenant Gemini. Apple a fait une incursion dans ce domaine en lançant Apple Intelligence et sa capacité à comprendre les informations contextuelles à l'écran le mois dernier lors de sa Worldwide Developer Conference (WWDC). Microsoft exploite également l'IA générative avec Windows Recall, une fonctionnalité qui aide les utilisateurs à retrouver le contenu qu'ils ont consulté dans le passé. Après l'annonce initiale, Microsoft a décidé de reporter le lancement de Recall.
Highlight essaie de rendre cela possible pour le bureau. Dans l'itération actuelle, l'application se présente sous la forme d'un bouton flottant sur votre bureau. Chaque fois que vous passez la souris sur l'icône, elle capture le contenu de l'écran et le transmet comme contexte à différents modèles. Vous pouvez choisir de poser d'autres questions à l'aide de différents outils tels que ChatGPT, Claude d'Anthropic, Perplexity, etc.
Basée sur différents modèles, l'application pré-remplit certaines questions pour vous aider à démarrer. La capture se fait localement et l'application ne stocke aucun contenu. L'entreprise développe son propre assistant de type ChatGPT, qui pourrait être moins performant que les modèles basés sur le cloud pour certaines tâches, mais cet assistant pourrait éventuellement s'exécuter localement sur votre appareil.
Outre le contenu affiché à l'écran, vous pouvez également transmettre un document et une mémoire audio du système comme contexte à Highlight. Pour exploiter le cas d'utilisation audio, l'entreprise développe une application de transcription locale pour les réunions qui s'apparente à des outils comme Granola, Limitless et Krisp.
Bâtiment en vedette
Pim de Witte, l'un des cofondateurs de Medal, a déclaré à TechCrunch lors d'un appel que la société avait commencé à réfléchir à la manière dont elle pourrait utiliser la technologie de capture de clips de Medal.tv et la fusionner avec l'IA l'année dernière.
« Nous savons que les activités d’enregistrement vont être importantes pour les systèmes d’exploitation. Et nous avons vu certaines grandes entreprises technologiques prendre des initiatives dans ce sens. Nous voulons fournir une plateforme ouverte pour connecter les utilisateurs aux assistants, aux modèles et aux interfaces », a déclaré de Witte.
Il a également mentionné qu'il souhaitait créer une application d'IA qui pourrait être utilisée par des personnes de tous âges, même si elles ne sont pas familiarisées avec la technologie. C'est pourquoi l'application affichera des suggestions contextuelles basées sur la capture.
L'entreprise développe également une plateforme ouverte permettant aux développeurs de déployer leurs propres applications sur la plateforme Highlight. Cela ressemble un peu à l'application de lancement Raycast pour Mac, qui vous permet d'installer des extensions créées par des développeurs. Cependant, une différence essentielle est que Highlight est disponible à la fois sur Mac et Windows.
Gladwyn, d'OMERS Ventures, a déclaré que, comme Highlights est indépendant et n'a aucun intérêt à vous attirer dans un écosystème, il présente un avantage.
Le chemin à suivre
Medal.tv est un produit à succès et l'entreprise souhaite continuer à le soutenir et à ajouter de nouvelles fonctionnalités. Cependant, l'entreprise va affecter du personnel à Highlight.
Highlights est gratuit pour l'instant, mais de Witte souhaite le monétiser grâce au modèle de l'App Store. La startup étudie également un abonnement premium pour donner accès à certaines de ses propres applications et fonctionnalités, comme les modèles locaux.
L'entreprise distribue également des subventions pouvant atteindre 30 000 $ aux développeurs qui auront également accès à l'équipe Highlight pour développer l'écosystème de l'application.
