StreetReaderAI, un projet pionnier présenté à UIST’25, est à l’avant-garde pour rendre les outils de cartographie interactive comme Google Street View accessibles aux aveugles et malvoyants. Exploitant la puissance de l’intelligence artificielle multimodale sensible au contexte, il vise à surmonter les limitations actuelles rencontrées par ces utilisateurs qui font souvent face à des obstacles avec les images de vue de rue traditionnelles. StreetReaderAI combine des descriptions de scènes générées par IA de pointe avec des fonctionnalités de chat interactif pour offrir des expériences enrichies et navigables. Ce prototype innovant pourrait révolutionner l’exploration à distance pour les utilisateurs aveugles, offrant une manière plus inclusive de découvrir la vaste base de données d’images de rues provenant de plus de 220 milliards de sources dans le monde entier.
La technologie sous-jacente de StreetReaderAI repose sur deux sous-systèmes IA : AI Describer et AI Chat, intégrés à l’API Multimodale Live de Google. AI Describer fournit des indices audio en temps réel dérivés des images de vue de rue, offrant des descriptions axées sur la navigation, la sécurité, et des aperçus touristiques. AI Chat étend ces capacités en permettant aux utilisateurs d’interagir dynamiquement avec l’IA, en posant des questions sur leur environnement et les emplacements précédents. Ces interactions sont enrichies par une fonction mémoire sophistiquée qui conserve les informations contextuelles, facilitant ainsi des expériences utilisateur fluides à la fois informatives et adaptatives aux sollicitations de l’utilisateur.
L’introduction de StreetReaderAI met en lumière des implications significatives pour divers acteurs, y compris les entreprises technologiques, les défenseurs de l’accessibilité, et les organismes de réglementation. Pour les entreprises technologiques, cela représente un potentiel de passage vers des designs plus inclusifs en cartographie numérique, ce qui pourrait ouvrir de nouveaux marchés et assurer la conformité avec d’éventuelles futures réglementations sur l’accessibilité. Pour la communauté des aveugles et malvoyants, cet outil représente une avancée considérable dans l’équité numérique, leur offrant des opportunités similaires d’exploration et d’interaction avec la représentation numérique du monde telles que celles disponibles pour les utilisateurs voyants.
En perspective, StreetReaderAI est prêt à améliorer encore ses capacités, avec des développements possibles incluant un agent IA plus autonome capable de planification d’itinéraires et de systèmes de retour audio plus riches. Ces avancées indiquent une trajectoire prometteuse vers des outils sophistiqués et totalement accessibles qui pourraient établir des standards industriels en matière de design inclusif. Ce développement souligne la tendance générale d’intégration de l’intelligence artificielle avec des applications du monde réel pour combler les fossés numériques et favoriser une croissance technologique inclusive.
