apple stories
L’IA se met au service de l’accessibilité lors du Swift Student Challenge de cette année
Recevoir des commentaires en temps réel pendant une présentation. Évacuer une zone inondée à Accra. Jouer de l’alto sans instrument. Dessiner sur iPad malgré des mains tremblantes. Voici quatre des solutions imaginées par les « Distinguished Winners » du Swift Student Challenge de cette année.
Chaque année, le Swift Student Challenge invite des étudiants du monde entier à développer des playgrounds d’apps avec Swift, le langage de programmation intuitif d’Apple, pour concrétiser leurs meilleures idées. Les 350 projets primés cette année, issus de 37 pays et régions, témoignent d’une belle diversité de technologies.
« Les participants au Swift Student Challenge ne cessent de nous impressionner par leur créativité », observe Susan Prescott, Vice president of Worldwide Developer Relations d’Apple. « Les lauréats de cette année ont su exploiter la puissance des plateformes Apple, de Swift et des outils d’IA de façon remarquable, en concevant des apps qui sont aussi ambitieuses sur le plan technique qu’utiles pour leurs utilisateurs. C’est une grande fierté de les accompagner. Nous avons hâte de découvrir leurs futures créations. »
Cinquante « Distinguished Winners » ont été invités à participer à la Worldwide Developers Conference, organisée en juin à Apple Park. Pendant trois jours, ils auront l’occasion d’assister à la Keynote en direct, de rencontrer des experts et ingénieurs Apple, et de participer à des ateliers pratiques.
Cette année, de nombreux lauréats ont puisé leur inspiration dans leur entourage pour créer d’impressionnantes apps orientées sur l’accessibilité. Les « Distinguished Winners » Gayatri Goundadkar, Anton Baranov, Karen-Happuch Peprah Henneh et Yoonjae Joung présentent leurs playgrounds d’apps et les problématiques tangibles qu’ils ciblent, témoignages concrets de l’impact du développement comme moteur de changement durable.
S’adonner à la création avec Steady Hands
Gayatri Goundadkar, 20 ans, a grandi à Pune, en Inde. Petite, elle passait des heures à dessiner et peindre avec sa grand-mère. Ensemble, elles partageaient une passion commune pour la peinture Warli, un art traditionnel où dominent les formes géométriques simples. Mais avec l’âge, sa grand-mère a développé des tremblements dans les mains, qui l’ont privée de ce loisir quotidien. C’est cette expérience marquante qui a poussé Gayatri à créer Steady Hands, un playground d’app qui exploite la capacité de stabilisation de l’Apple Pencil pour aider les personnes atteintes de tremblements à s’exprimer de manière créative.
« Je m’adresse surtout aux personnes âgées », explique Gayatri, étudiante en troisième année d’informatique à la MIT World Peace University, où elle suit un programme de développement d’apps. « En Inde en particulier, cette génération trouve la technologie parfois intimidante. J’ai donc pensé mon app pour ce public. Je voulais que l’interface soit apaisante, pas du tout froide. Je ne voulais pas qu’une personne se sente dépassée en ouvrant l’application. Mon but était de donner l’impression qu’elle avait été spécialement conçue pour chaque utilisateur. »
Pour permettre aux utilisateurs de dessiner librement, Gayatri Goundadkar s’est d’abord intéressée aux tremblements et à leurs effets sur l’utilisation de l’écran tactile de l’iPad. Inspirée par plusieurs fonctionnalités d’accessibilité d’Apple, notamment Adaptation aux pressions, elle s’est formée aux concepts de SwiftUI et a utilisé Claude, l’IA d’Anthropic, pour approfondir des sujets comme la gestion des données de tracé par PencilKit. Pour identifier les tremblements de l’utilisateur, elle a conçu un outil capable d’analyser les données de mouvement brutes de l’iPad et de l’Apple Pencil. Celui-ci enregistre les mouvements de la main, puis applique des techniques de traitement du signal afin de mesurer la fréquence et l’intensité des tremblements.
« Quand une personne dessine, mon app s’appuie sur les frameworks PencilKit et Accelerate d’Apple pour analyser les données du tracé et reconnaître les tremblements. Elle détecte les mouvements volontaires ou non, puis atténue la composante liée aux tremblements », explique-t-elle. « Ensuite, chaque dessin est exposé dans un musée 3D personnel, parce que je voulais que les utilisateurs aient la sensation d’être des artistes, pas des patients. Quand ils voient la stabilisation fonctionner en temps réel, ils se sentent plus confiants. »
Faire de meilleures présentations avec pitch coach
Anton Baranov, 22 ans, est originaire de Francfort, en Allemagne. Il se trouvait à table quand sa mère (professeure de linguistique et de littérature) lui a fait une remarque qui l’a frappé.
« Elle expliquait que ses étudiants étaient brillants, mais qu’ils perdaient tous leurs moyens lors des présentations orales. Ils oublient ce qu’ils veulent dire, se tiennent mal. Ils n’arrivent plus à expliquer leurs idées », détaille Anton, étudiant en informatique à l’Université en sciences appliquées de Mittelhessen. C’est à ce moment qu’il a eu l’idée de pitch coach, une app qu’Anton décrit comme « un acolyte boosté par Apple Intelligence qui vous aide à faire des présentations dignes de Qui veut être mon associé ».
Passionné de programmation depuis l’âge de 16 ans, Anton a découvert Swift en août dernier avant de développer son app en février. En la testant auprès des étudiants de sa mère, il a pu identifier un problème récurrent : même s’ils savent ce qui pêche dans leurs présentations, ils ne s’en rendent compte qu’après les avoir terminées. « Un étudiant m’a dit : J’aimerais pouvoir être au courant de mes erreurs en direct. Et c’est de là qu’est née mon app avec retours en temps réel et suivi de la posture via les AirPods. »
Pour aider les utilisateurs à surmonter leur trac, Anton Baranov a utilisé le framework Foundation Models d’Apple afin de générer, après chaque session, des retours personnalisés et contextualisés. L’app peut ainsi identifier des tics de langage récurrents, comme « euh » ou « genre ». Il a également utilisé Claude Agent dans Xcode 26 pour traduire pitch coach dans 20 langues, tout en consultant ses amis et collègues afin d’identifier les expressions parasites propres aux autres langues.
Publiée sur l’App Store début mars, l’app a déjà été téléchargée plus de 6 000 fois. La majorité des utilisateurs s’en servent pour préparer des présentations, mais des usages ont surpris Anton, comme des répétitions pour un concert de rap ou un spectacle de stand-up. « Ce sont les utilisateurs qui définissent l’app. Si elle leur plaît pour cet usage, alors c’est comme ça qu’ils l’utilisent », explique-t-il.
Sécuriser l’évacuation des zones inondées avec Asuo
Karen-Happuch Peprah Henneh a découvert Swift cette année. Après avoir obtenu une licence en informatique et technologies de l’information au Ghana, son pays d’origine, elle s’est tournée vers l’animation, car les opportunités dans le développement étaient rares. En parallèle, elle s’est formée à Figma et au HTML5, et suit actuellement un master en design d’interaction au California College of the Arts.
Son playground d’app primé, Asuo, s’adresse aux communautés exposées aux inondations. (En effet, Asuo signifie « eau courante » en twi, une langue largement parlée au Ghana.) Asuo fournit un routage sécurisé en temps réel aux personnes se trouvant dans des zones inondées. L’idée est née de la propre expérience de Karen-Happuch : les inondations meurtrières qui ont frappé Accra en 2015, provoquant un effet domino catastrophique.
« Cette histoire m’a vraiment marquée, parce que tout le pays était en deuil », se souvient Karen-Happuch Peprah Henneh. « Je me suis dit que si j’en avais un jour l’occasion, ce serait mon premier projet : une app capable d’évaluer l’intensité des précipitations et de proposer des itinéraires basés sur les données historiques des inondations. »
Pour développer Asuo, Karen-Happuch a dû synthétiser de nombreuses données, mais aussi s’assurer de proposer une solution accessible à tout le monde. « L’accessibilité a toujours été une priorité », explique-t-elle. « En situation de crise, personne ne devrait être exclu à cause d’un handicap ou d’une limitation. »
Les éléments interactifs de l'application sont accompagnés de libellés et d'indications VoiceOver, ce qui permet aux utilisateurs aveugles ou malvoyants de naviguer sur tous les écrans. Henneh a également mis au point un système d'alertes vocales personnalisé à l'aide d'AVSpeechSynthesizer, que les utilisateurs peuvent activer ou désactiver à l'aide d'un bouton du haut-parleur.
Après avoir conçu l’interface d’Asuo dans Figma, Karen-Happuch a utilisé Claude pour l’aider à développer le simulateur de pluie visible sur l’écran d’accueil ainsi que l’implémentation de l’algorithme de recherche de chemin A*. « Comme je suis designer, je ne suis pas spécialisée dans les aspects les plus techniques », explique-t-elle. « J’utilise des agents IA qui m’ont permis de réaliser en trois ou quatre jours ce qui m’aurait normalement demandé plusieurs mois de travail. »
Avec son association à but non lucratif, Radiance Girl Africa, Karen-Happuch organise des échanges et des ateliers dans plusieurs établissements, dont l’Université de l'éducation du Ghana et UniMAC, afin d’encourager davantage de jeunes femmes à se lancer dans les domaines de la technologie et des arts. « La fracture numérique reste très importante là-bas », souligne-t-elle. « Beaucoup de ces jeunes femmes n’avaient pas d’ordinateur quand elles étaient petites. La technologie peut résoudre énormément de problèmes, mais si les outils ne sont pas conçus par des locaux, c’est très difficile ensuite de s’en emparer. Je pense avant tout aux communautés marginalisées. »
Démocratiser l’apprentissage musical avec LeViola
Lorsque Yoonjae Joung, 21 ans, a quitté sa Corée du Sud natale pour un programme d’échange à l’Université de New York, il a dû renoncer à emporter son alto. Mais l’envie de rejouer s’est vite fait ressentir après avoir assisté à un concert de l’Orchestre philharmonique de New York. C’est ainsi qu’est née l’idée de LeViola, un playground d’app visant à rendre l’apprentissage et la pratique de l’alto plus accessibles.
Même si Yoonjae débute encore avec Swift, il programme depuis longtemps : alors qu’il était adolescent, il a créé une minuterie permettant de contrôler les appareils électroniques en classe, et il a récemment développé un assistant IA pour les personnes âgées qui vivent seules. « Quand j’ai eu l’idée de jouer de mes mains dans l’application tout en utilisant la caméra pour guider le placement de l’archet, je ne savais pas vraiment par où commencer », raconte-t-il. Yoonjae a utilisé Claude, Codex d’OpenAI et Gemini de Google pour apprendre le langage de programmation. Il a ensuite testé ses idées avec Create ML afin d’entraîner son propre modèle avant de l’intégrer à l’app grâce à Core ML.
Au cours de la création de LeViola, Yoonjae a cherché à exploiter au mieux les frameworks d’apprentissage automatique embarqué d’Apple. « Ils m’ont servi à analyser les articulations de la main gauche afin d’identifier les notes jouées », explique-t-il. « Et pour distinguer les différentes cordes et offrir une sensation de jeu plus réaliste, j’ai choisi de suivre l’angle du bras droit. »
Yoonjae Joung a parfaitement conscience des obstacles à l’apprentissage d’un instrument : la plupart sont encombrants et les cours sont plutôt chers. « Je vois la technologie comme un outil qui permet de créer un lien entre les gens », explique-t-il. « Cette application n’est qu'un début. Je peux la décliner pour d’autres instruments. Elle ouvre la musique classique aux personnes qui n’ont pas d’instrument. Je souhaite que plus de gens puissent apprendre un instrument et apprécier l’orchestre. Et c’est possible grâce à l’iPhone. »
Même si Yoonjae se concentre pour l'instant sur LeViola, il a déjà en tête une autre application qui réunira ses passions pour l’art et la technologie. « Je veux créer des plateformes numériques qui permettent de faire le lien entre les gens dans le monde réel », conclut-il.
Apple soutient et encourage avec fierté la jeune génération intéressée par le développement, la création et l’entrepreneuriat à travers son programme annuel Swift Student Challenge. Des milliers de participants au programme dans le monde entier ont fait carrière, fondé des entreprises et créé des organisations favorisant l’accès à la technologie pour construire un avenir meilleur. Pour en savoir plus, rendez-vous sur developer.apple.com/fr/swift-student-challenge.
Partager l’article
Media
-
Texte de cet article
-
Visuels