apple stories
AI en toegankelijkheid komen samen bij de
AI en toegankelijkheid komen samen bij de
Swift Student Challenge van dit jaar
In real time feedback krijgen tijdens het geven van presentaties. Je weg vinden uit een overstromingsgebied in Accra. Altviool spelen zonder instrument. Tekenen op iPad zonder zorgen om tremor. Dit zijn slechts vier voorbeelden van winnende app-playgrounds van Distinguished Winners van de Swift Student Challenge.
Bij de jaarlijkse Swift Student Challenge worden studenten uit de hele wereld uitgenodigd om hun ideeën tot leven te laten komen in unieke app-playgrounds die ze ontwikkelen met Swift, de gebruiksvriendelijke programmeertaal van Apple. Dit jaar hebben 350 inzendingen een prijs gewonnen, waarbij prijswinnaars uit 37 landen en regio’s allerlei technologieën hebben gebruikt.
“We staan opnieuw versteld van de creativiteit die we zien bij de Swift Student Challenge”, aldus Susan Prescott, Vice President Worldwide Developer Relations bij Apple. “De winnaars van dit jaar hebben bijzondere manieren gevonden om de kracht van Apple platforms, Swift en AI-tools in zetten voor de ontwikkeling van technisch indrukwekkende app-playgrounds met een grote maatschappelijke betekenis. We zijn trots om bij te kunnen dragen aan hun ontwikkeling en zijn heel benieuwd wat ze hierna zullen maken.”
Vijftig zogenoemde Distinguished Winners zijn uitgenodigd voor een speciaal driedaags programma tijdens de Worldwide Developers Conference (WWDC) op Apple Park in juni. De studenten kunnen dan de hele week Keynotes bijwonen, leren van engineers en andere medewerkers van Apple, en praktijklessen volgen.
Veel van de winnaars van dit jaar hebben zich laten inspireren door hun gemeenschap – of gewoon door een gesprek aan de keukentafel. Ze maakten indrukwekkende apps waarin toegankelijkheid centraal staat. Hieronder vertellen Distinguished Winners Gayatri Goundadkar, Anton Baranov, Karen-Happuch Peprah Henneh en Yoonjae Joung meer over hun app-playgrounds en de problemen die ze hiermee willen oplossen. Zo laten ze zien hoe app-ontwikkelaars kunnen bijdragen aan blijvende verandering.
Kunst toegankelijker maken met Steady Hands
Toen de twintigjarige Gayatri Goundadkar opgroeide in Pune (India), ging ze vaak tekenen en schilderen met haar oma. De twee deelden een passie voor Warli-schilderkunst, een eeuwenoude kunstvorm die is gebaseerd op geometrische basisvormen. Maar toen Goundadkar’s oma ouder werd, gingen haar handen trillen en kon ze niet langer elke dag schilderen. Die tegenslag is Goundadkar bijgebleven en inspireerde haar om Steady Hands te ontwikkelen, een app-playground die de stabilisatiefeature van Apple Pencil benut om te zorgen dat mensen met een tremor toch creatief bezig kunnen blijven.
“Ik richt me vooral op ouderen”, aldus Goundadkar, derdejaars student computerwetenschappen aan de Maharashtra Institute of Technology World Peace University, waar ze zich richt op app-ontwikkeling. “Die generatie voelt zich vaak geïntimideerd door technologie, vooral in India. Dat hield ik bij elke beslissing in mijn achterhoofd. De interface moest rustgevend zijn, en niet steriel. Ik wilde niet dat mensen de app zouden openen en meteen de draad kwijt zouden zijn. Ze moeten het gevoel krijgen dat de app speciaal voor hen is gemaakt.”
Om gebruikers probleemloos te laten tekenen, moest Goundadkar zich verdiepen in tremor en de gevolgen hiervan voor de interactie met het touchscreen van iPad. Mede geïnspireerd door toegankelijkheidsfeatures van Apple, waaronder Aangepaste Aanraking, ging ze aan de slag met SwiftUI-concepten. Daarbij gebruikte ze Claude van Anthropic om meer te leren over onderwerpen als de verwerking van lijngegevens door PencilKit. Om een tremor van een gebruiker na te bootsen, bouwde ze een tool die ruwe bewegingsgegevens van iPad en Apple Pencil analyseert. De tool verwerkt handbewegingen en gebruikt technieken voor signaalverwerking om de frequentie en intensiteit van een tremor te herkennen.
“Als iemand tekent, gebruikt mijn app de PencilKit- en Accelerate-frameworks van Apple om lijngegevens te analyseren en tremor te herkennen. De app detecteert onbedoelde bewegingen en verwijdert de effecten van een tremor”, vertelt ze. “Elke creatie wordt vervolgens toegevoegd aan een persoonlijk 3D-museum. Gebruikers moeten zich namelijk geen patiënt voelen, maar kunstenaar. Gebruikers die het resultaat van de stabilisatie zagen, kregen meteen meer zelfvertrouwen.”
Presentaties perfectioneren met Pitch Coach
De 22-jarige Anton Baranov zat aan de keukentafel in het Duitse Frankfurt toen zijn moeder, docent taalwetenschap en literatuur, een opmerking maakte die hem raakte.
“Ze vertelde dat haar studenten veel talent hebben, maar soms bevriezen als ze een presentatie moeten geven. Ze vergeten wat ze willen zeggen. Ze laten hun schouders hangen. Het lukt ze gewoon niet om hun verhaal te vertellen”, aldus Baranov, student computerwetenschappen aan de Technische Hochschule Mittelhessen. Dat was het moment waarop Baranov het idee kreeg voor pitch coach, een app die hij beschrijft als ‘een op Apple Intelligence gebaseerd hulpmiddel voor pitches, zoals in het programma Shark Tank’.
Baranov, die al vanaf zijn zestiende programmeert, werkte eind augustus voor het eerst met Swift en bouwde pitch coach in februari. Hij testte samen met de studenten van zijn moeder een vroege versie en ontdekte toen dat studenten wel weten dat het misgaat, maar pas achteraf beseffen wat ze verkeerd doen. “Een van de studenten zei tegen me: ‘Ik wil mezelf kunnen corrigeren terwijl het gebeurt’”, herinnert Baranov zich. “Dat is precies waarom realtime feedback en tracking van de houding met AirPods de kern van de app zijn geworden.”
Om gebruikers te helpen om hun angst tijdens presentaties te overwinnen, gebruikte Baranov het Foundation Models-framework van Apple om na elke sessie persoonlijke, op context gebaseerde feedback en samenvattingen te genereren en gebruikers te wijzen op overbodige uitspraken, zoals ‘zeg maar’ en ‘uh’. Hij gebruikte Claude Agent in Xcode 26 om de app om te zetten in twintig talen en ging samen met vrienden en collega’s op zoek naar overbodige woorden in andere talen.
pitch coach is sinds begin maart verkrijgbaar in de App Store en de teller staat inmiddels al op meer dan 6000 organische downloads. Hoewel de app vooral wordt gebruikt om te oefenen voor presentaties, noemt Baranov ook enkele opvallende gebruiksscenario’s, zoals oefenen voor rap-optredens en comedyshows. “Gebruikers definiëren de app, dus als zij de app hiervoor geschikt vinden, kunnen ze ’m hiervoor gebruiken”, vertelt hij.
Veilige evacuatieroutes vinden in overstromingsgebieden met Asuo
Karen-Happuch Peprah Henneh leerde pas dit jaar programmeren met Swift. Nadat Henneh bachelors in computerwetenschappen en informatietechnologie afrondde in haar thuisland Ghana, richtte ze zich op animatie, omdat er weinig programmeerwerk te vinden was. Ze leerde werken met Figma en HTML5 en is nu bezig met de masterstudie Interaction Design aan het California College of the Arts.
Haar winnende app-playground Asuo is speciaal gemaakt voor gemeenschappen in gebieden met een hoog overstromingsrisico. (Asuo betekent ‘stromend water’ in Twi, een veelgebruikte taal in Ghana.) Asuo biedt inwoners van overstromingsgebieden realtime informatie over vluchtroutes en is gebaseerd op eigen ervaringen, namelijk de overstroming in Accra in 2015 die vele slachtoffers eiste.
“Die ervaring is me bijgebleven, omdat het hele land rouwde”, vertelt Henneh. “Ik besloot om, zodra ik de kans kreeg, een app te bouwen die de regenintensiteit kan berekenen, met een route-algoritme op basis van historische overstromingsgegevens.”
Om Asuo te kunnen maken moest Henneh niet alleen al deze gegevens verzamelen, maar ook zorgen dat de app voor iedereen bruikbaar zou zijn. “Toegankelijkheid was vanaf het begin een hoofddoel, en geen bijzaak”, vertelt ze. “Als er een crisis is, mag naar mijn mening niemand worden achtergelaten vanwege een beperking.”
De interactieve elementen van de app zijn voorzien van VoiceOver-labels en -aanwijzingen, zodat blinde of slechtziende gebruikers door elk scherm kunnen navigeren. Daarnaast heeft Henneh met behulp van AVSpeechSynthesizer een aangepast systeem voor gesproken meldingen ontwikkeld, dat gebruikers via een luidsprekerknop kunnen in- en uitschakelen.
Nadat Henneh de interface van Asuo had ontwikkeld in Figma, gebruikte ze Claude voor hulp bij het ontwikkelen van de regensimulator in het beginscherm van haar app. Ook implementeerde ze het route-algoritme A*. “Omdat ik een designer ben, houd ik me niet al te veel bezig met de technische aspecten”, vertelt ze. “Daarvoor ben ik afhankelijk van AI-agents. Zo kon ik binnen drie tot vier dagen iets voor elkaar krijgen wat me anders maanden had gekost.”
Via haar non-profitorganisatie Radiance Girl Africa bezoekt Henneh diverse scholen, waaronder de University of Education in Ghana en UniMAC, voor gesprekken en workshops. Op die manier wil ze jonge vrouwen aansporen om zich te richten op technologie en kunst. “De digitale kloof is groot”, geeft Henneh aan. “Veel van deze mensen zijn opgegroeid zonder computers. Veel problemen kunnen worden opgelost met technologie. Maar als de technologie niet wordt vormgegeven door mensen zoals ik, is het best moeilijk om mee te komen en te leren hoe alles werkt. Mijn ontwerpen zijn gericht op mensen uit gemarginaliseerde groepen.”
Muziekonderwijs democratiseren met LeViola
Toen de 21-jarige student computerwetenschappen Yoonjae Joung zijn spullen moest inpakken voor een uitwisselingsprogramma aan de New York University, paste zijn altviool niet in zijn koffer. Maar na het bezoeken van een concert van het New York Philharmonic kon hij zijn instrument niet langer missen. Dat inspireerde hem om LeViola te ontwikkelen, een app-playground die het bespelen van de altviool toegankelijker maakt.
Hoewel Joung al vele jaren programmeert (als tiener in Seoul maakte hij een timer om de elektronica in de klas te regelen, en hij ontwikkelde onlangs een AI-maatje voor ouderen die alleen zijn), werkt hij pas sinds kort met Swift. “Toen ik eenmaal het idee had om het instrument te bespelen met mijn handen en de camera-overlay te gebruiken om de positie van de strijkstok te bepalen, wist ik eigenlijk niet waar ik moest beginnen”, vertelt hij. Om de programmeertaal te leren, maakte Joung gebruik van Claude, Codex van OpenAI en Gemini van Google. Vervolgens experimenteerde hij met Create ML om zijn eigen model te trainen voordat hij het via Core ML in zijn app integreerde.
Bij de ontwikkeling van LeViola wilde Joung optimaal profiteren van de Apple frameworks voor on-device machinelearning. “Hiermee analyseerde ik de houding van de linkerhand om te bepalen welke noten worden gespeeld”, legt hij uit. “Om het onderscheid te maken tussen snaren en een realistische speelervaring, besloot ik de hoek van de rechterarm te volgen.”
Joung is zich bewust van de obstakels bij het leren bespelen van een instrument. Instrumenten zijn vaak groot en lessen duur. “Ik beschouw technologie als een hulpmiddel om mensen te verbinden”, zegt hij. “Deze app is pas het begin. Ik kan deze app ook maken voor andere instrumenten. Mensen zonder instrument kunnen nu ook leren om klassieke muziek te spelen. Ik wil meer mensen de kans geven om een instrument te leren bespelen en te genieten van klassieke stukken – en dankzij iPhone is dat allemaal mogelijk.”
Hoewel Joung zich op dit moment vooral richt op LeViola, heeft hij al een andere app bedacht waarin hij zijn passie voor kunst en technologie kan combineren. “Ik wil digitale platforms maken om mensen in de echte wereld met elkaar te verbinden”, vertelt hij.
Apple is er trots op dat het de volgende generatie developers, makers en ondernemers op weg helpt via de jaarlijkse Swift Student Challenge. Duizenden studenten uit de hele wereld hebben een succesvolle carrière opgebouwd en bedrijven en organisaties opgezet om technologie te democratiseren en een betere toekomst op te bouwen. Ga voor meer informatie naar developer.apple.com/swift-student-challenge.
Deel artikel
Media
-
Tekst van dit artikel
-
Afbeeldingen in dit artikel