Ontdekken van digitale identiteiten door middel van gezichtsherkenning op mobiele toestellen.

Gerry Hendrickx Ingenieurswetenschappen, Departement van Computerwetenschappen Katholieke Universiteit Leuven Hendrickx.gerry@gmail.com Samenvatting
Dit eindwerk behandelt de huidige staat en het reeds geleverde werk voor de ontwikkeling van een iPhone applicatie. De toepassing maakt gebruik van gezichtsherkenning, verleend door Face.com [1], om gezichten te herkennen die vastgelegd werden met de camera van de iPhone. De herkende gezichten zullen benoemd worden en de gebruiker toegang verschaffen tot de informatie van de persoon verkregen vanuit verschillende sociale netwerken: zijn digitale identiteit. Dit document beschrijft het onderzoek, het gerelateerde werk, het evalueren van prototypes van de gebruikersinterface en de huidige staat van de applicatie. Het overloopt 3 iteraties van papieren prototypes, waarin een gebruikersinterface wordt gecre erd en de eerste implementae tie van de toepassing. die vrij toegankelijk is op het internet. Dit kan worden gebruikt in een private context, om gesprekken te verbeteren en een gezamelijke onderwerp te vinden met je gesprekspartner, of in een academische context, om de mogelijkheid te hebben om gemakkelijk informatie te vinden, zoals slides of publicaties van een spreker op een event waar je aanwezig bent. De applicatie zal gecre erd worden voor IOS omdat de SDK een e ingebouwde gezichtsdetectiemechanisme levert sinds IOS5 [2]. Android, de andere optie, heeft dit built in feature niet. Uit een enqu te en een brainstorm ontstond een e lijst van gevraagde vereisten voor de gezichtsherkenningsapplicatie. De enqu te vroeg welke informatie e gebruikers zouden willen krijgen als ze de mogelijkheid hadden om een persoon te herkennen door het gebruik van een smarphone. De vraag werd beantwoord door 34 personen. 14 van de 34 stemmers zouden de privacy van de herkende persoon respecteren en zouden aldus geen enkele informatie wensen. 9 zouden graag contact informatie krijgen, 6 wilden links naar de sociale netwerkproelen van de herkende persoon en 3 van de stemmers wilden de laatste status update van Facebook of Twitter. De 2 resterende stemmen gingen naar de fotos van de herkende personen en naar de plaats waar ze het laatst hadden ontmoet. Uit de enqu te e volgende een duidelijke nood aan privacy, zodoende werd volgende beleid vastgesteld: de applicatie zou kunnen beperkt worden tot de herkenning van personen die behoren tot de Facebook vrienden van de gebruiker. Om de werkruimte van herkenbare gezichten te verbreden, zouden de andere gebruikers van de appilicatie ook herkenbaar zijn. De algemene tendens zal zijn: als je de applicatie gebruikt, zal je herkend kunnen worden. Oog om oog. De brainstorm resulteerde in een lijst van functio-

1. INTRODUCTIE
Het internet heeft een revolutie veroorzaakt in de manier waarop mensen met elkaar omgaan. Verschillende sociale netwerken werden gemaakt om verschillende niveaus van communicatie te ondersteunen. De aanwezigheid van een persoon op deze netwerken wordt zijn digitale identiteit genoemd. Het doel van deze thesis is om een efci nte manier te vinden om e de digitale identiteit van een persoon te ontdekken, door gebruik te maken van gezichtsherkenning en smartphone. Dit document beschrijft het proces van de ontwikkeling van een gezichtsherkennings-applicatie voor de Iphone. Het gebruikt gezichtsherkenning om de gebruiker extra informatie te verschaffen betreffende de persoon, die gezien wordt door de camera. Deze extra informatie zal afkomstig zijn van verschillende sociale netwerken, de belangrijkste zijnde Facebook, Twitter en Google+. Het heeft tot doel om gebruikers toegang te verlenen tot online gegevens en informatie

naliteiten en kenmerken. Ten eerste zou de toepassing snel moeten werken. De smarphone omhoog houden, gericht op het gezicht van een ander persoon, is nogal omslachtig. Hoe sneller de herkenning werkt, hoe kleiner dit probleem wordt. De informatie over de persoon zou moeten verschijnen in toegevoegde realiteit (TR) [3]. Dit is een technologie die elementen aan de kijk van de gebruiker op de wereld toevoegt. TR kan extra informatie aan het scherm toevoegen, gebaseerd op GPS-gegevens of beeldverwerking. TR zou informatie van een persoon rond zijn hoofd kunnen plaatsen in re le tijd. De functionaliteitseisen van de enqu te en e e brainstorm en de doelen om een efci nte ontdekking e van digitale identiteiten te bereiken door het gebruik van herkenning zijn de volgende: Opsporing en herkenning van alle gezichten in het gezichtsveld. Eens herkend, zullen de naam en andere opties (zoals beschikbare sociale netwerken) verschijnen op het scherm bij het gezicht. Contactgegevens zullen van de netwerken gehaald worden en zullen kunnen worden opgeslagen in de contacten applicatie van de iPhone Snelle toegang tot alle sociale netwerken zal beschikbaar zijn, samen met basisinformatie zoals de laatste status update/tweet. Beschikbare informatie zal verschillen van persoon tot persoon. Om een extra privacy-instelling toe te voegen, zal de gebruiker de mogelijkheid hebben om zijn netwerken te linken en om te kiezen om ze in of uit te schakelen. Als de gebruiker herkend wordt, zullen alleen zijn ingeschakelde netwerken verschijnen.

handhaven te helpen. Het heeft verschillende producten zoals FaceR MobileID, wat kan gebruikt worden om zowel de namen als het percentage van de overeenkomsten van elk persoon te krijgen. FaceR Credential ME kan gebruikt worden voor authenticatie op je eigen smartphone. Het herkent je eigen gezicht en als het een correcte herkennig is, opent het uw gegevens. Animetrics focust ook op het herkennen van gezichten voor de veiligheid van uw woning. Ze lijken geen publieke API te hebben, omdat hun focus niet gericht is op de commerci le markt. e TAT Augmented ID [7]: TAT Augmented ID is een concept toepassing. Het herkent gezichten in re le tijd en gebruikt toegevoegde realiteit om icoe nen rond het gezicht te tonen. Het concept is hetzelfde, maar de resulterende gebruikersinterface is verschillend. Section 3 bediscussieert waarom een volledig toegevoegde realiteit gebruikersinterface niet de voorkeur krijgt op mobiele apparaten. Een ander niet-commercieel gerelateerd werk is een masterthesis van 2010 aan de Katholieke Universiteit Leuven [10]. De schrijver maakte een head-mounted display-toepassing (HMD) om gezichten te herkennen en informatie te krijgen. Van zijn werk leerden we dat HMDs praktisch niet de ideale opstelling hebben (zijn toepassing vereiste een rugzak met een laptop en een headset) en dat de technologie die werd gebruikt (OpenGL) omslachtig is om mee te werken. Het gebruik van iOS maakt deze aspecten eenvoudiger, aangezien de hardware vereisten beperkt blijven tot de iPhone. De schrijver gebruikte Face.com als gezichtsherkenning en was er zeer tevreden over. Er werd een vergelijking van gezichtsherkenning APIs gemaakt, om de meest geschikte te vinden voor ons doel. Een kleine samenvatting van de positieve en de negatieve punten: Viewdle: Zoals reeds vermeld, hebben we geprobeerd om Viewdle te contacteren om meer informatie te verkrijgen over de API, maar zonder antwoord. Viewdle is geen optie. Face.com: Face.com biedt een goed gedocumenteerde REST API aan. Het beschikt over Facebook en Twitter integratie en een private namespace, die de toepassing zal toelaten om gebruik te maken van het eerder vermelde privacy beleid. Er is een gebruikslimiet op de gratis versie van Face.com. Betaface [8]: De enige toepassing die zowel met fotos en videos kan werken. Ontwikkelen is ech-

2. GERELATEERD WERK
Voor deze masterthesis gingen we op zoek naar gerelateerde mobiele toepassingen. Er werd geen enkele bestaande toepassing gevonden die juist hetzelfde doet als in dit project. Sommige overeenkomsten werden gevonden in de volgende applicaties: Viewdle [5]: Viewdle is een bedrijf gefocust op gezichtsherkenning. Ze hebben verschillende lopende projecten en hebben al een toepassing gemaakt voor Android, genoemd Viewdle Social Camera. Het herkent gezichten in fotos op Facebook. Viewdle heeft een gezichtsherkennings iOS SDK beschikbaar. Animetrics [6]: Animetrics maakt toepassingen om regeringen en agentschappen die het recht

ter alleen mogelijk in Windows, en het werd nog niet gebruikt met iOS. Bovendien is het niet gratis. PittPatt [9]: Pittpatt was een veelbelovende service, maar spijtig genoeg werd het aangekocht door Google. De service kan op dit moment dan ook niet worden gebruikt. Het lijkt erop dat Face.com de enige en tevens ook de nuttigste gezichtsherkennings API is voor onze applicatie. Het heeft een iOS SDK en sociale media integratie, welke beiden erg nuttig zijn in de context van deze toepassing.

(a) Interface 1

3. PAPIEREN PROTOTYPES
Een papieren prototype maken is het proces van het ontwikkelen van de gebruikersinterface, gebaseerd op snelle tekeningen van alle verschilende delen van de gebruikersinterface [11]. Door dit te doen met papieren delen wordt het gemakkelijk om snel de interface te evalueren en aan te passen. De papieren prototype fase bestaat uit 3 iteraties: het beslissen van de interface, de evaluatie van de uitgewerkte interface en de evaluatie met experten.

(b) Interface 2

3.1. Fase 1: interface beslissen

De eerste fase van het papieren prototype was de beslissing welke van de 3 mogelijke interfaces gebruikt zouden worden: Interface 1: een kader met informatie naast het hoofd van de herkende persoon. Dit is het beste gebruik van toegevoegde realiteit, maar je moet de iPhone op het hoofd van de persoon gericht houden om de informatie te kunnen lezen. Zie 1a. Interface 2: een zijbalk met informatie, die ongeveer 1/4de van het scherm in beslag neemt. Op deze manier kunnen gebruikers hun iPhone lager houden wanneer een persoon is geselecteerd, maar ze kunnen de camera nog steeds gebruiken als ze willen. Zie guur 1b. Interface 3: een volledig informatiescherm. Dit maakt minimaal gebruik van de toegevoegde realiteit, maar biedt een praktische manier om de informatie te bekijken. Gebruikers zien de naam van de herkende persoon in het camerabeeld, en eens ze op het gezicht geklikt hebben, worden ze doorverwezen naar het scherm met volledige informatie. Zie guur 1c.

(c) Interface 3

Figuur 1: De verschillende interfaces

Deze interfaces werden ge valueerd door 11 teste personen, met een leeftijd van 18 tot 23 jaar, met verschillende smartphone ervaring. De testen werden gedaan door middel van de denk-luidop-techniek, wat betekent dat ze moeten zeggen wat ze denken dat zal gebeuren als ze een knop indrukken. De interviewer verandert de papieren schermen om de applicatie te simuleren. Hetzelfde simpel scenario werd gegeven voor al de interfaces, waarbij de testpersoon een persoon moest herkennen en informatie over die persoon moest vinden. Na de test werd een kleine, op maat gemaakte vragenlijst gegeven om de interface voorkeur na te gaan. Niemand van de gebruikers koos interface 1 als favoriet. Het feit dat je de iPhone op de persoon gericht moest houden om de informatie te lezen en door te nemen, bleek een ernstig nadeel te zijn. De keuze tussen Interface 2 en 3 was niet unaniem beslist. 27% koos interface 2 en 73% koos voor Interface 3. Dus werd Interface 3 gekozen en uitgewerkt voor het tweede deel van het papieren prototype. De smartphone gebruikers benadrukten ook dat als je enkel 1/4e van het scherm gebruikt voor informatie, dit te klein zou zijn om leesbare informatie weer te geven.

met privacy bedenkingen en deze zonder smartphone) geen nut zagen in het gebruik van de toepassing. Het doelpubliek, de smartphone gebruikers, zagen er wel het nut van in met hogere scores als gevolg in deze groep. 3.2.2. Gebruiksgemak. Uit deze vragen werd de nood aan een herschikking van sommige knoppen duidelijk. Gebruikers klaagden over het aantal schermovergangen dat ze moesten doorlopen om van 1 scherm naar ergens anders in de toepassing te gaan en dit was duidelijk in de resultaten. De vraag of het gebruik van de toepassing vlot verloopt, kreeg scores van 2 tot 7 met een gemiddelde van 5. De weg door de toepassing zou moeten worden herzien om te kijken of de ontbrekende schakels kunnen gevonden en verbeterd worden om de navigatie te bevorderen. Bij voorbeeld, de home-knop om naar het hoofdscherm te gaan, zal worden toegevoegd op verschillende andere schermen in plaats van steeds terug te moeten gaan via alle vorige schermen. Het gebruik van de toepassing verliep probleemloos voor alle iPhone gebruikers, omdat de gebruikersinterface gemaakt was met de standaard iOS interface delen. 3.2.3. Gemakkelijkheid om aan te leren. Geen enkele vraag in deze sectie scoorde lager dan 5 op de 7punten Likert schaal. Dit is ook te wijten aan de standaard iOS interface, die werd ontwikkeld door Apple met het oog op gebruiksgemak en gemakkelijkheid om aan te leren. 3.2.4. Tevredenheid. De meeste gebruikers waren tevreden over de functionaliteiten aangeboden door de toepassing en over hoe het werd voorgesteld in de gebruikersinterface. Vooral de iPhone gebruikers waren zeer enthousiast. Zij noemden het een vernieuwende toepassing. De vraag of de gebruiker tevreden was over de toepassing kreeg scores van 5 tot 6, met een gemiddelde van 6 op 7. Niet-smarphone gebruikers waren meer sceptisch en zagen het nut niet in van dergelijke toepassing. Dit terzijde, de toepassing was leuk en het doelpubliek was tevreden. 3.2.5. Positieve and negatieve aspecten. Er werd de gebruikers gevraagd om de postieve en negatieve aspecten van de toepassing te noteren. De positieve aspecten waren de iOS-stijl van werken, de functionaliteit en het idee van de toepassing. De negatieve aspecten waren meer interface-gerelateerd, zoals niet genoeg homeknoppen en de voorgestelde methode om een incorrecte herkenning aan te duiden. Deze knop werd echter geplaatst op het informatiescherm van een herkende persoon. Iedereen was het er over eens dat dit te laat was, omdat dan alle gegevens van de verkeerde persoon ge-

3.2. Fase 2: interface evaluatie

Voor de tweede fase werden 10 testpersonen gebruikt, tussen de 20 en 23 jaar oud, weer met verschillende smartphone ervaring. Een uitgebreidere interface werd gemaakt, die de volledige omvang van de functionaliteit onderzocht. De testers moesten mensen herkennen, instellingen aanpassen, sociale netwerken aan hun proel linken, valse positieven aanduiden en de geschiedenis van de herkenning beheren. De denk- luidoptechniek werd weer toegepast. Aan het einde van de test moest de testpersoon een USE vragenlijst invullen [4]. Dit is een vragenlijst die bestaat uit 30 vragen, ingedeeld in 4 categorie n om de verschillende aspecten e van de ge valueerde toepassing te bevragen. De vrae gen kunnen beantwoord worden op een 7-punten Likert schaal, 1 vertegenwoordigt totaal niet akkoord en 7 helemaal akkoord. De categorie n zijn nuttigheid, gee bruiksgemak, gemakkelijkheid om aan te leren en tevredenheid. 3.2.1. Nuttigheid. De algemene resultaten waren goed. De vraag of de toepassing nuttig is, kreeg een gemiddelde score van 5 op 7, met geen enkel cijfer onder de 4. Mensen lijken te verstaan waarom de toepassing nuttig is en ze doet wat ervan verwacht wordt. De scores op de vraag of het voldoet aan de nood van de gebruikers was verdeeld met cijfers gaande van 1 tot 7, omdat sommige gebruikers (vooral deze

toond zouden worden. Zodoende zou de incorrect tagbutton geplaatst moeten worden op het camera scherm. Enkele nuttige idee n, zoals het de gebruiker mogelijk e maken om een herkend persoon te volgen op Twitter, werden voorgesteld.

3.3. Fase 3: de mening van experten

Voor deze fase werden de promoter en 6 raadgevers gebruikt als testpersonen. Het prototype was aangepast aan de resultaten van de tweede iteratie. Meer home-knoppen werden geplaatst en de incorrect tagknop werd op het camera scherm geplaatst. De testgebruikers hebben allemaal uitgebreide ervaring op het gebied van mens-computer interactie en kunnen aldus gezien worden als experten. Zij deden de tests, vulden dezelfde vragenlijsten in en gaven hun mening op verschillende aspecten van het programma. Een kleine samenvatting: Er was ongerustheid omtrent de beeldkwaliteit van de verschillende iPhones. Er zouden tests moeten gebeuren om te kijken vanaf welke afstand een persoon herkend kan worden. De toepassing zou voldoende modulair moeten zijn. In een snel evoluerende 2.0-wereld, zouden sociale netwerken moeten kunnen bijgevoegd of verwijderd worden van de toepassing. Als alle netwerken als modules worden gemplementeerd, zou dit gemakkelijker worden. De incorrect tag-knop zou op dezelfde wijze kunnen worden gemplementeerd als knop in iPhoto die de gebruiker vraagt of een afbeelding juist is getagged. De sociale netwerk informatie zou niet enkel statische info mogen geven. De gebruiker zou de mogelijkheid moeten hebben om onmiddellijk vanuit de toepassing te reageren. Als dit niet mogelijk is, zou het beter zijn om de gebruiker onmiddellijk naar Facebook of Twitter te verwijzen. Er zou meer informatie kunnen worden getoond in het volledige scherm. In plaats van meer links naar alle netwerken te tonen, zou de algemene informatie rond een persoon hier al gegeven kunnen worden. Op de vraag welke sociale netwerken zij willen zien in de toepassing, zei bijna iedereen Facebook, Twitter en Google+. In een academische context zouden ze ook graag Mendeley en Slideshare zien.

Figuur 2: Gezichtsdetectie resultaten.

4. IMPLEMENTATIE
Afgezien van enkele suggesties werd het derde papieren prototype positief onthaald. De volgende stap in het proces is de implementatie. De toepassing is momenteel in ontwikkeling en een kleine basis werkt. De belangrijkste focus ligt nu op de hoofdfunctionaliteit: de gezichtsherkenning. Het is belangrijk om dit deel zo vlug mogelijk werkende te krijgen, omdat de volledige toepassing er op steunt. Tot hier toe slaagt de toepassing er in om gezichten op te sporen, gebruik makende van de iOS5 gezichtsdetectie. Een vierkant omkadert de gezichten en volgt ze wanneer de camera of de persoon beweegt. Deze functionaliteit zou kunnen worden gebruikt om de kwaliteit van de gezichts-herkenning API te testen. Zoals je kan zien in guur 2, kan het gezichtsdetectie algoritme van iOS5 verschillende gezichten samen herkennen en dit in zulke diepte, dat het kleinste herkenbare gezicht nauwelijks groter is dan een knop. Dit zijn goede resultaten, omdat het algoritme snel, betrouwbaar en gedetailleerd genoeg bleek voor ons doel. Detectie van nog kleinere gezichten is niet nodig, omdat de kaders moeilijk worden om in te klikken wanneer ze kleiner zijn dan een knop. De volgende stap was de gezichtsherkenning. Dit wordt behandeld door Face.com. Een iOS SDK is beschikbaar op de website [12]. Dit SDK omvat de functionaliteit om beelden naar de Face.com servers te sturen en een JSON antwoord te ontvangen met de herkende gezichten. Het bevat ook de nodige Facebook

den worden om deze resultaten te vergelijken met de gezichten op het scherm. Als de gebruiker de camera richt op andere mensen nadat hij op de recognize-knop heeft geduwd, zal het resultaat van Face.com niet overeenkomen met het gezicht op het scherm. De oplossing in gedachte is om een algoritme te gebruiken om de Face.com resultaten te laten overeenkomen met de gezichtsdetectie gebaseerd op verhoudingen. Als we slagen om een correlatie te vinden tussen de ogen en de neus van een persoon in beide diensten, zou het mogelijk zijn om uit te zoeken welk gezicht op de camera overeenkomt met het Face.com resultaat. Een andere manier om de gezichten te laten overeenkomen met het antwoord van Face.com is het bijhouden van de gezichten gebaseerd op hun co rdinaten op het scherm. Een o gepast algoritme voor dit probleem moet gevonden worden. Figuur 3: Gezicht is herkend en de correcte Facebook ID wordt getoont.

6. CONCLUSION
Deze masterthesis is een werk in uitvoering. We hebben goede resultaten van de papieren prototypes en de kern van de toepassing is reeds gemplementeerd. Sommige problemen nog moeten worden opgelost en het testen met gebruikers is nog nodig om de toepassing zijn doel te laten bereiken: een efci nte, nieuwe e manier om mensen te ontdekken, gebruik makende van de nieuwste technologie n en netwerken. e

login, want Face.com vraagt de gebruiker om in te loggen met zijn Facebook account. Deze login is slechts eenmalig. Een probleem was dat Face.com alleen maar beelden aanvaardt en geen videos. Om het mogelijk te maken om de gezichtsherkenning zo vlug mogelijk te testen, is een recognize-knop toegevoegd aan het camerabeeld. Wanneer hierop geklikt wordt, wordt een foto genomen. Deze foto wordt verzonden naar de servers van Face.com en wordt geanalyseeerd voor gezichten. Het JSON antwoord wordt ontleed en per gezicht krijgt men een percentage van zekerheid en de lijst van mogelijke namen. Figuur 3 toont de huidige staat van de toepassing. Een gezicht wordt herkend en zijn Facebook ID wordt bovenaan geprint.

Referenties
[1] http://www.face.com [2] https://developer.apple.com/library/mac/documentation/ CoreImage/Reference/CIDetector Ref/Reference/Reference.html [3] R. Azuma, Y. Baillot, R. Behreinger, S. Feiner, S. Julier, B. MacInture, Recent developments in augmented reality, IEEE Computer Graphics And Applications, 21(6):34-47, 2001 [4] Arnold M. Lund, Measuring Usability with the USE Questionnaire, in Usability and User Experience, vol. 8, no. 2, October 2001, http://www.stcsig.org/usability/newsletter/0110 measuring with use.html [5] http://www.viewdle.com/ [6] http://www.animetrics.com/Products/FACER.php [7] http://www.youtube.com/watch?v=tb0pMeg1UN0 [8] http://www.betaface.com/ [9] http://www.pittpatt.com/ [10] Niels Buekers, Social Annotations in Augmented Reality, Masterthesis at KULeuven, 2010-2011 [11] Erik Duval, paper prototyping, http://www.slideshare.net/erik.duval/paper-prototyping12082416, last checked on April 29, 2012 [12] Sergiomtz Losa, FaceWrapper for iPhone, https://github.com/sergiomtzlosa/faceWrapper-iphone

5. VOLGENDE STAPPEN EN TOEKOMSTIG WERK

De volgende stap in de ontwikkeling is de verdere implementatie van de gebruikersinterface. Nu we een implementatie hebben van de hoofdfunctionaliteit, is het belangrijk om de mock-up van de toepassing te vervolledigen. Op deze wijze kan een dummy implementatie van verschillende schermen worden gebruikt om de interface te testen in verschillende iteraties, gebruik makende van het digitale prototype. Verschillende grote problemen moeten worden opgelost. Het grootste probleem is het identiceren van gezichten herkend door iOS5 gezichtsherkenning aan gezichten herkend door Face.com. Omdat Face.com gezichten herkent door gebruik te maken van fotos moet er een manier gevon-