Slik fungerer Apples ansiktsgjenkjenning på enheten

Apple presset i dag et nytt innlegg til sin Machine Learning Journal-blogg som ble lansert i sommer.

Det siste blogginnlegget med tittelen “Et på nettet dyp nevralt nettverk for ansiktsgjenkjenning” gjør store detaljer for å detaljere ressurskrevende prosesser for å gjenkjenne ansikter på fotografiene dine ved å utnytte kraften til Apples spesialbygde CPUer og GPUer.

Apple erkjenner at dets sterke forpliktelse til brukernes personvern forhindrer den i å bruke skyens kraft til datamaskinsynsberegninger. Dessuten blir hvert bilde og video som sendes til iCloud Photo Library kryptert på enheten din før de sendes til iCloud og kan bare dekrypteres av enheter som er registrert med iCloud-kontoen.

Noen av utfordringene de møtte med å få dype læringsalgoritmer til å kjøre på iPhone:

Dypelæringsmodellene må sendes som en del av operativsystemet, og tar opp verdifull NAND-lagringsplass. De må også lastes inn i RAM og krever betydelig beregningstid på GPU og / eller CPU. I motsetning til skybaserte tjenester, hvis ressurser kun kan dedikeres til et synsproblem, må beregning på enheten skje mens du deler disse systemressursene med andre applikasjoner som kjører..

Det viktigste er at beregningen må være effektiv nok til å behandle et stort fotobibliotek på rimelig kort tid, men uten betydelig strømforbruk eller termisk økning.

TIPS: Lær iPhone eller iPad å gjenkjenne folks ansikter

For å overvinne disse utfordringene bruker Apple BNNS og Metal for å låse opp og utnytte kraften til de interne designede GPU-ene og CPU-ene som er innebygd i iOS-enheter. Du kan faktisk føle denne ansiktsgjenkjenningen på enheten på jobb etter å ha oppgradert til en ny iOS-versjon.

Dette ber iOS vanligvis om å skanne hele fotobiblioteket på nytt og kjøre ansiktsgjenkjenningsalgoritmen på alle bilder fra bunnen av, noe som kan føre til at enheten overopphetes eller blir treg til Photos har fullført skanning av biblioteket..

Apple begynte å bruke dyp læring for ansiktsgjenkjenning i iOS 10.

Med utgivelsen av det nye Vision-rammeverket i iOS 11, kan utviklere nå bruke denne teknologien og mange andre datasyn-algoritmer i appene sine.

Apple bemerker at det sto foran "betydelige utfordringer" med å utvikle Vision-rammeverket for å bevare brukernes personvern og la rammeverket fungere effektivt på enheten.