Cum funcționează detectarea facială a dispozitivului Apple

Apple a împins astăzi o nouă postare pe blogul său Machine Learning Journal lansat în vară.

Intitulat „O rețea neurală profundă de pe dispozitiv pentru detectarea feței”, cea mai recentă postare de pe blog are lungimi mari pentru a detalia procesele intensiv de resurse de recunoaștere a fețelor din fotografiile dvs., folosind puterea procesoarelor și GPU-urilor personalizate pentru Apple..

Apple recunoaște că angajamentul său puternic față de confidențialitatea utilizatorilor îl împiedică să utilizeze puterea norului pentru calculele de viziune computerizată. În plus, fiecare fotografie și videoclip trimis la iCloud Photo Library este criptată pe dispozitivul dvs. înainte de a fi trimis la iCloud și poate fi decriptată numai de dispozitivele înregistrate în contul iCloud.

Câteva dintre provocările cu care s-au confruntat în obținerea unor algoritmi de învățare profundă pentru a rula pe iPhone:

Modelele de învățare profundă trebuie să fie livrate ca parte a sistemului de operare, ocupând un spațiu valoros de stocare NAND. De asemenea, trebuie să fie încărcate în RAM și necesită timp de calcul semnificativ pe GPU și / sau CPU. Spre deosebire de serviciile bazate pe cloud, ale căror resurse pot fi dedicate exclusiv unei probleme de viziune, calculul pe dispozitiv trebuie să aibă loc în timp ce partajați aceste resurse de sistem cu alte aplicații rulante.

Cel mai important, calculul trebuie să fie suficient de eficient pentru a procesa o mare bibliotecă de fotografii într-un timp rezonabil de scurt, dar fără o utilizare semnificativă a puterii sau o creștere termică.

BACSIS: Învață-ți iPhone-ul sau iPad-ul să recunoască fețele oamenilor

Pentru a depăși aceste provocări, Apple folosește BNNS și Metal pentru a debloca și a valorifica pe deplin puterea GPU-urilor și procesoarelor sale interne integrate în dispozitivele iOS. Puteți simți efectiv această detecție facială pe dispozitiv, după ce ați trecut la o versiune nouă majoră pentru iOS.

Acest lucru solicită de obicei iOS să-ți scaneze întreaga bibliotecă de fotografii și să ruleze algoritmul de detectare facială pe toate fotografiile de la zero, ceea ce poate determina supraîncălzirea dispozitivului sau să devină lent până când Fotografiile au terminat scanarea bibliotecii..

Apple a început să utilizeze învățare profundă pentru detectarea feței în iOS 10.

Odată cu lansarea noului cadru Vision în iOS 11, dezvoltatorii pot utiliza acum această tehnologie și mulți alți algoritmi de vizionare a computerului în aplicațiile lor.

Apple observă că s-a confruntat cu „provocări semnificative” în dezvoltarea cadrului Vision pentru a păstra confidențialitatea utilizatorilor și a permite funcționarea eficientă a dispozitivului pe dispozitiv.