Înregistrarea sunetului spațial cu ARKit și deplasarea prin forme de undă 3D virtuale

Artistul de cod Zach Lieberman a profitat de noul cadru ARKit de la Apple în iOS 11 pentru a construi o aplicație audio spațială, care poate fi folosită pentru înregistrarea sunetului în realitate mărită și redarea ei prin mutarea literală prin forme 3D de undă virtuale..

Iată un videoclip rapid care arată acest lucru în acțiune (asigurați-vă că porniți sunetul)

Test rapid de înregistrare a sunetului în spațiu și redare prin mutarea acestuia (video are audio!) #Openframeworks pic.twitter.com/GdZcK3rj1L

- zach lieberman (@zachlieberman) 6 septembrie 2017

El a construit-o folosind ARKit și OpenFrameworks, un set de instrumente C ++ open source pentru codificare creativă.

În muzee pot vedea utilizări ca o instalație de artă interactivă de felul acesta: imaginați înregistrarea compozițiilor muzicale în acest fel cu note și ritmuri care ocupă tipare spațiale pe care oamenii le-ar putea reda prin mișcarea prin forme de undă 3D.

S-ar putea chiar să înființeze o instalație sau o pistă de fitness dedicată, unde oamenii să poată face un curs pentru a reda muzică pre-înregistrată. Sau, ce zici de o vânătoare Scavenger, în realitate mărită, unde trebuie să găsești indicii audio în toată casa?

Posibilitățile sunt nesfârșite - dacă puteți face audio spațial cu ARKit, nu este o întindere pentru a vă imagina cuvinte de realitate mărită, tweet-uri, emoji, foi de muzică plutitoare etc..

Iată mai multe demo-uri de la Zach care arată modul în care ARKit detectează punctele obiectului în timp real.

Test rapid care animă datele din cloud de puncte pic.twitter.com/34mQvuKXNd

- zach lieberman (@zachlieberman) 1 septembrie 2017

Un alt pic.twitter.com/5RSFSzSg5N

- zach lieberman (@zachlieberman) 31 august 2017

E mișto să te uiți la punctele caracteristice și să vezi modelul pe care îl construiește (thx @xavitribo) pic.twitter.com/8rqObs8seI

- zach lieberman (@zachlieberman) 31 august 2017

Demonstrația lui Zach ne aduce în minte seria Light Barrier de studio Studio Kimchi și Chips, un proiect care creează desene volumetrice în aer, folosind sute de proiecții video calibrate. Așa cum s-a demonstrat în videoclipul încorporat mai jos, aceste proiecții de lumină se contopesc într-un câmp de ceață pentru a crea obiecte grafice care se animă prin spațiul fizic așa cum se întâmplă în timp.

Mai devreme, v-am arătat aplicația de măsurare finală realizată de dezvoltatorul Rinat Khanov, numită MeasureKit, pe care o puteți folosi pentru a măsura cam orice, cum ar fi înălțimea unei persoane, distanța la obiecte, unghiul între două puncte și mai mult, îndreptându-vă iPhone-ul către obiecte..

Cum vă place această nouă demonstrație ARKit?