Recomandări cheie
- Navi folosește SharePlay și funcția de vorbire în text încorporată de la Apple pentru a oferi subtitrări și traduceri în FaceTime.
- Este departe de a fi perfect, dar deja suficient de bun.
- Subtitrările sunt excelente pentru accesibilitate.
Navi este o aplicație care adaugă subtitrări live și traduceri în timp real la apelurile dvs. FaceTime.
Aplicația folosește SharePlay și Recunoașterea vorbirii încorporată pentru a adăuga subtitrări și traduceri în 20 de limbi la apelurile tale FaceTime. Este o utilizare incredibilă a SharePlay, pe care cei mai mulți dintre noi îl considerăm un mod înțelept de a viziona filme sincronizate cu oameni din alte locuri. S-ar putea să nu fie nevoie să declanșați translatorul încă, dar o aplicație care face acest lucru bine ar putea fi nebunește de utilă.
„Nu primesc sunetul de la apelul FaceTime”, scrie dezvoltatorul Navi Jordi Bruin pe Twitter, „dar folosind SharePlay pentru a-l distribui participanților la apel.”
SharePlay
SharePlay este o funcție nouă în iOS 15 și macOS 12.1 care vă permite să partajați și să sincronizați lucruri în apelurile FaceTime. Cu exemplul de vizionare a filmului de mai sus, orice participant poate întrerupe sau reda filmul, de exemplu, în timp ce discutați cu toții în apelul FaceTime. Videoclipul FaceTime rămâne deschis într-un panou mic, plutitor, imagine în imagine, iar fiecare participant rulează aplicația local pe dispozitivul său. Trucul SharePlay este de a sincroniza orice se întâmplă în aceste aplicații locale, astfel încât toată lumea să împărtășească experiența, fie că este un film, un antrenament Fitness+ sau o foaie de calcul.
Navi folosește aceeași tehnologie, doar că aplicația pentru apeluri nu este un film - este un motor de traducere în timp real. Pentru a o folosi, lansați aplicația în timp ce vă aflați într-un apel FaceTime și atingeți butonul „Activați subtitrări”. Apoi, și alți participanți se pot alătura acțiunii și pot vedea subtitrări live pentru vorbitorul curent. Dacă cineva face un monolog, balonul său de vorbire crește și rămâne puțin mai mult.
Pentru surzi, aceasta ar putea însemna diferența între a suna sau nu oamenii. Și pentru oricine, înseamnă că poți avea conversații utile între persoane care nu împărtășesc o limbă.
Text universal
Internetul este construit pe text și asta este grozav. Este mic și ușor de creat, citit și tradus. De asemenea, este simplu de transformat în vorbire sintetizată. Rezultatul este că oricine de oriunde poate participa la orice conversație. Limbajul nu este o barieră, precum și surditatea sau orice fel de orbire, atâta timp cât utilizați un dispozitiv cu instrumente bune de accesibilitate pentru deficiențe de vedere sau auz.
Dar cuvântul rostit este mult mai greu de procesat. Dictarea de la vorbire la text este impresionantă, dar abia relativ recent recunoașterea generală a vorbirii a devenit suficient de bună pentru utilizare generală - aplicația Apple Translate este un exemplu bun. Introdus în iOS 15, oferă traduceri audio în timp real. Dacă tot am pleca în vacanțe în străinătate, ar fi perfect.
Acum folosim din ce în ce mai mult videoclipurile pentru serviciu și pentru a păstra legătura cu prietenii și familia. Indiferent cum lucrăm în viitor, bariera în calea apelurilor video a fost complet distrusă. Acum este un instrument obișnuit, dar îi lipsește multă finețea instrumentelor de comunicare scrisă.
Ceva precum Navi, care oferă subtitrări și traduceri în timp real, ar putea fi semnificativ. Accesibilitatea este un aspect, dar abilitatea de a conversa cu oameni a căror limbă nu o vorbiți deschide afacerile internaționale într-un grad uimitor.
În acțiune
Am testat Navi cu dezvoltatorul de aplicații, autorul și utilizatorul de aparate auditive Graham Bower. Este destul de bun, dar nu este încă pregătit pentru sarcini critice. Unele dintre transcrieri erau comic proaste și prea vulgare pentru a putea fi descrise. Pe măsură ce conversația noastră a continuat, totuși, a devenit mult mai bine recunoașterea cu acuratețe a discursului său. Acest lucru are sens, deoarece motorul de dictare iOS se adaptează la vocea dvs. în timp.
De asemenea, traducerea a funcționat, deși calitatea traducerilor depinde de acuratețea intrării.
Este ușor să proiectați acest tip de tehnologie în viitorii Apple Glasses sau în orice produs AR/VR despre care se zvonește lucrează în această săptămână.
„Văd că asta funcționează în ochelari AR”, a spus Bower în timpul conversației noastre. „Unii oameni, chiar și cu auzul normal, preferă subtitrarea în filme. Ar fi ca subtitrări pentru viața reală.”
Deși este o demonstrație tehnologică impresionantă, Navi nu este încă acolo. Pentru o utilizare fiabilă în afaceri, recunoașterea inițială a vorbirii de la Apple va trebui să devină mult mai precisă. Dar din punct de vedere al vitezei, este în regulă, iar traducerile sunt la fel de bune ca oricare.
Dar suntem pe drum acum și astfel de lucruri se vor îmbunătăți.
