Vad är nytt i ARKit 2

Apple har arbetat med ökad verklighet under de senaste åren och i år släppte Apple sin senaste version av deras AR-ramar på WWDC18: ARKit 2. Årets release är jam-packad med nya funktioner och i den här artikeln, Vi tittar på vad som är nytt i ARKit 2.

Kortfattat

Innan vi dyker in i förändringarna, låt oss ta en stund att granska vad ARKit faktiskt är. ARKit är ett ramverk som tillåter utvecklare att skapa immersiva förstärkta verklighetsprogram för iOS-enheter. Med denna ram behöver utvecklare inte längre dyra hårdvara för realistisk AR, utan i stället behöver de bara den inbyggda kameran av deras iOS-enhet.

Hur fungerar det?

Eftersom ARKit fungerar endast med den inbyggda kameran och sensorerna på din iOS-enhet, krävs det sofistikerad programvara för att virtuella objekt ska verka som levande i scenen. Den använder horisontalplandetektering, funktionspunkter och ljusuppskattning för att ge virtuella objekt realistiska egenskaper.

Vilka sensorer använder den?

ARKit är utvecklad av Apple, så uppenbarligen kör den på sina enheter, i synnerhet iOS-enheter. Dessa mobila enheter innehåller vissa sensorer som ARKit tar full nytta av när man placerar objekt i den verkliga världen. En inbyggd accelerometer och en kamera finns på iOS-enheter, och ARKit använder en kombination av dessa två komponenter för ökad verklighet.

1. Persisterande världskartor

Sessionstaten i en världskarta innehåller ARKits medvetenhet om det fysiska utrymme som användaren flyttar enheten i (vilken ARKit använder för att bestämma enhetens position och orientering), liksom alla ARAnchor-objekt som läggs till i sessionen (vilket kan representera detekterade real- världsfunktioner eller virtuellt innehåll som placeras av din app). -Apple-dokumentation

Enligt Apples definition innehåller en världskarta ankare, föremål och andra funktioner som ARKit använder för att förbli medveten om utrymmet runt användaren. I den nuvarande versionen av ARKit skapas dessa kartor i början av sessionen och tas bort i slutet. 

ARKit 2 ger möjlighet att fortsätta dessa världskartor, vilket låser upp möjligheten att dela dessa erfarenheter med andra eller spara dem för användning i samma ansökan senare.

Lagrade kartor

Hållbara världskartor innebär att du kan behålla användarens framsteg och låta användaren snabbt börja tillbaka där de slutade. Detta öppnar möjligheter som blockbyggande spel där användaren fullbordar spelet i en rad steg eller nivåer och inte bara i en session.

Fleranvändarupplevelser

Med möjligheten att lagra och dela världskartor kan två enheter spåra samma världskarta, vilket möjliggör spel för flera användare och andra delade förstorade verklighetsupplevelser. Till exempel kan du spela ett virtuellt torn-smashing spel med flera enheter.

2. Miljöstrukturering

Miljötexturer är kub-karta-texturer som visar vyn i alla riktningar från en viss punkt i en scen. I 3D-tillgångsframställning utgör miljötexturer grunden för bildbaserade belysningsalgoritmer där ytor realistiskt kan reflektera ljus från omgivningen. ARKit kan skapa miljötexturer under en AR-session med hjälp av kamerabilder, vilket gör att SceneKit eller en anpassad reningsmotor ger realistisk bildbaserad belysning för virtuella objekt i din AR-upplevelse. -Apple-dokumentation

När man använder en förstärkt verklighet är det viktigt att göra föremål blanda sig med omgivningen kring dem. I den första versionen av ARKit försökte funktioner som omgivande ljusdetektering göra det virtuella objektet "passa in" med scenen.

ARKit 2 låter föremåla reflektera texturerna kring dem. Om en till exempel en glänsande virtuell boll placeras bredvid en fruktplatta, kommer du att kunna se reflektionen av den frukten på bollen och belysningen av virtuella objekt är inte längre iscensatt, utan istället är den bildbaserad.

3. 3D-objektigenkänning

Ett sätt att bygga övertygande AR-upplevelser är att känna igen funktioner i användarens miljö och använda dem för att utlösa utseendet på virtuellt innehåll. Till exempel kan en museibibliotek lägga till interaktiva 3D-visualiseringar när användaren pekar på enheten på en visad skulptur eller artefakt. - Apple-dokumentation

Tredimensionella föremål är kärnan i ARKit, eller hur? Den senaste versionen av denna ram ger något som aldrig varit möjligt tidigare: möjligheten att skanna och känna igen dessa objekt.

Museum Utställningar

ARKit 2 låser möjligheten för museer eller liknande organisationer att "skanna" sina utställningar och låta informationspaneler komma över statyn. Detta kan spara värdefullt utrymme genom att eliminera fysiska informationskort och möjliggöra snabb uppdatering av information.

Action-figurer

Åtgärdsfigurentusiaster kan skanna sin samling för att mata in information eller få sina handlingstal att komma till liv. Vid WWDC18 såg vi LEGO-appen som möjliggör för LEGO-uppsättningar att komma till liv och tillåta multiplayer-upplevelser.

4. Ansiktsspårning

En ansiktsspårningskonfiguration detekterar användarens ansikte med tanke på enhetens framåtvända kamera. När den här konfigurationen körs, detekterar en AR-session användarens ansikte (om den är synlig i den främre vända kamerabilden) och lägger till sin lista över ankare ett ARFaceAnchor-objekt som representerar ansiktet. Varje ansiktsankare ger information om ansiktets position och orientering, dess topologi och funktioner som beskriver ansiktsuttryck. - Apple-dokumentation

Med introduktionen av iPhone X såg vi Face ID och Animoji för första gången på iOS-plattformar, och under WWDC18 expanderade Apple detta och lade till en mer grundläggande version av ansiktsigenkänning med endast kameran (Face ID använder en IR-punkt projektor också).

I ARKit 2 kan ansiktets position i rymden, formen och ansiktsuttrycket bestämmas. Denna information kan användas för att skapa "smarta filter" eller andra appar som använder ansiktet.

5. USDZ filformat

Apple introducerar ett nytt öppet filformat, usdz, som är optimerat för delning i appar som Messages, Safari, Mail, Files och News, samtidigt som du behåller kraftfulla grafik- och animationsfunktioner. Med hjälp av usdz tillåter Quick Look for AR också att användare placerar 3D-objekt i den verkliga världen för att se hur något skulle fungera i ett utrymme. - Apple-dokumentation

I samarbete med Pixar introducerade Apple ett helt nytt filformat för 3D-objekt i ARKit 2. Det här låter dessa virtuella objekt delas med ett enda öppet, kompakt format med andra och kan till och med vara inbäddade på webbsidor.

Snabb titt

På webbplatser, textmeddelanden eller e-postmeddelanden kan USDZ-filer delas och omedelbart placeras i den verkliga världen för att förhandsgranska och prova 3D-objekt med knappen "Snabbsökning" i IOS 12.

Skapa filer

Dessa USDZ-filer kan enkelt skapas med hjälp av populär programvara som Adobes Creative Cloud, Autodesk och Sketchfab. Dessa företag introducerade användningen av deras programvara med detta nya filformat under WWDC18.

Slutsats

Som du kan se har Apple gjort flera förbättringar av ARKit-ramverket, både under huven och användarfunktioner som både utvecklare och användare kan njuta av. 

Fortsätt med Envato Tuts + för mer om dessa ämnen. Under tiden, kolla in dokumentationslänkarna för var och en av de funktioner som nämns i dessa artiklar och prova dem själv!