Hoe een onderzoeksuitdaging van Cornell University op het gebied van Virtual Reality werd opgelost met Krikey AI Animatie

Samenvatting

Krikey AI stelde twee onderzoeksteams van Cornell University, de Virtual Embodiment Lab (VEL) en het Lab voor Geïntegreerde Sensorbesturing (LISC) in staat om onderwaterbewegingsgegevens te verzamelen voor een onderzoeksproject over robotassistenten voor duikers.

Deze gegevens zouden worden geïntegreerd in een virtuele omgeving die hier wordt beschreven: UnRealTHASC - Een Cyber-Physical XR Testbed voor Onderwater Real-Time Mens-Autonome Systemen Samenwerking; auteurs: Sushrut Surve, Jia Guo, Jovan Menezes, Connor Tate, Yiting Jin, Justin Walker, Silvia Ferrari en worden gepresenteerd op een aanstaande conferentie: IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN 2024). 

• Beschrijving: Professoren Silvia Ferrari en Andrea Stevenson Won van Cornell University en hun teams probeerden een hydrodynamisch bewegingsmodel te bouwen om te helpen bij de ontwikkeling van robotvrienden voor duikers. Ze hadden een manier nodig om onderwaterbewegingsgegevens van duikers te volgen en nauwkeurig te extraheren voor analyse. PhD-student Jiahao Liu gebruikte Krikey AI als hulpmiddel.
• Gebruikte Krikey AI-functies: AI Video naar Animatie proces, Animaties, 3D Video-editor, Camerahoeken, FBX Export

“Het is geen kwestie van of we het beter en sneller kunnen doen, het is of we het überhaupt kunnen doen?” ~ Professor Andrea Won, Cornell University

Uitdaging

• Onderwaterbewegingsgegevens reconstrueren uit motion capture datasets
• Gereconstrueerde gegevens van video's gebruiken in combinatie met XSense-gegevens om de nauwkeurigheid van bewegingsgegevens uit motion capture datasets te verbeteren
• Nieuwe onderwaterdatasets vinden of creëren die aansluiten bij de onderzoeksspecificaties

Oplossing

• Krikey AI werd een extra referentiepunt voor het berekenen van beweging met behulp van onze AI video-naar-animatie tool
• Krikey AI stelde het onderzoeksteam in staat hun gegevensarchief uit te breiden. Het team kan nu potentieel bestaande videodatasets van duikers gebruiken, waardoor de tijd en kosten voor het creëren van nieuwe datasets worden geëlimineerd
• Krikey AI maakte de export van de bewegingsbestanden mogelijk, zodat het team deze naadloos kon gebruiken en verder analyseren in andere softwaretools

Voor het Virtual Reality Lab van Cornell University bleek de krachtige AI Video-naar-Animatie tool van Krikey AI van cruciaal belang bij het overwinnen van aanzienlijke onderzoekshindernissen. Krikey's cloudinfrastructuur bood de krachtige rekenkracht en schaalbare opslag die nodig zijn om videogegevens te verwerken en precieze bewegingsbestanden te exporteren. Deze door Amazon Web Services (AWS) ondersteunde basis maakte een snellere installatie en lagere kosten mogelijk, wat het innovatieve werk van Cornell versnelde.

ROI (Rendement op Investering)

Na het evalueren van alternatieve softwaretools, gebruikte Cornell University de Krikey AI Animatie tools om onderzoek te doen voor dit project.

Tijd en Kosten voor Virtuele Animatie

• 7x sneller om Krikey AI in te stellen dan alternatieve virtuele animatiesoftwaretools
• 64% lagere kosten dan alternatieve motion capture tools (voorbeeld: een goedkoop, fatsoenlijk motion capture systeem kan tussen de $500 - $1000 kosten, exclusief de tijdskosten voor installatie; Krikey AI Animatie is $30 / maand)
• Onschatbaar: De mogelijkheid om de videodataset uit te breiden voorbij motion capture gegevens

Nauwkeurigheid en Efficiëntie van Virtuele Animatie

• Krikey AI stelde onderzoekers van Cornell University in staat om de positie-, rotatie- en oriëntatiemetrieken van de ledematen van duikers voor onderwaterbewegingen nauwkeuriger te identificeren
• In plaats van markeringen op een duiker te schilderen en te proberen de afgelegde afstand onder water te berekenen, beschikte het onderzoeksteam met Krikey AI Animatie nu over nauwkeurigere bewegingsgegevens van AI Video-naar-Animatie conversie
• Een toekomstig doel is om bestaande archiefvideo's van duikers onder water te gebruiken en de virtuele animatiebewegingsgegevens binnen enkele minuten te zien

Over de Klant

Het Virtual Embodiment (Virtual Reality) lab van Cornell University wordt geleid door Professor Andrea Won. Het onderzoek van haar lab richt zich op immersieve media en hoe mensen deze waarnemen en ervaren, inclusief toepassingen rond non-verbaal gedrag, communicatie en samenwerking. Ze behaalde haar PhD aan Stanford University in de afdeling Communicatie, waar ze onderzoek deed in het Virtual Human Interaction lab. Professor Won's PhD-student aan Cornell University, Jiahao Liu, leidt het onderzoeksproject om een hydrodynamisch model te bouwen voor robotassistenten voor duikers.

Dit project komt voort uit een samenwerking tussen het Lab for Integrated Sensor Control (LISC), geleid door Prof. Silvia Ferrari, en het Virtual Embodiment Lab (VEL), geleid door Prof. Andrea Won, over mens-agent samenwerking in onderwateromgevingen. Om het vermogen van robotgidsen om met duikers samen te werken te verbeteren, werken Jia Guo, post-doc bij LISC, en Sushrut Surve, PhD-student eveneens van LISC, samen met Jiahao Liu, PhD-student bij VEL, en andere teamleden aan de bouw van een hydrodynamisch model van duikers. 

Over Krikey AI

Krikey AI Animatietools stellen iedereen in staat om binnen enkele minuten een 3D-personage te animeren. De personage-animaties kunnen worden gebruikt in marketing, tutorials, games, films, sociale media, lesplannen en meer. Naast een video-naar-animatie en tekst-naar-animatie AI-model, biedt Krikey een 3D-editor die makers kunnen gebruiken om lip-gesynchroniseerde dialogen toe te voegen, achtergronden, gezichtsuitdrukkingen, handgebaren, camerahoeken en meer te veranderen in hun geanimeerde video's. Krikey's AI-tools zijn vandaag online beschikbaar op www.krikey.ai , op Canva Apps, Adobe Express en op de AWS Marketplace!

De Uitdaging

Het onderzoeksteam wist dat mens-robot interacties uitdagend waren. Ze wilden een duiksimulator bouwen om duikgedrag vast te leggen en verschillende onderwateruitdagingen te simuleren. Ze wilden begrijpen hoe mensen robots verkiezen te gedragen en voor robots om menselijke beweging onder water te begrijpen.

Motion capture onderzoek onder water

Aanvankelijk identificeerde het VR-onderzoeksteam van Cornell University twee manieren om bewegingen vast te leggen met virtuele animatietools. Ten eerste kon een persoon in de simulatie een motion capture pak dragen en door een virtuele omgeving zwemmen. Ten tweede kon een persoon het motion capture pak onder een droogpak dragen en door echt water zwemmen, hoewel dit technisch en logistiek zeer uitdagend bleek te zijn.

Geen van deze methoden legde daadwerkelijk de bewegingsmetriek van translatie vast - hoe mensen zich door het water bewegen. Hiervoor moesten ze een hydrodynamisch model bouwen. Gezien een bepaalde reeks bewegingen en watercondities, hoe ver zou een duiker kunnen zwemmen?

Huidig onderzoeksproces voor bewegingsgegevens

Voordat het Cornell University-team Krikey AI gebruikte om de synchronisatie van lichaamsbewegingen te meten, gebruikten ze motion capture gegevens en 3D-reconstructiesoftwaretools. Echter, toen ze Krikey AI probeerden, vonden ze het nauwkeuriger en handiger voor hun onderzoeksmethodologie. Andere softwaretools hadden moeite om animaties of bewegingsgegevens snel uit te voeren en als er sprake was van occlusie (delen van het lichaam bedekt door objecten), was het moeilijk om nauwkeurige beweging te krijgen. Het kostte het onderzoeksteam van Cornell University meer dan 7 dagen om alternatieve softwaretools in te stellen. Met Krikey AI konden ze het in minder dan een uur uitproberen en onmiddellijk resultaten zien. Ze begonnen met het filmen van een video van zichzelf terwijl ze naar de camera zwaaiden en zetten dit om in animatie. Zodra ze de snelheid en nauwkeurigheid van de AI Video-naar-Animatie tool zagen, begonnen ze video's uit hun dataset te testen.

Een hydrodynamisch model van duikerbeweging ontwikkelen

Het doel van het onderzoeksteam van Cornell University was om een robotassistent te trainen die duikers kan helpen. Hiervoor moesten ze een hydrodynamisch model van duikerbewegingen bouwen, zodat ze de robot beter konden trainen om naast de duiker te bewegen. Ze moesten drie gegevensstromen integreren, waaronder: video, motion capture en gereconstrueerde translatiebewegingsgegevens. Aanvankelijk waren ze bezorgd omdat ze een beperkte dataset van onderwater motion capture gegevens hadden en het creëren van nieuwe datasets veel tijd en kosten zou kosten. Toen vonden ze Krikey AI Animatie tools.

De Oplossing

Hier is hoe het onderzoeksteam van Cornell University hun onderzoeksuitdaging oploste met behulp van Krikey AI Animatie tools.

Hoe Krikey AI de motion capture methodologie verving

Met Krikey AI kon het onderzoeksteam van het VR-lab van Cornell University een enkele video gebruiken die de beweging van een duiker vastlegt en AI Video-naar-animatie gebruiken om de bewegingsgegevens in 3D-ruimte met een avatar te verkrijgen. Ze konden vervolgens de motion capture gegevens van hun oorspronkelijke dataset vergelijken met de Krikey AI videoreconstructiegegevens en zien of deze overeenkwamen. Dit stelde hen in staat om te garanderen dat nauwkeurigere videogegevens in hun hydrodynamisch model werden opgenomen. In de toekomst hopen ze gesimuleerde gegevens te genereren voor veel verschillende duikers, waardoor de trainingsgegevens voor een robot "duikmaatje" diverser, nauwkeuriger en robuuster worden.

Tijd besparen en nauwkeurigheid verbeteren

Met de uitgebreide dataset en Krikey AI die een eenvoudigere methodologie bood om beweging te berekenen, kon het onderzoeksteam van Cornell University nu berekenen hoe een duiker zich door het water zou bewegen, inclusief snelheid, diepte, bewegingskracht in water, afstand en meer. Krikey AI was een essentieel softwarehulpmiddel dat de verschillende gegevensstromen en benodigde berekeningen samenbracht. Het maakte snelheid, nauwkeurigheid mogelijk en verkortte de onderzoekstijd.

Efficiëntie met interoperabiliteit

Het Virtual Reality onderzoeksteam van Cornell University moest gegevens van video's en motion capture pak trackers integreren en deze combineren in Unity. Krikey AI hielp hen twee problemen op te lossen. Ten eerste hielp Krikey AI bij het afstemmen van de motion capture gegevens met videogegevens en werd het een betrouwbare referentie voor het berekenen van beweging. Ten tweede kan Krikey AI het onderzoeksteam in de toekomst in staat stellen bewegingsgegevens uit gearchiveerde video's van duikers te halen, waardoor het niet meer nodig is om nieuwe datasets te creëren. Met de mogelijkheid om FBX-bestanden eenvoudig naar Unity te exporteren, kon het VR-onderzoeksteam Krikey AI Animatie gebruiken om belangrijke bewegingsmetrics in hun onderzoek te identificeren.

Onderzoeker Jiahao Liu van Cornell University creëerde een script om de rigs van motion capture en Krikey AI FBX-bestanden te verbinden. Hij kon snel en nauwkeurig de bewegingsmetrics van positie, rotatie en oriëntatie identificeren en meten, wat een nuttige bron zou zijn voor het hydrodynamische model.

Hoe Krikey AI werd gebruikt in het Virtual Reality Onderzoekslab van Cornell

Het onderzoeksteam van het Virtual Reality (VR) Lab van Cornell University gebruikte de Krikey AI Animatie tool op verschillende manieren om hun onderzoeksmethodologie te transformeren.

AI Video naar Animatie

Krikey's AI Video-naar-Animatie tool stelde het Cornell-onderzoeksteam in staat om elke video te gebruiken en om te zetten naar animatie in plaats van alleen te vertrouwen op specifieke motion capture datasets. Dit breidde hun gegevensarchief uit en hielp de output van hun hydrodynamisch bewegingsmodel te versterken.

Camerahoeken

De video-editor van Krikey AI stelt klanten in staat om camerahoeken toe te voegen, zodat ze elke animatie vanuit verschillende hoeken kunnen bekijken en onmiddellijk in een viewer kunnen visualiseren. Dit hielp het Cornell-onderzoeksteam ervoor te zorgen dat hun video-naar-animatie bestanden bruikbaar waren en visueel werden geïnspecteerd vanuit meerdere hoeken voordat ze werden geëxporteerd en omgezet naar cijfers in een spreadsheet.

FBX Export

De FBX-bestandsexport van Krikey AI hielp het Cornell Research team om hun animaties naar de Unity softwaretool te brengen, waar ze deze verder konden manipuleren, de gegevens konden verbinden met hun eerdere motion capture dataset (om de nauwkeurigheid van die dataset te versterken) en ook om belangrijke bewegingsmetrics te extraheren. De animatie-outputs van Krikey AI waren eenvoudig interoperabel met deze extra softwaretools, waardoor het voor het Cornell University team gemakkelijk en naadloos was om Krikey AI in hun onderzoeksworkflow te gebruiken.

Onderzoeker Jiahao Liu van Cornell University creëerde een script om de rigs van motion capture en Krikey AI FBX-bestanden te verbinden. Hij kon snel en nauwkeurig de bewegingsmetrics van positie, rotatie en oriëntatie identificeren en meten, wat een nuttige bron zou zijn voor het hydrodynamische model.

“Krikey AI werd een betrouwbare referentiebron voor het berekenen van beweging in ons onderzoekslab van Cornell University. AI Video naar animatie breidde onze dataset uit en stelde ons in staat om met bestaande video te werken in plaats van tijd te besteden aan het creëren van nieuwe datasets. De Krikey AI Animatie tool heeft ons team veel tijd en geld bespaard tijdens dit onderzoeksproject.” ~ Professor Andrea Won, Cornell University