NVIDIA zpřístupňuje jako open source zdrojové kódy modelů a SDK Audio2Face, aby každý vývojář her a 3D aplikací mohl vytvářet a využívat vysoce detailní postavy s nejmodernějšími animacemi. Týká se to i tréninkového frameworku Audio2Face, takže kdokoli může jemně doladit a přizpůsobit existující modely pro konkrétní použití.
NVIDIA Audio2Face urychluje tvorbu realistických digitálních postav tím, že poskytuje animaci obličeje a synchronizaci rtů v reálném čase poháněnou generativní AI. Audio2Face využívá umělou inteligenci k vytváření realistických obličejových animací na základě zvukového vstupu. Funguje tak, že analyzuje akustické prvky, jako jsou fonémy a intonace, a na jejich základě generuje proud animačních dat, která jsou následně mapována na mimiku postavy. Tato data lze renderovat offline pro předem připravený obsah, nebo streamovat v reálném čase pro dynamické postavy řízené AI, čímž je zajištěna přesná synchronizace rtů a věrné vyjadřování emocí.
Model Audio2Face je široce nasazován v herním průmyslu, médiích a zábavě i v zákaznických službách. Řada nezávislých dodavatelů softwaru (ISV) a herních vývojářů využívá Audio2Face ve svých aplikacích. Mezi herní studia patří například Codemasters, GSC Game World, NetEase či Perfect World Games, mezi ISV pak Convai, Inworld AI, Reallusion, Streamlabs a UneeQ.
Kompletní seznam uvolněných nástrojů najdete níže:
Audio2Face SDK
Knihovny a dokumentace pro tvorbu a využití obličejových animací jak na zařízení, tak v cloudu
Plugin pro Autodesk Maya
Referenční lokálně spouštěný plugin (v2.0), který uživatelům umožňuje posílat zvukové vstupy a získávat obličejové animace pro postavy v aplikaci Maya
Plugin pro Unreal Engine 5
Plugin UE5 (v2.5) pro UE 5.5 a 5.6, který uživatelům umožňuje posílat zvukové vstupy a získávat obličejové animace pro postavy v Unreal Engine 5
Audio2Face Training Framework
Framework (v1.0) pro vytváření modelů Audio2Face s využitím vlastních dat
Ukázková tréninková data pro Audio2Face
Data s příklady pro začátek práce s tréninkovým frameworkem
Modely Audio2Face
Regresní modely (v2.2) a difuzní modely (v3.0) pro generování synchronizace rtů
Modely Audio2Emotion
Produkční (v2.2) a experimentální (v3.0) modely pro odvozování emocí ze zvuku
Další detaily přináší přiložený blog post a stránka NVIDIA ACE for Games.