Nvidia ACE: AI umožňuje skutečně mluvit s postavami ve hrách

Nvidia ACE: Převod řeči na text, textu na řeč, chatbotový model pro herní postavy a animace tváře při řeči

Tchajwanský veletrh hardwaru a elektroniky Computex 2023 začíná a Nvidia už představila první z novinek pro svět počítačových her, které během tohoto veletrhu chce prezentovat. První, kterou probereme, představuje spíše softwarovou věc – technologii umělé inteligence, která má dodat větší realismus postavičkám ve hrách a interakci s nimi. Současně je to také příležitost oživit reprezentaci hráče v herním světě.

Technologie Nvidia ACE znamená Avatar Cloud Engine a jde o speciální AI model, který je uzpůsobený k tomu, aby „oživil“ a dodal inteligenci herním NPC. Tento model může být integrován do her nebo do middlewaru, který slouží k tvorbě her. Bude už na vývojářích, jak ho využijí.

ACE má několik částí. První je Nvidia Omniverse Audio2Face, což je model, který rozpoznává řeč (ze zvuku) a analyzuje, jaké pohyby obličeje by dané mluvě odpovídaly. Tyto pohyby pak umí aplikovat na 3D model postavy (respektive hlavy a tváře), takže výsledkem je, že postava reaguje na přehrávané audio a mluví synchronizovaně s audiem. Je to tedy takový reverzní dabing. Podobně jako u animovaných emoji používajících motion tracking se takto mohou ve hrách rozpohybovat avatary hráče.

Nicméně ACE nemá animovat jenom avatar hráče, ale i ostatních postav, které také mohou být animované podle nahrané řeči. K tomu se ale přidávají další komponenty, označené Nvidia Riva a NeMo. NeMo je aplikace jazykového AI modelu, který simuluje NPC (postavu ve hře) pro potřeby konverzace. Podobně jako s chatbotem se tak s takovou postavou dá vést (simulovaná) konverzace. Proti tradičnímu modelu, kdy jsou konverzace předem napsané, zde postava může mluvit volně podle toho, co řekne hráč. Mělo by to být více nepředvídatelné, na druhou stranu kvůli tomu asi začne být složitější pro vývojáře například kontrolovat, zda se někde neobjevil bug, kdy se nějaké téma hráčům obtížně „odemyká“, pokud postava má věcí na sdělení hodně.

Postava se bude chovat podle nějakého svého definovaného pozadí a role, přičemž model také používá techniku tzv. „guardrails“, která slouží k tomu, aby nějak limitovaly věci, o kterých postava bude mluvit. Toto je opatření proti vtipálkům, kteří zkouší chatbotům podsouvat různé nesouvisející otázky, třeba aby z nich dostali různé nevhodné (rasistické, mládeži nepřístupné atd.) průpovídky.

AI model NeMo sám o sobě generuje text, ale k tomu se pak dá přidat další model Riva, který syntetizuje z psaného textu řeč. Riva se pak tedy postará o dabing textu, který AI pro postavu generuje. Aplikování generované řeči řeší známý „problém“, kdy hry s velkým objemem textu nemají všechno namluveno a některé repliky jsou pouze textové. Při AI generování bude hlas všude. Ale umělý, samozřejmě.

Demo Kairos

Nvidia ACE má umožnit nejen syntézu řeči z textu, ale také rozpoznání řeči uživatele a naopak její přepis do textu, což technologie Riva také poskytuje. Je tedy možné s onou postavou tvořenou AI modelem přímo konverzovat bez psaní. Nvidia toto na Computexu předváděla v demu nazvaném Kairos, které bylo vyvinuté ve spolupráci se startupem Convai. V budoucnu by podobný model interakce mohl být použitý ve hrách, toto demo ale zpracovává jen jednu konkrétní postavu/konverzační situaci.

Demo Kairos ukazující konverzační AI pomocí technologie Nvidia ACE (zdroj: Nvidia)

Druhá věc je asi, jestli je ovládání hry hlasem úplně to, co chceme, protože jednak to nebude moc šikovné, když nejste doma sami, ale vedle toho to ani nemusí být zas tak praktické. Volba z připravených odpovědí aktivovaná jen kliknutím nebo jednou klávesou je o dost úspornější na čas a úsilí. Ale je možné, že budoucí hry najdou recept na to, jak tuto interakci využít.

Toto vše samozřejmě potřebuje nějaký výkon a AI model může mít asi celkem značné nároky (na výpočetní výkon, ale i paměť). Podle Nvidie může ACE běžet v cloudu, ale i lokálně na hardwaru, kde hra běží. To druhé by určitě bylo lepší, protože pokud hra bude závislá na cloudu, přestane za pár let fungovat, až se autoři rozhodnou vypnout servery.

Nvidia už oznámila některé projekty, které ACE budou používat – má jít například o hry S. T.A.L.K.E.R. 2: Heart of Chernobyl a Fort Solis od indie vývojářů Fallen Leaf. Nicméně v případě těchto her ještě nepůjde o použití celého AI modelu pro NPC, ale jen o aplikaci oné dílčí technologie Audio2Face. Jejich vývojáři tedy implementují jen funkci animace tváře podle přehrávaného audia (řeči), ne generovanou osobnost postav.

Zdroje: Nvidia (1, 2)

Jan Olšan, redaktor Cnews.cz


  •  
  •  
  •  
Flattr this!

Ghetto AI GPU: Modnuté GeForce RTX 2080 Ti s 22 GB paměti

Zajímavé na čínském hardwarovém trhu je, že tamní firmy se často nebojí kreativně recyklovat čipy. V jednu chvíli likvidovaly nové GeForce RTX 4090 na výrobu AI karet pro servery, což bylo spíš šílené, ale po zákazu jejich dovozu z USA se objevila zajímavá náhrada: komerční předělávka starých herních grafik na AI akcelerátory skrze upgradování jejich paměti na vyšší kapacity. Dokonce už nejde jen o záležitost Číny. Celý článok „Ghetto AI GPU: Modnuté GeForce RTX 2080 Ti s 22 GB paměti“ »

  •  
  •  
  •  

Zase se taví 12pinové konektory u GPU: Omyly zastánců i odpůrců

Opět přichází zprávy o roztavených 12pinových napájecích konektorech a poškozených grafikách GeForce – tentokrát jde o stovky případů s adaptéry CableMod – a s tím je tu zpět i debata o tom, zda je 12pin nebezpečný. Bohužel se většinou vede černobílými argumenty, které jsou dost mimo. Pokusíme se na takové omyly upozornit. Problematika je totiž o dost komplikovanější, než jaké pozice jsou v ní obvykle zastávané. Celý článok „Zase se taví 12pinové konektory u GPU: Omyly zastánců i odpůrců“ »

  •  
  •  
  •  

RTX Video HDR i pro hry. Nvidia ho asi testuje, jde zapnout modem

Minulý týden jsme psali o nové funkci ovladačů grafik GeForce: RTX Video HDR. Ta používá umělou inteligenci k automatickému převodu standardních webových videí například na YouTube do (odhadnutého) HDR. Vypadá to, že u přehrávání videa nezůstane. Nvidia asi připravuje nebo zvažuje možnost, aby bylo možné ji používat také ve hrách. Zatím toto rozšíření ještě nebylo oznámeno, ale funkce už se dá vyzkoušet pomocí modů, které ji zpřístupňují. Celý článok „RTX Video HDR i pro hry. Nvidia ho asi testuje, jde zapnout modem“ »

  •  
  •  
  •  

Pridaj komentár

Vaša e-mailová adresa nebude zverejnená. Vyžadované polia sú označené *