Zdá se, že vedle teď oficiálně vydaného DLSS 4.5 s opětovně přidanou funkcí Ray Reconstruction už Nvidia chystá i vydání verze DLSS 5, která není upscalingovou technologií, ale postprocessingovým filtrem, který má „zkrášlovat“ obličeje a textury ve hrách pomocí naučených efektů. Knihovna tohoto filtru teď unikla na internet a již se ji podařilo zprovoznit v řadě her, takže si můžete vyzkoušet, jak „RTX beauty filter“ funguje.
Uniklá knihovna s DLSS 5
Ačkoliv zatím žádná hra s implementací DLSS 5 nebyla vydána, knihovna s testovací verzí se možná nedopatřením dostala do sestavení hry NBA 2K27, která je ve fázi Early Access veřejně přístupná. Ačkoliv hra DLSS 5 sama neposkytuje, v jejích souborech byla nalezena knihovna nvngx_dlssnr.dll, která, jak se ukázalo, implementuje DLSS 5.
Písmena NR v označení nejspíš mají znamenat „neural rendering“. Zdá se, že Nvidia chce nebo chtěla DLSS 5 prezentovat jako techniku, kdy je hra vykreslována pomocí neuronové sítě, což ale není moc pravda. Hra je vykreslována konvenčními metodami a DLSS 5 pracuje jako filtr, který jako vstup přijímá hotový bitmapový obraz a pouze na pixely aplikuje nějaké transformace.
Knihovnu nejdřív prozkoumal web techPowerUp, podle kterého má velikost 158,2 MB a číslo verze 310.8.0 (DLSS 4.5 Ray Reconstruction je verze 310.7.129). Z tohoto objemu je 140,9 MB velikost samotného AI modelu, který zřejmě používá datový typ FP8, měl by tak mít okolo 148 milionů parametrů. Zajímavé je, že kód pro běh na GPU přítomný v tomto souboru podle techPowerUpu podporuje pouze grafiky GeForce RTX 5000, ne žádné starší. Ovšem je možné, že těm Nvidia ještě přidá podporu později.
Aktualizováno: Mělo by to být možné pro generaci Ada, protože knihovnu podařilo zprovoznit i na grafikách GeForce generace RTX 4000 transplantováním kódu z jiné verze DLSS. Grafiky GeForce RTX 3000 a 2000 ale nepodporují výpočty s datovým typem FP8, což by u nich mohlo kompatibilitu zarazit.
Podle analýzy knihovny DLSS 5 skutečně je relativně jednoduchý filtr z toho pohledu, že konzumuje méně vstupních dat než upscalingové filtry. Bere si jako vstup snímek hry (už po dokončení upscalingu, po mapování barev a dokonce i po vykreslení HUD a GUI hry), hloubku, pohybové vektory, masky (které vylučují ze zpracování vybrané části obrazu, včetně GUI) a některé další údaje. Zcela ale zřejmě ignoruje například informace o osvětlení scény. Snímky s efektem DLSS 5, které dříve Nvidia ukazovala, často vypadaly tak, že filtr přidává například na tváře stíny pro efekt zcela bez souvislosti s nasvícením scény, toto nejspíš ukazuje, proč se tak chová.
Uniklá verze DLSS 5 nicméně může být nehotová testovací verze. Může se stát, že posléze filtr začne pracovat i s dalšími vstupy, které se nyní zohledňovat nesnaží.
Moddeři přidali DLSS 5 do her před Nvidií
Krátce po nálezu souboru se autorům různých modifikací používajících software RenoDX podařilo knihovnu zprovoznit a potvrdit, že opravdu jde o DLSS 5. V krátkém čase se jim podařilo zapojit ji do některých her, například Control, Cyberpunku 2077, Red Dead Redenption 2, The Last of Us, Hogwarts Legacy nebo Black Myth Wukong, ale i slušného počtu dalších her.
Je třeba říct, že při plošném použití filtru DLSS 5 dochází k dost agresivní změně vzhledu a vzniká tím ne zrovna pěkný „slop“ efekt. Nvidia tvrdí, že DLSS 5 budou vývojáři používat tak, že pečiva nastaví, kde se má „AI vzhled“ aplikovat, jak silně má filtr působit a bude možné volit najké jeho parametry. To u těchto modifikací asi moc sofistikované není. Tyto neoficiální verze tedy nebudou odpovídat tomu, jak by DLSS 5 případně ve hře vypadalo, kdyby bylo přidané oficiálně (aspoň doufáme). Nemusí to ale být neužitečné, možná stojí za to si prostudovat to, jakým způsobem filtr obličeje a objekty her překresluje.
Podobně jako AI generování obrazu a videí vytváří určitý unifikovaný vzhled, které pak vidíte v nejrůznějších reklamách a horkých jehlou šitých webových hrách, zdá se, že DLSS 5 také vytváří určitý typický vzhled se silně zvýrazněnými či vymyšlenými stíny, lesky a hranami. Pravděpodobně bude snadno docházet k nadužívání – lze to asi přirovnat k umělému přidávání kontrastu, saturace barev a ostřících filtrů, které také na první pohled mohou oko ohromit, třebaže nepřidávají skutečnou kvalitu a spíš ji kazí.
Zatímco použití assetů zcela vygenerovaných pomocí AI ve hrách typicky vede k silné kritice a nelibosti, použití DLSS 5 může vývojářům umožnit se takové kritice vyhnout, i když efekt může být podobný. Osobně proto mám spíš pochybnosti, zda plošné používaní takovýchto filtrů nebude omyl, který negativně poznamená generaci her…
Zdroje: techPowerUp, VideoCardz (1, 2)
Až na výjimky se mi to neoškliví. Ale nevidím smysl cpát to do nových her, taky kvůli nárokům. Bude nutné zapracovat na temporální stabilitě. Co se slopu týče, s pomocí AI jde produkovat pěkné věci, ale k tomu je nutná hlubší práce s ní. Chytráci samozřejmě zjistili, že s její pomocí získají pozornost i bezpracně. Unifikovaný AI slop není tak úplně výsledkem práce AI. Jde spíše o to, s čím se lidé bohužel spokojí.