Umělá inteligence pro automatické generování HDR obrazu z SDR zdrojů pro webové prohlížeče
Loni vydala Nvidia technologii či funkci nazvanou RTX Video Super Resolution, která používá GPU k upscalingu a vylepšení webového videa (ale použít se tento upscaler dá také ve VLC Media Playeru) filtr podobný DLSS 1.0, založený na umělé inteligenci. Nyní tato technologie byla rozšířená do RTX Video HDR, což je opět AI filtr, který ke klasickému videu dopočítává (simuluje) HDR složku, tedy efekt vysokého dynamického kontrastu.
HDR čili obraz s vysokým dynamickým kontrastem znamená, že hra nebo v tomto případě video (protože RTX Video HDR je funkce určená pro filtrování video obsahu) může zobrazit vyšší rozsah jednak barev, jednak jasu, než s čím se v počítačovém obrazu normálně počítá. Běžně pracujete na PC s obrazem s barevným gamutem sRGB a určitým standardním rozsahem jasů (typicky do 400 cd/m², ale nejspíš budete mít jas stažený níž, pokud nepracujete venku na slunci s notebookem).
Vysoký dynamický rozsah znamená, že je možné zobrazit sytější barvy, které jsou již mimo prostor sRGB a také vyšší jasy. Například záběr na nebe, slunce, oheň nebo jiné svítící těleso může lokálně dosáhnout intenzivnější jas, což více odpovídá reálnému světu, zatímco při standardním (SDR) zobrazení se musí i z´takřka oslepující nejjasnější objekty vejít do stejného běžného rozsahu jasů.
Většina webového videa a obecně většina videa, které někde uvidíte, má jen běžné SDR barvy a jas, protože historicky je HDR relativně novější věc a jednak byl materiál dlouho natáčen (či u počítačových animací renderován) bez HDR informace, jednak většina monitorů a televizí umí jen SDR obraz, takže chybí motivace k nějakému úplnému přechodu na HDR obraz.
RTX Video HDR
Funkce Nvidia RTX Video HDR vám ale umožní každý video materiál přehrávat s automatickým vylepšením, které má reálný HDR obraz simulovat, či přesněji „odhadnout“ ho z SDR obsahu. Jak už to u Nvidie bývá, je k tomu použitá naučená neuronová síť (AI). Ta je trénovaná, aby generovala HDR snímky ze SDR snímků. Nvidia to pravděpodobně dělala podobně jako trénovala DLSS. To znamená, že začala korpusem HDR videí, které byly konvertovány do SDR (tedy byly připraveny o barevný gamut a jas navíc nad rámec SDR obrazu / barevného prostoru sRGB).
Tímto vznikl korpus s obrázků, kdy ke každému SDR obrazu víte, jak má vypadat jeho HDR verze (protože máte uložený originál). Pomocí těchto párů pak postupně trénujete AI, aby si vymýšlela k danému SDR obrázku jeho verzi s HDR vylepšením – tedy zlepšenými barvami a přidaným jasem na vhodných místech. Tato „halucinace“ je pak porovnávána s originálem a trénujete síť tak, aby se postupně vymyšlené HDR co nejvíce přibližovalo k reálnému.
Nejlépe to asi jde přirovnat k problému umělého kolorování černobílých fotografií a filmů, byť to je asi úkol těžší než takovýto filtr automaticky odhadující HDR složku pro SDR obraz – ve vstupu zdaleka nechybí tolik informace a asi je snadnější se řídit podle identifikovaných předmětů jako jsou oblaka, slunce, plameny.
Funkce RTX Video HDR pak aplikuje tuto natrénovanou neuronovou síť pro zpracovávání videa, které přehráváte, takže se vám ukáže jeho odhadnutá HDR verze. Efekt lze přirovnat k zvýšení saturace barev a zvýšení kontrastu (a maximálního jasu), které by mělo být adaptivní a lokální.
Bez vyzkoušení samozřejmě těžko říct, jak věrně a realisticky bude AI filtr od Nvidie působit. U podobných filtrů je samozřejmě riziko, že budou přepalovat i to, co jasné být nemá a naopak některé jasné objekty či syté barvy správně netrefí. I „nevěrný obraz“ samozřejmě na první pohled může být atraktivní, protože člověk má přehnaný kontrast a sytost barev podobně jako u umělého přiostřování tendenci na první pohled preferovat, ale když se filtr zmýlí, bude výsledkem nepřirozený vzhled scény.
V Chrome pro všechny GeForce RTX
Funkce RTX Video Super Resolution by zřejmě měla fungovat současně s funkcí RTX Video Super Resolution (AI upscalingem), opět je dostupná v internetových prohlížečích založených na Google Chromě (tedy i MS Edge) na platformě Windows. Zapnout se dá na stejném místě v ovladačích, kde teď přibyla volba „High Dynamic Range“. Jako předpoklad pro aktivaci tohoto HDR filtru je zřejmě nutné mít zapnutý i upscaling, musíte tedy mít vedle tohoto zaškrtávátka aktivní i „Super Resolution“.
Aby filtr mohl dělat svoji práci, musíte mít HDR monitor, přesněji monitor, který podporuje formát obrazu HDR 10 (či HDR 10+). Výstup bude tedy kódovaný v tomto formátu. HDR zobrazení také musí být zapnuté v prostředí operačního systému.
Filtr používá akceleraci na tensor jádrech grafik GeForce, takže je dostupný jen pro majitele karet řady GeForce RTX 2000, 3000 a 4000 (tedy i nejstarší generace Turing).
RTX Video HDR se zatím nedá použít pro přehrávání lokálního video obsahu. RTX Video Super Resolution bylo již zprovozněno ve VLC (a také MPC-BE), nicméně přidání HDR složky potřebuje asi nějakou práci navíc v rámci přehrávače, jehož vykreslovací výstupní modul musí HDR zobrazení spravovat a nejde o zcela triviální věc. Je ale asi rozumná šance, že i tato funkce se nakonec dostane do těchto klasických video přehrávačů a nezůstane jen u různých youtubů.
Zdroj: Nvidia
Jan Olšan, redaktor Cnews.cz
⠀