RTX Video HDR: AI od Nvidie dělá HDR z běžných webových videí

Umělá inteligence pro automatické generování HDR obrazu z SDR zdrojů pro webové prohlížeče

Loni vydala Nvidia technologii či funkci nazvanou RTX Video Super Resolution, která používá GPU k upscalingu a vylepšení webového videa (ale použít se tento upscaler dá také ve VLC Media Playeru) filtr podobný DLSS 1.0, založený na umělé inteligenci. Nyní tato technologie byla rozšířená do RTX Video HDR, což je opět AI filtr, který ke klasickému videu dopočítává (simuluje) HDR složku, tedy efekt vysokého dynamického kontrastu.

HDR čili obraz s vysokým dynamickým kontrastem znamená, že hra nebo v tomto případě video (protože RTX Video HDR je funkce určená pro filtrování video obsahu) může zobrazit vyšší rozsah jednak barev, jednak jasu, než s čím se v počítačovém obrazu normálně počítá. Běžně pracujete na PC s obrazem s barevným gamutem sRGB a určitým standardním rozsahem jasů (typicky do 400 cd/m², ale nejspíš budete mít jas stažený níž, pokud nepracujete venku na slunci s notebookem).

Vysoký dynamický rozsah znamená, že je možné zobrazit sytější barvy, které jsou již mimo prostor sRGB a také vyšší jasy. Například záběr na nebe, slunce, oheň nebo jiné svítící těleso může lokálně dosáhnout intenzivnější jas, což více odpovídá reálnému světu, zatímco při standardním (SDR) zobrazení se musí i z´takřka oslepující nejjasnější objekty vejít do stejného běžného rozsahu jasů.

Většina webového videa a obecně většina videa, které někde uvidíte, má jen běžné SDR barvy a jas, protože historicky je HDR relativně novější věc a jednak byl materiál dlouho natáčen (či u počítačových animací renderován) bez HDR informace, jednak většina monitorů a televizí umí jen SDR obraz, takže chybí motivace k nějakému úplnému přechodu na HDR obraz.

RTX Video HDR

Funkce Nvidia RTX Video HDR vám ale umožní každý video materiál přehrávat s automatickým vylepšením, které má reálný HDR obraz simulovat, či přesněji „odhadnout“ ho z SDR obsahu. Jak už to u Nvidie bývá, je k tomu použitá naučená neuronová síť (AI). Ta je trénovaná, aby generovala HDR snímky ze SDR snímků. Nvidia to pravděpodobně dělala podobně jako trénovala DLSS. To znamená, že začala korpusem HDR videí, které byly konvertovány do SDR (tedy byly připraveny o barevný gamut a jas navíc nad rámec SDR obrazu / barevného prostoru sRGB).

Tímto vznikl korpus s obrázků, kdy ke každému SDR obrazu víte, jak má vypadat jeho HDR verze (protože máte uložený originál). Pomocí těchto párů pak postupně trénujete AI, aby si vymýšlela k danému SDR obrázku jeho verzi s HDR vylepšením – tedy zlepšenými barvami a přidaným jasem na vhodných místech. Tato „halucinace“ je pak porovnávána s originálem a trénujete síť tak, aby se postupně vymyšlené HDR co nejvíce přibližovalo k reálnému.

Nejlépe to asi jde přirovnat k problému umělého kolorování černobílých fotografií a filmů, byť to je asi úkol těžší než takovýto filtr automaticky odhadující HDR složku pro SDR obraz – ve vstupu zdaleka nechybí tolik informace a asi je snadnější se řídit podle identifikovaných předmětů jako jsou oblaka, slunce, plameny.

Funkce RTX Video HDR pak aplikuje tuto natrénovanou neuronovou síť pro zpracovávání videa, které přehráváte, takže se vám ukáže jeho odhadnutá HDR verze. Efekt lze přirovnat k zvýšení saturace barev a zvýšení kontrastu (a maximálního jasu), které by mělo být adaptivní a lokální.

Bez vyzkoušení samozřejmě těžko říct, jak věrně a realisticky bude AI filtr od Nvidie působit. U podobných filtrů je samozřejmě riziko, že budou přepalovat i to, co jasné být nemá a naopak některé jasné objekty či syté barvy správně netrefí. I „nevěrný obraz“ samozřejmě na první pohled může být atraktivní, protože člověk má přehnaný kontrast a sytost barev podobně jako u umělého přiostřování tendenci na první pohled preferovat, ale když se filtr zmýlí, bude výsledkem nepřirozený vzhled scény.

Demo efektu, který může RTX Video HDR mít (Zdroj: preview video Nvidie)

V Chrome pro všechny GeForce RTX

Funkce RTX Video Super Resolution by zřejmě měla fungovat současně s funkcí RTX Video Super Resolution (AI upscalingem), opět je dostupná v internetových prohlížečích založených na Google Chromě (tedy i MS Edge) na platformě Windows. Zapnout se dá na stejném místě v ovladačích, kde teď přibyla volba „High Dynamic Range“. Jako předpoklad pro aktivaci tohoto HDR filtru je zřejmě nutné mít zapnutý i upscaling, musíte tedy mít vedle tohoto zaškrtávátka aktivní i „Super Resolution“.

Zapnutí funkce RTX Video HDR v ovládacích panelech ovladačů Nvidia

Aby filtr mohl dělat svoji práci, musíte mít HDR monitor, přesněji monitor, který podporuje formát obrazu HDR 10 (či HDR 10+). Výstup bude tedy kódovaný v tomto formátu. HDR zobrazení také musí být zapnuté v prostředí operačního systému.

Filtr používá akceleraci na tensor jádrech grafik GeForce, takže je dostupný jen pro majitele karet řady GeForce RTX 2000, 3000 a 4000 (tedy i nejstarší generace Turing).

RTX Video HDR se zatím nedá použít pro přehrávání lokálního video obsahu. RTX Video Super Resolution bylo již zprovozněno ve VLC (a také MPC-BE), nicméně přidání HDR složky potřebuje asi nějakou práci navíc v rámci přehrávače, jehož vykreslovací výstupní modul musí HDR zobrazení spravovat a nejde o zcela triviální věc. Je ale asi rozumná šance, že i tato funkce se nakonec dostane do těchto klasických video přehrávačů a nezůstane jen u různých youtubů.

Zdroj: Nvidia

Jan Olšan, redaktor Cnews.cz


  •  
  •  
  •  
Flattr this!

Ghetto AI GPU: Modnuté GeForce RTX 2080 Ti s 22 GB paměti

Zajímavé na čínském hardwarovém trhu je, že tamní firmy se často nebojí kreativně recyklovat čipy. V jednu chvíli likvidovaly nové GeForce RTX 4090 na výrobu AI karet pro servery, což bylo spíš šílené, ale po zákazu jejich dovozu z USA se objevila zajímavá náhrada: komerční předělávka starých herních grafik na AI akcelerátory skrze upgradování jejich paměti na vyšší kapacity. Dokonce už nejde jen o záležitost Číny. Celý článok „Ghetto AI GPU: Modnuté GeForce RTX 2080 Ti s 22 GB paměti“ »

  •  
  •  
  •  

Konečně levné grafiky? Ceny Radeonů i GeForce na novém minimu

Herní GPU současné generace měla při uvedení (zejména u Nvidie) dost vysoké ceny. Teď v jejich druhém roce služby už ale naštěstí fungují tlaky na jejich zlevňování. To bylo celkem obvyklé u karet AMD, ale vypadá to, že začínají slevy i u Nvidie, takže se možná rozjíždí ostřejší cenová konkurence. A je to v oblasti karet za nějakých 300–800 $, tedy v pásmu, kde už dostanete zajímavý výkon představující upgrade proti dřívějším generacím. Celý článok „Konečně levné grafiky? Ceny Radeonů i GeForce na novém minimu“ »

  •  
  •  
  •  

Zase se taví 12pinové konektory u GPU: Omyly zastánců i odpůrců

Opět přichází zprávy o roztavených 12pinových napájecích konektorech a poškozených grafikách GeForce – tentokrát jde o stovky případů s adaptéry CableMod – a s tím je tu zpět i debata o tom, zda je 12pin nebezpečný. Bohužel se většinou vede černobílými argumenty, které jsou dost mimo. Pokusíme se na takové omyly upozornit. Problematika je totiž o dost komplikovanější, než jaké pozice jsou v ní obvykle zastávané. Celý článok „Zase se taví 12pinové konektory u GPU: Omyly zastánců i odpůrců“ »

  •  
  •  
  •  

One comment Pridať komentár

  1. Čakám že nepotrvá dlho a tieto fičúrky (upscaling videa, hier, autoHDR…) budú úplne štandardná vec, minimálne by mali byť open source alternatívy tak ako vznikli kvalitné open source alternatívy k plateným video kodekom, možno to dokonca bude priamo implementovaná vo Windows ako už teraz je AutoHDR pre hry. Win12 odporúča AI akcelerátory v CPU a nové CPU ich budú mať, takže všetky tieto AI fičúrky môžu byť konečne implementované vývojármi kdekoľvek a akcelerované akýmkoľvek akcelerátorom či už v CPU alebo GPU. Doteraz tomu bránilo slabé rozšírenie HW schopného akcelerovať AI operácie takže sa s tým vývojári moc nesrali.

Pridaj komentár

Vaša e-mailová adresa nebude zverejnená. Vyžadované polia sú označené *