Upscaling webového videa à la DLSS (1.0)
V lednu Nvidia oznámila novinku pro své grafické karty: funkci RTX Video Super Resolution, která aplikuje upscaling a postprocessing na video přehrávané ve webových prohlížečích na bázi Chrome. Nvidia používá AI upscaling s temporální stabilizací ve hrách pod označením DLSS, takže aplikace na webové video je logickým rozšířením. Tato funkce byla nyní aktuálními ovladači grafik GeForce zprovozněna a přicházejí první srovnání a ohlasy.
Nvidia 28. 2. vydala novou verzi ovladačů 531.18 a jednou z novinek v této aktualizaci je právě RTX Video Super Resolution. Podle původního oznámení měla být dostupná v únoru, takže šlo o vydání na poslední chvíli. Funkce potřebuje zároveň podporu v prohlížeči a zatím je dostupná v Google Chrome a Microsoft Edge, pokud máte jejich aktuální verzi. Po aktualizaci ovladačů a prohlížeče budete moci upscaling přes RTX Video Super Resolution používat na webech jako YouTube, Twitch, Hulu nebo Netflix.
Podle dokumentů Nvidie je použitá odlišná (nová) neuronová síť, než jaká je v DLSS, a trénování probíhá na jiných datech. RTX Video Super Resolution pracuje čistě s obrazovými daty, na rozdíl od DLSS nemá „meta“ pomůcky, jako jsou informace z herního enginu o pohybových vektorech a hloubce. Filtr jednak detekuje a vylepšuje hrany a vedle toho se také snaží odstranit kompresní artefakty.
Nvidia neuvádí, že by měl temporální rozměr jako DLSS 2.x – tedy schopnost kombinovat detail z více po sobě jdoucích snímků. Je tedy možná čistě spatiální jako DLSS 1.0. Podle slajdu popisujícího fungování je vstupní snímek nejprve škálován na cílové rozlišení běžným bikubickým algoritmem a poté AI vygeneruje změny, které na tomto snímku mají zlepšit kontrast a ostrost hran. Temporální rekonstrukce nikde nefiguruje.
Co potřebujete?
Zapnout se tato funkce musí v nastavení ovladačů v Nvidia Control Panelu. Přejděte na kartu s nastaveními pro přehrávání videa (Adjust Video Image Settings), kde se novinka objevila pod hlavičkou „RTX Video Enhancement“. Zde zaškrtnete „Super Resolution“, čímž se upscaling aktivuje. Je možné nastavit kvalitu, kdy výchozí nastavení 1 by mělo podle Nvidia fungovat na všech grafikách generace RTX 3000 a RTX 4000.
Vyšší úrovně potřebují více výpočetního výkonu. Nvidia uvádí, že s kvalitou 4 by mělo být možné přehrávat „většinu obsahu“ na kartách třídy GeForce RTX 3070/4070. Pod onou většinou se asi myslí to, že GPU utáhnou upscaling do určité kombinace vstupního rozlišení a snímkové frekvence – upscaling při 30 snímcích za sekundu je samozřejmě méně náročný než pro nějaké video se 120 snímky za sekundu.
RTX Video Super Resolution používá tensor jádra a nyní je dostupná jen na kartách GeForce RTX 3000 nebo RTX 4000. Eventuálně má přibýt podpora ještě i pro GeForce RTX 2000, ale pro ty bude údajně potřebovat upravit algoritmy, a proto funkci dostanou až někdy později v budoucnu. Konkrétní termín sdělen nebyl. Nvidia mimochodem asi zatím RTX Video nepodporuje na profesionálních grafikách, jenom na modelech GeForce.
Na noteboocích pozor na baterku
Na noteboocích je ještě třeba v grafických nastaveních Windows zvolit, aby se pro webový prohlížeč používal vysoký výkon – to proto, aby technologie Optimus zapnula při otevření prohlížeče samostatnou grafiku.
To bohužel znamená, že když otevřete Chrome/Edge (i bez přehrávání videa), zvýší se spotřeba a zkrátí se vám výdrž na baterie. Nvidia doporučuje mít v takovém případě na PC jak Chrome, tak Edge a pro přehrávání videa používat jeden z nich (a jen pro ten nastavíte režim vysokého grafického výkonu s dedikovaným GPU), zatímco pro ostatní práci druhý, se kterým notebook „žrát“ nebude.
HDR video není podporováno
Filtr podporuje vstupní videa s rozlišením od 360p do 1440p. Nicméně není podporováno video s HDR obsahem, YouTube Shorts a také některá videa s ochranou proti kopírování (DRM). Podpora pro HDR by snad ale eventuálně mohla být přidána. Vyžadovala by asi úpravy a jiné vyladění, ale soudíme, že není nemožná.
Upscaling funguje jak v okně nebo v rámci webové stránky, tak na celé obrazovce a aktivuje se při přehrávání v jakémkoli rozlišení, které je vyšší než vstupní. Při přehrávání na nativním rozlišení není RTX Video Super Resolution aktivní (tj. nelze použít ani pro odstranění kompresních artefaktů). Stejně tak nepodporuje downscaling. Upscaling se deaktivuje, pokud je okno prohlížeče v pozadí nebo minimalizované. A také tehdy, když je video pozastavené. Toto šetří elektřinu, kterou RTX Video Super Resolution docela konzumuje.
Zapojení tensor jader podle testů může výrazně zvýšit spotřebu proti úrovni obvyklé při přehrávání videa tradičním způsobem. ComputerBase vyšla na kartě RTX 3050 spotřeba vyšší o desítky wattů, na druhou stranu Tom’s Hardware zase hlásí velmi nízké nárůsty spotřeby (ComputerBase ovšem použil video se 60 snímky za sekundu a vyšším vstupním rozlišením).
První vizuální testy
Samozřejmě nejdůležitější je pro přehrávání videa, jak vypadá výsledek. Na kvalitu dosaženou touto funkcí se podívalo několik webů, například Tom’s Hardware, TechPowerUp nebo ComputerBase. Bude to asi i věc vkusu, ale vypadá to z nich, že přínos je spíš menší či diskutabilní (a pro vyšší vstupní rozlišení je asi vůbec otázka, zda to má cenu). Bez spolupráce s herním enginem AI nedokáže zřejmě dosáhnout takových zlepšení. Zejména ale asi chybí ta temporální rekonstrukce, která je asi hlavním trumfem DLSS 2.x. To díky ní dokáže z nízkého interního rozlišení dostat poměrně dobrou kvalitu, ale RTX Video to v takové míře nedokáže.
Na druhou stranu jako každý postprocessing může být RTX Video dvousečnou zbraní, například bylo poukázáno na to, že filtr může trpět typickým „AI“ problémem, který bývá vidět na fotkách z chytrých telefonů – divným nepřirozeným podáním keřů a stromů. Také, zdá se, může vznikat efekt olejomalby vznikající kombinací rozmazání (při odstraňování kompresních artefaktů) a doostřování. Tento jev býval vidět u DLSS 1.0 (výrazné to bylo u implementace v Anthem).
Je zajímavé, že Nvidia v prezentaci této funkce hodně ukazuje přehrávání zachycených videí z her místo nějakého obvyklejšího filmového/seriálového či „live“ obsahu natočeného kamerou nebo animovaného. Právě na takovém obsahu, zdá se, Super Resolution nepřináší velká zlepšení, kdežto na záznamech z her možná vypadá lépe – tomuto druhu obrazu asi více sedí a méně ubližuje onen způsob zaostření hran, který je použitý.
Je však pravda, že dalším vývojem a trénováním by se mohlo o něco zlepšit i podání reálného videa. Upscaling je ale vždy boj s tím, že je třeba zrekonstruovat informaci, která už není k dispozici, takže se nedají čekat dokonalé výsledky.
Jan Olšan, redaktor Cnews.cz
⠀
Je docela legrace s jakou pompou to přichází, přitom to je jen funkce do počtu. Co nevidět bude v přehrávačích samozřejmostí upscaling a frame interpolation o mnohem širších možnostech (podporou celé škály trénovaných modelů a parametrů).