Nvidia RTX Video Super Resolution. Co o ní potřebujete vědět?

Upscaling webového videa à la DLSS (1.0)

V lednu Nvidia oznámila novinku pro své grafické karty: funkci RTX Video Super Resolution, která aplikuje upscaling a postprocessing na video přehrávané ve webových prohlížečích na bázi Chrome. Nvidia používá AI upscaling s temporální stabilizací ve hrách pod označením DLSS, takže aplikace na webové video je logickým rozšířením. Tato funkce byla nyní aktuálními ovladači grafik GeForce zprovozněna a přicházejí první srovnání a ohlasy.

Nvidia 28. 2. vydala novou verzi ovladačů 531.18 a jednou z novinek v této aktualizaci je právě RTX Video Super Resolution. Podle původního oznámení měla být dostupná v únoru, takže šlo o vydání na poslední chvíli. Funkce potřebuje zároveň podporu v prohlížeči a zatím je dostupná v Google Chrome a Microsoft Edge, pokud máte jejich aktuální verzi. Po aktualizaci ovladačů a prohlížeče budete moci upscaling přes RTX Video Super Resolution používat na webech jako YouTube, Twitch, Hulu nebo Netflix.

Podle dokumentů Nvidie je použitá odlišná (nová) neuronová síť, než jaká je v DLSS, a trénování probíhá na jiných datech. RTX Video Super Resolution pracuje čistě s obrazovými daty, na rozdíl od DLSS nemá „meta“ pomůcky, jako jsou informace z herního enginu o pohybových vektorech a hloubce. Filtr jednak detekuje a vylepšuje hrany a vedle toho se také snaží odstranit kompresní artefakty.

Nvidia neuvádí, že by měl temporální rozměr jako DLSS 2.x – tedy schopnost kombinovat detail z více po sobě jdoucích snímků. Je tedy možná čistě spatiální jako DLSS 1.0. Podle slajdu popisujícího fungování je vstupní snímek nejprve škálován na cílové rozlišení běžným bikubickým algoritmem a poté AI vygeneruje změny, které na tomto snímku mají zlepšit kontrast a ostrost hran. Temporální rekonstrukce nikde nefiguruje.

Slajd ukazující princip RTX Video Super Resolution (zdroj: Nvidia)

Co potřebujete?

Zapnout se tato funkce musí v nastavení ovladačů v Nvidia Control Panelu. Přejděte na kartu s nastaveními pro přehrávání videa (Adjust Video Image Settings), kde se novinka objevila pod hlavičkou „RTX Video Enhancement“. Zde zaškrtnete „Super Resolution“, čímž se upscaling aktivuje. Je možné nastavit kvalitu, kdy výchozí nastavení 1 by mělo podle Nvidia fungovat na všech grafikách generace RTX 3000 a RTX 4000.

Vyšší úrovně potřebují více výpočetního výkonu. Nvidia uvádí, že s kvalitou 4 by mělo být možné přehrávat „většinu obsahu“ na kartách třídy GeForce RTX 3070/4070. Pod onou většinou se asi myslí to, že GPU utáhnou upscaling do určité kombinace vstupního rozlišení a snímkové frekvence – upscaling při 30 snímcích za sekundu je samozřejmě méně náročný než pro nějaké video se 120 snímky za sekundu.

Zapnutí RTX Video Super Resolution v Nvidia Control Panelu a nastavení kvality (zdroj: Nvidia)

RTX Video Super Resolution používá tensor jádra a nyní je dostupná jen na kartách GeForce RTX 3000 nebo RTX 4000. Eventuálně má přibýt podpora ještě i pro GeForce RTX 2000, ale pro ty bude údajně potřebovat upravit algoritmy, a proto funkci dostanou až někdy později v budoucnu. Konkrétní termín sdělen nebyl. Nvidia mimochodem asi zatím RTX Video nepodporuje na profesionálních grafikách, jenom na modelech GeForce.

Na noteboocích pozor na baterku

Na noteboocích je ještě třeba v grafických nastaveních Windows zvolit, aby se pro webový prohlížeč používal vysoký výkon – to proto, aby technologie Optimus zapnula při otevření prohlížeče samostatnou grafiku.

To bohužel znamená, že když otevřete Chrome/Edge (i bez přehrávání videa), zvýší se spotřeba a zkrátí se vám výdrž na baterie. Nvidia doporučuje mít v takovém případě na PC jak Chrome, tak Edge a pro přehrávání videa používat jeden z nich (a jen pro ten nastavíte režim vysokého grafického výkonu s dedikovaným GPU), zatímco pro ostatní práci druhý, se kterým notebook „žrát“ nebude.

Nastavení, které přinutí webový prohlížeč používat na notebooku samostatné GPU (zdroj: Nvidia)

HDR video není podporováno

Filtr podporuje vstupní videa s rozlišením od 360p do 1440p. Nicméně není podporováno video s HDR obsahem, YouTube Shorts a také některá videa s ochranou proti kopírování (DRM). Podpora pro HDR by snad ale eventuálně mohla být přidána. Vyžadovala by asi úpravy a jiné vyladění, ale soudíme, že není nemožná.

Upscaling funguje jak v okně nebo v rámci webové stránky, tak na celé obrazovce a aktivuje se při přehrávání v jakémkoli rozlišení, které je vyšší než vstupní. Při přehrávání na nativním rozlišení není RTX Video Super Resolution aktivní (tj. nelze použít ani pro odstranění kompresních artefaktů). Stejně tak nepodporuje downscaling. Upscaling se deaktivuje, pokud je okno prohlížeče v pozadí nebo minimalizované. A také tehdy, když je video pozastavené. Toto šetří elektřinu, kterou RTX Video Super Resolution docela konzumuje.

Zapojení tensor jader podle testů může výrazně zvýšit spotřebu proti úrovni obvyklé při přehrávání videa tradičním způsobem. ComputerBase vyšla na kartě RTX 3050 spotřeba vyšší o desítky wattů, na druhou stranu Tom’s Hardware zase hlásí velmi nízké nárůsty spotřeby (ComputerBase ovšem použil video se 60 snímky za sekundu a vyšším vstupním rozlišením).

První vizuální testy

Samozřejmě nejdůležitější je pro přehrávání videa, jak vypadá výsledek. Na kvalitu dosaženou touto funkcí se podívalo několik webů, například Tom’s Hardware, TechPowerUp nebo ComputerBase. Bude to asi i věc vkusu, ale vypadá to z nich, že přínos je spíš menší či diskutabilní (a pro vyšší vstupní rozlišení je asi vůbec otázka, zda to má cenu). Bez spolupráce s herním enginem AI nedokáže zřejmě dosáhnout takových zlepšení. Zejména ale asi chybí ta temporální rekonstrukce, která je asi hlavním trumfem DLSS 2.x. To díky ní dokáže z nízkého interního rozlišení dostat poměrně dobrou kvalitu, ale RTX Video to v takové míře nedokáže.

Na druhou stranu jako každý postprocessing může být RTX Video dvousečnou zbraní, například bylo poukázáno na to, že filtr může trpět typickým „AI“ problémem, který bývá vidět na fotkách z chytrých telefonů – divným nepřirozeným podáním keřů a stromů. Také, zdá se, může vznikat efekt olejomalby vznikající kombinací rozmazání (při odstraňování kompresních artefaktů) a doostřování. Tento jev býval vidět u DLSS 1.0 (výrazné to bylo u implementace v Anthem).

Je zajímavé, že Nvidia v prezentaci této funkce hodně ukazuje přehrávání zachycených videí z her místo nějakého obvyklejšího filmového/seriálového či „live“ obsahu natočeného kamerou nebo animovaného. Právě na takovém obsahu, zdá se, Super Resolution nepřináší velká zlepšení, kdežto na záznamech z her možná vypadá lépe – tomuto druhu obrazu asi více sedí a méně ubližuje onen způsob zaostření hran, který je použitý.

Je však pravda, že dalším vývojem a trénováním by se mohlo o něco zlepšit i podání reálného videa. Upscaling je ale vždy boj s tím, že je třeba zrekonstruovat informaci, která už není k dispozici, takže se nedají čekat dokonalé výsledky.

Zdroje: Nvidia (1, 2)

Jan Olšan, redaktor Cnews.cz


  •  
  •  
  •  
Flattr this!

Alternativa DLSS přímo ve Windows, použije AI akceleraci na NPU

Vedle Nvidie a jejího DLSS tu máme FSR od AMD a XeSS od Intelu. Aby toho nebylo málo, chystá vlastní upscaling pro hry také Microsoft. Jeho řešení má být zabudované ve Windows, ale vedle her ho prý bude možné používat ve všech možných aplikacích. A toto škálování bude založené na AI a má být schopné běžet na akcelerátorech různých výrobců, takže by nebylo tak omezující (v tom smyslu, že vás váže na jednu značku GPU) jako DLSS. Celý článok „Alternativa DLSS přímo ve Windows, použije AI akceleraci na NPU“ »

  •  
  •  
  •  

Technologie FSR v mobilech, Qualcomm a Samsung spojí síly s AMD

TechPowerUp v pondělí upozornil na zprávu leakera, který vystupuje na Twitteru pod přezdívkou Revegnus (či handlem Tech_Reve) a vypouští různé zprávy o mobilních telefonech. Ten přišel s informací, podle které se AMD ve vývoji upscalingu pro hry (který se používá pro zvýšení jejich snímkové frekvence tím, že se sníží interně zpracovávané rozlišení) s Qualcommem a Samsungem a všechny tři firmy by používaly technologii FSR. Celý článok „Technologie FSR v mobilech, Qualcomm a Samsung spojí síly s AMD“ »

  •  
  •  
  •  

Proč chtít GeForce RTX 4000? Rozbor technologií Nvidia DLSS 3.5

V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu. Celý článok „Proč chtít GeForce RTX 4000? Rozbor technologií Nvidia DLSS 3.5“ »

  •  
  •  
  •  

One comment Pridať komentár

  1. Je docela legrace s jakou pompou to přichází, přitom to je jen funkce do počtu. Co nevidět bude v přehrávačích samozřejmostí upscaling a frame interpolation o mnohem širších možnostech (podporou celé škály trénovaných modelů a parametrů).

Pridaj komentár

Vaša e-mailová adresa nebude zverejnená. Vyžadované polia sú označené *