Funkce Frame Generation. O co jde?
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Upozornění: Tento článek vznikl na objednávku Nvidie a je jí placený. Firma však žádným způsobem nezasahovala do jeho obsahu a jediná podmínka byla přiblížit uživatelům výhody technologií DLSS 3.5. Zaznamenané výsledky od páté kapitoly jsou naše vlastní.
Nejprve něco k teorii za tím, jak tyto technologie fungují.
Generování snímků (či také DLSS 3)
Generace grafik GeForce RX 4000 přinesla jako exkluzivní novinku DLSS 3, nové rozšíření technologií AI upscalingu (také lze hovořit o super resolution technice) a vylepšení obrazu pomocí neuronové sítě, předtím známých pod hlavičkou DLSS 2.x. To je v krátkosti kombinace spatiálního upscalingu pomocí neuronové sítě a temporální rekonstrukce, která pomocí kompenzace pohybu na základě pohybových vektorů získaných z enginu hry a dalších dat dokáže temporálně „zkombinovat“ informaci přítomnou v několika po sobě jdoucích snímcích a přidat ji do současného snímku, v kterém by vlivem nízkého rozlišení při vykreslování jinak třeba ani nebyla pořádně vidět.
DLSS 2.x zvyšuje výkon ve hře, protože při určitém rozlišení monitoru vykresluje hru s nižším interním rozlišením (čímž se výrazně zlepší FPS) a poté provede popisovaný upscaling na cílové rozlišení. S oním temporálním „zrekonstruováním“ či „vylepšením“ detailů může mít velmi dobrý efekt a dokáže kvalitu posunout výrazně výš, než co je možné při obyčejném upscalingu pracujícím jen s jedním jediným snímkem. Podle Nvidie by kvalita měla být velmi blízká nativnímu rozlišení (v některých konkrétních věcech může být i lepší, protože DLSS 2.x zároveň stabilizuje a vyhlazuje, takže může odstraňovat shimmering, který hra může ve výchozím stavu generovat).
S DLSS 2.x Nvidia dělá to, že generuje na obrazovku více pixelů, než kolik jich hra na GPU reálně vykresluje. DLSS 3 a poté na něj navazující DLSS 3.5 pod sebou zahrnuje tuto technologii, ale zároveň přináší novou funkci, která toto „multiplikování pixelů“ převádí do dalšího rozměru – zatímco upscaling zvětší počet pixelů (rozlišení) v rámci jednoho snímku (byť pro tyto účely analyzuje temporálně i další snímky), DLSS 3 přidává funkci tzv. Generování Snímků (orig. Frame Generation), které k existujícím snímkům, které hra sama vykreslila, „přidělává“ snímky úplně nové. V současné podobě dochází víceméně ke zdvojnásobení snímkové frekvence, kdy mezi každé dva snímky již existující funkce generování snímků vloží umělý mezisnímek.
Zatímco DLSS 2.x zvyšuje FPS tím, že snižuje výkon potřebný pro vypočítání jednoho snímku, DLSS 3/DLSS 3.5 prostě poté, co hra provede svoji práci, přidá další snímky. Zvýšení FPS je zde tedy jiného charakteru. U běžného upscalingu je každý snímek produktem enginu hry, který pro něj vypočítal, jak mají vypadat všechny efekty (včetně třeba osvětlení, různých záblesků a podobných komplikovanějších změn mezi snímky), ale také jak se mají které objekty hýbat (letící střely), a je v něm zohledněná informace o tom, co hráči dělají.
Zdvojnásobení FPS pomocí Optical Flow
Generování snímků v DLSS 3/3.5 probíhá nezávisle na enginu hry, jde vlastně o externí post-processing. Základem jsou snímky produkované hry (které už mohou zahrnovat upscalování pomocí DLSS 2.x, tedy s temporální rekonstrukcí). Pak je aplikováno samotné generování snímků. To používá techniku optical flow a generuje nový snímek tak, že porovná dva po sobě jdoucí snímky (přesněji, těch z minulosti umí využít víc, ale budoucí bude asi jen jeden) a z jejich dat odhadne, jak by měl vypadat mezisnímek mezi nimi na základě toho, co ví o pohybu objektů.
Tuto operaci provádí speciální AI (neuronová síť typu Convolutional Autoencoder) trénovaná na snímcích o vysokém rozlišení 16K. Při svém učení porovnávala své vlastní snímky odhadnuté pomocí techniky optical flow s referenčním reálným snímkem a postupným učením se zdokonalovala. Jsou přitom jako u DLSS 2.x využity pohybové vektory získané jako metadata od enginu hry, ale nejen ty.
Exkluzivně jen s GeForce RTX 4000
Důležitou komponentou při práci této neuronové sítě je akcelerace na specializovaných jednotkách – jsou použité Optical Flow Acceleratory přítomné v GPU generace GeForce RTX 4000, které poskytuje jejich architektura Ada Lovelace. Ta totiž obsahuje novou a schopnější generaci těchto jednotek (proti předchozím generacím, které mají starší verzi), na níž je generování snímků v rámci DLSS 3 založené. Na jiných generacích GPU tuto funkci proto nelze použít a dělá to z generování snímku také jeden z důvodů, proč tyto grafiky koupit.
Optical Flow Acceleratory dodávají umělé inteligenci generující snímky informace o tom, jak probíhá ve snímcích pohyb objektů a další změny. Analýza Optical Flow totiž také samostatně analyzuje snímky a hledá pohybové vektory, což je druhý separátní zdroj informace o pohybu vedle pohybových vektorů získaných ze hry. To je proto, že využití těchto dvou separátních zdrojů může předejít některým chybám v obraze, když pohybové vektory získané z enginu hry nejsou zcela správné.
Plynulost versus reaktivita a latence
Vygenerovaný mezisnímek aproximuje, kde by měly pohybující se objekty být a jak by měly vypadat v mezičase mezi stavem zachyceným oběma reálnými snímky. U složitějšího, nepravidelného pohybu nebo třeba světelných efektů může takový odhad být méně spolehlivý a v některých případech nemusí být odpovídající informace nalezena, takže v obraze vzniká díra, která se musí zamaskovat třeba vyplněním z okolních bodů.
Obecně tyto vygenerované mezisnímky mají výhodu toho, že učiní pohyb ve hře plynulejší, což bude mít význam zejména, pokud začínáte s nízkou snímkovou frekvencí. Protože ale jsou nezávislé na samotném běhu hry, nejsou plnohodnotné z hlediska interaktivity a toho, aby hráč byl plně sladěný s děním ve hře. Generované snímky nemají vazbu na dění ve hře, protože DLSS 3 pracuje jen s obrazovými daty a pohybovou informací jednotlivých snímků, které má jako vstup – hra a vstupy či akce hráčů nemohou přímo ovlivnit obsah interpolovaných snímků. Vzniká tím nepřesnost, protože pohyb a události prezentované v umělém mezisnímku nemusí přesně odpovídat „realitě“.
Tato metoda zvýšení snímkové frekvence nemusí proto být moc vhodná do rychlých soutěžních her a eSports. V těch vám nejde o to, aby pohyb byl hezky plynulý, ale abyste viděli akce soupeřů co nejdříve, ale také nejpřesněji, a dokázali na vše co nejrychleji reagovat.
Vedle toho může být nevýhoda vygenerovaných snímků obecně v tom, že v nich mohou být artefakty, deformace kvůli nevyhnutelné nedokonalosti predikce Optical Flow a obecně toho, že někdy mohou chybět data (problém může vzniknout například zákrytem objektů a pozadí). Toto může být zamaskováno v pohybu, protože se vám horší interpolované snímky slijí s kvalitními „legitimními“, ale celkově není snímková frekvence zdvojnásobená pomocí tohoto druhu generování snímků něco kvalitativně stejného s tím, kdybyste danou hodnotu FPS dostali se všemi snímky reálnými.
Kdy je přínos: limitace CPU a plynulý pohyb
Zdvojnásobení snímků takto „mimo hru“ může mít přínos v momentě, kdy jste limitování výkonem GPU, ale dost zásadní to může být u her, které jsou limitovány výkonem CPU (například kvůli výpočtům AI nepřátel nebo fyziky). Právě tam se totiž uplatní to, že tyto nové (i když umělé) snímky vznikají „bez konzultace“ se hrou. Díky tomu ale v situaci, kdy CPU jede na maximum a hra nedokáže vygenerovat vyšší snímkovou frekvenci, dokáže DLSS 3 (či DLSS 3.5) s generováním snímků pořád zdvojnásobit FPS a může značně zlepšit pocitovou plynulost (možná nejvýraznější současný příklad bude Microsoft Flight Simulator). Všimněte si, že v této situaci by DLSS 2.x nepomohlo – pouze by snížilo hardwarovou náročnost vykreslování na GPU, ale protože brzdou je v této situaci čistě příprava snímků na CPU, výsledné FPS by se nezlepšily. Ale DLSS 3/DLSS 3.5 od hry a jejího CPU-limitovaného kódu nechce žádnou práci navíc a „vymyslí“ si další snímky samo od sebe, tudíž tímto není svázáno jako DLSS 2.x.
Nevýhoda: Zvýšená latence hry
Generování snímků nicméně zhoršuje latenci hry kvůli tomu, že nový snímek je generován z minimálně dvou po sobě následujících a je vložen mezi ně. V případě, že vkládáte jeden umělý snímek mezi dva reálné, je nutné odložit zobrazení posledního reálného snímku – ovladač GPU si ho musí po jeho dokončení schovat a nejprve vyrobit onen interpolovaný snímek a zobrazit ten. Poté musí ještě počkat stejnou dobu, jaká byla mezi předposledním reálným a uměle vygenerovaným snímkem a až poté může být onen dříve vykreslený snímek dodaný hrou zobrazen. DLSS 3 tedy potřebuje mít frontu snímků zpracovávaných dopředu a toto zvyšuje latenci. Všechny reakce hry na vaše vstupy či na akce vašich protivníků se vám na monitoru zobrazí o trochu později než bez této funkce.
⠀
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Reflex: Jak mít co nejrychlejší reakce
Na tomto místě je proto dobré zmínit technologii Nvidia Reflex, poskytovanou exkluzivně grafikami Nvidia GeForce, která je důležitá pro soutěžní hraní. Reflex řeší právě problém, kterým je pro soutěžní hráče latence mezi ovládáním a zobrazením, nebo také lze říct mezi děním ve hře (včetně akcí protihráčů) a jejich zobrazením na monitoru. Tato latence představuje čas, který uběhne před tím, než se nějaká událost ve hře – třeba vynoření se nepřítele zpoza zdi – projeví na monitoru. A je to tedy čas, který se přidává jako negativní znevýhodnění k samotnému reakčnímu času hráče. Čím je tato latence nižší, tím má hráč větší výhodu, protože může začít reagovat dříve než protihráč. V soutěžním multiplayeru by co nejnižší latence přímo měla zlepšovat potenciál soutěžícího.
Předchozí řešení zaměřená na zkrácení latence (jako Low Latency Mode) pracují s eliminováním fronty snímků v ovladači, ale Reflex jde za možnosti těchto technologií. Reflex stojí na komponentě (Reflex SDK), kterou vývojáři integrují přímo do hry a tím se otevírají hlubší možnosti zkrácení různých odezev a zpoždění, která mezi vstupem a výstupem vznikají.
Vedle Reflex SDK a jeho integrace do her Reflex také nabízí měření vstupní latence periférií jako jsou myši, klávesnice, ale i latence monitorů. Tato funkce Reflex Latency Analyzer spolupracuje s podporovaným hardwarem a monitory s G-Sync. Pro většinu hráčů bude asi relevantní hlavně Reflex SDK a jeho integrace ve hrách, což na speciální myši či monitory navázáno není.
Při hraní vždy nějakou latenci máte a jejím zdrojem je současně mnoho věcí. Moc nemůžete udělat s latencí síťového připojení (pokud máte to nejlepší možné či vám dostupné), která představuje zpoždění (lag či „ping“) paketů mezi vámi a serverem hry. Nvidia Reflex se snaží zmírnit další latenci, která nastává až u vás na počítači, kterou nazývá latence systému („System Latency“). Do ní „přispívá“ vstupní prodleva vaší myši, klávesnice a zpracován jejich signálů v operačním systému na začátku a na konci zase zpoždění mezi tím, kdy je hotový snímek z grafiky poslán do monitoru a kdy je skutečně zobrazen (monitor má určitou odezvu panelu a také input lag elektroniky).
Mezi těmito latencemi periférií a monitoru pak leží latence, která je dána samotnou hrou a jejím kódem, jenž musí zpracovat vstupy hráče či hráčů, vypočítat, co udělají s herní scénou, jak se v ní všechny objekty zachovají. Tato část probíhá zejména na procesoru herního počítače a Nvidia jí říká latence hry („Game Latency“). Poté hra rozkáže grafickému ovladači vykreslit snímek hry, který výsledek tohoto ukazuje. Výroba tohoto snímku na GPU je pak latence vykreslování („Render Latency“).
Když vám hra běží při vysoké snímkové frekvenci díky dostatečnému výkonu GPU, zkracuje se nepřímou úměrností trvání snímků a čas, za který jsou zpracovány, takže vysoký výkon sám zkracuje latenci hry a latenci vykreslování. Jen vysoké FPS ale nejsou všechno, co potřebujete, protože to, jak hra pracuje, může latenci uměle zvyšovat. Přidání Reflexu do her ve spolupráci s ovladači grafik GeForce se toto snaží co možná eliminovat. Hlavním způsobem je, že se omezí různé prostoje, které se ve hře mohou vytvářet pomocí lepší synchronizace s nízkou latencí, která má zajistit, aby snímky odcházely k vykreslení do monitoru co nejdříve.
Prvním krokem je omezení toho, aby část hry běžící na CPU generovala přebytek snímků pro další části vykreslování běžící na GPU (tzv. CPU Back Pressure). Když se toto děje, vznikne fronta čekajících snímků, které ale každý zhoršují latenci. Další takováto fronta může pak vznikat i v části běžící na GPU v tzv. „Render Queue“. Reflex usiluje o to, aby celý komplex hry běžící na CPU a GPU fungoval stylem „just in time“, tedy aby hotové podklady snímku ze zpracování na CPU dorazily na GPU zhruba ve chvíli, kdy na nich GPU může začít pracovat (bez odkladu) a pak zase co možná bez odkladu mohly rovnou být odeslány na monitor.
Low Latency Boost pro GPU
Hra se integrovaným Reflexem by tedy měla regulovat tempo, s nímž jsou v části běžící na CPU vyráběny podklady pro nové snímky, když je GPU nezvládá tak rychle zpracovávat. Tím by vznikl onen popisovaný negativní jev CPU Back Pressure a zvýšila se latence hry. Reflex proto dynamicky řídí to, kdy jsou snímky GPU zadávány.
Zároveň ovladače GPU mohou zvýšit frekvenci GPU tak, aby jím byly snímky vykreslovány rychleji, Reflex tedy komunikuje i s řízením frekvencí GPU. Tato funkce se nazývá Low Latency Boost a má schopnost přebíjet normální řízení spotřeby GPU, které se snaží optimalizovat jeho takty na vyšší celkovou energetickou efektivitu. Low Latency Boost by měl mít možnost v situaci, kdy hrozí zpoždění vykreslování, vytočit takty i za cenu ztráty efektivity dočasně výš.
Tento Low Latency Boost může paradoxně pomoci u her, kde je zátěž GPU poměrně malá, protože jsou nenáročné a limituje je hlavně procesor. V takových situacích totiž grafika má tendenci běžet v úsporných režimech a s nižšími takty. Ty ale mohou u soutěžní hry vést k oněm vyšším latencím vykreslování. Low Latency Boost tedy i v takovém stavu, kde je GPU málo vytížené, aktivuje nejvýkonnější režim, aby se latence vykreslování co nejvíc zkrátily. Toto vede ovšem ke zvýšení spotřeby GPU, kdy nenáročná hra, u níž čekáte nízkou spotřebu, konzumuje poměrně dost wattů (a generuje vyšší teploty GPU). Například pro případy hraní na notebooku je proto možné Low Latency Boost vypnout a ponechat Reflex zapnutý bez něj.
V krátkosti řečeno se podle Nvidia Reflex snaží v situacích, kdy je hra limitovaná výkonem GPU (tedy třeba v náročné scéně, kdy klesnou FPS) zamezit tomu, aby CPU běželo napřed a vytvořilo několik čekajících snímků (zhoršujících latenci vykreslování). A naopak v situacích, kdy je limit na straně CPU, se Reflex snaží minimalizovat čas, který snímkům trvá, než je GPU vykreslí (latence vykreslování) a pošle dál tím, že drží takty GPU vysoké.
Pro GeForce GTX 900 a novější
Funkce Reflex funguje jen na grafikách Nvidia GeForce, ale podporuje i starší generace (až po GeForce GTX 900). Low Latency Boost by měla ale nejlépe fungovat na GeForce RTX 3000 a novějších grafikách, které jsou schopné lépe při jeho aktivaci navýšit takty.
Zlepšení odezvy díky Reflexu by měla být samozřejmě nejdůležitější pro hry s PvP multiplayerem a obecně soutěžním multiplayerem a eSports hry – tedy včetně populárních titulů jako Fortnite, Valorant, Apex Legends, Call of Duty.
Reflex a Generování snímků
Zatímco v jádru je Reflex nejzajímavější pro takovéto soutěžní hráče, technologie se stala důležitou i ve hrách, kde by se na latenci jinak příliš nehledělo s příchodem DLSS 3 (a později DLSS 3.5), jež přineslo generování snímků.
Jak už bylo řečeno, při hraní vždy nějakou latenci máte, vytváří jí vstupní zařízení i zpracování těchto podnětů ve hře, fyzikální výpočty a vykreslování, input lag elektroniky monitoru a ještě i odezva pixelů panelu. Toto vše se sčítá v poměrně velkou sumu milisekund. Generování snímků, jak bylo řečeno, musí odkládat vykreslování posledního snímku (protože ten bude následovat až po zobrazení toho uměle dogenerovaného) a tudíž přidává samo nějakou další latenci navíc. Nemusí to už být až zas tolik milisekund proti všem ostatním faktorům dohromady, aby to enormně vadilo, Avšak nějaké zhoršení zde z podstaty věci vždy nastává. V poslední době je snaha aspoň pro rychlé soutěžní hry tyto latence zkracovat a eliminovat, zatímco generování snímků jde opačným směrem.
Proto má DLSS 3/3.5 při použití generování snímků současně integrovanou technologii Reflex, jejíž účelem je zase latenci snížit. Reflex nemůže odstranit ono inherentní prodloužení latence, které generováním snímku vzniklo, tedy onen negativní efekt nutnosti bufferovat aspoň jeden budoucí snímek pro interpolaci předchozího. Reflex ale dělá to, že potlačuje ostatní zdroje latence (a to latence hry a latence vykreslování před tím, než přijde řada na generování snímků).
Jde tedy o kompenzaci tohoto negativního vlivu. V případě, že začnete s hrou již optimalizovanou na nízkou latenci tím, že jste si zapnuli Reflex, a pak k tomu aktivujete generování snímků navíc, latence vám samozřejmě stoupne, protože Reflex už předtím potenciály k snížení latence využil a dále nemá kde brát.
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
DLSS 3.5: Ray Reconstruction
Nejnovější exkluzivní technologií, kterou Nvidia přinesla pro uživatele grafik GeForce RTX, je Ray Reconstruction, která se poprvé objevila v DLSS 3.5. je třeba říci, že DLSS 3.5 do sebe zahrnuje také DLSS 2.x a výše popisované Generování Snímků, které bylo novinkou DLSS 3. Ovšem hry používající DLSS 3.5 nemusí nutně používat i Generování snímků. Zatímco to je kvůli používání Optical Flow Acceleratorů omezeno jen na grafiky GeForce RTX 4000, ostatní komponenty DLSS 3.5 mohou využít i předchozí generace GeForce RTX 3000 a RTX 2000 – včetně novinky Ray Reconstruction.
Ray Reconstruction je novinka ovlivňující jednak upscaling/super resolution ve smyslu zavedeném DLSS 2.x, a vedle toho současně raytracingové efekty (tedy „RTX“ či „DXR“) ve hrách. Přínosem této techniky by mělo být zlepšení kvality, ale jako vedlejší efekt je také možné zlepšení výkonu.
Denoising při ray tracingu
Jak asi víte, pro vykreslování scény ray tracingem je potřeba analyzovat velké množství paprsků světla dopadajících a odrážejících se od objektů. Problém ve hrách je, že není dost výkonu k vypočítání tolika paprsků, kolik by bylo třeba. Proto se jich analyzuje jen relativně malé množství. Můžete si to představit tak, že místo výsledné scény máte snímek ne se souvislým obrazem, ale jen s individuálními body tvořícími jakýsi zašuměný obraz s mezerami mezi sebou.
Herní implementace raytracingu v DXR (DirectX Ray Tracing) od počátku používá denoisery čili filtry odstraňující vizuální šum, aby tento syrový obraz vyhladily, vyplnily a potlačily ony diskontinuity, aby vypadal normálně dal se použít ve hře. Tyto denoisery jsou ve hrách dnes typicky řešeny různými tradičními algoritmy, často více zkombinovanými algoritmy. Mohou používat techniky temporální (kdy kombinují informaci z několika po sobě jdoucích snímků) i spatiální (tedy vyhlazující jen na úrovni jednoho snímku). Mělo by jít o podobné algoritmy, jaké znáte, pokud máte zkušenost s filtrováním videa, zde běží na shaderech GPU. Podobně jako při zpracování videa ale podobné filtry mohou také rozmazávat detail nebo způsobovat artefakty.
Ray Reconstruction pomocí AI
Tato úloha je jednou z těch, pro kterou se dobře dá uplatnit princip fungování neuronových sítí, a technologie Ray Reconstruction v DLSS 3.5 přináší speciální neuronovou síť, která se použije na tomto místě vykreslování hry a nahrazuje práci obvyklých denoiserů. Neuronová síť se pro tento účel trénuje pomocí korpusu čistých a zašuměných snímků, podobně jako se trénuje na originálních a zmenšených snímcích pro upscaling. Po natrénování by měla podle Nvidie dosahovat lepších výsledků než tradiční denoisery.
Použití této AI v rámci DLSS 3.5 proto může zvýšit obrazovou kvalitu, jelikož denoiser a jeho temporální funkce bude schopná zachovávat některé detaily navíc a zároveň předcházet některým artefaktům (temporálním duchům, nebo rozmazání detailů), které současné denoisery způsobují nebo nejsou schopné jim předejít.
To neznamená nutně, že bude toto odstranění šumu bez obrazových artefaktů nebo ztráty detailů, ale mělo by jich být méně než s běžnými denoisery, zatímco detailů by mělo být zachovaných více. Ideálně by mělo použití této AI přinášet něco z benefitů DLSS 2.x i do této fáze vykreslování raytracingových efektů.
Tento AI filtr odstraňující šum je ve fungování DLSS 2.x hodně blízký– provádí s obrazovými daty raytracingového osvětlení zároveň odstranění šumu, ale také v podstatě jejich upscaling. Používá jako pomůcku různá data z enginu hry, kterými vylepšuje vstupní vykreslené snímky, ovšem v tomto případě ne finální snímky scény, ale obrazová data raytracingového osvětlení. Filtr je temporální a používá pohybové vektory – dává si dohromady několik po sobě jdoucích minulých snímků k temporálnímu filtrování a tímto může také obnovit určitý detail, který by jinak v nízkém rozlišení používaném při raytracingových efektech zanikal
Integrace s DLSS 2.x
Důležitý element pro ono slibované zlepšení vizuální kvality je, že tato odšumovací AI je propojená s upscalovací AI používanou pro DLSS 2.x, mělo by jít o jeden model, který provádí obě tyto funkce. To by mělo být nápomocno v tom, že AI má více informací ke své práci. Zatímco při odděleném fungování by se stávalo, že DLSS 2.x nakonec odvede horší práci s upscalingem osvětlení proto, že před ním denoiser vymazal určité detaily a informaci ze vstupu, takto integrovaná AI bude moci podobnou informaci pořád nějak aplikovat jako vstup pro své rozhodování.Jde zejména o tzv. „vysokofrekvenční informaci“, kterou filtry odstraňující šum (které typicky fungují jako low-pass filtr) mají tendenci odstranit, ale pro upscaling a temporální rekonstrukci může být ale užitečná ke zrekonstruování a stabilizování detailů ve vyšším rozlišení a kvalitě.
Nejen kvalitativní zlepšení, ale potenciálně také plus pro výkon
Primárním přínosem by tedy mělo být zlepšení raytracingových efektů a částí obrazu, které jsou jimi generované, tedy například osvětlení, odlesky a odrazy. A to tehdy, pokud je ray tracing používán ve spojení s DLSS upscalingem (super resolution). Nicméně někdy může dojít i ke zlepšení výkonu, protože se výpočet denoisingu přenese na AI model běžící na tensor jádrech a uvolní se GPU shadery, jejichž výkon tradiční denoisery konzumují. Zdá se, že alespoň v některých hrách také může být o něco snížena náročnost na paměť.
Co je to Overdrive Mode (Cyberpunk 2077)? Hra s plným ray tracingem
Zatímco od roku 2018 se ve hrách už často vyskytuje raytracingová grafika, dosavadní implementace byly omezené. Kvůli vysoká hardwarové náročnosti není nebo nebylo možné vykreslovat touto metodou celou scénu (jak to dělá například test Cinebech při kreslení benchmarkované scény, nebo podobné renderingové nástroje při tvorbě profesionálních vizualizací nebo i celých filmových scén). Raytracingové hry dosud vykreslovaly raytracing jen částečně – pro některé objekty (odrazivé plochy, zrcadla), pro stíny nebo efekty osvětlení. Šlo o hybridní přístup přidávající raytracingové efekty k „rasterizované“ scéně.
Nicméně do budoucna by hry založené na kompletním reaytracingovém vykreslování scény měly existovat. S tzv. Path Tracingem by hra měla kompletní scénu (tedy všechny pixely) kreslit skrze raytracingovou metodu, takže by měla celá scéna mít realistické efekty osvětlení zohledňující všechny zdroje světla na scéně, věrné odrazy světla a objektů a fyzikálně správně se chovající stíny.
Prvním preview takto vyvedené hry (pokud jde o velké AAA tituly) by měla být hra Cyberpunk 2077, která měla premiéru jako hra s konvenčním hybridním vykreslováním s přidanými raytracingovými efekty. Letos ale dostala patch přidávající tzv. Ray Tracing Overdrive Mode, který má hru vykreslovat s plným ray tracingem.
V Overdrive Mode by měl prakticky každý zdroj světla na scéně (tedy včetně světel aut, neonů, lamp) a jeho dopad na scénu být prováděn pomocí ray tracingu, s realistickými efekty a stíny. Ray tracingem je řešená i globální iluminace a nepřímá iluminace z různých odrazů světla.
Ray Tracing Overdrive Mode je ovšem enormně náročný na hardware a zpracování této grafiky. Hra byla silně optimalizována a jsou v ní použité Nvidií optimalizované denoisery pro raytracingové vykreslování, které mají podobnou funkci jako upscaling (byla o nich řeč v části o Ray Reconstruction).
Nicméně na dnešních GPU je hraní takovéto hry víceméně umožněno jen díky technologiím jako je upscaling/super resolution (DLSS 2.x) a generování snímků (DLSS 3/3.5), které z dost nízkého rozlišení a snímkové frekvence, kterou lze dnes z GPU dostat, dokáží vytvořit výstup na vyšším rozlišení a plynulejší snímkové frekvenci.
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Testovací komponenty (a prostředí)…
Na platformě AMD (procesor Ryzen 9 5900X na základní desce MSI MEG X570 Ace) s paměťmi Patriot Blackout (4× 8 GB, 3600 MHz/CL18) používáme střídavě dvě grafické karty GeForce. Gigabyte RTX 4060 Windforce OC 8G reprezentuje levnější možnost a Gigabyte RTX 4090 Gaming OC 24G zase možnost velmi výkonnou. Z výsledků se tak ukáže, na co která grafická karta stačí a jaké plynulost hry dosahuje. Ovládače jsou v obou dvou případech Nvidia GeForce 537.58 Game Ready. Aplikace OCAT, kterou používáme na zaznamenávání časů snímků, je ve verzi 1.6.3.
Měření probíhají podle přísných kritérií stejných jako v standardních testech grafických karet. To znamená ve větrném tunelu s řádně kontrolovanou vstupní teplotou vzduchu pohybující se v úzkém rozmezí 21–21,3 °C. I to je důležité, aby se minimalizovala chyba měření. Kvůli co nejvyšší přesnosti jsou všechny hodnoty v grafech výsledkem aritmetického průměru z tří opakovaných průchodů.
… Cyberpunk 2077 Phantom Liberty
Testy probíhají ve hře Cyberpunk 2077 s DLC Phantom Liberty (patch 2.01) v rozlišeních 1920 × 1080 px, 2560 × 1440 a 3840 × 2160 px. Jednak v nativních rozlišeních, ale hlavně s uplatněním DLSS.
Testovací platforma: vlastní scéna (Little China); API DirectX 12, přednastavený grafický profil Ray tracing: Overdrive nebo Ray tracing (podle testu); extra nastavení DLSS, DLSS Frame Generation a DLSS Ray Reconstruction (různé kombinace v závislosti na vybraném testu), Nvidia Reflex Low Latency: on *
* Technologie Nvidia Reflex je aktivní pro všechny měření, které jsou v rámci výsledků v kapitolách 4 a 5. Reflex je neoddělitelnou součástí DLSS Frame Generation (při jejím aktivování ho nelze vypnout).
Grafická nastavení pro režim Ray Tracing: Overdrive
Grafická nastavení Ray Tracing: Ultra
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Výsledky testů – Ray Tracing: Overdrive
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Výsledky testů – Ray Tracing: Ultra
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Porovnání obrazové kvality
Nvidia Image Comparison & Analysis Tool
Pro vizuální porovnání snímků jsme použili aplikaci Nvidia Image Comparison & Analysis Tool neboli ICAT. V té se dá současně nahrát buď dvojice snímků nebo dvojice videí, které jste si uložili z nějaké hry (nebo jiného zdroje), a ty pak lze porovnávat dvěma způsoby.
Prvním je režim side-by-side, který je na našich ilustračních snímcích. V jedné polovině obrazovky máte jeden zdroj, v druhé druhý, přičemž je synchronizováno posouvání a zoom, abyste se mohli takto vedle sebe podívat na různé detaily a porovnat stav před/po zapnutí nějaké funkce nebo mezi dvěma různými nastaveními.
Druhý režim je s posuvníkem (split-screen), kdy jsou oba zdroje položené na sebe a posuvník mění zobrazení z jednoho na druhý (nalevo od posuvníku je jeden zdroj, napravo od něj druhý). Výhoda je, že můžete lépe zachytit změnu, pokud se díváte do místa, kterým posuvník přetáhnete. Nevýhoda je, že nevidíte obě verze určitého místa najednou.
Image Comparison & Analysis Tool se dá stáhnout zde a je zadarmo.
Srovnávací snímky 1: Overdrive Mode / Path Tracing
Vizuální rozdíl u Overdrive Mode (tedy s plným ray tracingem osvětlení a stínů / path tracingem) je opravdu velký. Ovšem ne že by to byl nějaký hned do očí bijící rozdíl v tom smyslu, jako když máte v jednom případě nízké rozpixelované rozlišení a v druhém detailnější obraz, takto evidentní to často není. Naše první reakce byla, že stíny a světla se chovají a odrážejí jinak, různé části jsou nasvícené různě silně.
Možná, že zpochybňování přínosů raytracingové grafiky může někdy být způsobené tímto – uživatel vidí evidentní rozdíl, ale nemusí mu být evidentní, zda je odlišné osvětlení automaticky lepší. Je to asi proto, že přes pokročilost grafiky CP2077 jde pořád o herní simulaci a vizuál těchto her má pořád trošku „animovaný“ nádech), takže nemáme až takovou schopnost skutečný realismus okamžitě intuitivně rozeznat.
Při použití dobře udělaného Path Tracingu by obecně měly stíny a světla ale být podané více v souladu s fyzikálními zákony, takže v podstatě jsou důvody věřit, že mezi těmito dvěma různými podáními je Overdrive Mode ta věrnější a správnější možnost. Zajímavý a možná opravdu fyzikálně podložený rozdíl jsme si všimli třeba zde:
Napravo od jasné obrazovky s kravaťákem je betonová stěna, která je s Path Tracingem osvětlená oranžově jako venkovní ulice, což by asi mělo být správné, zatímco starý hybridní ray tracing ji nasvěcuje zeleně od zářivky v podloubí, ač se zdá, že by světlo z ní na tuto plochu úplně nemuselo dopadat (je odvrácená?). Velký rozdíl je pak strop nad vaší hlavou, na screenshotu ta zóna nad jasnou obrazovkou. Se starým hybridním ray tracingem je zde beton z nějakého důvodu nasvětlený, jako by byl chybně ovlivněn onou obrazovkou (která je z jeho druhé strany), zatímco s path tracingem je správně tmavý.
Další místo, kde se to zdá mluvit pro Path Tracing, by mohlo být zde:
Napravo je ve scéně s hybridním starým RT čelo balkonu vedle červeného neonového nápisu podivně tmavé, ačkoliv by mělo logicky být podobně nasvícené, jako třeba povrch ulice dole – Path Tracing tuto část kreslí výrazně světleji a dává to smysl. Rozdíl je možná daný tím, že starý hybridní RT není schopný na tuto plochu odrazit ono jasné světlo z velké obrazovky, zatímco Path Tracing už ano. Podobně ona celkově nasvětlenější oblast kolem neonové šipky nad balkonem, zdá se přirozenější, aby „vzduch okolo“ byl světlejší a ne tmavý jako vpravo bez path tracingu.
Druhá scéna, kterou jsme si vytipovali, je denní a poněkud překvapila. Ukázalo se, že zde nebudou rozdíly tak jasné. Pokud někde neděláme chybu, tak mimo noční a potemnělé scény zdá se rozdíl mezi Path Tracingem/Overdrive Mode a starším hybridním ray tracingem není moc vidět.
Paradoxně se zdá, že v některých zónách obrazu má starší a horší ray tracing více detailů (otázka je samozřejmě, jestli to tak je správně).
Zde v také denní scéně už ale možná je vidět rozdíl i ve dne:
Pokud se podíváte na pravý snímek, poměrně ostrý denní stín má zdá se ve verzi vykreslené se starým hybridním RT stejnou intenzitu, takže úplně vpravo stěna vypadá příliš světle, ale naopak směrem doleva je stín moc tmavý. Ve snímku s Overdrive Mode (vlevo) je vidět, že stín směrem zleva doprava zintenzivňuje, takže potemnělá pravá část vypadá lépe, ale nalevo nevrhá například římsa mezi dveřmi a sloupem s obkladačkami už tak brutálně černý stín. Scéna s Overdrive Mode se podle toho zdá trošku lepší.
Srovnávací snímky 2: Ray Reconstruction
Ve stejných scénách teď ještě snímky po aktivování technologie Ray Reconstruction. Teď tedy srovnáváme stav, kdy máme v obou případech zapnutý Overdrive Mode a Path Tracing. Vlevo je ještě navíc aktivována funkce Ray Reconstruction, vpravo to máme bez ní (jde o stejný snímek, jako v předešlém srovnání).
Zde už jsou rozdíly (mimo měnící se světla kvůli nestálosti scény) subtilnější. Nejnápadnější je asi odraz v kaluži, kde část neonu s menšími nápisy bez Ray Reconstruction skončila velmi rozmazaná a celkově je nápis v louži s Ray Reconstruction ostřejší. Není to ovšem úplně stoprocentní vítězství, protože třeba detaily (linky) na odraženém spodku balkonu zdá se AI denoiser používaný funkcí Ray Reconstruction rozmazal naopak více než původní konvenční denoiser.
Oblasti, kde AI denoiser používaný Ray Reconstruction je lepší, lze najít i v denních scénách. Zde ve třetí scéna můžete vidět, že bez Ray Reconstruction (prav snímek) se v části scény, která je ve stínu, ztratí některé i docela výrazné line na zdech, které s Ray Reconstruction byly zachovány. Nejde o rozdíl do očí bijící, ale je vidět, že v něčem tu je AI úspěšnější.
V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.
Závěr
Ray Reconstruction opravdu funguje
Příjemné zjištění je, že Ray Reconstruction skutečně nemá žádný negativní vliv na výkon a naopak mu kvůli zjednodušení procesu vykreslování trošku pomáhá. Nárůst výkonu s Ray Reconstruction je prakticky vždy, kupodivu je ale vyšší u GeForce RTX 4060 (typicky 5–8 %), kdežto u výkonnější GeForce RTX 4090 se už získávají spíš 1–2 % výkonu.
U GeForce RTX 4090 nám ale z nějakého důvodu vychází, že tato zlepšení FPS uvidíte až v situaci se zapnutým generováním snímků – bez této obezličky se na GeForce RTX 4090 v Overdrive Mode v rozlišením 1080p a 1440p nezlepšily průměrné FPS. Ale zvýšily se minimální FPS, což se také dá počítat za zlepšení. V rozlišení 4K, kdy je náročnost největší, už se však zlepšují i FPS a obecně už má Ray Reconstruction i na RTX 4090 vyšší přínos (4–9% zlepšení FPS).
Prakticky vždy jde o zlepšení výkonu o jednociferná procenta, ale to nějak moc nevadí, pokud jde současně o funkci, která má zlepšovat obrazovou kvalitu. Podle těchto výsledků je tak – alespoň v Cyberpunku 2077 Phantom Liberty – vždycky přínosná.
Vizuální bonus
Vizuální stránka Ray Reconstruction také obstála. Všimli jsme si sice i míst, kde to vypadalo, jako by spolu se zlepšeními jinde došlo i k regresi (onen odraz v louži), ale v dalších případech pak Ray Recosntruction vede k lépe zachovanému detailu v nízkokontrastních částech scény (ve stínech). To, že není zlepšení úplně všude, se změnou odšumovacího filtru může stát. Pozitiva snad převažují a k dobru funkce je, že ještě trošku zlepšuje výkon.
Je těžké hodnotit, jak velký přínosem zlepšení vizuální stránky jsou, což platí také pro Overdrive Mode / Path Tracing. Z pohledu hratelnosti vám asi tyto změny moc nepřidají, ale to o grafických ozdobách platí často. Nejsme si třeba jistí přínosem v světlých denních scenériích (i když v třetí, když už ne druhé scéně, se zdá, že i tady přínos v realismu stínů být může).
Overdrive Mode to má těžké v tom, že jeho dopad na výkon je brutální, zatímco možná není až takovým skokem, jako byla první částečná implementace ray tracingu. Nebo aspoň ne vždy (ty denní scény). Nedá se asi říci, že by tyto dvě funkce byly jak se říká v angličtině „must have“, ale určitou jsou „nice to have“. Tedy příjemný bonus, i když ne něco, bez čeho nepřežijete.
Generování snímků: Overdrive se stává hratelným pro GeForce RTX 4090
Generování snímků je dle očekávání velkým přínosem pro koncové FPS, je ale třeba pamatovat, že nejde o plnohodnotné snímky, ale jen o interpolovanou „vložku“, jelikož tyto snímky přímo nereflektují herní fyziku nebo akci (a k tomu je zde onen potenciál pro jejich horší kvalitu). Pokud se díváme jen čistě na dosažené hodnoty FPS, daří se této pomůcce i v Overdrive Mode na GeForce RTX 4090 dosáhnout zhruba zdvojnásobení konečné snímkové frekvence, které zhruba odpovídá principu, že se generují nové mezisnímky v poměru 1:1 ke snímkům reálně vykresleným hrou.
Nicméně rozlišení 4K v Overdrive Mode už se od tohoto výsledku odchyluje a GeForce RTX 4090 má nárůst výkonu (FPS) jen o 65–73 %. Může to ukazovat, že i toto GPU už je příliš saturované a i samotné výpočty Optical Flow a generování snímků mají takovou režii, že se tím o něco sníží počet reálně vykreslených snímků, které GPU za sekundu zvládne. Tudíž pak po onom zdvojnásobení nakonec finální výsledek už není „2ד.
U GeForce RTX 4060 je to i v 1080p na hraně
Pro tuto hypotézu mluví i to, že celkově slabší grafika GeForce RTX 4060 také v Overdrive Mode nedosahuje zdvojnásobení FPS. Vylepšení koncových FPS je u této karty už v nižších rozlišeních (1080p a 1440p) jen o 60–70%, tedy podobné situaci RTX 4090 ve 4K. A když RTX 4060 dostane za úkol pokusit se o rozlišení 4K v Overdrive Mode, dokáže už generování snímků zvýšit koncové FPS jen o 34–37 %, což indikuje, že cena výpočtů generování snímků je již taková, že sabotuje podkladové reálné FPS natolik, až se ztratí převážná většina celého benefitu.
Je třeba říci, že v těchto vyšších rozlišeních je Overdrive Mode celkově i s generováním snímků na GeForce RTX 4060 víceméně nehratelný. Dokonce i po generování snímků máte jen 20,6 FPS ve 4K, 38,7 FPS ve 1440p. A je dobré připomenout, že v nízkých snímkových frekvencích se nejvíce budou ukazovat nevýhody či problémy generování snímků, takže zlepšení plynulosti nemusí být v praxi velké (i zhoršení latence je tím větší, čím nižší jsou FPS). Obecně se spíše doporučuje generování snímků používat jako bonus až tehdy, pokud i bez něj je dosažená nějaká jakž-takž hratelná frekvence.
Diskutovat o tom, zda Frame Generation udělá Overdrive Mode hratelným na GeForce RTX 4060, lze jen u rozlišení 1080p. Tam je bez této funkce naměřeno 36,1 FPS (počítáme s Ray Reconstruction, není důvod ho zde mít vypnuto) a s dogenerovanými snímky 60,9 FPS (což implikuje, že reálná frekvence hry klesne na 30,5 FPS). Jestli to bude dost, to je ale dost otázka, 30 FPS už je poměrně málo („cinematické“ FPS dle Ubisoftu) a je otázka, zda zdvojnásobení interpolací je dostatečná pomoc, když se začíná takto nízko. Asi to bude dost záviset i na náročnosti konkrétního hráče. Na druhou stranu alespoň pro potřeby pokochání grafikou by to stačit mělo.
Přitom ale u RTX 4090 v rozlišení 4K všechny tyto pomůcky vyrobí koncovou frekvenci 100 FPS, která by už měla skutečně být použitelná, i když polovina jsou dogenerované snímky. Nicméně tak už to chodí, v nynější době je mezi grafikami představujícími absolutní highend a dostupnými modely nižšího mainstreamu hodně velké výkonnostní rozpětí.
Partnerem tohoto článku je e-shop Smarty.cz, který prodává různé počítačové věci včetně grafických karet. Stačí pípnout. Děkujeme za spolupráci!
⠀