Proč chtít GeForce RTX 4000? Rozbor technologií Nvidia DLSS 3.5

Ray Reconstruction: Novinka v DLSS 3.5

V tomto článku se podíváme na některé exkluzivní technologie, které vám můžou poskytnout grafické karty Nvidia GeForce generace RTX 4000. Některé jsme už probírali, jiné ne, zde tak naleznete vysvětlení nejzásadnějších novinek, které teď ekosystém grafik GeForce podporuje a testy ukazující, co dělají s výkonem ve hře Cyberpunk 2077 s novým rozšířením Phantom Liberty. A také se podíváme, co dělají s kvalitou obrazu.

DLSS 3.5: Ray Reconstruction

Nejnovější exkluzivní technologií, kterou Nvidia přinesla pro uživatele grafik GeForce RTX, je Ray Reconstruction, která se poprvé objevila v DLSS 3.5. je třeba říci, že DLSS 3.5 do sebe zahrnuje také DLSS 2.x a výše popisované Generování Snímků, které bylo novinkou DLSS 3. Ovšem hry používající DLSS 3.5 nemusí nutně používat i Generování snímků. Zatímco to je kvůli používání Optical Flow Acceleratorů omezeno jen na grafiky GeForce RTX 4000, ostatní komponenty DLSS 3.5 mohou využít i předchozí generace GeForce RTX 3000 a RTX 2000 – včetně novinky Ray Reconstruction.

Ray Reconstruction je novinka ovlivňující jednak upscaling/super resolution ve smyslu zavedeném DLSS 2.x, a vedle toho současně raytracingové efekty (tedy „RTX“ či „DXR“) ve hrách. Přínosem této techniky by mělo být zlepšení kvality, ale jako vedlejší efekt je také možné zlepšení výkonu.

Denoising při ray tracingu

Jak asi víte, pro vykreslování scény ray tracingem je potřeba analyzovat velké množství paprsků světla dopadajících a odrážejících se od objektů. Problém ve hrách je, že není dost výkonu k vypočítání tolika paprsků, kolik by bylo třeba. Proto se jich analyzuje jen relativně malé množství. Můžete si to představit tak, že místo výsledné scény máte snímek ne se souvislým obrazem, ale jen s individuálními body tvořícími jakýsi zašuměný obraz s mezerami mezi sebou.

Herní implementace raytracingu v DXR (DirectX Ray Tracing) od počátku používá denoisery čili filtry odstraňující vizuální šum, aby tento syrový obraz vyhladily, vyplnily a potlačily ony diskontinuity, aby vypadal normálně dal se použít ve hře. Tyto denoisery jsou ve hrách dnes typicky řešeny různými tradičními algoritmy, často více zkombinovanými algoritmy. Mohou používat techniky temporální (kdy kombinují informaci z několika po sobě jdoucích snímků) i spatiální (tedy vyhlazující jen na úrovni jednoho snímku). Mělo by jít o podobné algoritmy, jaké znáte, pokud máte zkušenost s filtrováním videa, zde běží na shaderech GPU. Podobně jako při zpracování videa ale podobné filtry mohou také rozmazávat detail nebo způsobovat artefakty.

Ray Reconstruction pomocí AI

Tato úloha je jednou z těch, pro kterou se dobře dá uplatnit princip fungování neuronových sítí, a technologie Ray Reconstruction v DLSS 3.5 přináší speciální neuronovou síť, která se použije na tomto místě vykreslování hry a nahrazuje práci obvyklých denoiserů. Neuronová síť se pro tento účel trénuje pomocí korpusu čistých a zašuměných snímků, podobně jako se trénuje na originálních a zmenšených snímcích pro upscaling. Po natrénování by měla podle Nvidie dosahovat lepších výsledků než tradiční denoisery.

Použití této AI v rámci DLSS 3.5 proto může zvýšit obrazovou kvalitu, jelikož denoiser a jeho temporální funkce bude schopná zachovávat některé detaily navíc a zároveň předcházet některým artefaktům (temporálním duchům, nebo rozmazání detailů), které současné denoisery způsobují nebo nejsou schopné jim předejít.

To neznamená nutně, že bude toto odstranění šumu bez obrazových artefaktů nebo ztráty detailů, ale mělo by jich být méně než s běžnými denoisery, zatímco detailů by mělo být zachovaných více. Ideálně by mělo použití této AI přinášet něco z benefitů DLSS 2.x i do této fáze vykreslování raytracingových efektů.

Tento AI filtr odstraňující šum je ve fungování DLSS 2.x hodně blízký– provádí s obrazovými daty raytracingového osvětlení zároveň odstranění šumu, ale také v podstatě jejich upscaling. Používá jako pomůcku různá data z enginu hry, kterými vylepšuje vstupní vykreslené snímky, ovšem v tomto případě ne finální snímky scény, ale obrazová data raytracingového osvětlení. Filtr je temporální a používá pohybové vektory – dává si dohromady několik po sobě jdoucích minulých snímků k temporálnímu filtrování a tímto může také obnovit určitý detail, který by jinak v nízkém rozlišení používaném při raytracingových efektech zanikal

Integrace s DLSS 2.x

Důležitý element pro ono slibované zlepšení vizuální kvality je, že tato odšumovací AI je propojená s upscalovací AI používanou pro DLSS 2.x, mělo by jít o jeden model, který provádí obě tyto funkce. To by mělo být nápomocno v tom, že AI má více informací ke své práci. Zatímco při odděleném fungování by se stávalo, že DLSS 2.x nakonec odvede horší práci s upscalingem osvětlení proto, že před ním denoiser vymazal určité detaily a informaci ze vstupu, takto integrovaná AI bude moci podobnou informaci pořád nějak aplikovat jako vstup pro své rozhodování.Jde zejména o tzv. „vysokofrekvenční informaci“, kterou filtry odstraňující šum (které typicky fungují jako low-pass filtr) mají tendenci odstranit, ale pro upscaling a temporální rekonstrukci může být ale užitečná ke zrekonstruování a stabilizování detailů ve vyšším rozlišení a kvalitě.

Nejen kvalitativní zlepšení, ale potenciálně také plus pro výkon

Primárním přínosem by tedy mělo být zlepšení raytracingových efektů a částí obrazu, které jsou jimi generované, tedy například osvětlení, odlesky a odrazy. A to tehdy, pokud je ray tracing používán ve spojení s DLSS upscalingem (super resolution). Nicméně někdy může dojít i ke zlepšení výkonu, protože se výpočet denoisingu přenese na AI model běžící na tensor jádrech a uvolní se GPU shadery, jejichž výkon tradiční denoisery konzumují. Zdá se, že alespoň v některých hrách také může být o něco snížena náročnost na paměť.

Co je to Overdrive Mode (Cyberpunk 2077)? Hra s plným ray tracingem

Zatímco od roku 2018 se ve hrách už často vyskytuje raytracingová grafika, dosavadní implementace byly omezené. Kvůli vysoká hardwarové náročnosti není nebo nebylo možné vykreslovat touto metodou celou scénu (jak to dělá například test Cinebech při kreslení benchmarkované scény, nebo podobné renderingové nástroje při tvorbě profesionálních vizualizací nebo i celých filmových scén). Raytracingové hry dosud vykreslovaly raytracing jen částečně – pro některé objekty (odrazivé plochy, zrcadla), pro stíny nebo efekty osvětlení. Šlo o hybridní přístup přidávající raytracingové efekty k „rasterizované“ scéně.

Nicméně do budoucna by hry založené na kompletním reaytracingovém vykreslování scény měly existovat. S tzv. Path Tracingem by hra měla kompletní scénu (tedy všechny pixely) kreslit skrze raytracingovou metodu, takže by měla celá scéna mít realistické efekty osvětlení zohledňující všechny zdroje světla na scéně, věrné odrazy světla a objektů a fyzikálně správně se chovající stíny.

Prvním preview takto vyvedené hry (pokud jde o velké AAA tituly) by měla být hra Cyberpunk 2077, která měla premiéru jako hra s konvenčním hybridním vykreslováním s přidanými raytracingovými efekty. Letos ale dostala patch přidávající tzv. Ray Tracing Overdrive Mode, který má hru vykreslovat s plným ray tracingem.

V Overdrive Mode by měl prakticky každý zdroj světla na scéně (tedy včetně světel aut, neonů, lamp) a jeho dopad na scénu být prováděn pomocí ray tracingu, s realistickými efekty a stíny. Ray tracingem je řešená i globální iluminace a nepřímá iluminace z různých odrazů světla.

Ray Tracing Overdrive Mode je ovšem enormně náročný na hardware a zpracování této grafiky. Hra byla silně optimalizována a jsou v ní použité Nvidií optimalizované denoisery pro raytracingové vykreslování, které mají podobnou funkci jako upscaling (byla o nich řeč v části o Ray Reconstruction).

Nicméně na dnešních GPU je hraní takovéto hry víceméně umožněno jen díky technologiím jako je upscaling/super resolution (DLSS 2.x) a generování snímků (DLSS 3/3.5), které z dost nízkého rozlišení a snímkové frekvence, kterou lze dnes z GPU dostat, dokáží vytvořit výstup na vyšším rozlišení a plynulejší snímkové frekvenci.

• Contents
• Funkce Frame Generation. O co jde?
• Nvidia Reflex: Princip fungování
• Ray Reconstruction: Novinka v DLSS 3.5
• Metodika testování
• Výsledky testů – Ray Tracing: Overdrive
• Výsledky testů – Ray Tracing: Ultra
• Porovnání obrazové kvality a Nvidia ICAT
• Závěr

Flattr this!