Upscaling na bázi AI pro Radeony?
Před pár dny jsme tu měli téma upscalingu ve hrách s DirectSR, což by snad mělo být standardizující API pro tyto technologie od Microsoftu. Krátce na to přichází další zajímavá zpráva. Zatímco současný upscaling FSR (FidelityFX Super Resolution) od AMD je typický tím, že nepoužívá specializované jednotky a AI, firma údajně chystá novou verzi, která se od toho odchýlí a již bude na AI také založená, jako DLSS. Může to zlepšit kvalitu obrazu.
Informace je to z oficiálního zdroje: Přímo CTO (vrchní technolog) firmy Mark Papermaster sdělil, že by teď do FSR měla být přidána komponenta umělé inteligence. Podle jeho slov AMD nyní pracuje na tom, aby „herní zařízení“ založená na hardwaru od AMD mohla používat AI upscaling a že rok 2024 by snad měl být tím, kdy se tato technologie dostane do praxe.
Jak by AI FSR mohlo fungovat?
Papermaster zatím tuto AI upscalovací technologii (pracovně jí říkejme AI FSR) přímo neoznámil ani nepojmenoval, zatím tedy máme jen jakýsi příslib, byť vágně formulovaný. Nelze z toho moc vyvozovat o tom, co by AI FSR mohlo být zač. Principiálně by ale mohlo jít o zhruba podobné řešení, jako je DLSS, byť AI může být použito v menší míře, může jít o méně náročný model a tak podobně.
Dnešní FSR má několik komponentů. Jednak je to „2D“ (tzv. spatiální) škálování, které dnes používá běžný algoritmus podobný algoritmu v FSR 1.0. K němu je pak přidáno temporální filtrování a stabilizace používající pohybové vektory (jádro technologie FSR 2.x), které je tou asi nejpřínosnější částí (pravděpodobně i u DLSS). A v rámci FSR 3 je zde ještě třetí část – generování snímků.
Nejpravděpodobnější je, že AMD AI model použije pro realizaci onoho spatiálního škálování, tedy samotného upscalingu bitmapových dat. Jde o problém, na který se AI dobře aplikuje a trénuje. Temporální filtrování je, zdá se, docela dobře realizovatelné běžnými algoritmy, bez aplikace AI (ostatně Nvidia si ho nejprve také ještě před DLSS 2.x vyzkoušela ve speciální verzi DLSS pro hru Control, u které potvrdila, že nepoužívá akceleraci AI). Jak DLSS, tak XeSS nejsou open source software, takže není úplně jasné, jak extenzivně a pro jaké všechny součásti celého procesu používají nějakou neuronovou síť a specializované akcelerátory. Je možné, že dost práce v nich pořád dělají i ne-AI algoritmy.
Budou třeba AI jednotky?
Otázka je samozřejmě, jak by použitá AI byla akcelerována. Celé téma bylo zmíněno dost zběžně, takže bude třeba počkat na nějaké oficiální odhalení s více detaily. Papermaster ale uvedl, že AMD nyní dokončilo proces, kdy se schopnost akcelerace AI objevila v celém jeho portfoliu – serverech, embedded zařízeních, PC a „herních zařízeních“, čímž se asi mohou myslet herní handheldy jako Asus ROG Ally nebo Lenovo Legion Go.
Možná se ptáte, o jaké akceleraci je řeč, protože v GPU Radeon nejsou speciálně jednotky maticových výpočtů pro akceleraci AI obdobné tensor jádrům u Nvidie nebo jednotkám XMX u Intelu. Pravděpodobně je to tak, že Papermaster hovoří o kombinaci grafické architektury RDNA 3, která má jistou rozšířenou podporu AI výpočtů, a přítomnosti speciálních jednotek NPU s architekturou XDNA v procesorech Ryzen pro notebooky, tzv. Ryzen AI.
Tip: AMD RDNA 3: změny v architektuře, akcelerace AI, DP 2.1 (analýza)
Je tedy pravděpodobné, že až bude AI FSR vydáno, bude fungovat jen s grafikami generace RDNA 3 a novějšími. U té AMD uvádí přítomnost AI jednotek (každá CU architektury RDNA 3 obsahuje dvě), byť ty asi sdílí stejný výpočetní hardware se shadery a nepodávají asi nějak řádově vyšší výpočetní výkon proti shaderům.
Tato akcelerace by ale asi mohla být základním stupněm pro AI aplikace na nynějších a budoucích Radeonech (u kterých se třeba výkon těchto instrukcí zvedne). Je to trochu rána pro ty, kdo zůstali na grafice Radeon generace RX 6000 nebo cíleně koupili takový starší model už v momentě, kdy byly grafiky generace RX 7000 na trhu. Ovšem tato situace se dala předvídat, přesně z tohoto důvodu lepší připravenosti na budoucnost je (někdy!) rozumné trošku připlatit za produkt s novější architekturou.
Je zde ještě ta druhá možnost, a to použití AI jednotek (NPU) v procesorech. To by ale asi připadalo v úvahu, jen kdyby hra také běžela na integrované grafice, typicky v noteboocích nebo oněch herních handheldech. Asi nebude moc vhodné provozovat neuronovou síť AI FSR na jednotce v procesoru, zatímco hra vykresluje pomocí samostatného GPU, protože by při přeposílání dat snímků docházelo k latenci navíc. Možná by ale takto mohla vzniknout speciální verze AI FSR po handheldy s procesory Ryzen Z1 Extreme (bohužel ale ne pro ne-extrémní verzi Z1, ta NPU nemá), která by používala NPU a nezatěžovala výpočetní jednotky GPU.
Jak to bude konkrétně vypadat, by snad AMD mohlo naznačit brzo. Tento měsíc se koná Game Developers Conference (GDC) 2024 a firma by mohla toto AI FSR odprezentovat.
DirectSR, dobrá příležitost pro přidání AI verze FSR?
Přidání nové verze FSR, která by používala AI akceleraci, jde trošku proti duchu prvních generací FSR, které zachovávají širokou kompatibilitu s různými staršími i konkurenčními grafikami a na žádných speciálních jednotkách nebo funkcích dostupných jenom na nových GPU nejsou závislé. Toto by už u „AI FSR“ asi nebylo, pokud by tato technologie už fungovala například jen a pouze na Radeonech generace RDNA 3 (Radeon RX 7000) a novějších.
Toto by byl pro mnohé uživatele krok zpět, ale příchod DirectSR by měl tyto nevýhody asi zmírnit. Pokud se implementace upscalingu přesune ze samotných her na úroveň ovladačů GPU skrze ono API DirectSR poskytující tuto abstrakci, AMD může docela dobře mít vedle sebe jak nové AI FSR pro grafiky s architekturou RDNA 3 a novější, tak „legacy“ kompatibilní verzi vycházející z dnešního FSR, která žádné speciální požadavky nemá a funguje na všech Radeonech. Hra ani nemusí vědět, co z toho používá, patřičná verze upscalingu se už přepne v ovladačích AMD.
Toto už ovšem bude platit jen pro ovladače od AMD, takže s grafikou od Intelu budete mít smůlu. Nicméně pro tu by zase ve svých ovladačích měl Intel poskytovat své XeSS, které se přes DirectSR automaticky využije namísto FSR. S grafikou Nvidia zase přes DirectSR budete moci používat DLSS. Utrpí možná jenom uživatelé starších karet Nvidia GeForce GTX, tedy modelů, které ještě nemají tensor jádra. Ti momentálně mohou profitovat z FSR (nebo i XeSS), přes DirectSR by mohli mít smůlu.
Zdroje: VideoCardz, No Priors
Jan Olšan, redaktor Cnews.cz
⠀
Díky rozhraní bude snazší nezávisle vyvíjet správce veškerých detekovaných (aktuálně instalovaných) řešení (podobně jak jinde předkládá Wingo v příkladu Lossless Scaling). Nakonec i samotní vývojáři hry, pokud budou chtít více než auto-vendor-lock-latest/stable, mohou do příslušného nastavení začlenit roletku s detekovanými možnostmi (včetně varianty FSR bez AI na hardwaru Nvidia, nebo i jiné third-party – pochybuji, že jim v tom bude někdo aktivně bránit).