Pohled na Nvidia DXR, Broadcast App a vizuální kvalitu DLSS

Nvidia Broadcast: AI ve službách video streamování a telekomunikace

Právě zavádíme novou testovací metodiku grafických karet. Jednou z těch, která v ní budeme recenzovat, bude GeForce RTX 3070. Tu už máme v zajímavém provedení Aorus GeForce RTX 3070 Master 8G se šesti obrazovými výstupy. Ještě než vyjde recenze, jsme s ní vyzkoušeli vizuální srovnání toho, jaký má dopad ray tracing a jak ovlivní kvalitu herní grafiky různá nastavení DLSS v posledním patchi Cyberpunku 2077.

Tensor jádra, která mají GPU Nvidia pro akceleraci AI výpočtů, hrají největší úlohu v DLSS (včetně 2.x), kde dodávají výkon pro interpolační algoritmus na bázi neuronové sítě a mají nejspíš lví podíl na tom, jakého výsledku je DLSS schopné dosáhnout. S grafikami GeForce RTX 3000 přišlo ještě jedno použití, Nvidia tensor cores používá v aplikaci Broadcast App, určené ke zkvalitnění videa, které streamujete ze svého hraní, případně i třeba v rámci nějakého youtuberování, ale i třeba obyčejného videochatu.

Zkoušení této technologie nám zhatila postrádaná webkamera. Ale protože jsme se Broadcastu samostatně nevěnovali (z našeho rozboru architektury Ampere nám jako de fakto softwarová, byť hardwarově akcelerovaná aplikace tak nějak vypadla), nebude na škodu popsat, o co jde a k čemu vám to může být dobré.

Funkce Nvidia Broadcast App

Nvidia Broadcast se nejspíš bude v budoucnu dál rozvíjet, ale momentálně nabízí několik vylepšení, která se svým videem můžete provést. První funkce, nazvaná Virtual Background, automaticky odstraňuje rušivé pozadí za vámi. Je to použitelná na to, abyste do streamu ze hry vložili overlay vlastní tváře (postavy) z webkamery, zatímco za vámi/kolem vás je video ze hry. Nebo takto můžete schovat prostředí, ve kterém natáčíte, a nahradit ho fotografií nebo nějakou virtuální scénou, tedy něco jako v TV studiu. Na toto normálně potřebujete „zelenou stěnu“, ale Broadcast App díky umělé inteligenci dokáže vymazat jakékoli pozadí i bez této speciální pomůcky. Vysílat v tomto stylu tak už lze kdekoli. A pro bordeláře je bonus, že už kvůli tomu nemusí uklízet pokoj. Je také dostupná jednoduchá možnost pozadí prostě rozostřit, ale opět zachovat člověka v popředí pěkně ostrého.

Broadcast App také zdá se staví na dříve uvedené technologii RTX Audio a nabízí podobné „čištění“ také pro zvuk – zde ale jde o potlačení hluku z okolí ve zvukové stopě. Filtr Noise Removal opět používá natrénovanou neuronovou síť, která odstraní nechtěné ruchy a hluky, takže vám opět umožní kvalitně vysílat (nebo komunikovat) i z prostředí, kde by jinak bylo příliš mnoho rušení. Nebo jiné zvuky, které by druhá strana ideálně nemusela slyšet.

Další inteligentní funkce je pak Auto Frame. Ta zase řeší problém s tím, že vaše webkamera není živý kameraman a nezabírá vás ideálně, zvlášť když se vůči ní pohybujete. Auto Frame toto řeší – automaticky detekuje osobu v záběru a snaží se jí zoomem a ořezáním umístit do zorného pole videa tak, aby to vypadalo správně a inteligentně. Auto Frame se zejména dokáže dynamicky přizpůsobit upravovat výřez z kamery, když se třeba posunete, nakloníte a podobně. Tím, že se změní ořez a zoom, zůstanete pořád v záběru, jako by kamera automaticky švenkovala na vaší pozici. Můžete to vidět demonstrované zde na (ne našem) videu z oficiálního představení aplikace:

Nvidia Broadcast se přitom dá použít z celé řady aplikací, takže jej můžete mít zároveň se svými oblíbenými nástroji. Broadcast App totiž funguje jako mezivrstva mezi vstupem z vaší skutečné kamery (a mikrofonu), který zpracuje. Aplikace do systému přidá virtuální zařízení Nvidia Broadcast, které se tváří jako kamera a mikrofon: to pak už nastavíte jako vstup v komunikačním programu, ve streamovací aplikaci nebo kdekoliv a tato aplikace tak hned používá vstup upravený filtry Nvidia Broadcast App – aniž by pro ně potřebovala nějakou podporu nebo aktualizaci.

Broadcast App je už k dispozici ke stažení. Možná je dobré podotknout, že není přímo vázané na GeForce RTX 3000, ale jen na přítomnost tensor jader, funguje tedy i na grafikách GeForce RTX 2000 (od RTX 2060 výš).

• Contents
• Preview před testováním: RTX 3070 s šesti výstupy od Gigabyte
• Raytracingové odrazy v Cyberpunku a DLSS 2.0
• Nvidia Broadcast: AI ve službách video streamování a telekomunikace