O čo ide?
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Upozornenie: Tento článok vznikol na objednávku NVIDIA a je platený. Firma však žiadnym spôsobom nezasahovala do jeho obsahu a jediná podmienka bola priblížiť používateľom možnosti GPU akcelerácie v DaVinci Resolve (Studio) pomocou grafických kariet GeForce RTX.
NVIDIA Studio?
Počítačové konfigurácie, ktoré spĺňajú určité požiadavky na výpočtový výkon NVIDIA začleňuje do tzv. rodiny „Studio“ (NVIDIA Studio). Na získanie takéhoto statusu je potrebných viac vecí, okrem iného sú tu aj požiadavky na použitý procesor, to je ale pre potreby tohto článku vedľajšie. Pre teraz stačí poznamenať len to, že pokiaľ ostatné náležitosti zodpovedajú minimálnym kritériám, tak poslednou časťou skladačky je v súčasnosti grafická karta aspoň na úrovni RTX 3050. Vrchnej hranici sa medze nekladú a čím výkonnejšie GPU, tým vyšší prirodzene získate výpočtový výkon.
Namiesto „herných“ grafických kariet GeForce môžu byť použité aj „profesionálne“ modely (od A4000 vyššie). Kľúčová je vždy prítomnosť tensorových (AI) jadier.
Kompletný zoznam grafických kariet pre „NVIDIA Studio“ nájdete v tabuľke na nvidia.com, kde sú jednotlivé modely podľa výpočtového výkonu kategorizované do troch skupín – Creative Dabbler, Creative Maestro a Creative Powerhouse.
Resolve vs. Resolve Studio…
Black Magic Design má dva varianty DaVinci Resolve. Jednu bezplatnú (DaVinci Resolve) a jednu, na ktorú sa viaže platená licencia (DaVinci Resolve Studio), tá má prívlastok „Studio“. Hoci aj základný DaVinci Resolve je funkčne mohutná aplikácia aj pre pokročilejších používateľov (video editorov), tak DaVinci Resolve Studio má zopár užitočných vecí navyše. Takých, ktoré väčšinou súvisia práve s rozšírenými možnosťami hardvérovej akcelerácie a s uplatnením AI jadier grafických kariet NVIDIA.
Okrem podpory vyššieho výstupného rozlíšenia (do 32K oproti 4K v bezplatnom Resolve) v kombinácii s vyššou snímkovou frekvenciou (120 fps oproti 60 fps) je to aj napríklad aj viacero užitočných úloh, ktoré zahŕňa engine používajúci neurónové siete. Samozrejme, rozdielov medzi štúdiovou a „obyčajnou“ zostavou je celý rad, v rámci tohto článku nás ale zaujímajú hlavne tie úlohy, ktoré sú pozoruhodné z pohľadu akcelerácie modernými garfickými kartami GeForce RTX.
… a neurónový engine v novších verziách
Od verzie DaVinci Studio 18.5 sú novinka hardvérové optimalizácie pre neurónový engine. Tie prebiehajú po prvom spustení a síce sa dajú aj preskočiť, s podporovaným hardvérom to nerobte. Pripravili by ste sa tým o výpočtový výkon, ktorý máte k dispozícii. V nastaveniach (tie vyvoláte klávesovou skratkou Crtl + ,) sa na karte GPU and Memory usitite, či detekcia grafickej karty prebehla správne.
Z úloh, ktoré používajú AI jednotky sme vybrali päť populárnych funkcií (Magic Mask, Smart Reframe, Face Refinement, Optical Flow a Super Scale), ktorých predstaveniu sa podrobnejšie venujeme v nasledujúcich kapitolách tohto článku. Mimo tieto funkcie sú aj ďalšie, ktoré je možné urýchliť silou GPU a dobrá správa je, že ich do svojich testov zaprácováva aj tím okolo Puget Systems v zostavení 0.98.0 Alpha. To je minimálne zatiaľ neverejné (možno i preto, že ide o naozaj novú, nedoladenú vec z konca septembra 2023), pokiaľ sa to však zmení (a Puget Systems tento benchmark zverejní), radi tieto testy zaradíme do štandardnej metodiky na meranie grafických kariet.
Kódovanie AV1 (a HEVC)
Nakoniec sa pozrieme aj na možnosti kódovania AV1 kodérom NVIDIA NVENC (4K@30 a 8K@30), čo je jedna z multimediálnych noviniek pre aktuálnu generáciu grafických kariet GeForce RTX 4000 (RTX 3000 s architektúrou Ampere kódovanie AV1 ešte nepodporujú).
A na porovnanie (RTX 4060 a RTX 4090) neskôr siahneme aj po HEVC, aby bolo možné porovnanie s rýchlosťou kódovania s GPU (UHD 770) Intel Core i7-14700K bez podpory kódovania AV1 (Raptor Lake Refresh stále zvláda iba dekódovanie AV1).
⠀
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Magic Mask
Nástroj na rýchly výber objektu scény, ktorý chcete „zamaskovať“ (farebne, ale v prípade potreby aj zmenou hĺbky ostrosti). Pre naše potreby budeme pracovať s krátkym, 28-sekundovým klipom v rozlíšení 4096 × 2160 px s dátovým tokom 91,5 Mb/s. Táto vzorka je dostupná voľne na siahnutie, takže naše výsledky, ktoré zverejníme v rámci testov, môžete ľahko porovnať so situáciou na vašej zostave.
Po importovaní projektu treba na paneli pod náhľadom nastaviť filter Magic Mask. A v pokročilejších nastaveniach následne označiť volby Person Mask, Add Stoke, Invert Mask, Toogle Mask Overlay a Quality na Better. Tak, ako je to zvýraznené (zelenou) na screenshote nižšie.
Následne napríklad na krk modelky načrtnete linku, ktorá aplikuje masku na pozadie…
… a po stlačení tlačidla Track bi-directional v navigácii nad časovou osou odmeriate čas výpočtu pre všetky snímky videa.
Smart Reframe
Pomocou Smart Reframe je možné vhodné video preformátovať z tradičného zobrazenia (na šírku) na vertikálne. Typicky je to vhodné pre prehrávanie na smartfóne bez potreby pretáčania displeja.
Konverzia (typicky vhodná pre vybrané sociálne siete) funguje tak, že tradičnom horizontálnom videu označíte pohybujúci sa objekt, na ktorý sa bude kamera zameriavať. Zvyšok sa v priebehu spracovania odstráni. Na otestovanie používame 8K video (8192 × 4096 px@24, 89s, 139,8 Mb/s). Nájdete ho v tomto odkaze.
Vo videu budeme sledovať vodnú bublinu. Objekt, o ktorý sa má kamera pri zaujímať, dáte do výberu Smart Reframe jeho nastavenia sa objavia rozkliknutím možnosti Inspector v pravom hornom rohu GUI)…
… prácu zahájite stlačením tlačidla „Reframe“.
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Face Refinement
Skrášľovací efekt Face Refinement je vo svojej podstate make-up v rozšírenej realite. Tvár osoby pred kamerou dokáže najrôznejšími spôsobmi upraviť bez potreby stáť dlho pred zrkadlom. Ako autenticky, to necháme na posúdenie tých, čo tomu rozumejú viac než my.
Pre naše potreby do umeleckej stránky veci zachádzať nebudeme a nič sme neupravovali ani na pani Amber, z ktorej videa Fall Sweater Plans and Projects, Vacation Knitting, New Yarn and Plans To Use It na YT kanále A Lovely Yarn sme si požičali úvodných 148 sekúnd.
Výpočtový výkon je potrebný pre analýzu tváre, na základe ktorej sa potom aplikujú zvolené filtre. Vzhľadom na to, že časť obrazu s tvárou mení svoju polohu, tak neustále, počas celého záznamu, dochádza k prepočítavaniu. To je nevyhnutné na to, aby sa kozmetické úpravy tváre vykreslili správne, bez zjavných nedostatkov.
Mapovanie tváre začína pokynom k analýze.
S povolením zobrazenia vrstvy prekrytia môžete vidieť, ako presne táto funkcia kopíruje hlavné črty tváre.
Optical Flow
Spomalenie videa s nízkymi fps? Dá sa to aj bez toho, aby sa plynulosť znížila pod hranicu použiteľnosti. Teda, pokiaľ sa chýbajúce snímky dopočítajú. Na takýto experiment sme siahli po 4K videu s 24 fps – LG Snowboarding Demo (na stiahnutie tu).
Po štvornásobne zníženej rýchlosti, v tomto prípade na 6 fps, je obraz prirodzene trhaný. Je to však možné eliminovať nasadením funkcie Optical Flow, ktorá video vráti znovu na pôvodných 24 fps a pritom zachová video zostáva spomalené tak, akoby bolo zaznamenané vysokorýchlostnou kamerou. Pre čo najlepší výsledok, ktorý je aj výpočtovo najnáročnejší Motion Estimation nastavujeme na úroveň Enhanced Better.
To, čo budeme pri tomto teste sledovať, je snímková frekvencia živého prehrávania.
Super Scale
Obrazová kvalita doteraz použitých videí bola vždy relatívne vysoká, ale tentokrát to, s čím sa bude pracovať, dosahuje dátového toku iba 2,33 Mb/s a v obraze videa I Jumped From Space (World Record Supersonic Freefall) je čo zdokonaľovať. Takže sa hodí pre „Super Scale“ DaVinci Studio, ktorý okrem zmeny rozlíšenia do vyššieho obraz aj doostruje a redukuje v ňom šum.
Efekt oboch týchto úloh nastavujeme na vysoký a takto o týždeň uvidíte, ako rôzne výkonne GPU obstoja vo výkonnostnom porovnaní.
Pokiaľ by ste si chceli výkon sami otestovať a porovnať vašu zostavu s našimi výsledkami, tak nižšie sú ešte nastavenia výstupu. Pre formát QuickSync je použitý kodek H.265/HEVC a enkóder podľa GPU. Pre grafické karty NVIDIA je ním prirodzene NVENC.
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Kódovanie AV1 a HEVC
Nové karty GeForce RTX 4000 přinášejí hardwarovou kompresi videa do formátu AV1, zatímco předchozí generace karet podporují jen formát HEVC. Je to podstatné pro to, že při použití komprese do AV1 má enkodér NVENC dosahovat lepších výsledků, než při kompresi do HEVC.
Vyšší kvalita komprese v tomto smyslu znamená, že dosáhnete určité úrovně vizuální kvality při menší bitrate, než jakou byste potřebovali při výstupu ve formátu HEVC, takže soubor zabere méně místa nebo bude potřebovat při streamování nižší datový tok.
Alternativně ale také můžete dosáhnout lepší reprodukce detailů a menšího výskytu kompresních artefaktů při stejném datovém toku. Při dvou stejně velkých video souborech by ten ve formátu AV1 měl vypadat lépe.
Výkon NVENC při komprimaci do AV1 by přitom měl být srovnatelný jako při kompresi do HEVC, takže tyto výhody nejsou na úkor rychlosti zpracování.
Duální kompresní enginy pro vyšší rychlost komprese
Grafiky GeForce generace RTX 4000 mají při kompresi do formátu AV1 ještě jednu výhodu. Jejich GPU poskytují dva paralelní kompresní enginy NVENC. Pokud má video vyšší rozlišení (4K nebo více), mohou tyto enginy být zkombinovány a pracovat na stejném videu, čímž dojde ke zvýšení rychlosti komprese zhruba dvojnásobně proti situaci, kdy by byl použitý jen jeden engine.
Toto by mělo být umožněno díky tomu, že bude AV1 video zpracováváno ve dvou (minimálně dvou) tzv. tiles tvořících jeden snímek. Stejně tak by na GeForce RTX 4000 mělo být možné zrychlit 2× enkódování také při použití formátu HEVC, kde je také možné duální enkodér v rozlišeních 4K a vyšších využít (u HEVC není snímek rozdělen na tile, ale na vícero „slice“, ale stejně tak to umožňuje paralelní enkódování). Použití této techniky nijak nezhoršuje kompatibilitu videa s dekodéry v zařízeních nebo video přehrávačích, vše je v rámci standardu, který s více tiles či slices počítá.
Na výkonnostné testy máme k dispozícii (a vy takisto, ale pozor, jedná sa o veľký, 60-gigabajtový archív) dve videá s 30 fps v 4K a 8K Prores422HQ s veľmi vysokými bitrate (805 a 3056 Mb/s).
Nastavenia výstupu pre jednotlivé kodeky (AV1 a HEVC) sú prispôsobené tak, aby bol naprieč rôznymi kodérmi (NVENC a QuickSync) dosahovaný rovnaký bitrate. ICQ QuickSyncu je oproti východiskovej hodnote (26) znížené na 12 a podľa bitrate takéhoto videa je nastavený bitrate pre NVENC ručný zadaním obmedzenia na požadovaných 67 Mb/s.
Okrem rozlíšenia 3840 × 2160 px sa bude výkon merať aj v 7680 × 4320 px (s bitrate 158 Mb/s).
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Pokud oblast kompresních formátů videa nesledujete dlouhodobě, možná úplně nevíte, kde se AV1 vzalo. Tento formát je alternativou linie formátů vyvíjených konsorcii ISO MPEG a ITU JVT, od nichž vzešel hlavní směr moderních videoformátů založených na blokové DCT transformaci, I, P a B snímcích s predikcí pohybu, in-loop filtry a dalšími nástroji. Formáty, které vzešly z tohoto okruhu, jsou MPEG-1, MPEG-2, tzv. DivX/XviD (MPEG-4 ASP či také H.263), H.264 (MPEG-4 AVC), H.265 neboli HEVC a nejnověji H.266 neboli VVC.
Tyto formáty ale tradičně jsou spojené s poplatky za používání (typicky pro výrobce čipu nebo programu, který je používá), které mají zpětně platit různým společnostem, které se na vývoji těchto technologií a jejich standardizace podílely. Proti tomuto modelu dlouhodobě vystupuje tábor open-source softwaru na jedné straně a velké internetové firmy na straně druhé, které chtějí videoformáty s bezplatným používáním. AV1 je produktem (v podstatě konkurenčním) této části video a softwarového průmyslu.
Google vyvinul nejprve formáty VP8 (koupený se společností On2) a VP9 (který používá na YouTube). Tyto formáty jsou v podstatě patenty-obcházející obdoby H.264 a H.265, kterým jsou technologicky hodně podobné, ale jsou považované za o něco slabší.
Po VP9 ale opět zejména Google inicioval vývoj nového formátu, který už mířil na to, aby přinesl nejen alternativu k formát HEVC, ale potenciálně i pokročilejší či z hlediska komprese výkonnější technologii. Vedle Google se tentokrát podílelo také například CISCO a další subjekty (mimo jiné Mozilla a Xiph za open-source sféru), které utvořily Allince for Open Media (AOM). Výsledný formát je jako VP8 a VP9 sice krytý patenty, ale jeho používání není spojeno s žádnými poplatky, což je výhodné při jeho využíván internetovými video službami. Referenční enkodéry i specifikace jsou otevřené.
Geneticky AV1 vychází zejména z VP9, ale s přidanými „next-gen“ technikami komprese. Zatímco VP9 mělo méně nástrojů proti HEVC a bylo méně komplexní, u AV1 je to naopak a tento formát má čistě technologicky více různých technik pro predikci (posílena byla zejména intra predikce, ale také inter predikce pomocí pohybových vektorů), složitější in-loop filtrování a transformace než HEVC. V AV1 lze v něm vidět buď next-gen následníka HEVC (tedy konkurenci VVC), nebo přinejmenším formát o půl generace napřed s tím, že by mohl být kladen někam mezi generací HEVC a VVC (VVC se zatím ale moc neprosadilo a Google také alespoň výhledově chystá také další generaci AV2).
Je třeba říct, že pouze o specifikacích formátu a jeho kompresních technik kvalita videa není. Stejně důležitá je i schopnost kompresního softwaru (enkodéru) tyto techniky optimálně využít. Všechny možné režimy predikce a kvantizace totiž dávají obrovský prostor různých kombinací, mezi nimiž enkodér musí zvolit a tato volba je netriviální. Nelze se při ní řídit jen metrikami podobnosti výsledku a zdroje, ale také vlivem ne nelokální optimalizaci celého snímku a psychovizuálními faktory. Zároveň nelze zkoumat všechny možnosti a je nutné využívat zkratky a aproximace. V kvalitě enkodérů bývaly formáty H.264 a HEVC napřed, takže i dnes může někdy HEVC konkurovat formátu AV1.
Ovšem zrovna v oblasti hardwarového enkódování už nejsou takové předpoklady k tomu, aby starší formát (jako HEVC) byl zvýhodněný lepším zralejším enkodérem proti novějšímu formátu s méně zralými softwarovými enkodéry (AV1 s libaom, SVT-AV1). V oblasti hardwarového enkódování na GPU by nový formát tedy měl mít potenciál hned zlepšit efektivitu komprese a tím obrazovou kvalitu. Jak už bylo řečeno, přesně tak by to také mělo vypadat při enkódování na grafikách, kdy enkodér NVENC má při použití AV1 (oproti HEVC) dosahovat lepší výsledek – lepší kvality při stejné bitrate, nebo nižší bitrate při stejné kvalitě.
⠀