O čo ide?
Aplikácie DaVinci Resolve (Studio) na úpravu videa sú veľmi dobre optimalizované na hardvérovú akceleráciu grafickými kartami GeForce RTX. Tie dokážu čas niektorých úloh dramaticky skrátiť a urobiť hodín minúty či v prípade väčších projektov z dní hodiny. O čo konkrétne ide sa pozrieme v rámci dvojdielneho miniseriálu venovanému zefektívneniu práce GPU NVIDIA Ada Lovelace vo video editoroch Black Magic Studio.
Pokud oblast kompresních formátů videa nesledujete dlouhodobě, možná úplně nevíte, kde se AV1 vzalo. Tento formát je alternativou linie formátů vyvíjených konsorcii ISO MPEG a ITU JVT, od nichž vzešel hlavní směr moderních videoformátů založených na blokové DCT transformaci, I, P a B snímcích s predikcí pohybu, in-loop filtry a dalšími nástroji. Formáty, které vzešly z tohoto okruhu, jsou MPEG-1, MPEG-2, tzv. DivX/XviD (MPEG-4 ASP či také H.263), H.264 (MPEG-4 AVC), H.265 neboli HEVC a nejnověji H.266 neboli VVC.
Tyto formáty ale tradičně jsou spojené s poplatky za používání (typicky pro výrobce čipu nebo programu, který je používá), které mají zpětně platit různým společnostem, které se na vývoji těchto technologií a jejich standardizace podílely. Proti tomuto modelu dlouhodobě vystupuje tábor open-source softwaru na jedné straně a velké internetové firmy na straně druhé, které chtějí videoformáty s bezplatným používáním. AV1 je produktem (v podstatě konkurenčním) této části video a softwarového průmyslu.
Google vyvinul nejprve formáty VP8 (koupený se společností On2) a VP9 (který používá na YouTube). Tyto formáty jsou v podstatě patenty-obcházející obdoby H.264 a H.265, kterým jsou technologicky hodně podobné, ale jsou považované za o něco slabší.
Po VP9 ale opět zejména Google inicioval vývoj nového formátu, který už mířil na to, aby přinesl nejen alternativu k formát HEVC, ale potenciálně i pokročilejší či z hlediska komprese výkonnější technologii. Vedle Google se tentokrát podílelo také například CISCO a další subjekty (mimo jiné Mozilla a Xiph za open-source sféru), které utvořily Allince for Open Media (AOM). Výsledný formát je jako VP8 a VP9 sice krytý patenty, ale jeho používání není spojeno s žádnými poplatky, což je výhodné při jeho využíván internetovými video službami. Referenční enkodéry i specifikace jsou otevřené.
Geneticky AV1 vychází zejména z VP9, ale s přidanými „next-gen“ technikami komprese. Zatímco VP9 mělo méně nástrojů proti HEVC a bylo méně komplexní, u AV1 je to naopak a tento formát má čistě technologicky více různých technik pro predikci (posílena byla zejména intra predikce, ale také inter predikce pomocí pohybových vektorů), složitější in-loop filtrování a transformace než HEVC. V AV1 lze v něm vidět buď next-gen následníka HEVC (tedy konkurenci VVC), nebo přinejmenším formát o půl generace napřed s tím, že by mohl být kladen někam mezi generací HEVC a VVC (VVC se zatím ale moc neprosadilo a Google také alespoň výhledově chystá také další generaci AV2).
Je třeba říct, že pouze o specifikacích formátu a jeho kompresních technik kvalita videa není. Stejně důležitá je i schopnost kompresního softwaru (enkodéru) tyto techniky optimálně využít. Všechny možné režimy predikce a kvantizace totiž dávají obrovský prostor různých kombinací, mezi nimiž enkodér musí zvolit a tato volba je netriviální. Nelze se při ní řídit jen metrikami podobnosti výsledku a zdroje, ale také vlivem ne nelokální optimalizaci celého snímku a psychovizuálními faktory. Zároveň nelze zkoumat všechny možnosti a je nutné využívat zkratky a aproximace. V kvalitě enkodérů bývaly formáty H.264 a HEVC napřed, takže i dnes může někdy HEVC konkurovat formátu AV1.
Ovšem zrovna v oblasti hardwarového enkódování už nejsou takové předpoklady k tomu, aby starší formát (jako HEVC) byl zvýhodněný lepším zralejším enkodérem proti novějšímu formátu s méně zralými softwarovými enkodéry (AV1 s libaom, SVT-AV1). V oblasti hardwarového enkódování na GPU by nový formát tedy měl mít potenciál hned zlepšit efektivitu komprese a tím obrazovou kvalitu. Jak už bylo řečeno, přesně tak by to také mělo vypadat při enkódování na grafikách, kdy enkodér NVENC má při použití AV1 (oproti HEVC) dosahovat lepší výsledek – lepší kvality při stejné bitrate, nebo nižší bitrate při stejné kvalitě.
⠀
- Contents
- O čo ide?
- Magic Mask, Smart Reframe
- Face Refinement, Optical Flow a Super Scale
- Kódovanie AV1 a HEVC
- Exkurz: Co je to videoformát AV1?
Nejsem si jistý, kolik bude test (a vývoj Puget benchmarku) zajímat lidí, ale za mě oba palce „hore“, Ľubo.
Určite je to minoritná vec. Ale zase zároveň niečo, na čom sa dá testovať výkon „AI“ aj pod Windows. A ten PugetBench by to výrazne uľahčil vyprodukovaním veľkého množstvá dát bez potreby spravovať každý efekt nastavovať individuálne. Takto sa musí pre každý efekt/výpočet všetko nastavovať individuálne, viesť k tomu veľa vhodných zdrojových súborov/videí a tak… to v rámci štandardných testov GK popri stovkách iných meraní lezie dosť do času (a v rámci neho je nejaká vrchná hranica, no).
A nechystáte i nějaké dílčí srovnání s implementací konkurence (AMD)?
Čiastkové neviem. To by nás muselo AMD podobne ako Nvidia osloviť s ponukou na spracovanie témy (v podstate PR článku, kde nemôže byť porovnanie s ekvivalentným riešením konkurencie), ktorá je mimo dlhodobú redakčnú roadmapu. Ako bola aj táto (téma). PugetBench pre AI veci DaVinci ale do štandardnej metodiky pre všetky grafické karty (vrátane Arcov Intelu) ale začlením rád. Len ho musia zverejniť, no.