Geekbench AI 1.0
Od loňska se do počítačů (respektive notebooků) začaly dostávat jednotky NPU pro akceleraci umělé inteligence, která se stala největším hitem posledních let (nebo se jím aspoň zdá být). Aplikace umělé inteligence mohou běžet na speciálních akcelerátorech, CPU i GPU, ale dlouho nebylo moc nástrojů, kterými by se jejich výkon dal snadno porovnat. Teď takový benchmark poskytne Geekbench AI, kterým půjde porovnávat výkon i napříč platformami.
Geekbench AI, nyní vycházející ve verzi 1.0, je opět dílo firmy Primate Labs. Tento test není úplně nový, již dříve existoval pod označením Geekbench ML, ale firma uvádí, že „AI“ je dnes pro široké vrstvy lidí více rozpoznatelný pojem, takže test byl takto „rebrandován“.
Geekbench AI 1.0 ale není pouze přejmenování, benchmark je zároveň přepracován. Při testování dává výsledky ve třech disciplínách – pro výpočty se standardními hodnotami FP32 („full precision“), které používají GPU pro běžné operace, dále s poloviční přesností FP16 a nakonec s celočíselnými hodnotami INT8 („quantized“), které jsou nejčastěji používány pro inferenci.
Tyto testy aplikace umí spustit pomocí různých backendů na GPU integrovaných i samostatných, na NPU i jen na jádrech procesoru, kde ale jsou využité různé AI akcelerující SIMD instrukce jako AVX-512 a VNNI. Je tak možné určité porovnání výkonů a efektivit, byť jen orientační, protože AI nefunguje tak přímočaře jako programy na CPU a výkon může hodně záviset na stupni optimalizace pro konkrétní hardware. Například na našem testovaném 16jádrovém procesoru s AVX-512 byl masivní rozdíl mezi výsledky s backendem ONNX a (mnohem výkonnějším) OpenVINO.
Zajímavé je, že benchmark také udává skóre přesnosti (tedy například úspěšnosti modelu pro rozpoznávání objektů). Výsledky se totiž v závislosti na implementaci mohou lišit, optimalizace na výkon (třeba právě pomocí snížené přesnosti výpočtů) mohou zhoršit „inteligenci“ AI. Toto porovnání přesnosti zejména slouží ke kontrole toho, jak moc je výsledek ovlivněn snížením přesnosti. Tento údaj je relevantní pro výkon s přesností FP16 (half precision) a INT8 (quantized), jde totiž o porovnání jejich výsledků s referencí, kterou je výsledek v FP32.
Benchmark je opět multiplatformní, podporuje macOS, Windows (s procesory ARM i x86) a Linux (jen x86), pro které jsou k dispozici instalátory na webu Geekbench, a dále mobilní platformy iOS a Android, kde se test dá dostat z aplikačních obchodů. Je otázka, zda budou všechny platformy podobně dobře optimalizované. Po vydání měl test žebříček referenčních výkonů poskytovaný přímo týmem Primate Labs sestavený hlavně ze zařízení a počítačů Applu s nějakými zařízeními na bázi Androidu, což trochu vyvolává obavy, jestli konkurenční platformy spravedlivě dostaly podobnou péči jako iOS a macOS.
Nicméně backendy pro samostatná GPU nebo procesory x86 na bázi ONNX, DirectML nebo OpenVINO jsou připravené. Benchmark má i speciální backendy pro některé AI akcelerátory – například od Qualcommu a Samsungu.
Inference reprezentující reálné úlohy
Úlohy, které benchmark testuje, by měly reprezentovat různé úlohy prováděné i v reálném světě, přičemž jde o relativně menší modely, které budou provozovány na spotřebitelských zařízeních. Všechny subtesty by měly běžet v minimálně pěti iteracích a po dobu minimálně jedné sekundy (což není mnoho, přihlíží se zde evidentně hlavně k mobilním zařízením).
Jde vždy o tzv. inferenci. Tedy o používání existujících modelů umělé inteligence, ne o jejich trénování. Většina úloh jsou modely pracující s obrazem, jako jsou škálování, detekce objektů, klasifikace. Součástí je ale i test klasifikace textu a strojového překladu. V této verzi bechmarku naopak chybí testy reprezentující generativní AI.
Výsledky z Geekbench AI se nahrávají do databáze Geekbench Browser (a vždy jsou veřejné, pokud nemáte placenou verzi, toto platí i pro klasický Geekbench), kde se pak dají porovnávat a vyhledávat. Ke stažení je test od čtvrtka, takže už můžete sami testovat (pokud jste na AI akceleraci zvědaví).
Jan Olšan, redaktor Cnews.cz
⠀
- Contents
- Geekbench AI 1.0
