NVIDIA před časem představila platformu NIM a s ní i AI Blueprints – připravené pracovní postupy pro nasazení umělé inteligence. Usnadňují zprovoznění modelů pro AI i bez znalosti programování, lokálně či v cloudu. Na blueprintu, který propojuje Blender, ComfyUI a modely FLUX v nástroj, s nímž budete mít lepší kontrolu nad generováním obrázků pomocí AI, si celý postup vyzkoušíme a přiblížíme si, jak blueprinty fungují a jak se s nimi pracuje.
Celý instalační postup je na repozitáři blueprintu na Githubu. Aktuálně v něm jsou dvě vývojové větve – main a bug_fix. Při testování jsem nejprve zkoušel hlavní větev. V ní jsem narazil už na začátku, když jsem zkoušel instalovat blueprint stažený z Gitu. Instalační dávka setup.bat se pokoušel z githubu stahovat soubor ComfyUI_windows_portable_nvidia_or_cpu_nightly_pytorch.7z. Mělo by jít o vývojové buildy, které jsou aktualizované častěji než ostrá verze, jenže v době instalace zrovna nebyl dostupný, takže v tomto bodu celá instalace skončila.
Když narazíte na nějaký problém se softwarem z GitHubu, je dobré navštívit sekci Issues a podívat se, jestli jej už někdo před vámi neřešil. Zjistil jsem, že stejný problém už někdo řešil a doporučený postup byl přejít na větev bugfix. Vůbec nejlepší si sekci Issues projít ještě předtím, než se do instalace blueprintu pustíte.
Dávka z druhé vývojové větve bug_fix se odkazuje na ostré ComfyUI_windows_portable_nvidia.7z. Tento archiv už se stahoval bez problémů. Horší je, že návod v této větvi Blueprintu zatím obsahuje chyby (například se odkazuje na problematický repozitář větve main namísto vývojové větve) a v českých Windows po instalaci nefungovaly, skript vracel chyby. Vypadalo, že je celý postup náročnější a i těch chyb bude více než v hlavní větvi. Proto jsem se rozhodl vrátit se k větvi main s tím, že soubory, které budou chybět, se nějak pokusím nějak doplnit podle větve bugfix. A protože některé chyby ve skriptech mohly souviset s kódováním, namísto původní české jazykové verze Windows jsem nainstaloval čisté Windows 11 v anglické verzi.
Ještě jedno doporučení, kdybyste se do toho pouštěli také – pokud narazíte na problém, je nejrychlejším pomocníkem některý z dostupných AI chatů. Sám jsem při instalaci intenzivně využíval ChatGPT. S ním jsem v některých částech blueprintu řešil problémy, kvůli kterým bych při použití klasického hledání na internetu nejspíš skončil dřív, než jsem pořádně začal. Ale to projdeme postupně. Replikujeme postup z dokumentace na GitHubu, a pokusím se doplnit i informace k tomu, co a jak jsem měnil.
Instalujeme
Než se pustíte do instalace, je třeba pohlídat dvě věci. Ta první – protože NIM pod Windows využívá virtuální stroj s linuxem, musí ve Windows fungovat hardwarová podpora virtualizace. V nastavení UEFI na základní desce je potřeba najít příslušnou sekci v nastavení procesoru a zkontrolovat, zda je aktivní. Na použité desce od Asusu je příslušné v sekci Advanced. Ve Windows pak podporu virtualizace zkontrolujete snadno přímo ve Správci úloh v sekci Výkon. Tam by mělo být vpravo dole u položky Virtualizace: Povoleno (nebo Enabled).
A ta druhá, mezi požadavky pro instalaci NIM je, že musí být aktivní ochrana UAC (User Account control). Bez ní prý instalace nebude úspěšná.
Celý postup začíná instalací NIM Prerequisite Installer. Ten instaluje knihovny, prostředí nebo závislosti CUDA, které jsou potřebné k tomu, aby modely Nvidie fungovaly lokálně nebo v cloudu. A instaluje i WSL – Windows Subsystem for Linux. Po instalaci je nutný restart.
Dále spustíte příkazový řádek. Obvykle je ke zdárné instalaci třeba administrátorská oprávnění.
Do něj je třeba napsat nebo vložit příkaz:
winget install --id Git.Git
který slouží pro instalaci Gitu pomocí Windows Package Manageru obvykle do výchozího umístění C:\Program Files\Git. Git pak slouží pro napojení instalace na online GitHub.
Pokračuje se instalací Microsoft Visual C++ 2015-2022 Redistributable Package. Tu lze provést i z příkazového řádku příkazem
winget install Microsoft.VCRedist.2015+.x64
Následuje instalace Blenderu. NIM byl připravený pro starší verzi Blender 4.2.7 LTS (Long Term Support – stabilní verze s dlouhodobou podporou). Doporučoval bych rovnou změnit umístění Blenderu do složky, ve které budete mít i ostatní soubory k celému NIMu. Pro ukázku pro něj vytvoříme adresář C:\blender-to-ai a instalovat budeme do něj. Ve výchozím nastavení se totiž Blender instaluje do umístění v C:\Program Files. V tomto umístění je ale pro přístup do složky Blenderu nutné mít administrátorská oprávnění. Některé se skriptů pak měly problém s tím, že do této složky nemohly přistupovat.
Pozor: Po instalaci je třeba Blender spustit a zase zavřít, aby si nastavil cesty, které následně blueprint využívá při instalaci.
Na HuggingFace jste už asi narazili, pokud už jste někdy řešili něco kolem lokálních modelů pro AI. Jde o open-source platformu s obrovským repozitářem modelů pro AI, jakýsi GitHub pro modely AI. Použitý NIM z něj stahuje některé modely FLUX a bude k nim potřebovat přístup. Proto se na něm musíte mít registraci a vytvořit přístupový token, který pak uložíte v počítači. Budeme předpokládat, že jej v počítači dosud uložený nemáte. Ověřit to lze v příkazovém řádku příkazem set HF_TOKEN. Nebo by měl by být vidět v systémových proměnných, do nichž se v českých Windows dostanete přes Nastavení>Systém, kde rozklepnete Upřesnit nastavení systému, a na záložce upřesnit zvolíte Proměnné prostředí. O kousek níž přidám i snímek v angličtině.
Po registraci a přihlášení na https://huggingface.co vytvořte přístupový token. Rozhraní webu doznalo od uvedení Blueprintu změn, správu tokenů aktuálně najdete po rozbalení uživatelské nabídky vpravo dole pod položkou Access Tokens. V ní zadáte vytvořit nový a přepnete se na záložku Read.
Vygenerovaný token zkopírujte do schránky a uložte jej někam do textového souboru, jakmile okno zavřete, už jej nejde znovu celý zobrazit.
Mezi systémové proměnné ji přidáte buď přes výše zmíněný dialog s přehledem systémových proměnných, nebo z příkazového řádku příkazem SETX.
setx HF_TOKEN hf_access_token
Pozor na záměnu příkazů SET a SETX , SET by měl nastavit proměnnou pouze pro aktuální instanci příkazového řádku a po jeho zavření se do systému neuloží. Aby systém hodnotu tokenu udržel, je třeba použít SETX a za něj doplnit název proměnné HF_TOKEN a hodnotu tokenu.
Pokud se vám to povedlo, měla by systémová proměnná HF_TOKEN po opětovném otevření dialogu objevit mezi ostatními.
Následně je ještě potřeba prostudovat a odsouhlasit podmínky pro přístup k modelům, které NIM využívá.
Ve větvi bug_fix je těch modelů už výrazně více.
Dále následuje naklonování repozitářů z GitHubu na vlastní disk. Na to budete rovněž potřebovat mít založený a přihlášený účet na GitHubu, bez něj se repozitáře nestahovaly.
Já jsem při instalaci využíval data z obou větví, takže jsem do složky pro NIM stáhl rovnou oba repozitáře. U návodu z větve bug_fix pozor, v popisu postupu je chyba a odkazuje na rovněž repozitář z větve main. Na stažení toho novějšího se příkazy liší.
V příkazovém řádku musíte přejít do adresáře, do nějž budete chtít klonovat repozitář z githubu. Přešel jsem do dříve vytvořeného adresáře C:\blender-to-ai a nejprve stáhl větev main příkazem:
git clone https://github.com/NVIDIA-AI-Blueprints/3d-guided-genai-rtx.git
I repozitář z druhé větve se bude stahovat do složky se stejným názvem, takže je třeba čerstvě stažený přejmenovat třeba na na 3d-guided-genai-rtx.bak a spustit stahování větve bug_fix.
git clone --branch bug_fix --single-branch https://github.com/NVIDIA-AI-Blueprints/3d-guided-genai-rtx.git
Když pokusíte o stahování bez přejmenování existující složky, git skončí chybovou hláškou.
Repozitář z větve bug_fix jsem přejmenoval na *.beta. Stahování repozitářů chvilku trvá, mají kolem 2 GB.
Dále má následovat stahování dalších komponent spuštěním připraveného dávkového skriptu setup.bat. Ten stahuje další věci včetně ComfyUI. Z předchozích instalací jsem věděl, že nenajde balík s ComfyUI, což řeší větev bug_fix. Stačí porovnat rozdíly mezi soubory setup.bat z obou repozitářů a zanést je do staršího dávkového souboru. Jsou minimální, jde v podstatě jen o úpravu názvu souboru, který se má stahovat.
Nejspíš to nebude vždy nutné, protože ComfyUI zveřejnilo novější „nightly buildy“ a odkaz na vývojové verze už včera zase fungoval. Počítejte s tím, že stahování ComfyUI instalátorem trvá déle, dávka dotahuje dalších cca 10 GB dat. Budete-li mít pocit, že se stahování zadrhlo, zkontrolujte, zda ubývá volné místo na disku.
Poté jsem už mohl dávku setup.bat spustit, abych zjistil, že rozbalování staženého 7zipu skončilo chybou kvůli „poškozenému archivu“. Kvůli tomu se nerozbalil ani vložený Python a neprošel zbytek dávky setup.bat.
Celý archiv jsem tedy znovu stáhl bokem z daného odkazu. Při ručním rozbalování do stejné složky už prošlo vše v pořádku. Protože instalátor nedoběhl, uřízl jsem ještě konec dávkového souboru setup.bat od místa, kde neprošel, parametr comfyui_install_dir naplnil správnou cestou k repozitáři a pustil zbytek instalace.
Když na něco podobného narazíte a nebudete si vědět rady, stačí využít služeb ChatGPT, Gemini, Copilota či dalších AI chatů, podstrčit mu dávkový soubor, chyby, které vrací a doptat se, co s tím. Přinejhorším se dá celý proces z dávkového souboru projít řádek po řádku ručně.
Podstatné je, že je celý proces instalace transparentní, je vidět, kde se něco zadrhlo a dá se to napravit. Na závěr vám ještě instalátor zobrazí cesty ke ComfyUI a vloženému Pythonu, které je potřeba zadat v nastavení Blenderu.
Repozitář jsem ještě po stažení všech komponent zálohoval do složky *.bak, protože jsem tušil, že budu muset sahat i do skriptů v Pythonu.
⠀
No, už jen zřídit multimodálního agenta nad celou platformou, který sám zvolí sadu odpovídající úkolu a vše zařídí na základě obecného uživatelského vstupu.
Na snímcích, co se vyznačují více detaily (okrasné prvky fasád, zábradlí), nebo jemnými texturami (jako mají například tkaniny) se zatím hodně podepisují ty upscalovací mezikroky, jako doslova probublávají. Pořád je to myslím nástroj spíše pro ty pixarovské (ghibliovské) obrázky. A teda pokud přežijete ten všudypřítomný nános kýče, ale možná to tak vnímám jenom já?
Je to povětšinou jak artworky z her. Otázka je, do jaké míry je to věc promptu a do jaké toho, na jakých datech se to trénuje.
Třeba ta podmořská scéna na druhém obrázku v poslední kapitole vypadá fotorealističtěji, ale promptem se mi nepovedlo dokopat ho k tomu, aby to nasvětlil jen jedním bodovým kuželem světla. Ještě víc jsem zíral na to, že mi na fontánu pod vodou pořád cpal tekoucí vodu.