Ak pracujete s VFX a chcete posunúť svoje generatívne pracovné postupy s obrázkami na vyššiu úroveň, ComfyUI je nevyhnutnosťou. Jeho prístup založený na uzloch, modularita a výkon, ktorý FLUX pridáva Vďaka tomu je ideálnym prostredím na objavovanie všetkého od vysoko presného spracovania text2img až po komplexné portfóliá s tréningom ControlNet, IP-Adapter alebo LoRA. ComfyUI pre VFX: Vysvetlenie inštalácie a pracovných postupov FLUX.
V tejto príručke nájdete prehľadne všetko, čo potrebujete: čo je to pracovný postup v ComfyUI, ako ho uložiť a zdieľať, ako krok za krokom nainštalovať FLUX, aký hardvér potrebujete a jasné vysvetlenie najpoužívanejších postupov (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter a latent scaling). Uvidíte tiež alternatívy ako FP8, NF4 alebo GGUF na zníženie VRAMZdroje na používanie Fluxu v cloude a inštalácia ComfyUI optimalizovaná pre Windows s praktickými tipmi.
Čo je to pracovný postup v ComfyUI?
Pracovný postup je vizuálne znázornenie procesu generovania, ktorý vytvoríte spájaním uzlov. Môžete si to predstaviť ako dosku s dielikmi typu Lego.Každý uzol vykonáva funkciu (načítanie modelov, kódovanie textu, vzorkovanie, dekódovanie atď.) a prepojenia opisujú cestu, ktorou sa informácie pohybujú, až kým sa nezíska finálny obraz.
Ekosystém je obrovský: statický obraz, video, zvuk a dokonca aj 3D Vďaka open-source komunite existujú koexistujúco. Nevýhodou je, že existuje krivka učenia, pretože je dôležité pochopiť, čo každá zložka robí a ako ich efektívne kombinovať, aby sa predišlo úzkym miestam alebo nekonzistentným výsledkom.
Pre rýchly začiatok je najlepšie pozrieť sa na oficiálne a základné postupy (text2img a img2img) a potom prejsť na zložitejšie uzly. Dokumentácia komunity a oficiálne príklady ComfUI Často sa aktualizujú, takže je jednoduché obnoviť alebo skontrolovať pracovné postupy, ktoré sa s novými verziami menia.
Jeden dôležitý detail: ComfyUI dokáže vložiť pracovný postup do samotného finálneho obrázka (PNG) ako metadáta. To vám umožňuje zdieľať iba obrázok a načítať celý graf. presunutím späť do rozhrania.
Ako sa učiť a napredovať v pracovných postupoch
Moja rada je začať s jednoduchými príkladmi publikovanými v zdrojoch typu wiki a komunitných galériách. Logický postup je: Txt2Img, Img2Img a potom ControlNet alebo LoRA.Keď pochopíte vstupy, výstupy a to, ako plánovači ovplyvňujú vzorkovanie, stane sa prirodzeným začleniť vodiace uzly, masky a ďalšie podmienky.
Ak chcete vidieť rôzne topológie, existujú repozitáre verejných postupov a stránok s reprodukovateľnými príkladmi, kde si môžete stiahnuť obrázky s metadátami alebo súbory .json. Je dobrým zvykom importovať, spustiť tak, ako je, a potom iterovať cez parametre pochopiť dopad každého bloku bez toho, aby sa narušil celok.
Na cloudových platformách nájdete aj predkonfigurované prostredia na spúšťanie kanálov bez problémov s lokálnymi závislosťami. Výhodou je, že prednačítavajú ťažké uzly a modelyOdporúča sa však skontrolovať dostupné verzie a pamäť VRAM, aby ste sa uistili, že výsledky spĺňajú očakávania.
Ukladanie, import a export pracovných postupov v ComfyUI
ComfyUI podporuje dve hlavné metódy ukladania: obrázok s metadátami (PNG) alebo súbor JSON grafu. Prvý je najpohodlnejší na zdieľanie na fórach; druhý vám poskytuje explicitnú kontrolu nad súborom, čo je užitočné pre verzovanie.
Pre import jednoducho presuňte súbor PNG alebo Json do rozhrania alebo použite klávesovú skratku Ctrl (Command) + O. Na export môžete uložiť vygenerovaný obrázok alebo použiť ponuku Exportovať pre súbor JSON.Pri kompresii alebo prenose obrázkov buďte opatrní: niektoré metódy kompresie a určité kanály odstraňujú metadáta, čo by spôsobilo stratu vloženého pracovného postupu.
Vďaka neustálemu vývoju ComfyUI, Nie všetky staršie súbory JSON fungujú v novších verziách.Ak sa niečo pokazí, otvorte tok, nahraďte zastarané uzly alebo preinštalujte závislosti s ich kompatibilnou verziou; použitie ComfyUI-Manageru výrazne urýchľuje detekciu a riešenie chýbajúcich komponentov.
FLUX v ComfyUI: čo to je a prečo je to dôležité
FLUX.1 je rodina modelov od spoločnosti Black Forest Labs zameraná na vysoko presnú konverziu textu na obrázok. Jeho hybridná architektúra s približne 12 miliardami parametrov Je optimalizovaný pre rýchle dodržiavanie pokynov, spracovanie zložitých scén a generovanie čitateľného textu v obraze, čo je úloha, pri ktorej iné modely často zlyhávajú.
Ďalšia výhoda: jeho všestrannosť. Od fotorealizmu k umeleckým štýlomFLUX.1 vyniká svojou vizuálnou konzistenciou a detailmi vrátane vykresľovania rúk, čo je klasická slabina generatívnej grafiky. Nie je prekvapením, že je porovnávaný s riešeniami ako Stable Diffusion alebo Midjourney, pričom sa umiestňuje na vrchole z hľadiska jednoduchosti použitia a kvality.
Spoločnosť Black Forest Labs založil Robin Rombach, kľúčová postava, ktorá pracovala v jadre Stability AI. Ak sa chcete pozrieť na vlastné oči, jeho oficiálna webová stránka je na adrese blackforestlabs.ai.
FLUX.1 je distribuovaný v troch variantoch: Pro, Dev a SchnellPro ponúka najvyššiu kvalitu pre profesionálne prostredie; Dev je určený pre nekomerčné použitie s vynikajúcou rovnováhou; Schnell sa zameriava na rýchlosť a ľahkosť a je open source pod licenciou Apache 2.0.
Hardvérové požiadavky podľa verzie FLUX
Pre FLUX.1 Pro sa odporúča Grafická karta typu NVIDIA RTX 4090 s 24 GB VRAM32 GB RAM a rýchly SSD disk. Používa FP16, aby sa predišlo out-of-box chybám, a pre maximálnu kvalitu je najlepšie použiť textový kodér v FP16.
Vo FLUX.1 Dev, a RTX 3080/3090 so 16 GB VRAM Funguje dobre so 16 GB RAM a približne 25 GB miesta na disku. V niektorých prípadoch podporuje FP16 a dokonca aj FP8, v závislosti od vašej grafickej karty.
Pre FLUX.1 Rýchly, RTX 3060/4060 so 12 GB VRAM 8 GB RAM a 15 GB úložiska sú postačujúce. Je navrhnutý pre rýchlosť, pričom v porovnaní s verziami Pro/Dev obetuje časť výkonnostného priestoru.
Ak máte trochu krátku pamäť, komunita ponúka alternatívy ako FP8, NF4 alebo GGUF, ktoré Výrazne znižujú potrebnú VRAM, s konfiguráciami od 6 do 12 GB v závislosti od toku.
Inštalácia FLUX na ComfyUI: základné kroky
V prvom rade sa uistite, že používate najnovšia verzia ComfyUIIntegrácie FLUX vyžadujú uzly a funkcie, ktoré sa často aktualizujú.
Stiahnite si textové a CLIP kódery: clip_l.safetensors a jeden zo súborov T5 XXL, buď t5xxl_fp16.safetensors (ak máte dostatok VRAM/RAM) alebo t5xxl_fp8_e4m3fn.safetensors (ak máte obmedzený rozpočet). Umiestnite ich do priečinka ComfyUI/models/clip/. Ak ste použili SD3 Medium, možno už tieto súbory máte..
VAE: stiahnuť ae.safetenzory a presuňte ho do ComfyUI/models/vae/. Premenujte ho na flux_ae.safetensors, ak ho chcete ľahšie nájsť. Táto VAE vylepšuje konečné dekódovanie a to je kľúčové pre kvalitu.
UNET: vyberte si medzi flux1-dev.safetensors alebo flux1-schnell.safetensors podľa tvojej pamäte a umiestni ho do ComfyUI/models/unet/. Vďaka tomu máte základ pre spúšťanie FLUX tokov. miestne.
Praktický sprievodca pracovnými postupmi FLUX v ComfyUI
Txt2Img s FLUX
Začnite načítaním komponentov: UNETLoader, DualCLIPLoader a VAELoaderUzol CLIPTextEncode kóduje vašu výzvu; EmptyLatentImage vytvára počiatočný latentný obraz; BasicGuider riadi proces kombináciou podmienenej logiky s UNET od FLUXu.
Vyberte sampler s KSamplerSelectGeneruje šum pomocou RandomNoise a definuje sigma rampu pomocou BasicScheduler. SamplerCustomAdvanced zjednocuje všetko: šum, sprievodcu, sampler, sigmy a latentné vlny. Nakoniec VAEDecode prevedie latentný signál na obraz. a pomocou funkcie SaveImage uložíte výsledok.
Img2Img s FLUX
Kanál pridá počiatočný obrázok: Načítať obrázok + mierka obrázka Veľkosť sa upraví a VAEEncode ju nastaví na latentnú. Výzva sa kóduje pomocou CLIPTextEncode a jej intenzita sa upravuje pomocou FluxGuidance. ModelSamplingFlux riadi rozstup a rozmeryKSamplerSelect, RandomNoise a BasicScheduler zabezpečujú vzorkovanie. SamplerCustomAdvanced zlúči podmienenú funkciu so vstupným latentným parametrom a VAEDecode vygeneruje výstup.
LoRA s FLUX
Ak chcete spresniť štýl alebo funkcie, pridajte LoraLoaderModelOnly spolu s UNETLoader, DualCLIPLoader a VAELoader. Po zakódovaní textu a použití FluxGuidance vytvoríte latentný obrázok pomocou EmptyLatentImage, definujete vzorkovanie pomocou ModelSamplingFlux a spustíte SamplerCustomAdvanced. S VAEDecode získate obraz už ovplyvnený LoRATypický príklad: realism_lora.safetensors na flux1-dev.
ControlNet s FLUX
Dva veľmi užitočné prípady pre VFX: hĺbka a šikovné hrany. Pre hĺbku predspracujte pomocou MiDaS-DepthMapPreprocessorNačítajte hĺbkovú ControlNet a aplikujte ju pomocou ApplyFluxControlNet. Použite XlabsSampler na generovanie podmieneného latentného priebehu a potom VAEDecode vytvára obraz.
Pre Canny použite Preprocesor CannyEdge, načítajte Canny ControlNet a zopakujte schému: ApplyFluxControlNet → XlabsSampler → VAEDecode. Táto dodatočná kontrola poskytuje presnosť nad tvarom a kompozíciou..
Predlakovanie s tavidlom
Načítajte UNET, VAE a CLIP a pripravte si pozitívne a negatívne výzvy. LoadAndResizeImage zobrazí obrázok a maskuPrechod je vyhladený pomocou ImpactGaussianBlurMask. InpaintModelConditioning kombinuje podmieňovanie, obraz a masku. Po konfigurácii samplera, šumu a sigmových hodnôt SamplerCustomAdvanced rekonštruuje maskovanú oblasť. VAEDecode integruje záplatu konzistentne so zvyškom.
TAVIDLO NF4
Pri kvantizácii NF4 sa pamäť zmenšuje. Načítajte komponenty s Kontrolný bodNakladačNF4 a definuje výšku/šírku pomocou primitívnych uzlov. ModelSamplingFlux nastavuje parametre; EmptySD3LatentImage vytvára latentný obraz; BasicScheduler a RandomNoise organizujú odšumenie. SamplerCustomAdvanced generuje latentný signál a VAEDecode ho prekladá do obrazu.Pre škálovanie robí UltimateSDUpscale spolu s UpscaleModelLoader a ďalšou pozitívnou výzvou zásadný rozdiel.
IP adaptér s FLUX
Ak chcete podmieniť pomocou referenčného obrázka, použite NačítaťFluxIPAdper a použiťFluxIPAdper spolu s clip_vision_l.safetensors. Zmeňte mierku referenčného obrázka pomocou ImageScale, pripravte výzvy a spustite XlabsSampler. S VAEDecode uvidíte výstup ovplyvnený estetikou alebo funkciami z obrázku sprievodcu.
Tréner LoRA pre FLUX
Pre priame trénovanie LoRA v ComfyUI pracovný postup zahŕňa: FluxTrainModelSelect, OptimizerConfig a TrainDatasetGeneralConfigInitFluxLoRATraining inicializuje, FluxTrainLoop vykonáva kroky a FluxTrainValidate generuje periodické validácie.
S VisualizeLoss sledujete stratu; ImageBatchMulti a ImageConcatFromBatch Zoskupujú validácie; FluxTrainSave ukladá kontrolné body a FluxTrainEnd ukončí proces. Ak chcete, nahrajte výsledok do Hugging Face pomocou UploadToHuggingFace a zdieľajte ho.
Upscaler latentného toku
Pre detailné zobrazenie mierky definujte veľkosť pomocou SDXLEmptyLatentSizePicker+ a reťazí LatentUpscale a LatentCrop. S maskami vytvorenými pomocou SolidMask a FeatherMask, LatentCompositeMasked zmieša škálovaný latent s originálom. InjectLatentNoise+ vylepšuje detaily pred VAEDecodeA úprava pomocou ImageSmartSharpen+ celý proces dokončí. Výpočtové uzly ako SimpleMath+ pomáhajú zarovnať proporcie.
Alternatívne verzie: FP8, NF4 a GGUF pre zníženie VRAM
Ak máte málo zdrojov, máte možnosti. Kontrolné body 8. rámcového programu od Comfy.org a od autorov ako Kijai. umožňujú vám používať FLUX s jedným súborom v ComfyUI/models/checkpoints/. Odporúča sa premenovať alebo rozdeliť do priečinkov, aby sa rozlíšili dev a schnell varianty.
S NF4 (bitsandbytes) nainštalujte plugin ComfyUI_bitsandbytes_NF4 a použitie flux1-dev-bnb-nf4-v2 v modeloch/kontrolných bodoch. Táto verzia vylepšuje detaily v porovnaní s prvou iteráciou.
Kvantizácia GGUF od City96 spolu s pluginom ComfyUI-GGUFešte viac znižuje latku: Stiahnite si model FLUX GGUF, encoder t5-v1_1-xxl-encoder-ggufSúbory `clip_l.safetensors` a `ae.safetensors` by mali byť umiestnené v príslušných priečinkoch. Existujú praktické prípady použitia so 6 GB VRAM.
Používanie FLUX.1 v cloude a ďalšie zdroje
Ak nechcete nič inštalovať, môžete vyskúšať FLUX v Priestory na objímanie tváre: FLUX.1-dev y FLUX.1-schnell. Tiež v Replikovať, Mystic.ai o fal.ai. Toto sú užitočné možnosti na overovanie výziev a konfigurácií pred stiahnutím lokálnych modelov.
Pre inšpiráciu a pripravené pracovné postupy si pozrite oficiálne príklady ComfyUI a galérie pracovných postupov ako napríklad OpenArt. Pamätajte, že veľa obrázkov obsahuje metadátatakže ich môžete presunúť do ComfyUI a načítať graf.
Viac materiálov: zbierky LoRA pre FLUX ako RealizmusLora alebo kompilácie v XLabs-AIControlNet pre FLUX ako zbierok y Únie; IP-Adaptér en XLabs-AIAk chcete trénovať LoRA s nízkou VRAM, skúste fluxgym alebo tréner repliky od Ostrisu; Pre vývojárov FLUX.1 existuje sprievodca DreamBooth. v úložisku difúzorov.
Nainštalujte si ComfyUI na Windows 11 so solídnym výkonom
Ak máte chuť na čistú inštaláciu, toto je osvedčený spôsob. Funguje veľmi dobre s kartami NVIDIA série 40/50 a pomáha vám vyhnúť sa typickým chybám.
1) Nainštalujte aplikáciu NVIDIA a ovládač Studio z nvidia.com. Reštartujte. 2) Sada nástrojov CUDA z developer.nvidia.com (voliteľné, ale užitočné, aby ste sa vyhli upozorneniam s Tritonom, ak nepoužívate venv). 3) ffmpeg Z repozitára BtbN pridajte do cesty C:\ffmpeg\bin. 4) Git pre Windows z git-scm.com5) Python 3.12 x64 z python.org, s py launcherom pre všetkých používateľov a pridaním do premenných prostredia.
5.5) Ak zvolíte venv, vytvorte ho pomocou python -m venv CUVenv a aktivujte ho pomocou CUVenv\Scripts\activate.bat. Odtiaľ spustite všetky relevantné príkazy pip alebo git v súbore venv. Váš spúšťací skript môže aktivovať prostredie a spustiť ComfyUI naraz.
6) Klonujte ComfyUI pomocou git klon https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Prejdite do D:\CU a spustite príkaz pip install -r requirements.txt. 8) Ak pip upozorní na skripty mimo cesty, pridajte cestu k skriptom Pythonu do systémových premenných a reštartujte. 9) Nainštalujte PyTorch CUDA 12.8 Nainštalujte Torch pomocou príkazu `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Ak sa vám niečo zdá byť v neporiadku, odinštalujte Torch a znova ho nainštalujte pomocou rovnakého príkazu.
9 bis) Spustite ComfyUI pomocou python main.py a otvorte 127.0.0.1:8188. 10) Nainštalujte Triton pre Windows pomocou pip install -U triton-windows. 11) Zrýchlite pozornosť pomocou Sage Attention 2.2: Stiahnite si kompatibilný disk CU128/Torch2.8 pre CP312, nainštalujte ho pomocou pipu a spustite ComfyUI s príznakom –use-sage-attention.
12) Nainštalujte ComfyUI-Manager: v ComfyUI/custom_nodes spustite klon gitu https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Vytvorte bootovací súbor .bat s riadkami: cd D:\CU a python main.py –use-sage-attention. Pri prvom spustení bude spustenie aplikácie Manager chvíľu trvať.; skontrolujte, či sa v rozhraní zobrazuje karta Správca.
14) Umiestnite šablóny do správnych priečinkov (checkpoints, clip, unet, vae) a otvorte svoje postupy. Ak pracovný postup prináša vlastný uzol Sage, môžete ho vynechať, ak už začínate s príznakomTipy: Vyhnite sa otváraniu programov náročných na zdroje, nakonfigurujte virtuálnu pamäť systému Windows, ak vám dochádza pamäť, a pozrite si diskusie o výkone v repozitári ComfyUI. Ak sa zobrazujú upozornenia týkajúce sa pamäte, zvážte použitie jednosúborového variantu FP8.
Ak uprednostňujete manuál na stiahnutie, užitočný súbor PDF nájdete na adrese ce lien. Niektoré príručky boli prepracované s cieľom zjednodušiť inštaláciu a ponúknuťPri používaní venv nezabudnite vždy spúšťať pip a git v danom prostredí.
Tipy na používanie, kompatibilita a osvedčené postupy
Importujte postupy pretiahnutím PNG s metadátami alebo JSON a skontrolujte verzie uzlov pomocou Správcu. Pri zdieľaní obrázkov sa vyhýbajte kompresii, ktorá vymaže metadáta.Ak sa JSON v novej verzii pokazí, nahraďte zastarané uzly alebo nainštalujte kompatibilné verzie.
Aby bolo možné pracovať s viacerými FLUX LoRA, v nedávnych zostaveniach ComfyUI sa uvádza vysoká spotreba energie; Otestujte GGUF alebo špecifické zavádzače Pre minimalizáciu VRAM. V ControlNet začnite s hĺbkou alebo Canny, aby ste vytvorili stabilnú kompozičnú zostavu.
Pri nasadzovaní do cloudu skontrolujte VRAM a fronty vykonávania. Lokálne robí rozdiel rýchly SSD disk a aktuálne ovládače.Zdokumentujte svoj pipeline podľa sekcií: načítanie modelu, podmieňovanie, vzorkovanie, dekódovanie a následné spracovanie. To uľahčí ladenie, keď sa niečo pokazí.
Vďaka všetkému vyššie uvedenému si teraz môžete s ComfyUI vytvoriť skutočne robustný VFX pipeline: Rozumiete, čo je pracovný postup a ako ho uložiť bez straty metadát?Môžete si nainštalovať FLUX a jeho varianty (Dev, Schnell a FP8, možnosti NF4, GGUF), viete, ako spúšťať kľúčové pracovné postupy dennej praxe (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter a Upscale) a máte optimalizovanú inštaláciu Windowsu s Triton, Sage Attention a ComfyUI-Manager, aby systém fungoval správne, stabilne a rýchlo.