Ak sa chcete ponoriť do tvorby obrázkov a videa s využitím umelej inteligencie bez straty kontroly, ste na správnom mieste: ComfyUI je rozhranie založené na uzloch, ktoré vám umožňuje vytvoriť si vlastný proces ako LEGO kocky. V tejto príručke sa od začiatku a podrobne naučíte, ako nastaviť pracovné postupy vizuálnych efektov (VFX) v ComfyUI., a to ako pre obrázky, tak aj pre videá, bez toho, aby ste zmeškali čokoľvek dôležité.
Okrem základov sa pozrieme na toky textu do obrázka, toky obrázka do obrázka, inpainting, outpainting, škálovanie, ControlNet, SDXL, LoRA a embeddingy. Prejdeme na video s AnimateDiff, HunyuanVideo, LTX Video a Wan 2.1.Zahŕňa to požiadavky, inštaláciu, kľúčové parametre a tipy na zvýšenie produktivity so skratkami a správcami uzlov. Preberieme aj cloudové možnosti, ak sa radšej vyhnete zložitým inštaláciám.
Čo je ComfyUI a prečo je ideálne pre VFX?
ComfyUI je grafické rozhranie založené na uzloch pre Stable Diffusion, ktoré vám umožňuje zobraziť a upraviť tok údajov od začiatku do konca. Každý uzol vykonáva špecifickú úlohu (načítanie modelu, kódovanie textu, vzorkovanie, dekódovanie VAE atď.) a je prepojený káblami. ktoré predstavujú vstupy a výstupy. Táto filozofia je perfektná pre VFX: presne viete, kam signál vstupuje, kde sa transformuje a ako ovplyvniť výsledok.
V porovnaní s monolitickými rozhraniami vyniká ComfyUI svojou transparentnosťou a flexibilitou. Cenou za túto slobodu je strmšia krivka učenia a určité vizuálne rozptýlenie. (každý pracovný postup môže byť usporiadaný inak), ale odmenou je možnosť rýchleho prototypovania, presného ladenia a zdieľania pracovných postupov reprodukovateľným spôsobom.
ComfyUI vs. AUTOMATICKÉ1111
Mnoho používateľov pochádza z AUTOMATIC1111, klasiky pre stabilnú difúziu. ComfyUI získava na ľahkosti, transparentnosti a možnostiach prototypovaniaA1111 pôsobí jednotnejšie a priamočiarejšie, ale menej granulárne. Ak chcete pochopiť vnútorné fungovanie a vyťažiť maximum z vizuálnych efektov, ComfyUI je istá voľba.
Prvé kroky a základné ovládacie prvky
Interakcia s plátnom je jednoduchá: približujte pomocou kolieska alebo gesta štipnutia a posúvajte potiahnutím a vytvárajte prepojenia potiahnutím z výstupu jedného uzla na vstup iného. Uvidíte bloky (uzly) ako Load Checkpoint, CLIP Text Encode, KSampler alebo VAEa káble, ktoré predstavujú dátovú cestu.
Text na obrázok: základný tok a základné uzly
Štandardný pipeline zahŕňa načítanie kontrolného bodu, kódovanie výzvy, vzorkovanie v latentných obrázkoch a dekódovanie na pixely. Toto je kostra, na ktorej je postavené takmer všetko v ComfyUI..
Výber modelu s kontrolným bodom zaťaženia
Uzol Load Checkpoint poskytuje tri časti: MODEL (sieť na predikciu šumu), CLIP (textový kodér) a VAE (na prechod z pixelov na latentné snímky a naopak). MODEL napája KSampler, CLIP ide do textových uzlov a VAE sa používa na dekódovanie konečného výsledku.Bez kontrolného bodu nie je hra, preto si vyberte takú, ktorá je kompatibilná s vaším pracovným postupom.
Pozitívne a negatívne výzvy s kódovaním textu CLIP
Použite dva uzly CLIP Text Encode: horný pre kladné a dolný pre záporné. Text sa transformuje do vložených materiálov s vysokým rozlíšením, ktoré usmerňujú šírenie informácií.Slová môžete vážiť pomocou syntaxe (term:1.2), aby ste dali konceptom väčšiu alebo menšiu váhu.
Generovanie a parametre KSamplera
Vzorkovanie sa spustí po zaradení do frontu (Výzva frontu). KSampler riadi počiatočné hodnoty, kroky, sampler, plánovač a silu odšumovania.Fixné seed poskytuje reprodukovateľnosť; viac krokov zvyčajne zlepšuje detaily (za cenu času); denoise=1 v text2img aplikuje úplný proces odstránenia šumu.
Prázdny latentný obraz: rozlíšenie a dávky
Uzol Prázdny latentný obrázok vytvára počiatočné latentné plátno. Výška a šírka musia byť násobkami 8Typické veľkosti: 512/768 pre SD 1.5 a 1024 pre SDXL. Upravte veľkosť dávky, ak chcete viacero obrázkov na jedno spustenie.
VAE: kompresia a rekonštrukcia
VAE kóduje a dekóduje medzi pixelmi a latentnými snímkami. Poskytuje efektivitu a manipulovateľný latentný priestor výmenou za určité straty alebo artefakty.V text2img ho použijete hlavne na konci (VAE Decode) na získanie obrázka v pixeloch.
Obrázok k obrázku, SDXL a prekreslenie/prekreslenie
Obrázok po obrázku
Tento pracovný postup kombinuje výzvu a základný obrázok. Vyberte kontrolný bod, načítajte obrázok, skontrolujte výzvy a upravte odšumenie v KSampleri rozhodnúť, ako veľmi sa odchýlite od originálu (menej šumu = viac ako zdroj).
SDXL na ComfortyUI
ComfyUI vďaka svojej modularite podporuje SDXL včas a efektívne. Pripravte si pozitívne/negatívne testy a spustite proces pomocou príslušného vzorkovača.; pamätajte na optimálne rozlíšenie latentnej snímky (zvyčajne 1024).
Maľba
Ak chcete upraviť konkrétne oblasti, načítajte obrázok, otvorte editor masiek a uložte masku do uzla. Tento pracovný postup používa štandardné modely; ak používate kontrolný bod „inpainting“, použite VAE Encode (Inpaint). Namiesto štandardných uzlov VAE Encode a Set Noise Latent Mask nastavuje výzvu na popis zmeny a typickú silu odšumenia, napríklad 0.6.
Výmaľba
Rozšírte hranice obrázka pomocou Pad Image pre Outpainting: ovládajte ľavý/horný/pravý/dolný okraj a pero pre plynulé prechody. V kódovaní VAE (pre Inpainting) upravte grow_mask_by (lepšie ako 10) na dosiahnutie prirodzenejších a dobre integrovaných výplní.
Škálovanie: pixel vs. latentný
Zväčšenie pixelov
Dva spôsoby: algoritmom (bikubickým, bilineárnym, najbližšie presným) s funkciou Upscale Image by alebo modelom s funkciou Load Upscale Model + Upscale Image (pomocou Model). Algoritmy sú rýchle, ale menej precízne; modely trvajú dlhšie a zvyčajne ponúkajú lepšie detaily.a výlety môžete kombinovať s balíček 50 efektov pre After Effects.
Zvýšenie stupňa latentného
Takzvaná Hi-Res Latent Fix sa škáluje priamo v latentnom priestore, čím obohacuje detaily počas rekonštrukcie. Môže sa mierne odchyľovať od originálu a je pomalší, ale pridáva informácie. namiesto len rozťahovania pixelov.
Rýchle porovnanie
Zväčšenie pixelov: rýchle, bez pridávania nových informácií, možné vyhladenie. Latentné zväčšenie: pomalšie, Pridáva detaily, ale môže zmeniť základný obrázok.Vyberte podľa kontextu a požadovanej vernosti.
ControlNet: jemné riadenie štruktúry
ControlNet poskytuje pokyny, ako sú hranice, póza, hĺbka alebo segmentácia, aby sa zabezpečilo, že model rešpektuje štruktúru. Je to mimoriadne výkonný nástroj pre VFX, pretože konzistentne opravuje kompozíciu a pohyb.Vyskúšajte Lineart, Depth alebo OpenPose a upravte intenzitu tak, aby ste vyvážili vernosť/kreativitu.
Správca ComfyUI: Vlastné uzly sú aktuálne
Nainštalujte chýbajúce uzly
Ak pracovný postup vyžaduje uzly, ktoré nemáte, použite Správcu: tlačidlo Správca, „Nainštalovať chýbajúce vlastné uzly“, reštartujte ComfyUI a znova načítajte prehliadač. Vďaka tomu presne replikujete zdieľaný tok..
Aktualizovať uzly
V Správcovi skontrolujte aktualizácie a kliknite na tlačidlo „Inštalovať vlastné uzly“. Ak sa vedľa balíka zobrazí možnosť „Aktualizovať“, nainštalujte ju, reštartujte a obnovte počítač. Udržiavanie uzlov v aktuálnom stave predchádza chybám a zlepšuje funkčnosť.
Hľadanie uzlov na plátne
Dvojitým kliknutím na prázdne plátno otvoríte vyhľadávač uzlov a môžete ich pridať podľa názvu. To urýchľuje montáž zložitých reťazí. bez prehliadania menu.
Vkladanie (inverzia textu)
Ak chcete aktivovať vkladanie, napíšte embedding:Name do výzvy s kladným alebo záporným hodnotením. Umiestnite súbor do ComfyUI/models/embeddings ComfyUI ho použije, ak nájde zhodu. Je to účinný spôsob, ako začleniť špecifické štýly alebo koncepty.
Vkladanie automatického dopĺňania
Nainštalujte balík ComfyUI-Custom-Scripts pre automatické dopĺňanie. Po aktivácii zadajte „embedding:“ a zobrazia sa vám dostupné vložené súbory.zrýchlenie práce s veľkými kolekciami.
Vkladacia hmotnosť
Môžete mu priradiť váhu rovnako ako pri slovách: (embedding:Name:1.2) zvyšuje vplyv a (embedding:Name:0.8) ho znižuje. Úprava závaží vám poskytuje presnú kontrolu nad vizuálnym efektom.
LoRA: prispôsobuje štýl bez toho, aby sa dotýkala VAE
LoRA upravuje MODEL a CLIP základného kontrolného bodu tak, aby zavádzal štýly, znaky alebo objekty, pričom VAE zostáva nedotknutá. Základný postup: výber kontrolného bodu, pridanie jedného alebo viacerých LoRA, kontrola výziev a spustenie frontu.
Niekoľko kaskádových LoRA
V tom istom postupe môžete použiť viacero LoRA; kombinujú sa postupne. Experimentujte s poradím a váhami a kreatívne miešajte štýly kým sa nedosiahne požadovaná rovnováha.
Skratky a triky, ktoré ušetria hodiny
Kopírovanie/vloženie: Ctrl+C, Ctrl+V a Ctrl+Shift+V pre vloženie so zachovaním záznamov. Vyberte viacero uzlov pomocou klávesu Ctrl, vytvorte výberové polia a presuňte ich pomocou klávesu Shift pre rýchle rozloženie.
Stlmenie uzla pomocou Ctrl+M ho dočasne vynechá; minimalizovať uzol stlačením bodky v jeho ľavom hornom rohu na vyčistenie plátna vo veľkých projektoch.
Generačný front: Ctrl+Enter. ComfyUI znovu spúšťa uzly iba v prípade zmeny vstupov.; opravuje semená, aby sa predišlo prepočítavaniu dlhých reťazcov a ušetril sa čas.
Vložený tok PNG: Presuňte vygenerovaný obrázok do ComfyUI a načítajte pracovný tok z jeho metadát. Je to vynikajúci spôsob zdieľania a verziovania kanálov bez straty častí. Ak sa s videom učíte lepšie, pozrite si 10 prelomových video tutoriálov.
ComfyUI pre video: AnimateDiff krok za krokom
AnimateDiff umožňuje generovať sekvencie z textu, obrázkov alebo videa. Pre Windows s technológiou NVIDIA je optimálnych 10 GB VRAM (minimálne 8 GB s nižšími rozlíšeniami alebo Txt2Vid).; v náročných projektoch môžete očakávať okolo 10 GB s 2 ControlNet.
Inštalácia a závislosti
Nainštalujte Git na klonovanie uzlov a 7-Zip na rozbalenie prenosného ComfyUI. FFmpeg je voliteľný (na balenie GIF/MP4 z uzlov zlučovača)Ak sa nenachádza v ceste PATH, streamy naďalej generujú voľné rámce.
Stiahnite si prenosný ComfyUI a pri prvej inicializácii spustite príkaz run_nvidia_gpu. V priečinku vlastných uzlov klonujte ComfyUI-AnimateDiff-Evolved, ComfyUI-Manager, ComfyUI-Advanced-ControlNet a ComfyUI-VideoHelperSuite.
Z aplikácie Manager nainštalujte „ControlNet Auxiliary Preprocessors“ a „FizzNodes“. Reštartujte ComfoUI, aby sa všetko správne načítalo a vyhnite sa chybám pri importe.
Potrebné modely
Umiestnite kompatibilné kontrolné body SD 1.5 do príslušného priečinka a v prípade potreby aj do všeobecného VAE. Stiahnite si moduly pohybu (napr. pôvodné z AnimateDiff, TemporalDiff alebo AD Stabilized Motion) a skopírujte ich do svojej cesty. Pre ControlNet pridajte Lineart, Depth a OpenPose (pth/yaml).
Kľúčové pracovné postupy: Vid2Vid a Txt2Vid
Vid2Vid: načíta adresár snímok so vstupným uzlom image/video, riadi image_load_cap, skip_first_images a select_every_nth pre trvanie a vzorkovanie. Možnosti jednotného kontextu sú kľúčové: dĺžka kontextu ~16, prekrytie pre kontinuitu a uzavretá slučka iba pre Txt2Vid.
Txt2Vid: používa primárny uzol rámca (bez zavádzača obrázkov) a generuje priamo z výzvy. S Denoise=1 v KSampleri budete mať plne generatívny efekt., ideálne pre nápadité klipy.
Plánovanie dávkových výziev
BatchPromptSchedule od FizzNodes vám umožňuje meniť výzvy pre každý rámec. Používa pre_text a app_text pre bežné hlavičky a uzávierky a definuje páry „rámec:výzva“. Dávajte si pozor na poslednú čiarku v poslednom prvku, spôsobí to chybu; duplikuje inštrukciu, ak ju chcete ponechať medzi intervalmi.
Nastavenia vzorkovania a kombinovania
KSampler pre video vyžaduje viac krokov (minimálne 25 a je lepšie ich zvyšovať). Vyskúšajte Euler_a sampler a upravte CFG podľa svojich predstáv.Vo Vid2Vid znížte šum, aby ste sa priblížili k zdrojovému klipu. Uzol Combine exportuje GIF/MP4: definujte frame_rate, loop_count, format a či chcete ping-pongový efekt.
Praktické tipy: znížte silu ControlNet pre statické obrázky, vyskúšajte OpenPose, použite druhý KSampler na korekciu „hires“. Vyskúšajte Motion LoRA na obohatenie špecifických pohybov a ControlNets kombinuje striedmo.
Ďalšie video enginy v ComfyUI
HunyuanVideo (img2vid s titulkami)
Pripravte si obrázok s rozmermi 512x512 a vygenerujte k nemu titulky pomocou programu Florence2Run. Nahraďte výrazy ako „obrázok/fotografia/ilustrácia“ výrazom „video“ pomocou funkcie StringReplace Pre zosúladenie s trénovaním modelu. Preveďte do latentného priestoru pomocou HunyuanVideo Sampler + wrapperov, použite Lora Select a exportujte pomocou combinera.
LTX Video (kanál uzlov LTX)
Nainštalujte uzly a modely ComfyUI-LTXVideo (vrátane kodéra PixArt-XL). Napíšte prompt do CLIPu, vytvorte video latent pomocou EmptyLTXVLatentVideo a upravte LTXVSchedulerPočet krokov zvyšuje kvalitu a parametre ako max_shift, base_shift, stretch a terminal formujú dynamiku klipu. Uložte pomocou SaveAnimatedWEBP (lossless true, kvalita 100) alebo exportujte do iných formátov.
Wan 2.1 (text na video, obrázok na video, video na video)
ComfyUI tiež integruje postupy pre Wan 2.1. Jeho použitie zahŕňa Txt2Vid, Img2Vid a Vid2Vid, s riadením parametrov podobným ako v predchádzajúcich pipeline a výhodami časovej konzistencie v závislosti od prípadu použitia.
Pohyblivá grafika: segmentácia, hĺbka a prelínanie
Pre animácie pohyblivej grafiky z videa začnite s LoadVideoInput, nastavte možnosti Skip First Frames (Preskočiť prvé snímky) a Select Every Nth Frame (Vybrať každú N-tú snímku) a škálujte pomocou ImageScaleToMegapixels až do ~1MP. Toto predspracovanie upravuje zaťaženie VRAM a prevádzkovú rýchlosť. v generácii. Môžete si tiež overiť, ako Vytváranie titulkov v Premiere integrovať grafiku a titulky.
Segmentujte subjekt pomocou GroundingDINO a SAM s GroundingDinoSAMSegment z textu. Zväčšite masku pomocou GrowMaskWithBlur a preveďte ju na obrázok pomocou MaskToImage pre robustnejší obrys.
Vytvorte časový signál pomocou TimeFeatureNode a modulujte ho pomocou FeatureScaler (lineárne, logaritmické, exponenciálne). To vám umožní ovládať posuny hĺbky (Z) alebo polohy masky pozdĺž klipu. pre viac filmových efektov.
Vygenerujte masku prekreslenia závislú od hĺbky pomocou FlexMaskDepthChamber, ktorá kombinuje masku objektu, časový signál a mapu hĺbky klipu. Úpravou Z spredu/Z zozadu definujete aktívnu zónu v danom čase. a dosiahnuť presvedčivý 3D efekt.
V generatívnej fáze načítajte kontrolný bod, aplikujte LoRA, nakonfigurujte výzvy a v prípade potreby pridajte ControlNet. AnimateDiff vám poskytne snímky; potom ich interpolujte s RIFE VFI, aby ste zdvojnásobili plynulosť. a plynulé prechody.
Ak chcete kombinovať prechody: vygenerujte niekoľko verzií s rôznymi indikáciami, vyberte segmenty pomocou ImageIntervalSelectPercentage, zmiešajte prechody pomocou ImageBlend a spojte ich pomocou ImageBatchMulti. Záverečný prechod cez RIFE VFI zanecháva animáciu hodvábne plynulou. a pripravené na export.
Online a cloudové alternatívy ComfyUI
Ak nechcete nič inštalovať, existujú cloudové služby s predkonfigurovaným ComfyUI, so stovkami uzlov/modelov a desiatkami hotových pracovných postupov. Sú užitočné pre rýchle testy alebo pre tímy, ktoré zdieľajú šablóny bez toho, aby ste sa museli zaoberať miestnymi agentúrami. Ako rýchla a jednoduchá alternatíva existujú aj zdroje na animácie a vizuálne efekty v CapCute.
Ďalšou možnosťou je použitie cloudových generátorov videa, ako je Dreamina: jednoduché rozhranie, žiadna lokálna VRAM a výsledky za 20 – 60 sekúnd. Ponúka doplnkové funkcie, ako je zvýšenie rozlíšenia HD, interpolácia snímok a generovanie zvukovej stopy.S bezplatnými dennými kreditmi na začiatok je to zjednodušená alternatíva, keď je rýchlosť dôležitejšia ako detailná kontrola.
Výkon, požiadavky a časy
Lokálne si ComfyUI na prevod obrazu na video zvyčajne vyžaduje 8 až 24 GB VRAM v závislosti od modelu (AnimateDiff, HunyuanVideo, LTX Video) a rozlíšenia. Aj na výkonných grafických procesoroch môže generovanie trvať 10 – 30 minút Ak je klip dlhý alebo ak používate viacero ControlNet a hornopriepustných filtrov, záťaž sa presunie na poskytovateľa v cloude.
Softvér ComfyUI je bezplatný, ale náklady sú spojené s hardvérom a elektrinou, ak pracujete dlhší čas. Cloud sa týmto nákladom vyhýba výmenou za závislosť od služby a poplatku alebo kreditov.Zhodnoťte, čo najviac prospieva vášmu pracovnému postupu.
Bežné riešenie problémov
Ak vidíte chyby null alebo uzly, ktoré „neexistujú“, pravdepodobne vám v priečinkoch chýbajú modely alebo odinštalované závislosti. Overte, či má každý uzol priradený model a pomocou Správcu nainštalujte všetky chýbajúce balíky.Ak už používate ComfyUI na iné úlohy, vyhnite sa konfliktným repozitárom.
Najlepšie postupy pre konzistentný vizuálny efekt
Zablokujte semená pre reprodukovateľnosť počas nastavovania častí reťaze. Uložte obrázky s metadátami pracovného postupu a pridajte anotácie k verziám uzlov a modelovVo videu starostlivo definujte dĺžku kontextu a prekrytia a zachovajte jasné poradie ControlNet a LoRA.
Takticky prepínajte medzi upscale pixel a latentným efektom v závislosti od typu záberu a úrovne detailov. Vo Vid2Vid znížte šum tak, aby rešpektoval pohyb základne.V Txt2Vid stlačte kroky a sampler pre dosiahnutie vizuálnej stability.
Integrujte preprocesory ControlNet (canny, depth, openpose…) zo Správcu a rozšírte si tak svoje nástroje. A pamätajte: menšia sila ControlNet často funguje lepšie vo videu.vyhýbajúc sa filtrovanému vzhľadu a zachovávajúc prirodzený vzhľad.
Ak váš prípad vyžaduje sprievodcov titulkami, rôzne ovládanie časovej dynamiky alebo alternatívne kanály, určite si pozrite HunyuanVideo a LTX Video. Wan 2.1 tiež pridáva solídne možnosti pre Txt2Vid, Img2Vid a Vid2Vid s konzistentnými parametrami a konkurencieschopnými výsledkami.
Tí, ktorí hľadajú rýchlosť a nulové trenie, sa môžu spoľahnúť na online služby, zatiaľ čo tí, ktorí vyžadujú chirurgickú kontrolu a úplnú reprodukovateľnosť, zažiaria s lokálnym rozhraním ComfyUI. S časťami, ktoré ste videli – uzly, parametre, skratky a postupy – teraz máte plán na vytvorenie špičkového vizuálneho efektu. v statických obrázkoch aj videosekvenciách, flexibilným a škálovateľným spôsobom.
