Ak pracujete s generatívnym umením a vizuálne efektyComfyUI je ovládací panel, ktorý vám umožňuje doladiť a vytvoriť obrázky, animácie a dokonca aj videá s chirurgickou presnosťou. Jeho prístup využívajúci uzly a reťazené pracovné postupy Vďaka tomu je ideálnym nástrojom pre tých, ktorí chcú pochopiť a kontrolovať, čo sa deje v každej fáze stabilnej difúzie.
V nasledujúcich častiach nájdete podrobný a praktický návod na zvládnutie ComfyUI v pokročilých kreatívnych projektoch: z textu do obrázka, z obrázka do obrázka, SDXL, domalovanie a premalovanieOd škálovania, ControlNet, vkladania, LoRA, základných skratiek a pracovných postupov s videom so Stable Video Diffusion a AnimateDiff. Všetko prezentované pútavým štýlom s konkrétnymi príkladmi a tipmi, ako sa vyhnúť úzkym miestam a bežným chybám.
Čo je ComfyUI a ako sa odlišuje od ostatných rozhraní?
ComfyUI je modulárne grafické rozhranie založené na uzloch pre Stable Diffusion, ktoré vám umožňuje vytvárať vlastné procesy spájaním dielikov, ako sú napríklad kocky Lego. Každý uzol vykonáva funkciu (načítanie modelu, kódovanie textu, vzorkovanie, dekódovanie atď.) a s ostatnými sa prepája prostredníctvom „hraní“, ktoré prenášajú dáta z jednej fázy do druhej.
V porovnaní s AUTOMATIC1111 ponúka ComfyUI oveľa väčšiu transparentnosť a flexibilitu. Môžete si zobraziť a upraviť presný tok údajovTo vám umožňuje zdieľať reprodukovateľné pracovné postupy a variácie prototypov bez toho, aby ste sa museli dotýkať kódu. Nevýhodou je, že rozhranie sa môže medzi projektmi viac meniť a vyžaduje si zvyknutie si „myslieť v zmysle uzlov“.
Ak je to pre vás prvýkrát, nebojte sa: V ideálnom prípade by ste mali začať so základným postupom, spustiť ho a potom pridať alebo nahradiť uzly. pochopiť, čo každý kus prispieva. Nakoniec sa táto krivka učenia vyplatí v podobe kreatívnej kontroly a výkonu.
Základné stavebné bloky: uzly, pripojenia a základné ovládacie prvky
Na plátne ComfyUI uvidíte „políčka“ (uzly) so vstupnými a výstupnými portami. Presunutie z výstupu na kompatibilný vstup Ak chcete vytvoriť pripojenie, uvoľnite tlačidlo a vyberte ďalší odporúčaný uzol. Ak potrebujete niečo odstrániť, vyberte to a stlačte kláves Delete. Ak chcete začať odznova, použite možnosť Vymazať.
Navigácia je veľmi jednoduchá: priblíženie pomocou kolieska myši alebo gesta štipnutia prstovPotiahnutím sa pohybujte po plátne a kliknutím a podržaním na portoch vytvorte prepojenia. Keď potrebujete vyčistiť zobrazenie, minimalizujte uzly pomocou bodky v ľavom hornom rohu.
Užitočná rada: pri testovaní parametrov nahraďte možnosť Uložiť obrázok možnosťou Ukázať obrázok. Takto nezaplníte disk dočasnými výsledkami. počas iterácie vo vašom kanáli.
Text pre obrázok krok za krokom: od výzvy k pixelu
Klasický tok prevodu textu na obrázok je vytvorený s niekoľkými kľúčovými uzlami. Začnete načítaním kontrolného bodu, zakódujete výzvu, vygenerujete latentné signály pomocou KSamplera a dekódujete ich pomocou VAE. aby ste získali finálny obrázok.
Výber modelu s kontrolným bodom zaťaženia
Uzol Load Checkpoint poskytuje tri hlavné výstupy: MODEL (UNet), CLIP (textový kodér) a VAE. MODEL sa pripája ku KSampleru, CLIP k textovým uzlom a VAE k časti kódovania/dekódovania obrazu.Ak svoj model v zozname nevidíte, umiestnite ho do priečinka kontrolných bodov nakonfigurovaného v ComfyUI.
Pozitívne a negatívne výzvy s kódovaním textu CLIP
Použijete dva uzly CLIP Text Encode: jeden pre „pozitívnu“ výzvu a jeden pre „negatívnu“ výzvu KSamplera. CLIP transformuje vaše slová do vysokorozmerných vnorení čo bude viesť k odstraňovaniu šumu. Váhu výrazom môžete priradiť syntaxou ako (slovo:1.2), aby ste im dali väčšiu váhu, alebo (slovo:0.8), aby ste ju odpočítali.
Ak pracujete s vlastnými vloženými prvkami, môžete na ne odkazovať aj podľa názvu. Je to spôsob vnášania naučených konceptov alebo štýlov. priamo v texte, ktorý riadi generáciu.
Latentný obraz a odporúčané veľkosti
Generovanie začína v latentnom priestore. Pomocou prázdneho uzla latentného obrazu definujete výšku, šírku a veľkosť dávky. Fungujú veľmi dobre pre SD 1.5, 512×512 alebo 768×768Pre SDXL je zvyčajne optimálne rozlíšenie 1024x1024. Pamätajte, že rozlíšenie musí byť násobkom 8 kvôli architektúre modelu.
VAE: od latentného k pixelovému (a naopak)
VAE komprimuje a rekonštruuje, čím spája svet pixelov so svetom latentných obrazov. Na konci sa dekóduje, aby sa získal viditeľný obraz.Avšak v úlohách, ako je inpainting, môžete kódovať aj zo vstupného obrázka. Na oplátku za efektivitu dochádza k miernej strate: v porovnaní s ideálnym obrázkom sa môžu objaviť malé artefakty.
KSampler: srdce difúzie
Tento uzol iteratívne odstraňuje šum, až kým nezhmotní obsah riadený vašou výzvou. Kľúčové parametre: seed (opakovateľnosť), kroky (detail a čistenie), sampler a plánovačOvládanie odšumovania reguluje, koľko sa prepíše; pri 1 časti plného šumu a nižších hodnotách sa zachová viac zdrojového signálu (užitočné pri režime obraz v obraze).
Užitočným nastavením je control_after_generation, ktoré definuje, čo seed urobí po každom vykonaní. Môžete ho nechať nemenný, zvýšiť ho, znížiť ho alebo ho náhodne upraviť. obmieňať výlety bez toho, aby sa niečoho iného dotklo.
Z obrázka do obrázka, SDXL, domalovanie a premalovanie
Prechod na pracovné postupy obraz po obraze pridáva vstupný obraz a upravuje odšumenie tak, aby vyvážil vernosť s kreativitou. Menej odšumenia, viac rešpektu k pôvodnej fotografiiČím väčšie číslo, tým väčšia je sloboda pri reinterpretácii.
SDXL funguje podobne, len s vyšším rozlíšením a bohatším kódovacím systémom. Ak to vaša grafická karta umožňuje, použite rozlíšenie 1024x1024 a monitorujte využitie VRAM.Uvidíte zlepšenia v detailoch, konzistencii a kolorimetrii.
Pre inpainting načítajte obrázok a definujte masku úprav v editore masiek. Použite VAE Encode (pre inpaint) a nakonfigurujte silu odšumenia rozhodnúť sa, koľko regenerovať. Pamätajte, že existujú špecifické kontrolné body pre vykresľovanie, hoci môžete pracovať aj so štandardným kontrolným bodom úpravou príslušných uzlov.
Pri premaľovaní sa plátno rozšíri pomocou obrázka podložky pre premaľovanie. Ovládaním vľavo, hore, vpravo, dole pridáte pixely, použite pero na vyhladenie spoja a použite grow_mask_by v kódovaní inpaint (hodnoty väčšie ako 10 zvyčajne poskytujú prirodzenejšie prechody).
Škálovanie: Pixel verzus Latent a kedy si vybrať ktorý z nich
Škálovanie v ComfyUI možno realizovať dvoma spôsobmi. Zväčšenie pixelu zväčšuje viditeľný obraz (rýchle a jednoduché, s algoritmami ako bikubické, bilineárne alebo najbližšie presné), zatiaľ čo Upscale latent reinterpretuje v latentnom priestore (viac času, ale pridáva detaily a textúru).
Ak chcete z renderu vyťažiť maximum, skúste škálovať podľa modelu pomocou funkcie Načítať model so zvyšovaním rozlíšenia spolu s uzlom Zväčšiť rozlíšenie obrázka (pomocou modelu). Vyberte si špecializované modely (napr. anime alebo realistické) a faktory 2x alebo 4x v závislosti od konečného cieľa.
Ak hľadáte absolútnu vernosť originálu, škálovanie pixelov je vaším spojencom. Ak máte záujem obohatiť obrázok o viac informácií a mikrodetaily, potom sa objaví latentná cesta (tiež známa ako „Hi-res latentná oprava“).
ControlNet: Presné ovládanie s hranicami, pózou, hĺbkou a segmentáciou
ControlNet umožňuje podmieňovanie generovania pomocou štrukturálnych máp a špeciálne efekty ako napríklad lineart, hĺbka, OpenPose alebo segmentácia. Je ideálny na replikáciu rámovania, póz alebo siluet. bez toho, aby ste obetovali štýl, ktorý definuje text. Upravte silu ovládania tak, aby ste vyvážili vedenie a slobodu.
Typický pracovný postup zahŕňa predspracovanie (napr. extrakciu hrany alebo pózy z obrázka) a zodpovedajúci model ControlNet. S dvoma alebo viacerými sieťami ControlNet môžete presadzovať doplnkové pravidlá (napr. ľudská póza + hĺbka) dosahujúc veľmi konzistentné výsledky.
ComfyUI Manager: Inštalácia, aktualizácia a vyhľadávanie uzlov z rozhrania
ComfyUI Manager zjednodušuje život, keď pracovný postup vyžaduje vlastné uzly, ktoré nemáte. Z ponuky nainštalujte chýbajúce komponenty a reštartujte ComfyUI aby boli k dispozícii. Môžete tiež skontrolovať aktualizácie a použiť zmeny jedným kliknutím.
Ak chcete na plátno pridať uzly, dvakrát kliknite na prázdnu oblasť a otvorte vyhľadávač. Je to rýchly spôsob, ako nájsť a vytvoriť presne ten blok, ktorý potrebujete bez prechádzania dlhými ponukami.
Vkladanie: vlastné koncepty a štýly vo vašich výzvach
Vkladanie (tiež nazývané inverzia textu) sú nové „slová“, ktoré obsahujú naučený štýl alebo koncept, ako napríklad filtre alebo halucinogénne účinky. Stačí napísať niečo ako embedding:NombreDelEmbedding v príkazovom riadku a ComfyUI vyhľadá zodpovedajúci súbor v priečinku embeddings.
Ak ich zvládnete veľa, automatické dopĺňanie je zlatý kúsok. S uzlami ako ComfyUI-Custom-Scripts sa vám zobrazia návrhy pri zadaní „embedding:“To zrýchľuje proces výberu a znižuje počet preklepov.
Vloženie môžete vážiť rovnako ako bežný termín. Typ syntaxe (embedding:Nombre:1.2) zvyšuje alebo znižuje svoj vplyvExperimentovanie s váhami je kľúčom k dosiahnutiu rovnováhy medzi štýlom a obsahom.
LoRA: Prispôsobte si kontrolný bod a kombinujte rôzne štýly
LoRA je jemné doladenie, ktoré upravuje MODEL a CLIP kontrolného bodu bez dotyku VAE. Používa sa na vkladanie špecifických štýlov, ľudí alebo objektov. Ľahký a vysoko všestranný. Základný pracovný postup: načítanie základného kontrolného bodu, pridanie LoRA, definovanie výziev a spustenie.
Viacero inštancií LoRA naraz? Úplne možné. Aplikujú sa kaskádovito a každý z nich nadväzuje na predchádzajúci.Ak potrebujete podrobnú kontrolu, použite „stack“ uzly, ktoré vám umožňujú aktivovať/deaktivovať a upravovať silu pre každú LoRA.
Skratky a triky na rýchlejšiu prácu
Produktivita v ComfyUI sa zvyšuje, keď zvládnete jeho skratky. Kopírovať/vložiť (Ctrl+C / Ctrl+V), vložiť so zachovaním položiek (Ctrl+Shift+V)Vyberte viacero uzlov pomocou klávesu Ctrl, presuňte ich ako skupinu pomocou klávesu Shift alebo dočasne stlmte uzol pomocou klávesu Ctrl+M, čím ho preskočíte.
Vygenerované súbory PNG ukladajú vložený pracovný postup ako metadáta. Presuňte PNG na plátno ComfyUI a zrekonštruujte presný tok ktorý ho pochádza. Je to fantastické na archiváciu verzií alebo zdieľanie s ostatnými.
Ďalší kľúčový tip: opravte semená, keď reťazíte dlhé procesy. ComfyUI znovu vykoná uzol iba v prípade zmeny jeho vstupu.Takže udržiavanie stabilného semena vám zabráni v prepočítavaní častí, ktoré už máte.
Sťahovanie a importovanie pracovných postupov tretích strán
Vynikajúcim spôsobom, ako sa učiť, je načítať pracovné postupy tretích strán a experimentovať. Stiahnite si súbor JSON, rozbaľte ho, ak je v ZIP súbore, a importujte ho do plátna.Ak sa zobrazia chyby spôsobené chýbajúcimi uzlami, nainštalujte ich pomocou Správcu a reštartujte.
Mnohé pracovné postupy zahŕňajú dva varianty: „normálny“ a jeden s dodatočným škálovaním. Skontrolujte uzly priblížením a parametre si prezrite lupou. Ak chcete pochopiť rozhodnutia jeho tvorcu, po vyriešení závislostí stlačte Queue Prompt a sledujte výsledok.
Stabilná difúzia videa (SVD): zo statického obrazu na animovaný klip
SVD rozširuje vysielaciu paradigmu na čas a generuje krátke klipy z obrázkov. Existujú varianty pre 14 a 25 rámikov (SVD a SVD-XT) s typickým rozlíšením 576×1024 a konfigurovateľnými fps medzi 3 a 30. Trénuje na veľkých video súboroch a zdokonaľuje sa pomocou vysokokvalitného materiálu.
V ComfyUI si môžete nastaviť tri kľúčové parametre. ID pohybového segmentu riadi intenzitu posunutiaFPS označuje rýchlosť prehrávania a „úroveň vylepšenia“ určuje, koľko transformácie sa má použiť zo základného obrázka (viac šumu znamená viac kreatívnych zmien).
U-Net integruje časovú pozornosť, aby zaobchádzal so sekvenciou snímok ako s koherentným objemom. To umožňuje súčasné odstránenie šumu zo všetkých snímok. a zachovať vizuálnu kontinuitu, čím sa zníži blikanie medzi obrázkami.
AnimateDiff v ComfyUI: Prevod textu na video a videa na video
AnimateDiff umožňuje generovať animované sekvencie z textu (txt2vid) alebo transformovať obrazové sekvencie (vid2vid). Pre pohodlnú prácu so stredným rozlíšením s dvoma ControlNetOdporúča sa grafická karta NVIDIA s 10 GB VRAM; s 8 GB môžete znížiť rozlíšenie alebo sa držať obsahu txt2vid plus.
Užitočné nástroje na nastavenie prostredia: Git na klonovanie uzlov, 7-Zip na rozbalenie prenosného balíka ComfyUI a voliteľne FFmpeg na kódovanie GIFov alebo MP4 z uzlov zlučovača (pozri video tutoriály na vytváranie umeleckých efektov). Ak FFmpeg nie je v ceste PATH, streamy budú stále generovať obrázky.Video uzly sa však nemusia zbaliť.
Nainštalujte si prenosný ComfyUI, spustite príslušný skript (napr. run_nvidia_gpu) a pridajte kľúčové vlastné uzly: AnimateDiff Evolved, ComfyUI-Manager, Advanced ControlNet a VideoHelperSuiteZ aplikácie Manager sa tiež inštalujú pomocné preprocesory ControlNet a FizzNodes pre pokročilé plánovanie.
Požadované modely: kompatibilné kontrolné body SD 1.5, solídna VAE, pohybové moduly pre AnimateDiff (originálne alebo optimalizované ako TemporalDiff alebo stabilizované verzie) a modely ControlNet ako Lineart, Depth alebo OpenPose. Umiestnite každý súbor do príslušného priečinka. (kontrolné body, vae, riadiaca sieť, pohyb) sa majú zobraziť v selektoroch uzlov.
Uzly a parametre špecifické pre video
Pre vid2vid použite Image Loader, ktorý ukazuje na priečinok s rámcami. image_load_cap obmedzuje počet načítaných snímokFunkcia `skip_first_images` preskočí počiatočné obrázky a funkcia `select_every_nth` podvzorkuje sekvenciu (napr. 2, aby sa z každých dvoch snímok vybral jeden).
Farbu uzlov výzvy je možné prispôsobiť pre rýchlu identifikáciu. Zelená pre kladné, červená pre záporné Je to bežný vzorec, hoci to neovplyvňuje funkčnosť. Vždy skontrolujte, či uzly načítavania modelu smerujú na existujúce súbory.
Jednotné možnosti kontextu predlžujú „efektívnu“ dĺžku animácie. Definuje dĺžku kontextu (napr. 16), prekrytiea ak je to relevantné, aj režim slučky. Parameter kroku kontextu sa pokúša vytvoriť globálny priechod a doplniť medziľahlé úseky, ale môže výrazne predĺžiť čas výpočtu.
FizzNodes poskytuje veľmi flexibilný plánovač dávkových výziev. Pre predpony a prípony použite pre_text a app_text a definujte zmeny na rámec pomocou párov typu frame_number: prompt. Na koniec sa vyhnite pridávaniu ďalších čiarok, aby ste predišli chybám pri analýze.
V KSampleri zvýšte počet krokov nad 20 pre video. CFG sa zaobchádza tak, ako je znázornené na obrázku; vyskúšajte rôzne samplery (Euler_a zvyčajne funguje dobre). Vo vid2vid znížte šum, ak chcete zachovať pôvodné gestá a kompozíciu, a zvýšte ho pre voľnejšiu reinterpretáciu.
Kombinovaný uzol sekvencií balíkov AnimateDiff. Vyberte formát (gif/mp4), snímkovú frekvenciu, počet slučiek a pingpong Ak chcete prehrávať obrázok tam a späť, aktivujte možnosť „uložiť obrázok“, aby ste zachovali aspoň jeden snímok s metadátami pracovného postupu.
Tipy do práce a riešenie problémov
Pre lepšiu kontrolu pridajte na koniec druhý spresňujúci KSampler. Vyskúšajte aj Motion LoRA a siete s plynulejším ovládaním V statických obrázkoch môže príliš veľká sila „stuhnúť“ pohyb; vo videu môže príliš veľká sila spôsobiť, že pohyb pôsobí strnulo. OpenPose je vynikajúci na zachovanie ľudských gest.
Ak sa zobrazia „chyby typu null“, overte, či má každý uzol zaťaženia vybraný model. Majte na pamäti, že niektoré repozitáre uzlov môžu navzájom kolidovať. Ak už používate ComfyUI na iné úlohy, vypnite konfliktné prostredia alebo vytvorte samostatné prostredia.
Vo vid2vid pripravte sekvenciu s frekvenciou 12 – 15 snímok za sekundu, ak chcete proces zrýchliť. Na extrahovanie rámcov môžete použiť online nástroje alebo editory a znížte celkové množstvo pred načítaním do ComfyUI. Potom upravte konečnú snímkovú frekvenciu balíka podľa požadovanej estetiky.
Dobré výkonnostné a organizačné postupy
Pri reťazení viacerých etáp nastavte počiatočné hodnoty a na presun súvisiacich blokov použite skupiny. Minimalizujte sekundárne uzly, aby ste videli „kostru“ toku a striedajte uzly Uložiť/Ukázať v závislosti od toho, či ste vo fáze testovania alebo finálneho vykresľovania.
Udržiavajte uzly aktualizované pomocou Správcu a dokumentujte svoje varianty uložením obrázka pre každú relevantnú iteráciu. Ako ComfyUI vkladá pracovný postup do PNGBudete mať dokonalý záznam o procese bez straty prehľadu.
A ak nechcete nič inštalovať, existujú cloudové možnosti, kde si môžete v priebehu niekoľkých sekúnd otvoriť predpripravené pracovné postupy a obľúbené šablóny. Je to rýchla cesta k prototypovaniu alebo práci s menšími tímami bez toho, aby sa vzdali pokročilých uzlov.
Kombinácia ComfyUI, ControlNet, LoRA, embeddingov a video modulov dnes tvorí veľmi silný ekosystém. Cvičením sa naučíte, ktorú skladbu hrať pre každý estetický cieľ.Či už ide o hyperrealistický portrét, čistú zväčšeninu, precíznu kresbu alebo klip s koherentným a štylizovaným pohybom.
Všetko, čo sme videli, vykresľuje jasný obraz: začnite so základnými postupmi, pridajte postupné ovládanie a konsolidujte šablóny, aby ste dosiahli opakované výsledky. Keď internalizujete logiku uzlov a poznáte kľúčové parametreComfyUI sa vďaka Stable Diffusion stáva nástrojom na tvorbu nápadov pripraveným na akýkoľvek projekt vizuálnych efektov, a to ako v oblasti obrázkov, tak aj videa.
