Nunchaku Lite ubrzava AI generisanje slika za 30% uz manje memorije
Novi način kvantizacije omogućava brže generisanje visokokvalitetnih slika uz polovinu memorije, direktno u Diffusers biblioteci.
Generisanje AI slika postaje brže i pristupačnije zahvaljujući novoj tehnologiji kvantizacije. Nunchaku Lite, sada integrisan u Diffusers biblioteku, omogućava generisanje 1024x1024 slike za samo 1.7 sekunde na RTX 5090 kartici, uz korišćenje svega 12 GB memorije umesto prethodnih 24 GB.
Ključna inovacija je u SVDQuant metodu kvantizacije koji koristi Nunchaku. Standardna 4-bitna kvantizacija ima problema sa "autlajerima" u težinama i aktivacijama, ali SVDQuant rešava ovo pomeranjem autlajera u težine i korišćenjem kombinacije 4-bitnog i 16-bitnog pristupa. Rezultat je do 50% manje memorije i oko 30% brže izvršavanje u odnosu na BF16 modele.
Najbolja vest je da sada možete koristiti ove optimizacije bez posebnih biblioteka. Dovoljno je instalirati Diffusers i kernels paket, a zatim učitati model standardnim from_pretrained() pozivom. Primer koda pokazuje kako generisati sliku lisca u maglovitoj šumi sa samo 8 koraka inferencije.
Za najbolje rezultate potrebna je NVIDIA Blackwell GPU serija (RTX 50 ili B200), dok starije kartice mogu koristiti INT4 varijante. Kombinovanjem sa torch.compile optimizacijama, brzina može porasti do 1.8x u odnosu na standardne modele.
Diffusers sada nudi i diffuse-compressor alatku koja omogućava kvantizaciju bilo kog Diffusers modela. Proces uključuje kalibraciju, kvantizaciju transformera, pakovanje u pipeline i objavljivanje na Hugging Face Hub-u. Postoji i mogućnost dodatne optimizacije tekstualnih enkodera korišćenjem bitsandbytes NF4 kvantizacije.
Iako Nunchaku Lite ne može dostići brzinu originalnog Nunchaku engine-a zbog nedostatka fuzionisanih kernela specifičnih za arhitekturu, i dalje pruža značajne prednosti sa minimalnim naporom za integraciju. Ovo otvara vrata široj upotrebi naprednih modela generacije slika na skromnijim hardverskim konfiguracijama.
Sa ovim unapređenjem, Hugging Face nastavlja da demokratizuje napredne AI tehnologije, čineći ih dostupnijim široj zajednici razvijača bez kompromisa u performansama.
