Liquid AI predstavlja nove encodere sa rekordnim kontekstom od 8K tokena

U svetu gde veliki jezički modeli zahtevaju ogromne resurse, Liquid AI je izbacio dva nova encodera koji pružaju iznenađujuće rezultate na standardnim procesorima. LFM2.5-Encoder-350M, sa samo 350 miliona parametara, zauzima četvrto mesto na benchmark testovima, pobedujući mnogo veće modele poput EuroBERT-2.1B sa 2.1 milijarde parametara.

Ključna prednost ovih modela je njihova sposobnost da obrađuju do 8.192 tokena odjednom - što odgovara 13-15 strana teksta. Ovo ih čini idealnim za industrijske kontrolere, finansijske dokumente ili medicinske kartone gde cloud round-trip nije opcija. Na CPU uređajima, LFM2.5-Encoder-230M obavlja obradu za samo 28 sekundi, dok ModernBERT-base za isti zadatak treba preko 90 sekundi.

Modeli su nastali konverzijom postojećih decoder arhitektura kroz tri ključne promene: bidirekcionu masku pažnje, nekauzalne konvolucije i trening sa 30% maskiranih tokena - duplo više nego originalni BERT. Liquid AI ističe da je ova kombinacija omogućila modelima da zadrže efikasnost i pri većim kontekstima.

Za praktičnu primenu, kompanija je objavila pet demo aplikacija koje rade isključivo na CPU, uključujući detektor ličnih podataka za 16 jezika i sistem za automatsku proveru pravila. Posebno je zanimljiv demo gde encoder funkcioniše kao chatbot kroz iterativno otkrivanje maskiranih delova teksta.

Dok veći modeli i dalje vode u apsolutnoj tačnosti, ovi encoderi pokazuju da pažljiva arhitektonska optimizacija može doneti impresivne rezultate u realnim uslovima. Pitanje je da li će ovaj pristup postati standard za edge AI aplikacije gde brzina i efikasnost prevazilaze potrebu za maksimalnom preciznošću.