CERT24Kohalik 27B tehisintellektimudel: milline Mac või PC suudab seda tegelikult käitada
Artikkel selgitab, millist mälu ja riistvara on vaja 27 miljardi parameetriga avatud keelemudelite kohalikuks käitamiseks. Käsitletakse Apple Siliconi Mace, graafikakaartidega personaalarvuteid, mudelite tihendamist, kohalikke rakendusi ning mudelite allalaadimist olukorras, kus Hugging Face on blokeeritud või internetiühendus katkeb.