Yapay zekâ modellerinin yüksek performans için dev veri merkezlerine ihtiyaç duyması gerektiği fikri değişebilir. Caltech araştırmacıları tarafından kurulan PrismML, gelişmiş dil modellerini bilgisayarlar ve akıllı telefonlar üzerinde çalışabilecek kadar küçültmeye odaklanıyor.
Daha az bellek, benzer performans
Şirketin yeni modeli Bonsai 2 27B, Alibaba'nın açık kaynaklı Qwen3.8 27B modelini 5,9 GB boyuta indiriyor. PrismML'ye göre bu, orijinal modele kıyasla yaklaşık 9 ila 10 kat daha düşük bellek gereksinimi anlamına geliyor. Bu ölçek, modelin kişisel bilgisayarlarda ve uygun donanıma sahip üst segment telefonlarda kullanılabilmesinin önünü açabilir.
PrismML, sıkıştırmaya rağmen modelin toplam test performansının orijinal sistemin %98'ine ulaştığını bildiriyor. Şirketin önceki Bonsai sürümü ise %95 seviyesinde kalmıştı. Bu ilerleme, küçük modellerin yalnızca daha erişilebilir değil, aynı zamanda günlük görevlerde daha işlevsel hale gelebileceğine işaret ediyor.
Üç değerli ağırlık yaklaşımı
Geliştirilen yöntemin temelinde, yapay zekâ modelinin eğitim sırasında öğrendiği bilgileri taşıyan "ağırlıkların" sadeleştirilmesi bulunuyor. Geleneksel sistemlerde ağırlıklar daha fazla veriyle temsil edilirken PrismML, üç değerli ağırlıklar yaklaşımıyla bunları +1, -1 ve 0 değerlerine indiriyor.
Bu yöntem, depolama ihtiyacını azaltırken modelin muhakeme kabiliyetini korumayı amaçlıyor. PrismML'nin hedefi, tekniği gelecekte yüzlerce milyar parametreli daha büyük modellere de uygulamak. Şirkete göre daha büyük modeller, zekâ kaybını sınırlayarak sıkıştırma için daha geniş bir alan sunabiliyor.
Yapay zekânın doğrudan kullanıcı cihazlarında çalışması; daha düşük bulut bağımlılığı, daha hızlı yanıtlar ve gizlilik açısından yeni olanaklar yaratabilir. Bu yaklaşım, gelecekte kişisel yapay zekâ deneyimlerini daha erişilebilir, ekonomik ve yerel hale getirebilir.
