Meta AI, Mobil Cihazlar İçin Kompakt Dil Modeli Geliştiriyor
Meta AI araştırmacıları, mobil cihazlar için geliştirdikleri MobileLLM adlı kompakt dil modelini duyurdu.
Son dönemde akıllı telefon üreticileri cihazlarında suni zekâ özellikleri kullanmak için büyük yatırımlar yapıyor. Meta da mobil cihazlar, tabletler benzer biçimde kapasitesi kısıtlı olan araçlar için daha kompakt bir dil modeli inşa ediyor. Bu modelle beraber verimli suni zekânın boyutları değişiyor.
Meta Reality Labs ekibi, PyTorch ve Meta AI Research (FAIR) çalışanlarından, 1 milyardan daha azca parametrenin olduğu bir modeli geliştirmek için ortak bir ekip kuruldu. Bu model, GPT-4 benzer biçimde büyük modellerin binde biri kadar kalıyor. GPT-4, 1 trilyondan fazla parametreye haiz.
Suni zekâ küçülüyor!
Mevzuyla ilgili olarak X üstünden bir paylaşım meydana getiren Meta’nın baş suni zekâ bilimcisi Yann LeCun, araştırmanın detaylarını paylaştı. MobileLLM adlı dil modeli, akıllı telefonlar ve öteki cihazlara suni zekâ getirecek.
Meydana getirilen çalışmaya bakılırsa daha minik modeller, genişlikten ziyade derinliği öne alarak model performansını arttırıyor. Ek olarak gelişmiş ağırlık paylaşım teknikleri kullanılarak depolama kısıtı olan cihazlarda verimliliği arttırabildiklerini açıkladı. Bu süreçte de gömülü paylaşım, gruplanmış kuyruk sorgu ve bloklu ağırlık paylaşımı ile dikkatleri çekti.
Araştırmada dikkat çeken bir başka nokta ise bir tek 350 milyon parametre ile MobileLLM’in 7 milyar parametrelik LLaMA-2 modeli ile başabaş bir performans sergiledi.
