Meta’dan mobil cihazlar için büyük dil modeli: MobileLLM

Meta AI ekibi mobil cihazlar için büyük dil modeli yaklaşımı MobileLLM‘i tanıttı. Çalışmayı ortaya koyan araştırma ekibi, Meta Reality Labs, PyTorch ve Meta AI Research (FAIR) üyelerinden oluşuyor. Ekip, 1 milyardan daha az parametreye sahip modelleri optimize etmeye odaklandı. Bu noktada kıyaslamak açısından GPT-4 gibi modellerin bir trilyondan fazla parametreye sahip olduğunu belirtelim. 

MobileLLM’in öne çıkan yönleri

Meta’nın Baş Yapay Zeka Bilimcisi Yann LeCun’un paylaştığı bilgiler modelde genişlikten ziyade derinlikten söz etmekte. Yani MobileLLM, genişlik yerine model derinliğine öncelik veriyor. Gömme paylaşımı (embedding sharing) ve gruplanmış sorgu dikkatini (grouped-query attention) uygulayan modelde yeni bir ani blok-bilge ağırlık paylaşımı detaylı ⇒

Alıntının kaynağı: Webrazzi