Microsoft’un kod yazımı ve matematik görevlerine odaklanan yeni modeli: GRIN-MoE
| Eylül 20, 2024 | Posted by SiberBulucu.Com under Genel |
|
Microsoft, GRIN-MoE (Gradient-Informed Mixture-of-Experts) adlı yapay zeka modelini tanıttı. Model, kod yazımı ve matematik gibi karmaşık görevlerde ölçeklenebilirliği ve performansı artırmak için tasarlandı. Modelin, tek seferde parametrelerinin yalnızca küçük bir alt kümesini seçici olarak etkinleştirebildiğini belirtelim. GRIN-MoE’nun hem verimli hem de güçlü bir model olarak konumlandığını söyleyebiliriz. Model, kurumsal uygulamaları yeniden şekillendirme potansiyeline sahip.
Modelin detayları GRIN: GRadient-INformed MoE adlı araştırma makalesinde açıklanıyor. GRIN-MoE, Uzmanlar Karışımı (MoE) mimarisine yeni bir yaklaşım getiriyor. GRIN, görevleri model içindeki uzmanlaşmış “uzmanlara” yönlendiriyor. Böylece hesaplama sürecinde daha az kaynak kullanırken, üst düzey performans sunabiliyor. Modelin en önemli yeniliği, SparseMixer-v2’yi kullanması. SparseMixer-v2, detaylı ⇒
Alıntının kaynağı: Webrazzi
