DeepSeek’ten model performansını artıran mimari: Manifold-Constrained Hyper-Connections

Çin’in yapay zeka ve robotik yükselişinde DeepSeek‘in rolünü sizlerle paylaşmıştık. DeepSeek araştırmacıları, yayınladıkları bir makale ile Manifold-Constrained Hyper-Connections (mHC) adlı bir teknoloji geliştirdiklerini paylaştı. Manifold-Constrained Hyper-Connections (mHC), yapay zeka modellerinin performansını artırabiliyor. 

Aslında DeepSeek’in büyük dil modellerinin yeni bilgileri öğrenmek için kullandığı kalıntı bağlantı mekanizmasını geliştirmek için mHC’yi ortaya koyduğunu söyleyebiliriz. 2015 yılında icat edilen bağlantı mekanizması ise birçok görme modeliyle birlikte sunuluyor.

Yapay zeka modellerinin çalışma prensibinde Manifold-Constrained Hyper-Connections

Bir yapay zeka modeli, katmanlar halinde çalışan bir yapıdan oluşuyor. Kullanıcının komutu katmanlar boyunca ilerlerken her katman hesaplamanın bir kısmını yapıyor; eğitim sırasında ise hatayı gösteren gradyan sinyali ters yönde detaylı ⇒

Alıntının kaynağı: Webrazzi