Baidu'dan 280 milyar parametreli açık model: ERNIE 5.5 Flash Base

Baidu tam olarak neyi yayımladı?

ERNIE 5.5 Flash Base bir sohbet botu değil. Ön eğitimin sonunda, herhangi bir talimat ayarı veya pekiştirmeli öğrenme uygulanmadan önceki ham kontrol noktası.

Baidu'nun paylaştığı model, toplam 280 milyar parametreye sahip seyrek bir Mixture-of-Experts dil modeli; token başına 14 milyar parametre devreye giriyor. 33,5 trilyon token ile sıfırdan eğitildi, eğitim bağlamı 128K'ya kadar çıkıyor ve ince ayar ile çıkarım için 1 milyon token'lık bağlam destekleniyor.

Asıl önemli nokta eksik olanlar: ara eğitim yok, eğitim sonrası aşama yok, talimat ayarı yok. Geliştiriciler yalnızca ön eğitimin kazandırdığı genel yetenekleri alıyor. Bu da modeli hazır bir asistan olmaktan çıkarıp alan uyarlaması ve talimat ayarı için bir başlangıç noktasına dönüştürüyor.

Baidu, bu hamleyi geliştiricilerin büyük ölçekli ön eğitim maliyetinden kurtulması olarak çerçeveliyor. Ekipler milyonlarca doları temel modele harcamak yerine ERNIE 5.5 Flash Base'i kendi verileriyle ince ayardan geçirip kaynaklarını gerçekten önemsedikleri görevlere ayırabilir. Açık ağırlıklı modellerde maliyet yarışının nereye gittiğini merak edenler için 65B'lik modelin 975B'lik rakipleri geçtiği haberimiz iyi bir karşılaştırma noktası.

ERNIE 5.5 Flash Base: parametreler, bağlam ve mimari

Maliyeti düşüren mimari tercihleri

Baidu'ya göre verimlilik baştan itibaren tasarım hedefiydi ve modelin dikkat yığını bunu yansıtıyor.

Modelde 43 Transformer katmanı, 4096 gizli boyut ve 64 dikkat başı var. Katmanların çoğu, her 128 token'ı tek bir önbellek girdisine sıkıştıran Heavily Compressed Attention kullanıyor. Yedi katmanda yalnızca bir tanesi, Multi-head Latent Attention ile bağlamın tamamına token düzeyinde erişimi koruyor. Böylece katmanların çoğu dizinin tamamını görüyor ama tam bağlamlı bir katmanın ihtiyaç duyduğu önbelleğin küçük bir bölümünü tutuyor.

Baidu ayrıca katmana özel kafa boyutları kullanıyor: ucuz HCA katmanları 512 boyutlu geniş kafalar alırken, pahalı MLA katmanları 256 boyutlu daha dar kafalarla çalışıyor. MLA katmanları, bağlam büyüdükçe sorgu başına maliyet sabit kalsın diye seyrek dikkat (DSA) kullanıyor. Kapı projeksiyon ağırlıklarını %75 azaltan Low-Rank Gated Attention ile kafalar arasında hafif bir karıştırma adımı ekleyen Virtual Head Attention da denkleme giriyor.

Şirket, modeli ve eğitim sistemini birlikte tasarladığını, veri kümesinde ise sonradan eklenmesi zor yeteneklere ağırlık verdiğini söylüyor: depo ölçeğinde kod ve uzun bağlam anlama gibi.

Diğer açık ağırlıklı modellerle karşılaştırma

ERNIE 5.5 Flash Base, açık ağırlıklı modellerin kalabalık alanına giriyor; ancak boyut ve aktif parametre kombinasyonu alışılmadık.

280 milyar toplam ve 14 milyar aktif parametreyle ERNIE 5.5 Flash Base, en büyük açık modellerle aynı ağırlık sınıfında duruyor; seyrek aktivasyon ise çıkarım maliyetini 14 milyar parametreli bir modele yakın tutuyor. Mixture-of-Experts modellerini sunucuda popüler yapan denge tam olarak bu.

İnce ayar için 1 milyon token'lık bağlam dikkat çekici. Açık ağırlıklı modellerin çoğu 128K veya 256K'da tavan yapıyor; yani uzun belgeler veya kod tabanlarıyla çalışan geliştiriciler özel bağlam genişletme işine girişmeden daha fazla alan buluyor. Baidu'nun bu iddiası henüz bağımsız testlerle doğrulanmadı.

İşin püf noktası şu: temel modelin işe yaraması için gerçek ince ayar uzmanlığı gerekiyor. Tak-çalıştır bir sohbet botu bekleyen ekipler hayal kırıklığına uğrayacak. Verisi ve hesaplama gücü olanlar ise sıfırdan eğitime kıyasla daha ucuz bir başlangıç bulabilir. Bu arada açık ağırlıklı modellerin eğitim verisi konusunda OpenAI, Google ve Anthropic'in ortak robots.txt hamlesi da yakından izlenmeye değer.

Türkiye'de durum ne?

Baidu, ERNIE 5.5 Flash Base için barındırılan erişim fiyatı açıklamadı; Türkiye'ye özel bir duyuru da yok. Ağırlıklar açık olarak yayımlandığı için Türkiye'deki geliştiriciler de modeli indirip ince ayar yapabilir, ancak lisans koşulları henüz net değil.

280 milyar parametreli bir modeli yerelde çalıştırmak, seyrek aktivasyona rağmen ciddi GPU belleği istiyor. Çoğu ekip bulut örnekleri veya çoklu GPU kurulumlarına yönelecek; maliyet sağlayıcıya göre değişiyor. Dolar üzerinden verilecek her TL karşılığı yalnızca kur çevirisidir, vergiler ve resmî Türkiye fiyatlandırması dahil değildir.

Baidu'nun ERNIE 5.5 Flash Base hamlesi, açık ağırlıkların ve verimli mimarinin modeli üzerinde kontrol isteyen geliştiricileri çekebileceği iddiasına dayanıyor. Tüketiciye dönük bir ürün değil ve kutudan çıktığı gibi ince ayarlı bir asistanın yerini almaz. Ama verisi ve hesaplama gücü olan ekipler için inandırıcı bir yeni başlangıç noktası.