Huawei'den MACaQ hamlesi: 122B model 64 dakikada sıkıştırılıyor

MACaQ tam olarak ne yapıyor?

MACaQ bir model değil, bir kwantizasyon aracı. Var olan sinir ağlarının ağırlıklarını küçülterek daha az donanımda çalışmalarını sağlıyor.

Kwantizasyon, yerel yapay zekâyı mümkün kılan görünmez iş. Biraz doğruluktan feragat edip bellekten ciddi tasarruf ediyorsunuz; böylece normalde veri merkezi gerektiren bir model tüketici ekran kartına sığabiliyor. MACaQ'nun iddiası bu işi rakiplerden daha hızlı ve daha yüksek doğrulukla yapmak, üstelik sadece metinle sınırlı kalmamak.

GitHub deposu modelden bağımsız bir yaklaşım tarif ediyor: metin modellerini llama.cpp için GGUF'a kwantize et, görüntü, video ve ses üretimi için difüzyon transformatörlerini Diffusers üzerinden işle, metin üretimi veya sunumu için vLLM kullan. Varsayılan çıkarım modu W4A4, yani 4 bit ağırlık ve 4 bit aktivasyon.

Huawei'nin öne çıkardığı sayı şu: 122 milyar parametreli bir model, 32,5 GB cihaz belleğiyle 64 dakikada kwantize ediliyor. Normalde çok daha uzun süre ciddi donanımı meşgul edecek bir iş yükü. Ekip ayrıca MR-GPTQ ve DuQuant++'a göre daha düşük perplexity ya da en iyi Llama-3-8B perplexity'sine 11 kat daha kısa sürede ulaşma iddiasında.

Yerel yapay zekâ meraklıları neden heyecanlı?

Kendi makinelerinde model çalıştıranlar, metin, görüntü ve sesi ayrı ayrı boru hatları kurmadan kapsayan bir araç bekliyordu.

Yerel yapay zekâ topluluğu ortak dil olarak GGUF ve llama.cpp'de karar kıldı, ama kwantizasyon araçları genelde dar kaldı. Bir metin kwantizasyon aracı difüzyon modellerine dokunmaz; bir difüzyon aracı GGUF üretmez. MACaQ ikisini de yaptığını iddia ediyor. Depoda, mevcut bir GGUF içindeki ağırlık kodlarını yerel formatları ve blok ölçeklerini koruyarak iyileştiren MACaQ-R modu da var. Bu iyileştirilmiş GGUF'lar standart bir llama.cpp kurulumuyla çalışıyor, özel bir çalışma zamanı gerekmiyor.

Tek ekran kartı olanlar için önemli bir ayrıntı daha var: kalibrasyon ve kwantizasyon süreci 122B model için 32,5 GB belleğe sığacak şekilde tasarlanmış. Bu hâlâ yüksek bir rakam ama çoklu GPU kümesi değil, üst seviye bir iş istasyonu kartıyla ulaşılabilir bir seviye.

Huawei'nin araştırma kolu bu alanda tarafsız bir oyuncu değil. Şirketin kendi Ascend donanımı ve CANN yazılım yığını var; depoda CANN pull request'lerine gönderilmiş W4A4 çekirdekleri bulunuyor. Ancak Apache 2.0 lisansı ve llama.cpp, vLLM ile PyTorch'a açık destek, aracın Huawei silikonuna kilitlenmediğini gösteriyor. Bu açıklık, yapay zekâ altyapısının daha erişilebilir hale gelme eğiliminin bir parçası; Nvidia'nın eski telefon binalarını yapay zekâ merkezine çevirme planı da aynı yöne işaret ediyor.

Asıl soru: benchmark'lar Huawei'nin kendi laboratuvarından

Depodaki her sayı Huawei'nin kendi testlerinden geliyor ve şu ana kadar bağımsız doğrulama yok.

MR-GPTQ ve DuQuant++ ile yapılan perplexity karşılaştırmaları, üçüncü bir tarafın aynı sonuçları alması gereken iddialar. Depo bir makaleye ve bir blog yazısına bağlantı veriyor; bağımsız kullanıcılar aynı modelleri MACaQ ve rakipleriyle çalıştırana kadar hız ve kalite rakamlarını kesinleşmiş gerçekler değil, vaat olarak okumak gerekiyor.

Ekosisteme uyum tarafında da sürtünme var. Araç Python 3.12 ve her arka uç için ayrı bir ortam istiyor; araştırma kodu için normal ama gündelik kullanıcı için ek zahmet. Ascend çekirdek çalışması Huawei'nin kendi donanım planları açısından ilginç, fakat yerel yapay zekâ kullanıcılarının çoğu Nvidia GPU'larında ve depo, hız artışının ne kadarının bu kartlara taşındığını netleştirmiyor.

Bunların hiçbiri sürümü önemsiz yapmıyor. GGUF çıktısı veren hızlı ve modelden bağımsız bir kwantizasyon aracı, yerel çıkarım sahnesinin tam olarak istediği şey. Artık top Huawei'de: sayıların kendi laboratuvarı dışında da tuttuğunu göstermesi gerekiyor.

Türkiye'de durum ne?

MACaQ açık kaynak ve Apache 2.0 lisansıyla GitHub'da yayında. Fiyatı, bekleme listesi veya bölgesel kısıtı yok. Türkiye'den de depoyu klonlayıp çalıştırabilirsiniz; yeter ki gerekli donanım ve Python ortamı olsun.

Pratik maliyet donanımda. 122B'lik bir modeli kwantize etmek 32,5 GB cihaz belleği istiyor; bu da RTX 4090 veya profesyonel iş istasyonu kartı sınıfına denk geliyor. Daha küçük modeller mütevazı GPU'lara sığacaktır. Türkiye'de bu seviye bir kartın fiyatı kur dalgalanmalarıyla değişiyor; ithalat vergileri ve satıcı marjları nedeniyle ABD fiyatlarının üzerine ciddi bir ek biniyor.

Huawei'nin MACaQ'su, yerel yapay zekâ yığınının hâlâ inşa halinde olduğunu hatırlatıyor. Kazanan araçlar, kullanıcıdan taraf seçmesini istemeden farklı arka uçlarda çalışanlar olacak. 64 dakika iddiası çengel, ama asıl hikâye Apache 2.0 lisansı ve llama.cpp uyumluluğu.