Beş Qwen3.8-27B ajanı LiveCodeBench'te Fable 5'i geçti: 9,8'e 8,0

Beş ajanlı Qwen3.8-27B iş akışı tam olarak ne yaptı?

Kurulum, Memdoor üzerinde beş rolden oluşan bir iş akışı: planlayıcı, iki fikir üreticisi, çözücü ve yönetici, artı bir onarım işçisi. Her ajan sıfır bağlamla başlıyor ve yalnızca diskteki dosyalar üzerinden haberleşiyor. Başarıya bir model değil, kabuk betiği karar veriyor.

İş akışı, Lee (2026) tarafından yazılan ve beş Qwen3.8-27B modelinin LiveCodeBench Hard'da Fable 5 ile eşleştiğini iddia eden makaledeki yöntemden yeniden inşa edildi. Memdoor sürümü, yazarların birebir istemlerini, 128K yanıt sınırını ve aynı döngüyü kullandı; ardından LiveCodeBench Hard listesindeki ilk on soruyu beşer kez çalıştırdı.

Sonuç: 10 üzerinden ortalama 9,8. Yazarların kendi kurulumu 9,6'da, Fable 5 ise tek başına 8,0'da kaldı. 50 koşunun tamamı yayımlandı; her istek, yanıt, program, puanlayıcı çıktısı ve maliyet dahil. 50 sorunun 49'u çözüldü.

Toplam fatura 15,3 milyon çıktı token'ı için 35,79 dolar; saat nedeniyle kesilen, düzeltme için durdurulan veya duraklatılan 16 deneme dahil edildiğinde 38,77 dolar. Ortalama bir koşu 40 dakika model süresi aldı ve 0,39 dolara mal oldu.

Qwen3.8-27B beş ajanlı iş akışı: benchmark ve maliyet

İşin püf noktası: on soru, olası kontaminasyon ve farklı sunucu

Test küçük. On soru, her biri beş geçiş; yazarların 100 soruluk seti değil. Yarışma soruları 29 Mart – 6 Nisan 2025 tarihli ve model bunları eğitimde görmüş olabilir, dolayısıyla kontaminasyon ihtimali var.

Bir de donanım uyuşmazlığı var. Yazarlar kendi vLLM'lerini FP8'de çalıştırdı; Memdoor koşuları OpenRouter üzerinden gitti ve Modal, CoreWeave, Parasail ile Wafer arasında döndü. Modal 14 token/saniyeye düşünce FP8 sunucularında sabitlendi. Modal 203, CoreWeave 27, Wafer 115 çağrı yaptı.

Fable 5 sütunu, bu kurulumda bir koşu değil, yazarların dosyalarındaki soru başına tek çağrı. Döngü yalnızca herkese açık örnekleri görüyor; puan ise gizli testlerden geliyor. Memdoor koşularındaki iki başarısızlık, yazarların döngüsündeki aynı boşluklardan kaynaklandı: yöneticinin yanlış beklenen yanıtla bir karşı örnek uydurması ve tüm gizli testleri geçen bir programın, yönetici 'tamam' demediği için üzerine yazılması.

Açık ağırlıklı kodlama modelleri için neden önemli?

Sonuç daha büyük ölçekte tutarsa, zorlu rekabetçi programlamayı yalnızca kapalı ön cephe modellerinin kotarabileceği varsayımı sarsılır. Kazanç modelden değil, kurulumdan geliyor.

Makale, iyileşmeyi defter disiplinine bağlıyor: her ajan istemi 'sıfır bağlam, dosyaları oku, sohbete güvenme' diyor. Bu, her ekibin kopyalayabileceği bir tasarım tercihi. Memdoor iş akışı herkese açık ve adımlar düz YAML dosyalarından oluşuyor.

Maliyet de ayrı bir sinyal. Soru başına yaklaşık 0,39 dolarla beş ajanlı Qwen3.8-27B kurulumu, tekrar tekrar çalıştırmak için yeterince ucuz. Fable 5 ise bu karşılaştırmada soru başına yayımlanmış fiyatı olmayan kapalı bir model.

İki hata modu yöntemi değiştirmeden düzeltilebilir: yöneticinin karşı örneğini küçük girdilerde kaba kuvvetle kontrol etmek ve örnekleri geçen son programı saklamak. Bu düzeltmeler bu sayılara dahil değil. Ajanların kendi kodlarını yazıp kendi hatalarını ayıkladığı bu tür kurgular, Anthropic'in kod mülakatını kaldırdığı tartışmayla aynı soruyu soruyor: işi model mi yapıyor, etrafındaki düzen mi?

Türkiye'de durum ne?

İş akışı açık kaynak ve sabitlediğiniz her modelde çalışıyor; Ollama veya llama-server üzerinden yerel modellerde de. Türkiye'deki geliştiriciler için bu, bir satıcıyı beklemek yerine beş ajanlı kurulumu kendi donanımlarında veya OpenRouter üzerinden deneyebilecekleri anlamına geliyor. Yayımlanan koşular OpenRouter kullandı ve faturalar dolar cinsinden; iş akışının kendisi için ayrı bir bölgesel fiyat yok, ödemeyi model sağlayıcınıza yapıyorsunuz. 35,79 dolarlık rakam bir referans, abonelik değil. Kur bugün 1 dolar = 49,94 TL; bu yalnızca çeviri, Türkiye vergileri ve resmi fiyatlandırma hariç.

Aynı yaklaşımın sınırlarını görmek isteyenler için yakın bir örnek var: Anthropic geçen dönemde Claude'un oyun kodunu tersine mühendislikte kullanılmasını sessizce engelledi. Yani çok ajanlı kurgu ne kadar iyi olursa olsun, sağlayıcının koyduğu sınırlar hâlâ işin içinde.

Sonuç, kodlama ajanı geliştirenler için faydalı bir veri noktası: model önemli ama etrafındaki döngü de önemli. Beş Qwen3.8-27B ajanının 100 soruluk tam sette ne yapacağı ise henüz çalıştırılmamış test.