Tiny'nin 30 bin dolarlık kutusu RAM yerine 16 SSD kullanıyor

tinybox Red Kimi tam olarak nedir?

Tiny Corp'un dört AMD Radeon AI Pro R9700 GPU'su ve on altı adet 1 TB NVMe SSD etrafında kurduğu, 2,8 trilyon parametreli bir modeli yerelde çalıştırmak için tasarlanmış masaüstü iş istasyonu.

Tiny Corp sıra dışı makineler yapmakta hiçbir zaman çekingen davranmadı; tinybox Red Kimi ise şimdiye kadarki en iddialı modeli. 30 bin dolarlık kutu, her biri 640 GB/s hızında 32 GB GDDR6 taşıyan dört AMD Radeon AI Pro R9700 ekran kartını bir araya getiriyor: toplam 128 GB GPU belleği ve 2.560 GB/s toplam bant genişliği. Paketi 32 çekirdekli bir AMD Epyc Genoa işlemci ve 32 GB DDR5 sistem belleği tamamlıyor.

Asıl numara depolamada. On altı adet 1 TB NVMe SSD, 238,4 GB/s hızında bir RAID dizisi oluşturuyor. Tiny Corp, tinygrad yazılımının artık AMD GPU'ların bu diskleri doğrudan, CPU'yu atlayarak okumasını sağlayan bir sürücü içerdiğini söylüyor. Şirket sonucu X'te "frontier modelleri evde, makul fiyata, kullanılabilir hızlarda" diye duyurdu.

56 pound (yaklaşık 25,4 kg) ağırlığında ve 30,5 cm genişlik, 48,9 cm yükseklik, 45,7 cm derinlik ölçülerindeki Red Kimi pek de masaüstü bilgisayar yerine geçecek bir cihaz değil. Tiny ayrıca R9700'in blower fanlarının "duyulabilir" olduğunu, gürültünün 50 dB'nin altından 60 dB'nin altına çıktığını belirtiyor.

Tinybox Red Kimi: özellikleri, fiyatı ve çıkış tarihi

Neden DRAM yerine SSD?

Çünkü Kimi K3 devasa: yerel checkpoint'i yaklaşık 1,56 TB ve bu kadar DRAM'i doldurmak flash'tan çok daha pahalıya gelir.

Moonshot'un Kimi K3'ü, 896 yönlendirilmiş uzmandan oluşan ve her token'da bunlardan 16'sının aktif olduğu bir mixture-of-experts modeli; ayrıca iki paylaşılan uzman var. Bu da token başına 104 milyar aktif parametre demek. MXFP4'ün ağırlık başına etkin 4,25 bitiyle her token en az 55 GB ağırlığın okunmasını gerektiriyor.

Dört GPU, modelin 1,56 TB'lık checkpoint'inin yaklaşık %8'ini tutabiliyor. Geri kalanı bir yerde yaşamak zorunda ve Tiny Corp DRAM yerine çok daha ucuz flash'ı seçti. Fikir tamamen yeni değil: Nvidia ve Illinois Üniversitesi'nden araştırmacılar, ASPLOS 2023'te BaM sistem mimarisinde GPU'nun başlattığı SSD erişimini sunmuş, depolamayı hızlandırıcı belleğinin bir katmanı olarak ele almıştı. Tiny'nin sunduğu ise AMD iş istasyonu kartlarında çalışan ve gerçekten sipariş edilebilen bir kutu.

Bedeli hız. O 55 GB'ın her baytı SSD dizisinden gelseydi sistem saniyede yalnızca yaklaşık dört token üretebilirdi. 40 token/sn'ye ulaşmak için GPU'ların saniyede yaklaşık 2,2 TB ağırlık taşıması, yani birleşik bellek bant genişliğinin yaklaşık %86'sını kullanması gerekirken SSD'ler token başına en fazla 6 GB, yani ihtiyacın yaklaşık %11'ini karşılayabiliyor.

40 token/sn iddiası gerçekçi mi, temenni mi?

Matematiksel olarak mümkün, ama yalnızca GPU'ların 128 GB'ı her token'ın neredeyse tamamını zaten içeriyorsa. Tiny ayrıntıları yayımlamadı.

Tiny Corp, Red Kimi'nin Kimi K3'ü saniyede 40 token hızında çalıştırabildiğini iddia ediyor. Şirket dışında bu rakamı test eden olmadı. Matematik, uzman seçimi yeterince öngörülebilir olduğunda iyi önbellekleme yapılırsa ya da Tiny, Moonshot'un yerel formatından daha düşük hassasiyetli bir niceleme, spekülatif kod çözme veya üçünün bir karışımını kullanıyorsa bunun işleyebileceğini gösteriyor.

Ancak Tiny, rakamın arkasındaki hassasiyeti, bağlam uzunluğunu, toplu iş boyutunu veya yöntemi yayımlamadı. Toplam bant genişliği rakamı da iş yükünün PCIe üzerinden haberleşen dört karta eşit dağıtıldığını varsayıyor. Bağımsız bir kıyaslama çıkana kadar 40 token/sn'yi bir sonuç değil, üretici iddiası olarak görün.

Apple Mac Studio ve Nvidia DGX Station ile nasıl kıyaslanır?

Red Kimi, Kimi K3'ü tek masada yerel hassasiyetle çalıştırmanın en ucuz yolu; ama tam dolu bir Mac Studio'dan yalnızca 201 dolar ucuz.

Macworld'e göre Apple'ın M5 Ultra ve 512 GB birleşik belleğe sahip Mac Studio'su 22.299 dolardan başlıyor, 16 TB SSD ile 29.799 dolara çıkıyor. Bu, Tiny'nin kutusundan sadece 201 dolar eksik. Mac, 1,2 TB/s hızında dört kat daha fazla hızlı bellek sunuyor ama 512 GB yine de K3'ün yerel checkpoint'ini alamıyor. Daha önce haberleştirdiğimiz gibi, Apple'ın 512 GB'lık Mac Studio'su 29.799 dolar; yalnızca bellek yükseltmesi 15.500 dolar.

Nvidia'nın GB300 tabanlı DGX Station'ı 748 GB bellekle neredeyse 91.100 dolara satışa çıktı; o da modelin altında kalıyor. AMD'nin 2,6 TB'a kadar birleşik belleğe sahip Threadripper Halo Station'ı modeli rahatça alır, ancak 2027'den önce gelmiyor ve sektör tahminleri tam bir sistemi yaklaşık 150 bin dolara koyuyor.

Bu rekabet karşısında Red Kimi, Kimi K3'ün yerel hassasiyetini tek masada sürdürmenin en ucuz yolu. İşin püf noktası, bunu belleğin işini flash'a yaptırarak başarması; saniyede teslim ettiği her token da bu bahsin ne kadar tuttuğuna bağlı.

Bu cihaz kime hitap ediyor?

Bulut GPU kiralamadan devasa açık modelleri yerelde çalıştırmak isteyen meraklılar ve küçük laboratuvarlar.

Red Kimi herkese göre değil. 30 bin dolar, iyi bir arabanın fiyatı. Ama Kimi K3 veya benzeri modelleri veriyi bulut sağlayıcısına göndermeden çalıştırması gereken araştırmacılar, girişimler ya da varlıklı hobici için yerel hassasiyeti koruyan tek masaüstü seçenek.

Tiny Corp, niş donanımı sadık bir topluluğa ulaştırma konusunda geçmişe sahip. Red Kimi bu geleneği sürdürüyor: ana akım hiçbir üreticinin cesaret edemeyeceği ödünleri, başka türlü ulaşılamayacak yetenekler için veren bir makine. Gerçek kullanımda 40 token/sn'nin gerçekleşip gerçekleşmemesi ise kaderini belirleyecek soru.

Türkiye'de durum ne?

tinybox Red Kimi şu anda Tiny Corp'un sitesinden doğrudan sipariş edilebiliyor; başlangıç fiyatı 30.000 dolar. Türkiye'ye resmî satış veya kargo duyurusu yok. Şirket geçmişte tinybox sistemlerini uluslararası gönderdiği için bireysel ithalat mümkün olabilir; ancak gümrük, KDV ve ÖTV gibi masraflar fiyatı ciddi biçimde yukarı çeker. 30.000 dolar bugünkü kurla yaklaşık 1,5 milyon TL'ye denk geliyor; bu yalnızca kur çevirisi, Türkiye vergileri ve resmî fiyatlandırma dahil değil.

Red Kimi, Apple'ın tam dolu Mac Studio'suyla aynı fiyat bandında ama çok farklı ödünler sunuyor. Türkiye'den almayı düşünenler güç tüketimi, soğutma ve 60 dB'ye varan gürültüyü ciddiye almalı. Ayrıca AMD'nin Intel'i geçmeye hazırlandığı bu dönemde, AMD tabanlı bir yapay zekâ kutusu almak uzun vadeli yazılım desteği açısından da değerlendirilmeli.

Tiny Corp'un tinybox Red Kimi'si yerel yapay zekâ donanımında cesur bir deney: ham bellek bant genişliğini devasa SSD depolamasıyla değiştiriyor. Kimi K3'ü tek masada yerel hassasiyetle çalıştırmanın en ucuz yolu, ama performans iddiaları kanıtlanmadı. Şimdilik bu, riski göze alabilecek erken benimseyenlerin ve meraklıların makinesi.