Altman: Evdeki RAM israf, veri merkezleri daha verimli kullanıyor

Altman tam olarak ne söyledi?

Altman, Cheeky Pint adlı YouTube kanalına verdiği röportajda, açık kaynak yapay zeka modellerini ev bilgisayarlarında çalıştırma konusunda sorulan soruya yanıt verdi.

Altman lafını esirgemedi. "Küresel tahsis açısından, herkesin dünyanın sınırlı DRAM arzının bir kısmını kendi bilgisayarında tutup bunu zamanın yalnızca %5'inde kullanması oldukça kötü" dedi. "Bu kadar kısıtlı bir arz ortamıyla uğraşıyorsanız, bulutta maksimum kullanım istersiniz."

Birçok kişinin sezgisinin bunun tam tersi olduğunu da ekledi; yani bellek kıtken daha fazla yerel RAM isteğinin yanlış yönlendirilmiş olabileceğini ima etti. Konu, yapay zeka modellerini bulut yerine kendi donanımınızda çalıştırma, yani yerel çıkarım tartışmasıydı.

Neden şimdi önemli: RAM kıtlığı

Altman'ın sözleri, bellek piyasasının zaten sıkı olduğu, DRAM fiyatlarının yükseldiği ve PC toplayanların bunu hissettiği bir döneme denk geliyor.

Yapay zeka patlaması, veri merkezlerinin giderek daha büyük modelleri eğitip çalıştırmasıyla yüksek bant genişlikli belleğe ve standart DRAM'e olan talebi hızla artırdı. Bu talep, dizüstü bilgisayarlardan ekran kartlarına kadar tüketici cihazlarının arzını sıkıştırdı. Altman'ın veri merkezlerine öncelik verilmesi gerektiği argümanı yalnızca felsefi bir duruş değil; aynı zamanda OpenAI'nin ticari çıkarlarıyla da örtüşüyor.

PC meraklıları için zamanlama kötü. Birçoğu, RAM krizi ve Black Friday PC fırsatları haberimizde ele aldığımız gibi, bellek yükseltmeleri ve yeni sistemlerde daha yüksek fiyatlara şimdiden hazırlanıyordu. Altman'ın sözü, yönettiği şirketin o DRAM çubuklarının masaüstü kasanızda değil, bir sunucu rafında olmasını tercih edeceğini gösteriyor.

Yerel yapay zeka karşı argümanı

Herkes aynı fikirde değil. Modelleri yerelde çalıştırmak gizlilik, çevrimdışı erişim ve abonelik ücreti olmaması gibi avantajlar sunuyor.

Karşı çıkış basit: donanım sizinse, yapay zekayı kendi koşullarınızda çalıştırabilirsiniz. Yerel çıkarım, verilerinizin makinenizde kalması, internet bağlantısına bağımlı olmamanız ve API çağrıları için aylık ödeme yapmamanız anlamına gelir. Birçok kişi için bu, RAM'in peşin maliyetine değer.

Altman'ın bakış açısı, belleği verimlilik için merkezi olarak yönetilmesi gereken küresel bir kaynak olarak görüyor. Ancak bu görüş, bulut yapay zekasını varsayılan kabul edip bireysel sahipliği ikinci plana atıyor. Yapay zeka günlük bilgi işlemine daha fazla gömüldükçe bu gerilimin büyümesi muhtemel.

Türkiye'de durum ne?

Türkiye'de de PC toplayanlar ve yükseltme yapanlar aynı bellek kıtlığından etkileniyor. Altman'ın sözleri bir politika değişikliği değil, bir yönetici görüşü; ancak DRAM fiyatlarının veri merkezleri talebiyle yüksek kalması, Türkiye'deki kullanıcılar için de RAM yükseltmelerini geçen yıla göre daha maliyetli hale getiriyor. Evdeki bellek düşük kullanım oranında kalırken veri merkezleri arzı emiyor.

Yerel yapay zeka çalıştırmak isteyenler için donanım maliyeti artmaya devam ediyor. Türkiye'de satılan hazır sistemlerde ve bileşenlerde fiyatlar döviz kuruna bağlı olarak dalgalanıyor; 32 GB'lık bir DDR5 kiti, bir yıl öncesine göre belirgin şekilde daha pahalı. Altman'ın açıklaması, bu maliyetin yakın vadede düşmesinin zor olduğunu gösteriyor.

Altman'ın sözü, yapay zeka şirketlerinin dünya kaynaklarına nasıl baktığını gösteriyor. Katılsanız da katılmasanız da bellek sıkıntısı gerçek ve bir sonraki RAM kitiniz bu yüzden daha pahalı olabilir.