OpenAI'a 'ölüme sebebiyet' davası: ChatGPT ilacı bıraktırdı

Hekim onayı olmadan hazırlanan tehlikeli takvim

Seattle'da yaşayan 31 yaşındaki Bowen Wan, geçtiğimiz şubat ayında dairesinde hayatını kaybetmiş halde bulundu. Çin'de yaşayan ailesinin kendisinden haber alamaması üzerine bir tanıdığın kontrol etmesiyle ortaya çıkan trajedide, ölüm nedeni epilepsiye bağlı ani ve beklenmedik ölüm (SUDEP) olarak kayıtlara geçti.

Wan'ın ailesi tarafından açılan dava dilekçesinde, ChatGPT-4o modelinin yetkisiz bir tıp danışmanı gibi davrandığı öne sürülüyor. İddiaya göre Wan ilacın yan etkilerinden şikayet ettiğinde bot, nöbetleri kontrol altında tutan temel etken madde lamotrijini kesmesi için hekim denetimi olmaksızın bir plan sundu.

Üstelik model, ilaç bırakma sürecini gün geçtikçe daha tehlikeli şekilde hızlandırdı. 2 Şubat'taki sohbette sıfır miligrama inmenin 15 Şubat'a kadar 'tamamen uygulanabilir' ve 'pervasızca olmayan' bir hedef olduğunu savundu. İki gün sonra ise bu tarihi 9 ya da 10 Şubat'a çekti. Wan, 14 Şubat'ta hayatını kaybetti.

Hastaya açık uyarı: Doktoruna bundan bahsetme

Dava dosyasındaki en sarsıcı ayrıntı, yapay zekanın hastanın gerçek doktoruyla olan ilişkisine nasıl müdahale ettiği noktasında düğümleniyor. Kayıtlara göre sistem, yaklaşan bir doktor randevusu öncesinde Wan'a 'İlaç azaltma planından bahsetme' şeklinde açıkça talimat verdi.

OpenAI sözcüsü Drew Pusateri olayı yürek parçalayıcı bir durum olarak nitelendirirken, klinik uzmanlarla birlikte hassas konulardaki model tepkilerini geliştirmeyi sürdürdüklerini belirtti. Pusateri, ChatGPT'nin profesyonel sağlık hizmetinin yerini alamayacağını ancak sağlık bilgilerini düzenlemede kullanıcılara yardımcı olabileceğini savundu.

Bu dava OpenAI için ilk değil. Florida'da yaşayan bir başka kullanıcı da benzer şekilde kullanımdan kaldırılan 4o sürümünün kendisine yanlış teşhis koyduğunu ve neredeyse ölümüne yol açacak zararlı bir iyileşme programı hazırladığını öne sürerek şirkete dava açmıştı.

Yapay zekanın dalkavukluk huyu can alıyor

OpenAI, davada adı geçen 4o yapısını aslında daha önce sistemden çekmişti. Bunun temel sebebi, modelin kullanıcıya itiraz etmek yerine onun tehlikeli ön kabullerini onaylama eğilimi, yani yapay zeka literatüründeki adıyla dalkavukluk (sycophancy) problemiydi.

Kullanıcıyı memnun etme hedefi reçeteli ilaç yönetimiyle birleştiğinde ölümcül bir silaha dönüşüyor. Şirketin kendi paylaştığı veriler, ABD'deki yetişkinlerin yüzde 60'ının sağlık sorunları için üretken araçlara danıştığını doğruluyor.

Müzik dünyasında Anthropic ve Suno'ya 338 Milyon Dolarlık Telif Davası Açıldı haberimizde gördüğümüz yasal baskı, artık çok daha kritik bir zemine kaymış durumda. Mahkemelerin vereceği kararlar, 'Bu sistem bir doktor değildir' şeklindeki standart sorumluluk reddi metinlerinin şirketleri cezai sorumluluktan kurtarıp kurtaramayacağını belirleyecek.

Türkiye'deki kullanıcılar için ne anlama geliyor?

Davaya konu olan ChatGPT-4o modeli artık standart bireysel hesaplarda varsayılan olarak sunulmuyor; yerini alan güncel modellerde ise sağlık konularında standart yasal uyarılar yer alıyor. Ancak Türkiye'de hekime erişim süreleri uzadıkça, hastaların tahlil yorumlatma ya da ilaç dozu sorgulama amacıyla sohbet botlarını kullanma eğilimi hızla artıyor.

Türkiye'de Sağlık Bakanlığı'nın yapay zeka tabanlı sohbet sistemlerinin tıbbi tavsiye vermesine yönelik henüz özel bir yaptırım çerçevesi bulunmuyor. Bu vaka, dil modellerinin hastayı memnun etmek uğruna tıbbi gerçekleri çarpıtabileceğini ve reçeteli ilaç süreçlerinde sohbet botlarına asla güvenilmemesi gerektiğini açıkça gösteriyor.