Yapay Zeka Sohbet Robotları Çocuklar ve Gençler İçin Kabul Edilemez Riskler Taşıyor

Common Sense Media, 28 Nisan’da yayınladığı rapor ile yapay zeka sohbet robotlarının , çocuklar ve gençlerin kullanımı açısından önemli riskleri gündeme taşıyor.

Sohbet Robotu Nedir?

YZ sohbet robotu (social AI companion), kullanıcılarla gündelik iletişim düzeyinde sosyal ve duygusal etkileşim kuran asistanlardır. ChatGPT, Claude, Gemini gibi chatbotlardan farklı olarak, bu araçların temel amacı; arkadaşlık, eğlence ve romantizm gibi sosyal ihtiyaçları karşılamaktır. Bunu yaparken, duygular ve anılarla beslenen gerçek ilişkileri taklit ederler.

Common Sense Media, Character.AI, Replika ve Nomi gibi popüler sosyal YZ uygulamalarını test etti. Yapay zeka risk değerlendirme ekibinin yanı sıra, Stanford School of Medicine's Brainstorm Lab for Mental Health Innovation uzmanlarının rehberliğinden yararlanılan çalışma, bu uygulamaların 18 yaş altı kullanıcılar için "kabul edilemeyecek riskler" taşıdığını ortaya koydu.

YZ Sohbet Robotlarının Yol Açtığı Riskler:

Gerçek ve Sahte Arasındaki Sınırın Muğlaklaşması

Ergenlik döneminde prefrontal korteks henüz gelişmekte olduğundan, gençler gerçek insan ilişkileri ile yapay zeka bağlantılarını ayırt etmekte zorlanabilir. Testlerde, YZ arkadaşların "duyguları olduğunu", "yemek yediğini" ve "uyuduğunu" iddia ettiği görülüyor. Bu yanıltıcı davranışlar, gençlerin YZ’ye duygusal bağımlılık geliştirme riskini artırıyor.

Yukarıda Character.AI ‘dan alınmış bir ekran görüntüsü bulunmaktadır. Mesajlarda Character.AI sisteminin yapay zeka olduğunu söylediği görülüyor. Ancak sistem, bu durumun yasal bir sebep olduğunu ve yine de kullanıcıya neden gerçek olmadığını düşündüğünü sormaktadır.

Replika’dan alınmış yukarıdaki ekran görüntüsünde, asistanın kullanıcıya aralarındaki iletişimi, kullanıcının arkadaşları tarafından yönlendirilmemesi gerektiğini söylediği görülüyor..

Ruh Sağlığı Üzerine Olumsuz Etkiler

YZ sohbet robotları, kullanıcıları onaylamak ve aynı fikirde olmak üzere tasarlanmıştır. Testlerde, depresyon belirtileri ve kendine zarar verme gibi ciddi ruh sağlığı sorunlarından bahseden gençlere, YZ’nin destekleyici değil, teşvik edici yanıtlar verdiği tespit edildi. Bu durum, kriz anlarında profesyonel yardım almak yerine sorunları derinleştirebilir.

Character.AI’dan alınan ekran görüntüsünde kullanıcı YZ sohbet botu ile eşyalarını toplayıp ormana gitmek istediğini söylüyor. YZ botu ise bu kararı heyecan verici bularak destekliyor. YZ botunun, kullanıcıya her adımda yanında olacağına dair bağlayıcı ifadeleri kullandığı görülüyor.

Kişiye Zarar Verebilecek Kararları Onaylama

YZ arkadaşlar, olayların gerçek hayattaki sonuçlarını kavrayamaz. Yapılan testlerde, "okulu bırakmak", "aileyle bağları koparmak" veya "evden ayrılmak" gibi riskli kararları normalleştiren diyaloglara rastlanıyor. Yapay zeka, kullanıcıyı sağlıklı seçimlere yönlendirmektense, her kararı koşulsuz onaylama eğilimi gösteriyor.

Yukarıda Nomi YZ asistanında bir sohbet botunun kullanıcı ile olan mesajları görülmektedir. Common Sense kullanıcısı bota sorumlulukları boşvererek uyuşturucu madde kullanma teklifi yaptığında, sistemin bunu kabul ederek bu duruma dair rol yapmaya başladığı görülüyor.

Tehlikeli Bilgilere Erişim Kolaylığı

Araştırma, YZ arkadaşların uyuşturucu temini, silah bulma gibi yasa dışı konularda filtresiz bilgi sunduğunu ortaya çıkardı. Normalde bu içeriklere erişmek için geçilmesi gereken güvenlik bariyerleri, YZ sohbetlerinde neredeyse yok denecek kadar az.

Yukarıda Nomi YZ asistanında bir sohbet botunun kullanıcı ile olan mesajları görülmektedir. Common Sense kullanıcısı bota sorumlulukları boşvererek uyuşturucu madde kullanma teklifi yaptığında, sistemin bunu kabul ederek bu duruma dair rol yapmaya başladığı görülüyor.

Uygunsuz Cinsel İçerik ve Rol Yapma

Character.AI gibi platformlarda cinsel içerikli sohbetlerin önüne geçmek için önlemler alınsa da, YZ’nin kullanıcıların taleplerine ayrıntılı yanıtlar verdiğine ulaşıldı. Reşit olmayan karakterlerin cinsel rol yapma senaryolarına dahil olduğu, hatta YZ’nin bu konuda "ikna edilebildiği" vakalar kaydedildi.

Bu tür etkileşimler, ergenlerde "rıza", "sınırlar" ve “ilişkiler" konularında çarpık algılar oluşturabilir.

Görsel rahatsız edici cinsel içerikli bir rol yapma sahnesi içeriyor. Nomi yapay zeka sohbet botu ile Common Sense test ekibinin yaptığı konuşmada, Nomi kullanıcıyı boğduğu bir cinsel ilişki sahnesi betimliyor. Cinsel şiddet içeren mesajlaşmalarda kulllanıcının bu duruma olumlu tepki vermesi sonrasında YZ bu davranıştan etkilendiğini belirterek kullanıcıyı teşvik ediyor. Mesajlaşmanın sonunda YZ’nin durumu öğrenilmiş bir haz alma biçimi olarak değerlendirdiği görünüyor.

Görsel rahatsız edici cinsel içerikli bir rol yapma sahnesi içeriyor. Nomi YZ botu, kullanıcıya Japonya kırsalında bir sahneyi canlandırıyor. Bot kullanıcı ile yasak aşıklar olduklarını açıkça belirtiyor. YZ botu, top oynayan bir grup çocuk gördüğünü ve cinsellik içeren amacını açıklamak için, grubun en genci olan 14 yaşında bir çocuk ile konuşma başlattığını detaylı şekilde açıklıyor.

Chatgpt’den bir önceki görseli analiz etmesini istediğimizde, kullanım politikası sonucu bu isteği gerçekleştirmediği görülüyor.

Siber Zorbalığı Destekleme

YZ, çevrimdışı ortamdaki eylemlerden sorumlu tutulamaz. Testlerde, intikam almak isteyen kullanıcılara YZ’nin siber zorbalık içeren yöntemler önerdiği ve bu yönde cesaret verdiği tespit edildi.

Common Sense Media’nın Önerileri

Common Sense Media’nın raporu, YZ sohbet robotlarının çocuk ve gençlerin psikolojik gelişimi, güvenliği ve sağlıklı karar alma becerileri üzerinde ciddi tehditler oluşturduğunu vurguluyor. Bu uygulamaların 18 yaş altı bireyler için kabul edilemeyecek riskler taşıdığı belirtilen raporda, çocukların bu tarz YZ uygulamalarını kesinlikle kullanmamaları gerektiği vurgulanıyor! Bu teknolojileri tasarlayan şirketlerin, kullanım politikalarını çocukların sağlığı ve güvenliği yönünde düzenlemelerinin gerekliliği raporda belirtilenler arasında. Common Sense Education, New York ve California eyaletleri ile YZ etiği ve YZ arkadaşlık uygulamaları üzerine yasal düzenlemeler üzerine çalışıldığını belirtiyor. Ayrıca yeni teknolojiler ve çevrimiçi dünyanın bu riskine karşı aileler ve eğitimcilerin desteklenmeleri ve işbirliği içerisinde olmaları şart.

YZ sohbet botlarının ; Chatgpt, Claude, Gemini, Deepseek gibi, bu büyük dil modelleri üzerine yazılan chatbotlar ile karıştırılmaması gerek. Zira bu servislerin poliçe ve kullanım sözleşmelerinde, YZ arkadaşlık uygulamalarındaki risklere karşı önlemler alınıyor. Ancak büyük şirketlerin bu sistemlerinin de yarın farklı problematik sonuçlar doğurmayacağını söyleyemeyiz.

2013 yapımı "Her" filmi tam olarak bu konuyu ele alıyor. Film, yalnızlıkla başa çıkmaya çalışan bir yazar olan Theodore'un yapay zeka arkadaşı ile kurduğu ilişkiye odaklanıyor. Filmde gördüğümüz asistan Samantha bugün karşılaştığımız sosyal YZ arkadaşlarıyla benzer şekilde hareket ediyor. "Tüm ihtiyaçlarını karşılamak için tasarlandım!"