Coded Bias (Kod Önyargısı) Belgeseli Üzerine Bir Deneme: Algoritmik Süreçlerin Ayrımcı Pratikleri Gündelik Yaşamı Nasıl Tehdit Ediyor?

Arş . Gör. Hasan Hüseyin Kayış, Aksaray Üniversitesi İletişim Fakültesi, Radyo, Tv ve Sinema Bölümü, hasanhkayis@aksaray.edu.tr

Kod Önyargısı Shalini Kantayya tarafından yönetilen ve ilk gösterimi 2020 yılında Sundance Film Festivali’nde yapılan bir belgeseldir. Belgesel, Yapay Zekâ ve dijital teknolojilerin yaşamlarımızı giderek artan bir şekilde denetlemesinin ne gibi sonuçlar doğurduğunu göstermektedir. Ayrıca bu teknolojilerin bünyesinde barındırdığı önyargılar ile mücadele etmek, Joy Buolamwiini’nin Amerika Birleşik Devleri’nde verdiği mücadelede olduğu gibi önemlidir. Kod Önyargısı söz konusu teknolojilerin getirdiği denetim ve onların getirdiği ön yargılar ile ulusal ve uluslararası alanda mücadelenin önemini ortaya koyması bakımından değerlendirmeye layık görülmüştür.

Kod Önyargısı algoritmanın konuştuğu bir sahne ile açılmaktadır. Bu durum oldukça ironik çünkü algoritmalar gerçekten konuşur. Ancak bunu hepimizin anlayacağı bir biçimde gerçekleştirmezler.  MIT Medya Laboratuvarı’nda bilgisayar bilimci olan Joy Buolamwiini de bunu acı bir biçimde tecrübe etmiştir. Bilim Uydurma dersi için tasarladığı İlham Aynası adlı cihaz kendisine dijital eşitsizliğin bir parçasını yaşatmıştır.

Yüz tanıma teknolojisi mantığı ile çalışan bu ayna siyahi olan Buolamwiini yüzünü tanımamıştır. Ancak beyaz bir maske taktığında tanımıştır. Bunu dert edinen Buolamwiini algoritma, Yapay Zekâ[1] ve Makine Öğrenim Sistemleri’nde opak bir biçimde işletilen bağlantıların peşine düşmüştür. Bu teknolojilere insan yüzü olan ve olmayanın öğretildiğini bildiği için yukarıda tecrübe ettiği ayrımcılığın kökenlerini sorgulamıştır.Bulduğu şey ise bu teknolojilere öğretilenlerin genelde beyaz erkek yüzü olduğu ve siyah yüzlerin tanınmadığıdır. Bu yüzden teknolojiye sızan önyargıları araştırmaya girişmiştir.

YZ fikirleri Terminatör, Uzay Yolu, Yıldız Savaşları gibi filmlerde işlenmiştir. Meredith Boussard’a göre de YZ süreci Darmouth Matematik Bölümünde 1956’da yapılan bir toplantı ile başlamıştır. Bu zamanlar alanda çalışan sayısı 100 ile sınırlıydı. Kasparov’un IBM’in satranç oynayan bilgisayarına yenilmesi ise YZ’nın adını duyurmaya yetmiştir.Artık günümüzde bu teknolojiler bir avuç insanın elindedir. Bunlar kendi önyargılarını bu teknolojilerin içine yerleştiriyorlar.Toplum ve teknolojinin iç içe olduğu düşünüldüğünde bu durum korkutucudur. Diğer (IBM, Microsoft, Amazon) yüz tanıma sistemleri de ayrımcı bir biçimde çalışmaktadır.  Buolamwiini İlham Aynası’ndan YZ-veri ilişkisinde verinin bir kader olduğu sonucunu çıkarmıştır. Bu ilişkiden eşitsizliğin körüklendiği sonucu çıkmaktadır.

Peki, bu teknolojiler bize ne yapıyor? Zararlı ve yıkıcı olabilirler. Nesnel görünüyorlar ama değiller.Weapons of Math Destruction kitabının yazarı Cathy O’Neill matematiğin burada ayrımcılığa neden olan uygulamalarda kullanıldığını belirtiyor.Algoritma’nın geçmiş bilgiyi kullanarak gelecek tahmini yaptığını söylüyor. Makine Öğrenim Sistemi ise yapmış üzere olduğumuz şeyin olasılığını ölçen bir puanlama sistemidir. Yani YZ ve Algoritma eşittir güç endişesidir. Bu kodların sahibi kim?

Bu süreçlerden insanlar zarar görüyor. Yapı ve veri esasen önyargılı değildir. Big Brother Watch da bunu dert edinmiştir. Londra caddelerindeki yüz tanıma sistemine karşı savaş açmıştır. Bu yüz tanıma sistemleri masum birini aranan birine dönüştürebiliyor. Big Brother Watch’taki yetkililersürecin hassas bir süreç olduğu için sağlam bir yapı kurulması gerektiğine dikkat çekiyorlar.Bizden istenen biyometrik fotoğraflar bu sistemlerde kullanılıyor. Üstelik tüm bu veriler gelişigüzel kullanılıyor. Yasal da değiller. Halktan ve çeşitli kuruluşlardan tepkiler var ancak polis bu tepkilere aldırmadığı gibi üstüne bir de ceza kesiyor.  Polis yetkilileri ise halk için buradayız diyor. Bu yalnızca bir proje olsa da genel kullanıma girmesi ürkütüyor.Londra’da Çin tarzı bir gözetleme kültürünü akıllara getiriyor.

Zeynep Tüfekçi bilgisayarı kodlamanın yollarından bahsediyor. Eskiden veri bol miktarda yoktu fakat şimdi cep telefonları ile birlikte bol miktarda var. Ayrıca bu veriler günümüzde sınıflandırılıyorlar. Ama bu sınıflandırma süreçlerinin bir sürü hatası da var. MÖS’ler için ise bu süreç tam bir muamma. Bu tür teknolojiler karşısında hassas olanlar da var. Hong Kong protestolarında yüz tanımayı engellemek için lazer ve maske kullanılmış. Hong Kong özelinde bu tür teknolojilerin kullanımına yönelik bir farkındalık olduğu söylenebilir.

Dünya’da farklı uygulamalar da var. ABD’de 117 milyon insanın verisi çeşitli yüz tanıma sistemlerinde yer almaktadır. Buolamwiini bunun yasal dayanağının olmadığını ama olması gerektiğini vurguluyor. Çin örneğinden yola çıkıldığında bu durum endişe vericidir.

Ek olarak Amy Webb, Facebook, Apple, Microsoft, Google, Amazon, IBM, Tencent gibi firmaların pazardaki hâkimiyetini göz önünde bulundurduğumuzda endişelenmemiz gerektiğini söylüyor.

ABD’de durum daha farklı. Bunun gibi uygulamalar ticari amaçlar için gerçekleştirilmektedir. Bu da Batı’nın demokrasi anlayışının YZ’ye ve algoritmalara eşlik etmediğini gösteriyor. Üstelik Amerika’da özellikle yoksulinsanların toplu halde yaşadığı Atlantik Sitesi’nin yöneticilerinin siteye giriş-çıkışlarda yüz tanıma sistemlerini kullanmadaki hevesi bunu doğrulamaktadır. Bunun gibi pratikler söz konusu teknolojilerin yaygınlaştırılmasının nasıl adım adım gerçekleştirildiğini göstermektedir.

Bunun gibi uygulamalara ithafen Virginia Eubanks “gelecek burada ama kimse erişemiyor” diyor.  Nitekim bu vb. teknolojiler gözetim amaçlı olarak önce yoksulların mahallelerinde kullanılırlar. Eğer işe yararsa zenginlere de uygulanır.

Ancak yalnızca YTS’ler değil, Facebook reklamları vb. her yerde YZ algoritmaları var.  Bir nevi dünyaya bakışımız YZ tarafından yönetiliyor. Sesli asistanlar, üniversiteye giriş vekredi kartı alıp alamayacağımızı belirleyen süreçlere algoritmalar vb.teknolojiler hâkimdir.

Burada da şu soru ortaya çıkmaktadır. Nasıl işlediğini bilmediğimiz sistemler nasıl adil olabilir? Üstelik Amazon gibi devlerin işe alım uygulamalarında kadınlara ayrımcılık uyguladığı gibi örnekler söz konusuyken bu nasıl olabilir?

Bu da göstermektedir ki, algoritmalar dünyanın bir kopyasını bize sunmaktadır. Bu noktada etiğe değil de algoritmaların matematiksel olarak işlettiği süreçlere güvenmek,insani değerlerin göz ardı edilmesi anlamına gelecektir. Etiğin dışlandığı teknolojiler söz konusu olduğunda sosyal gelişimden söz edilemez.  Siyah yüzlerin tanınmadığı teknolojiler gibi olanlar yüzünden kazanılmış tüm haklar kaybedilebilir.

Bu teknolojilerin çok güçlü olduğu artık kesindir. Bunlar ile mücadele edebilecek yasalar gerekmektedir.  Big Brother Watch gibi STK’lar Londra’da bu uygulamaları gözetleyerek karşı adım atmaktadır. Ancak Orwell’in 1984 distopyası hala insanların uykularını kaçırıyor.

O’Neill’ın “sokaktaki kameralardan kurtulabiliriz. Ya internet?” dediği noktada bu korku doğrulanır niteliktedir.

Üstelik toplumda zenginlerin ödüllendirildiği ve yoksullar cezalandırıldığı sistemin veri tarafından otomatikleştirildiği de cabası. Örneğin reklamlarda zenginlerin ilgisi için çabalanmaktadır. Yoksulların payına düşen ise kumar, kredi, maaş avansı gibi reklamlardır.  Yani güç için algoritmalar, veri ve gözetim birlikte çalıştırılmaktadır.

Belgeselde Avukat Ravi Naik tüm verilerimizden küçük şirketler için vazgeçtiğimizi, onların da bunu farklı veriler ile eşleştirdiğini belirtmektedir. Böylelikle bunun gibi şirketler doğal olarak ne düşündüğümüzü biliyorlar. Bunu yıllardır isteyen devlet te artık isteğine gönüllü bir biçimde ulaşıyor.

Peki, ya bunlar yanlış bir biçimde kullanılırsa? Verilere sahip olanlar bunları insanları yönlendirmede kullanabilir. Örneğin aynı kişilerin ellerinde kumar bağımlısı verisivarsa bana kumar bağımlısı birini bul diyebilirler. Algoritmalar da bu kişileri bulur. Üstelik sizi en savunmasız halinizde de bulur. Bir bakmışsınız Las Vegas’a bir uçak bileti almaktasınızdır.

Üstelik mesele sadece reklam ile sınırlı değildir. Bu süreçler reklam dışında fikir pazarlamak için de kullanılabilir. Örneğin Facebook 2010 yılında ABD’de 300 kişiyi sandığa göndermeyi başarmıştır. Bunu sadece insanlara arkadaşlarının sandığa gittiğini göstererek yapmıştır.

2016 ABD Başkanlık Seçimleri’nin sadece 100 bin oy farkla sonuçlandığı düşünüldüğünde meselenin ne kadar kritik önemde olduğu görülmektedir. Bu durum Facebook’un “canımı sıkarsanız rakip seçmeni sandığa yollarım ve sana istemediğin sonuçları tattırabilirim” demesinin bir yoludur. Üstelik gücünü bunu ruhunuz duymadan yapabilmesinden almaktadır.

Microsoft’un Twitter’daki sohbet botu Tay da farklı bir örnektir. Bu bot sistemden, dolayısıyla insandan öğrendikleriyle ırkçı ve kadın düşmanı olmuştur. Günümüzde Tay’ın fişi çekilmiş olsa da, bunları şirketler hala kullanıyor.  Örneğin Amazon’un yüz tanıma sisteminin ayrımcı olduğu tescilli olsa da, Bezos yine de piyasaya sürmüştür. Rekognition adlı sistem polisle ve FBI ile de paylaşılmıştır.

Bunları ortaya çıkaran Buolamwiini’nin çalışması ise Amazon tarafından itibarsızlaştırılmaya çalışılmıştır.Buolamwiini şu notu da düşüyor: “zaten bu araştırmaları finanse edenler de onlar. Onları kızdırırsanız fon bulamayabilirsiniz.”

Safiya Umoje Noble de belgeselde algoritmik önyargının nasıl işlediğini açıklar. Noble, ekonomik piyasaların risk modellerini bilerek yanlış hesapladığını belirtir. Algoritmalarının görevinin bu süreçte başarısızlıklar üzerine kurulu olduğunu da söylüyor. Çünkü yüksek faiz ile kredi verirsen, ödeyemeyince her şeyini alırsın. Bu Wall Street’den çıkan algoritmik bir oyundur. Böyle bir oyun ile 2008 yılındaki krizde 4 milyon ABD’li evinden olmuştur. Noble’ın Algorithms of Oppression adlı kitabında bahsettiği algoritma baskısı böyle bir duruma denk gelmektedir.

Üstelik algoritmaların görünmez eşik bekçiliği görevi vardır. Onları kodlayanların direktifleri doğrultusunda her şeyimize karar verirler.  Örneğin ABD’de öğretmenlerin kadro almasını belirleyen algoritmalar tam olarak böyle çalışır. Houston’da ise öğretmenleri işten çıkarma sistemi buna benzerdir. Sistemi kuranlar bunu katma değer sistemi olarak tanımlasa da, tüm değerlendirme modelleri ve veriler saklanmıştır. Üstelik bu sistemin önyargılı olduğu eskiden bir sürü ödül almış bir öğretmenin işten atılmasında görülmektedir. Hangi kriterlere göre işten atıldığı bir muamma olarak kalmıştır.

Mesele bununla da sınırlı değildir. Verimlilik üzerine tasarlanan bu sistemler neyin adil olduğunu bilemezler. Pensilvanya Eyalet Komisyonu yargıçların kullanması için bir risk değerlendirme sistemine onay vermiştir. Bu sistem suçluların yeniden suç işleme olasılığını hesaplayan bir sistemdir. Ancak bu sistem önyargılar ile dolu bir sistemdir. Öyle ki, sistem AfroAmerikanları yüksek riskli bir şekilde puanlamıştır. Beyazlara oranla bu risk her zaman sabit kalmış ve tüm iyi davranışlara rağmen risk puanları düşmemiştir.

Buolamwiini bunun gibi ne yapacağını bilmeyen insanlar için Algoritmik Adalet Ligi’ni kurmuştur. Bu kurum algoritmaların sosyal sonuçlarını öğrenmek için bir alan olma özelliğini taşımaktadır. Neticede herkesin risk altında olduğu sonucu ortaya çıkmaktadır. Bunun üstesinden gelinmesi için ise ekip çalışması şarttır.

İnsanları yakından ilgilendiren işe alım gibi süreçlerde büyük problemler söz konusudur. Boulamwini’nin bu noktada vurguladığı, algoritmaların işlemesine dair etik kavrayışı ön planda tutmaktır. Beyaz veri ve kodlanmış bakışın tehlikeleri bir sorun olmaya devam etmektedir.

YZ kusursuz değildir. Nitekim teknoloji devleri kusursuz çalışmamaktadır. Ancak iyi gelişmeler de olabilmektedir. Buolamwiini, yüz tanıma teknolojilerinin önyargılarını ortaya çıkardıktan sonra IBM onu merkezine çağırmış ve sistemlerini geliştirmişlerdir. Buolamwiini de bu noktada önemli olanın farklılıkları öncelikli hale getirmek olduğunun altını çizmektedir.

Eskiden hava kararınca dışarda olursanız polis sizi durdurup kimlik sorardı. Artık kimse kimlik sormuyor. Çünkü o bilgiler kolaylıkla alınıyor. Ama Londra’daki yüz tanıma sistemleri örneğinde olduğu gibi bunlara çok güvenilmemelidir. Bunlar her zaman doğruyu söylemiyorlar. Bu yüzden insanların onlara çok güvenmesi de yanlıştır. Buolamwiini’ye göre zaten sınıflandırma mükemmel olsa bile gözetlemeye izin vermememiz gerekmektedir.

Önümüzde kocaman Çin örneği dururken bunun gibi teknolojiere ihtiyatlı yaklaşılmalıdır. Oradaki sosyal kredi notu örneği durumun ciddiyetini ortaya koymaktadır. Komünist Parti hakkında söyledikleriniz puanınızı etkiler. Üstelik yaptıklarınız aileniz ve dostlarınızın notunu da etkiler. Çin hükümetinin burada vermek istediği mesaj oldukça açıktır. “Algoritmik olarak takip ediliyorsunuz. Ona göre hareket edin.” Buna bir nevi itaat eğitimi de denebilir. Ayrıca Çinliler bu durumdan pek de yakınmıyorlar. Puanı kötü olanlar ile aynı mekânlarda olmamak onları hoşnut ediyor.

Çin’deki sistem o kadar iyi çalışıyor ki, kredi sistemi ve yüz tanıma sistemleri birbirine entegre edilmiş vaziyettedir. İyi tasarlanmış sistemin kabul edemeyeceği davranışın dışına çıkmak imkânsız hale gelmiştir. Arkadaşınızı da notuna göre seçmelisiniz. Ne güzel değil mi? Hislere güvenmeye gerek yok artık. Üstelik Çin’de bu bir seçenek değil, bir zorunluluktur. Üstelik bunu meşrulaştırma nedeni de hazır. Tüm bunlar sosyal düzen için yapılıyor.

ABD’ye gelindiğinde ise esasen orada da bir puanlama sisteminden söz edilebilir. Ancak bu Çin’deki gibi alenen yapılmıyor. Bu süreçler opak bir biçimde işletilmektedir. Görüldüğü üzere iyi ki Çin’de değilim demek bir şeyi değiştirmiyor.

Buna bir de sistemin sağlıklı çalışmaması eklendiğinde her an terörist muamelesi görme olasılığınız ortaya çıkmaktadır. İngiltere ve diğer Avrupa ülkelerinde GDPR gibi uygulamalar var ancak tam burada bir benzetme yaparsak ABD’de bu konuda bir vahşi batıdır. Buolamwiini veriler üzerinde nasıl bir denetiminiz olacağının ABD’de tam bir belirsizlik olduğunu söylüyor.

ABD’de sınıflandırma ve profil çıkarma gibi faaliyetlerin giderek arttığı göz önünde bulundurulmalıdır. Bunların önüne geçilmezse ötekileştirilmiş insanlar daha da ötekileştirilecektir. Üstelik algoritmik adalet günümüzün en büyük insan hakları kaygılarından biri olmak üzereyken…

Bunun gibi son gelişmeler algoritmalar üzerinde denetimin şart olduğunu ortaya koymaktadır. Kamu yararı da bu süreçlerde ön planda olmalıdır. Bu teknolojiler ayrımcılık yapmamalıdır. Kötü algoritmalar kurallara tabi tutulmalıdır. Buolamwiini bu meselenin basite indirgenmemesi gerektiğine inanmaktadır. Yüzlerimiz mahremiyetin son sınırı olabilir. Devlet gözetiminin yanında kurumsal gözetime de dikkat edilmelidir.

Nitekim Buolamwiini bu konuda ABD çapında bir hareketin fitilini ateşlemiştir. Kongre’de yaptığı konuşma yüz tanıma teknolojilerine yönelik somut adımlar atılabileceğinin kanıtı olmuştur.

Nihayetinde belgeseldeki bunca tartışmadan sonra “insan olmak incinebilir olmak demektir” sözü tüm meseleyi özetler niteliktedir. Soğuk Savaş döneminde Sovyet Asker Stanislav Petrov, 1983 yılında ABD’den gelen o yanlış nükleer saldırı verisine karşı normal prosedürleri işletseydi şimdi farklı şeyler konuşuyor olabilirdik. Petrov “en azından bizöldürmüyoruz” diyerek büyük bir insanlık felaketinin önüne geçmiştir. Ya Petrov yerine otomatik bir sistem olsaydı? Büyük ihtimal bu yanlış alarma nükleer bir cevap verilecekti.

Zeynep Tüfekçi “bazen insani olan bunu yapmayacağım demektir” diyerek durumu özetlemektedir. Aksi halde insanlık dışı sonuçlar ile karşılaşılabilir. Burada etik bakış işin kilit noktasını oluşturmaktadır. Etik olmadan zekâdan söz edilemez. Buolamwiini gibilerin kişisel girişimleri ile Amazon gibi sağlıksız sistemler yasaklansa da, hala güçlü yasalardan söz edemiyoruz.

Belgeselin en vurucu mesajı da bundan oluşmaktadır. Eğer icat ettiğimiz sistemlere yönelik etik yaklaşmaz ve bunları denetlemek için uygun yasal düzenlemeleri gerçekleştiremezsek yeni felaketler ile karşılaşabilmemiz ihtimal dışı değildir. Üstelik bu sistemleri ayrımcı, sınıflandırıcı ve eşitsizlikçi olarak bırakmak insanlığı ve dünyayı daha iyi bir noktaya da götürmeyecektir.

[1] Bundan sonra YZ olarak kısaltılacaktır.