Hızlı Cevap: Kredi puanlamasında algoritmik önyargı, makine öğrenimi modellerinin azınlık, düşük gelirli veya bankacılık hizmetlerinden yararlanamayan nüfusları sistematik olarak dezavantajlı duruma düşüren vekil değişkenler — posta kodları, cihaz türleri veya mobil veri kalıpları gibi — kullanmasıyla ortaya çıkar. Gelişmekte olan piyasalarda bu dijital kırmızı çizgi uygulaması, milyarlarca kişinin kredi erişimini sessizce engeller, yoksulluk döngülerini kırmak yerine pekiştirir.
Vaat zarifti: sübjektif kredi memurlarını objektif algoritmalarla değiştirmek, insan önyargısını ortadan kaldırmak ve geleneksel bankacılık dışındaki milyarlarca kişiye kredi sağlamak. Fintech finansı demokratikleştirecekti. Algoritma ırk, cinsiyet ve sınıfa karşı kör olacaktı.
Olmadı.
Bunun yerine, matematiksel kesinliğin ve kodun yanlış otoritesinin arkasına saklanan daha incelikli, daha kalıcı bir ayrımcılık biçimi ortaya çıktı. Sahra Altı Afrika, Güneydoğu Asya ve Latin Amerika'daki gelişmekte olan piyasalarda, algoritmik kredi puanlama sistemleri yüz milyonlarca insan hakkında önemli finansal kararlar alıyor ve genellikle tarihi dezavantajı bir kişinin finansal kimliğinin kalıcı bir özelliği olarak kodlayan verileri kullanıyor.
Algoritmalar Neden İnsan Önyargısını Miras Alır
Eğitim Verisi Sorunu
Her kredi puanlama modeli geçmiş verilerden öğrenir. İşte tuzak: eğer geçmiş kredi kararları ayrımcı idiyse — ki öyleydi — o zaman bu verilerle eğitilen model, ayrımcılığı büyük ölçekte çoğaltmayı öğrenir. Bu, birinin düzeltmeyi unuttuğu bir hata değildir. Denetimli makine öğreniminin çalışma şeklinin yapısal bir özelliğidir.
Kenya, Nijerya ve Endonezya'da, erken dönem dijital borç verenler cep telefonu meta verilerinden özellikler çekti: arama sıklığı, iletişim çeşitliliği, pil şarj etme alışkanlıkları, hatta birinin arama yaptığı günün saati. Bu değişkenler toplu olarak kredi değerliliği ile ilişkili olsa da, coğrafya, cinsiyet ve sosyoekonomik sınıf ile de ilişkilidir. Düzensiz elektrik erişimi nedeniyle telefonunu nadiren şarj eden kırsal Kenya'daki bir kadın, yüksek riskli olarak puanlanır. Algoritma onun elektrik sorununu "görmedi". Sadece kalıbı gördü.
Temel mekanizma:
- Geçmiş kredi onayları kentsel, eğitimli, resmi sektörde çalışan borçluları destekler
- Model bu verilerle eğitilir ve bu özelliklerin vekilini ağırlıklandırmayı öğrenir
- Aynı vekiller kırsal, kayıt dışı sektördeki veya kadın borçluları olumsuz puanlar
- Reddetme oranları orijinal önyargıyı yeniden üretir ve bazen büyütür
Vekil Ayrımcılık: Sessiz Mekanizma
Gelişmiş piyasalardaki düzenleyiciler buna "farklı etki" der — görünüşte tarafsız bir kriterin ayrımcı sonuçlar üretmesi durumu. ABD Adil Konut Yasası bunu 1968'de tanıdı. Çoğu gelişmekte olan piyasa düzenleyici çerçevesinde bunun bir eşdeğeri yoktur.
Vekil değişkenler mekanizmadır. Bir model asla doğrudan ırk veya cinsiyeti kullanmayabilir. Bunun yerine şunları kullanır:
- Coğrafi veriler (kentsel ve kırsal posta kodları)
- Cihaz türü (iOS kullanıcıları ve giriş seviyesi Android)
- Sosyal ağ çeşitliliği (benzersiz kişi sayısı)
- Kontör yükleme alışkanlıkları (ön ödemeli ve faturalı)
- Uygulama kullanım davranışı (birinin hangi uygulamaları, ne sıklıkta kullandığı)
Bunların her biri, korunmuş özellikleri adlandırmadan onlarla ilişkilidir. Algoritma makul inkar edilebilirliği sürdürür. Ayrımcılık devam eder.
Gelişmekte Olan Piyasalar Merkeze Çıkıyor
Ölçek ve Riskler
Dünya Bankası, dünya genelinde 1.4 milyar yetişkinin hala bankacılık hizmetlerinden yararlanamadığını tahmin ediyor. Ezici çoğunluğu gelişmekte olan piyasalarda bulunuyor. Dijital kredinin hizmet etmeyi vaat ettiği nüfuslar — ve algoritmik önyargıya en çok maruz kalan nüfuslar — tam da bunlar.
Hindistan'da, 2016'daki demonetizasyondan sonra dijital kredi verme patlama yaşadı. Yüzlerce uygulama, genellikle Hindistan Merkez Bankası denetimi olmaksızın alternatif veri kredi puanlama sistemlerini devreye soktu. Yırtıcı faiz oranları, şeffaf olmayan puanlama modelleriyle birleştiğinde, borçluların anlamadıkları ve göremedikleri modeller tarafından verilen kararlara itiraz etme imkanı olmayan bir sistem yarattı.
Sahra Altı Afrika'da, M-Pesa ekosistemi, mobil para işlem geçmişlerini kullanarak kredi değerliliğini puanlayan düzinelerce mikro kredi uygulamasının ortaya çıkmasına neden oldu. World Development'da yayınlanan 2020 tarihli bir çalışma, Kenya'daki kadınların benzer veya daha iyi geri ödeme geçmişlerine rağmen sistematik olarak daha düşük kredi limitleri aldığını buldu — çünkü işlem ağları daha küçük ve yerel olarak daha yoğunlaşmış durumdaydı, bu da modelin bunu bağlam yerine risk olarak okumasına neden oldu.
Veri Çölü Sorunu
İşte bu durumun özel acımasızlığı. Gelişmekte olan piyasa nüfusları iki katmanlı bir şekilde algoritmik olarak dezavantajlıdır:
- Zayıf dosyalar: Sınırlı resmi finansal geçmiş, modellerin daha az sinyal alması ve muhafazakar (dışlayıcı) kararlara yönelmesi anlamına gelir
- Önyargılı alternatif veriler: Zayıf dosyaları telafi etmek için kullanılan alternatif veriler kendi sistemik önyargılarını taşır
Farklı bir çölden önyargılı veri ithal ederek bir veri çölü sorununu çözemezsiniz. Ancak çoğu dijital kredi sağlayıcısı tam olarak bunu yapmıştır.
Düzenleyici Boşluk ve Onu Kim Dolduruyor
Bir On Yıl Geriden Gelen Düzenleyici Çerçeveler
AB'nin Genel Veri Koruma Tüzüğü, otomatik kararlar için 2018'de "açıklama hakkı"nı getirdi. Brezilya'nın Lei Geral de Proteção de Dados'u 2020'de bunu takip etti. Ancak kredilerde anlamlı algoritmik hesap verebilirliğin uygulanması — özellikle önyargı denetimleri gerektiren hükümler — gelişmiş düzenleyici ortamlarda bile henüz başlangıç aşamasındadır.