# Yüksek AUC karar demek değil: beş churn verisiyle test

URL: https://vinctum.studio/yazilar/yuksek-auc-karar-demek-degil/
Language: tr · Published: 2026-11-02 · 5 min
Author: Emir Hüseyin İnci, Vinctum
Other language: https://vinctum.studio/en/writing/high-auc-is-not-a-decision/

## Kısa cevap

Yüksek AUC, modelin müşterileri riske göre iyi sıraladığını gösterir; kime para harcanacağını göstermez. Vinctum Aegis'i beş herkese açık veride çalıştırdık. Sabit müşteri değeri varsaydığımız dört veride AUC 0,763 ile 0,932 arasındaydı, ama hiçbir müşteri için "müdahale et" kararı çıkmadı.

## Ne ölçtük?

Her veriyi ürünün aynı yolundan geçirdik. Test payı verinin %25'i, rastgele ve katmanlı ayrıldı. Karar yalnızca henüz ayrılmamış müşteriler için üretildi.

| Veri | Satır | AUC (%95 aralık) | Karar verilen | Müdahale et | İncele | Aylık değer |
| --- | --- | --- | --- | --- | --- | --- |
| IBM Telco (kontrol) | 7.043 | 0,845 (0,825-0,863) | 5.174 | 549 | 439 | Veride var |
| Banka müşterileri | 10.000 | 0,763 (0,739-0,786) | 7.963 | 0 | 8 | 30, varsayım |
| Kredi kartı | 10.127 | 0,931 (0,919-0,943) | 8.500 | 0 | 0 | 20, varsayım |
| İran telekom | 3.150 | 0,932 (0,910-0,952) | 2.655 | 0 | 0 | 20, varsayım |
| E-ticaret | 3.941 | 0,902 (0,875-0,925) | 3.267 | 0 | 67 | 40, varsayım |

> Eylem varsayımları (maliyet / başarı oranı): 15 / 0,22, 30 / 0,30, 45 / 0,38. Değerler her verinin kendi para biriminde ya da birimsizdir, veriler arasında karşılaştırılmaz.

## Neden sıfır çıktı?

Sade hâliyle beklenen değer = korunacak değer × risk × müdahalenin etkisi − maliyet. Motor buna marj, 12 aylık ufuk ve indirgeme de ekler; bu yüzden net değer bu sade formülle birebir çıkmaz.

Banka verisindeki en riskli müşteriye bakalım: risk %89,5, varsayılan değer ayda 30. En uygun eylemin net değeri yalnızca 1,95 çıktı. Harcamayı taşıyacak kadar değer yok. Karar "müdahale et" değil, "incele" oldu.

## Değer sütunu değişince ne oldu?

Aynı verileri, değer olarak bir para sütunu gösterip yeniden çalıştırdık. Bu sütunlar gerçek müşteri kârı değildir; yalnızca kararın bu girdiye ne kadar duyarlı olduğunu gösterir.

| Veri | Değer sütunu | AUC | Müdahale et |
| --- | --- | --- | --- |
| Banka | Sabit 30 | 0,763 | 0 |
| Banka | Bakiye | 0,758 | 2.405 |
| Banka | Tahmini maaş | 0,779 | 3.599 |
| Kredi kartı | Sabit 20 | 0,931 | 0 |
| Kredi kartı | Yıllık harcama | 0,899 | 1.032 |
| E-ticaret | Sabit 40 | 0,902 | 0 |
| E-ticaret | Nakit iade tutarı | 0,863 | 439 |

Kredi kartı ve e-ticarette AUC düştü, müdahale kararı sayısı ise sıfırdan yükseldi. Bu testte kararı model başarısından çok değer girdisi değiştirdi.

## Bu test neyi göstermez?

- Müdahalelerin müşteriyi gerçekten tuttuğunu göstermez. Etki oranları varsayımdır.
- Müdahale sayılarının doğru olduğunu göstermez. Bakiye ya da maaş, bankanın o müşteriden kazandığı para değildir.
- Nedensel etkiyi ölçmez. Bunun için rastgele kontrol grubu gerekir, bu verilerde yoktur.
- Zaman içindeki kaymayı ölçmez. Ayrım rastgeleydi, çünkü bu verilerde müşterileri sıralayacak bir başlangıç tarihi yoktu.

## Siz ne yapmalısınız?

1. Model raporunda AUC'nin yanına kararı koyun: kaç müşteriye, hangi maliyetle?
2. Müşteri değerini veriden alın, tek sayı varsaymayın. Mümkünse ciro değil marj kullanın.
3. Müdahale etkisini rastgele kontrol grubuyla ölçün.

> İran ve e-ticaret verisinde kimlik sütunu yoktu, satır numarası ekledik. E-ticarette nakit iade tutarını iki ondalığa yuvarladık. Kredi kartı verisinde iki hazır tahmin sütununu modele sokmadık.

## Kaynaklar

- [IBM Telco Customer Churn](https://github.com/IBM/telco-customer-churn-on-icp4d)
- [Banka: Kaggle Churn Modelling, GitHub kopyası (sameerkatija/MachineLearningNotes)](https://github.com/sameerkatija/MachineLearningNotes)
- [Kredi kartı: BankChurners, GitHub kopyası (amejiasp/kaggle)](https://github.com/amejiasp/kaggle)
- [İran telekom: UCI Machine Learning Repository, veri 563](https://archive.ics.uci.edu/dataset/563)
- [E-ticaret: Kaggle e-ticaret churn verisi, GitHub kopyası (Camila20197)](https://github.com/Camila20197/S11-25-Equipo-70-DataScience)
