Yüksek AUC karar demek değil: beş churn verisiyle test
Ne ölçtük?
Her veriyi ürünün aynı yolundan geçirdik. Test payı verinin %25'i, rastgele ve katmanlı ayrıldı. Karar yalnızca henüz ayrılmamış müşteriler için üretildi.
| Veri | Satır | AUC (%95 aralık) | Karar verilen | Müdahale et | İncele | Aylık değer |
|---|---|---|---|---|---|---|
| IBM Telco (kontrol) | 7.043 | 0,845 (0,825-0,863) | 5.174 | 549 | 439 | Veride var |
| Banka müşterileri | 10.000 | 0,763 (0,739-0,786) | 7.963 | 0 | 8 | 30, varsayım |
| Kredi kartı | 10.127 | 0,931 (0,919-0,943) | 8.500 | 0 | 0 | 20, varsayım |
| İran telekom | 3.150 | 0,932 (0,910-0,952) | 2.655 | 0 | 0 | 20, varsayım |
| E-ticaret | 3.941 | 0,902 (0,875-0,925) | 3.267 | 0 | 67 | 40, varsayım |
Eylem varsayımları (maliyet / başarı oranı): 15 / 0,22, 30 / 0,30, 45 / 0,38. Değerler her verinin kendi para biriminde ya da birimsizdir, veriler arasında karşılaştırılmaz.
Neden sıfır çıktı?
Sade hâliyle beklenen değer = korunacak değer × risk × müdahalenin etkisi − maliyet. Motor buna marj, 12 aylık ufuk ve indirgeme de ekler; bu yüzden net değer bu sade formülle birebir çıkmaz.
Banka verisindeki en riskli müşteriye bakalım: risk %89,5, varsayılan değer ayda 30. En uygun eylemin net değeri yalnızca 1,95 çıktı. Harcamayı taşıyacak kadar değer yok. Karar "müdahale et" değil, "incele" oldu.
Değer sütunu değişince ne oldu?
Aynı verileri, değer olarak bir para sütunu gösterip yeniden çalıştırdık. Bu sütunlar gerçek müşteri kârı değildir; yalnızca kararın bu girdiye ne kadar duyarlı olduğunu gösterir.
| Veri | Değer sütunu | AUC | Müdahale et |
|---|---|---|---|
| Banka | Sabit 30 | 0,763 | 0 |
| Banka | Bakiye | 0,758 | 2.405 |
| Banka | Tahmini maaş | 0,779 | 3.599 |
| Kredi kartı | Sabit 20 | 0,931 | 0 |
| Kredi kartı | Yıllık harcama | 0,899 | 1.032 |
| E-ticaret | Sabit 40 | 0,902 | 0 |
| E-ticaret | Nakit iade tutarı | 0,863 | 439 |
Kredi kartı ve e-ticarette AUC düştü, müdahale kararı sayısı ise sıfırdan yükseldi. Bu testte kararı model başarısından çok değer girdisi değiştirdi.
Bu test neyi göstermez?
- Müdahalelerin müşteriyi gerçekten tuttuğunu göstermez. Etki oranları varsayımdır.
- Müdahale sayılarının doğru olduğunu göstermez. Bakiye ya da maaş, bankanın o müşteriden kazandığı para değildir.
- Nedensel etkiyi ölçmez. Bunun için rastgele kontrol grubu gerekir, bu verilerde yoktur.
- Zaman içindeki kaymayı ölçmez. Ayrım rastgeleydi, çünkü bu verilerde müşterileri sıralayacak bir başlangıç tarihi yoktu.
Siz ne yapmalısınız?
- Model raporunda AUC'nin yanına kararı koyun: kaç müşteriye, hangi maliyetle?
- Müşteri değerini veriden alın, tek sayı varsaymayın. Mümkünse ciro değil marj kullanın.
- Müdahale etkisini rastgele kontrol grubuyla ölçün.
İran ve e-ticaret verisinde kimlik sütunu yoktu, satır numarası ekledik. E-ticarette nakit iade tutarını iki ondalığa yuvarladık. Kredi kartı verisinde iki hazır tahmin sütununu modele sokmadık.
Kaynaklar
Bu hesabı kendi verinizde görün.
Vinctum Aegis ilk tasarım ortağını arıyor: tek bir veri tablosu, 30 dakikalık görüşme ve kontrol gruplu ölçüm.
info@vinctum.studio