Yüksek AUC karar demek değil: beş churn verisiyle test

2 Kasım 20265 dk okuma

Ne ölçtük?

Her veriyi ürünün aynı yolundan geçirdik. Test payı verinin %25'i, rastgele ve katmanlı ayrıldı. Karar yalnızca henüz ayrılmamış müşteriler için üretildi.

VeriSatırAUC (%95 aralık)Karar verilenMüdahale etİnceleAylık değer
IBM Telco (kontrol)7.0430,845 (0,825-0,863)5.174549439Veride var
Banka müşterileri10.0000,763 (0,739-0,786)7.9630830, varsayım
Kredi kartı10.1270,931 (0,919-0,943)8.5000020, varsayım
İran telekom3.1500,932 (0,910-0,952)2.6550020, varsayım
E-ticaret3.9410,902 (0,875-0,925)3.26706740, varsayım

Eylem varsayımları (maliyet / başarı oranı): 15 / 0,22, 30 / 0,30, 45 / 0,38. Değerler her verinin kendi para biriminde ya da birimsizdir, veriler arasında karşılaştırılmaz.

Neden sıfır çıktı?

Sade hâliyle beklenen değer = korunacak değer × risk × müdahalenin etkisi − maliyet. Motor buna marj, 12 aylık ufuk ve indirgeme de ekler; bu yüzden net değer bu sade formülle birebir çıkmaz.

Banka verisindeki en riskli müşteriye bakalım: risk %89,5, varsayılan değer ayda 30. En uygun eylemin net değeri yalnızca 1,95 çıktı. Harcamayı taşıyacak kadar değer yok. Karar "müdahale et" değil, "incele" oldu.

Değer sütunu değişince ne oldu?

Aynı verileri, değer olarak bir para sütunu gösterip yeniden çalıştırdık. Bu sütunlar gerçek müşteri kârı değildir; yalnızca kararın bu girdiye ne kadar duyarlı olduğunu gösterir.

VeriDeğer sütunuAUCMüdahale et
BankaSabit 300,7630
BankaBakiye0,7582.405
BankaTahmini maaş0,7793.599
Kredi kartıSabit 200,9310
Kredi kartıYıllık harcama0,8991.032
E-ticaretSabit 400,9020
E-ticaretNakit iade tutarı0,863439

Kredi kartı ve e-ticarette AUC düştü, müdahale kararı sayısı ise sıfırdan yükseldi. Bu testte kararı model başarısından çok değer girdisi değiştirdi.

Bu test neyi göstermez?

  • Müdahalelerin müşteriyi gerçekten tuttuğunu göstermez. Etki oranları varsayımdır.
  • Müdahale sayılarının doğru olduğunu göstermez. Bakiye ya da maaş, bankanın o müşteriden kazandığı para değildir.
  • Nedensel etkiyi ölçmez. Bunun için rastgele kontrol grubu gerekir, bu verilerde yoktur.
  • Zaman içindeki kaymayı ölçmez. Ayrım rastgeleydi, çünkü bu verilerde müşterileri sıralayacak bir başlangıç tarihi yoktu.

Siz ne yapmalısınız?

  1. Model raporunda AUC'nin yanına kararı koyun: kaç müşteriye, hangi maliyetle?
  2. Müşteri değerini veriden alın, tek sayı varsaymayın. Mümkünse ciro değil marj kullanın.
  3. Müdahale etkisini rastgele kontrol grubuyla ölçün.

İran ve e-ticaret verisinde kimlik sütunu yoktu, satır numarası ekledik. E-ticarette nakit iade tutarını iki ondalığa yuvarladık. Kredi kartı verisinde iki hazır tahmin sütununu modele sokmadık.

Kaynaklar

Bu hesabı kendi verinizde görün.

Vinctum Aegis ilk tasarım ortağını arıyor: tek bir veri tablosu, 30 dakikalık görüşme ve kontrol gruplu ölçüm.

Pilot talep et Simülatörü dene
info@vinctum.studio

Diğer yazılar

Hava tahmini ne kadar doğru? 30 şehirde 7,3 milyon tahmin7.358.400 arşiv tahminini 30 Türkiye şehrinde ücretsiz tahminle karşılaştırdık. Sekiz şehirde saatlik yağmur tahmini "yağmur yağmaz" demeyi hiçbir günde geçemedi.Churn oranı nedir, nasıl hesaplanır? Formül ve örneklerChurn oranı, bir dönemde kaybedilen müşterilerin dönem başındaki müşterilere oranıdır. Müşteri ve gelir churn'ü formülleri, yıllığa çevirme ve sık yapılan hatalar.Churn tahmini karar değildir: risk skorundan müdahale kararınaBir churn modeli kimin gideceğini söyler, kime ne kadar harcayacağınızı söylemez. Aynı %78 riskin iki müşteride neden iki farklı karar olduğunu örnekle anlatıyoruz.Müşteri tutma müdahalesinin beklenen değeri nasıl hesaplanır?Bir indirimin ya da aramanın para kazandırıp kazandırmadığını tek formülle hesaplayın: risk × etki × korunacak değer − maliyet. Örnek hesap ve sık yapılan hatalar.Uplift modelleme: kontrol grubu olmadan etki iddia etmeyinChurn kampanyanız gerçekten işe yaradı mı? T-learner ile uplift tahmini, gereken veri, kamuya açık uplift veri setleri ve neden kontrol grubunun şart olduğu.