Hava tahmini ne kadar doğru? 30 şehirde 7,3 milyon tahmin

2 Kasım 20266 dk okuma

Neyi ölçtük?

Bir tahminin iyi olup olmadığı, neyle karşılaştırıldığına bağlıdır. Biz her tahmini, hiçbir model gerektirmeyen bir rakiple karşılaştırdık. Yağmurda rakip "yağmur yağmaz" cümlesi, sıcaklıkta "yarın da bugünkü gibi olur" cümlesi.

Güven ufku, tahminin bu ücretsiz rakibi geçmeyi bıraktığı gündür. Beceri = 1 − tahminin ortalama hatası / rakibin ortalama hatası. Beceri sıfırın altına indiğinde tahmin, rakipten kötü demektir. Ölçüm iki yılı ve 1-7 gün öncesini kapsar.

Ana sonuçlar

  • Sekiz şehirde yağmur tahmini ölçülen tüm günlerde rakibin gerisinde kaldı: Ankara, Konya, Kayseri, Eskişehir, Denizli, Isparta, Kars ve Van.
  • En uzun yağmur ufku Rize'de: 5,74 gün.
  • Sıcaklık tahmini iki şehirde dünü geçemedi: Antalya ve Mersin.
  • Trabzon'da sıcaklık tahmini, arşivdeki son gün olan 7. günde bile önde.
  • Ankara'da sıcaklık ufku 5,92 gün, yağmur ufku sıfır. Aynı şehirde cevap, sorulan soruya göre değişiyor.

Kurak şehirde yağmur tahmini neden geride kalıyor?

Ankara'da yaklaşık yirmi saatin birinde yağmur yağıyor. Bu yüzden "yağmur yağmaz" demek zamanın yaklaşık %95'inde doğru çıkıyor. Tahminin bu çıtayı geçmesi için, boşa yaptığı yağmur uyarılarını karşılayacak kadar gerçek yağmur yakalaması gerekir. Sonuç, modelin kötü olduğunu söylemez. Ücretsiz tahminin o şehirde ne kadar güçlü olduğunu söyler.

30 şehrin tablosu

ŞehirYağmur ufku (gün)%95 aralıkSıcaklık ufku (gün)%95 aralık
Ankara0,000,00-1,005,925,58-6,26
Denizli0,000,00-1,294,274,11-4,44
Eskişehir0,000,00-1,326,255,88-6,64
Isparta0,000,00-0,004,234,11-4,34
Kars0,000,00-0,004,353,74-4,91
Kayseri0,000,00-1,214,974,62-5,35
Konya0,000,00-1,376,135,88-6,31
Van0,000,00-1,414,153,88-4,32
Şanlıurfa1,180,00-2,475,995,55-6,21
Erzurum1,390,00-2,253,973,32-5,43
Diyarbakır1,720,00-2,845,024,51-5,52
Mersin1,750,00-3,710,000,00-2,33
Sivas1,810,00-2,915,555,15-5,97
Balıkesir2,031,30-2,705,505,08-5,94
Çanakkale2,221,66-2,895,685,08-7,00
Antalya2,280,00-4,180,000,00-0,00
Tokat2,631,52-3,405,775,34-6,31
Gaziantep2,641,44-3,716,175,80-6,51
Aydın2,711,84-3,424,164,04-4,28
Malatya2,711,80-4,094,804,56-5,09
İstanbul2,821,78-3,595,514,99-6,13
İzmir2,861,72-4,115,735,39-6,50
Samsun3,181,96-3,574,724,51-4,96
Adana3,361,45-4,064,974,69-5,40
Bursa3,432,89-3,995,985,62-6,55
Zonguldak4,403,90-4,904,844,69-5,01
Trabzon4,453,95-4,887,005,75-7,00
Ordu4,594,14-5,064,904,74-5,19
Muğla5,614,55-6,554,504,35-4,66
Rize5,745,11-6,714,174,06-4,28

7,00, arşivin son günüdür; ölçüm orada biter, gerçek ufuk daha uzun olabilir. 0,00 ölçülen tüm günlerde rakibin gerisinde kalındığını gösterir. Aralığı 0,00-0,00 olmayan şehirlerde "kesinlikle hiç geçemez" diyemeyiz.

Bu ölçüm neyi göstermez?

  • Hangi hava uygulamasının daha iyi olduğunu göstermez. Uygulamaları tek tek test etmedik.
  • Gerçek yağmur ölçer verisi kullanmaz. Doğru kabul edilen değer ERA5 yeniden analizidir, yani o da bir modeldir.
  • Şehrin her noktasını temsil etmez. Her şehir tek ızgara noktasıyla ölçüldü, yağmur ise yereldir.
  • Modelin genel kalitesini ölçmez. Soru yalnızca saatlik düzeyde, yağmur yağıp yağmayacağıdır.

Tahmini nasıl okumalısınız?

  1. Kurak bir şehirdeyseniz saatlik yağmur simgesine tek başına güvenmeyin. Yakın saatleri ve yağış olasılığını birlikte okuyun.
  2. Sıcaklık tahmini çoğu şehirde daha uzun süre işe yarar. Yağmur ve sıcaklık için aynı güveni beklemeyin.
  3. Bir tahmin sisteminin başarısını her zaman ücretsiz bir rakiple karşılaştırın.

Kaynaklar

Diğer yazılar

Churn oranı nedir, nasıl hesaplanır? Formül ve örneklerChurn oranı, bir dönemde kaybedilen müşterilerin dönem başındaki müşterilere oranıdır. Müşteri ve gelir churn'ü formülleri, yıllığa çevirme ve sık yapılan hatalar.Yüksek AUC karar demek değil: beş churn verisiyle testVinctum Aegis'i beş herkese açık churn verisinde çalıştırdık. Dört veride AUC 0,76-0,93 arasındaydı, müdahale kararı çıkmadı. Sebep kararın girdilerindeydi.Churn tahmini karar değildir: risk skorundan müdahale kararınaBir churn modeli kimin gideceğini söyler, kime ne kadar harcayacağınızı söylemez. Aynı %78 riskin iki müşteride neden iki farklı karar olduğunu örnekle anlatıyoruz.Müşteri tutma müdahalesinin beklenen değeri nasıl hesaplanır?Bir indirimin ya da aramanın para kazandırıp kazandırmadığını tek formülle hesaplayın: risk × etki × korunacak değer − maliyet. Örnek hesap ve sık yapılan hatalar.Uplift modelleme: kontrol grubu olmadan etki iddia etmeyinChurn kampanyanız gerçekten işe yaradı mı? T-learner ile uplift tahmini, gereken veri, kamuya açık uplift veri setleri ve neden kontrol grubunun şart olduğu.