2009年05月21日

天気予報 的中率だけで予報性能を判断していいのか?

この前、電車で隣に座ったおばちゃん二人組が、「昔と違って最近の天気予報の的中率は高くなったよねぇ」という事を話題にしていた。確かに俺が小さい頃の天気予報なんて、ちょくちょく外れてたような気がするんだけど、最近の天気予報は次の日くらいの予報であればまず外れる事はない。

普通、天気予報の性能指標として「的中率」を思い浮かべる人がほとんどだと思うのだけど、実際のところ「的中率」は天気予報の性能を議論する上で良い指標とはいえない。今日は、その辺のところを条件付確率を使って考察していこう。



entropy_forcast.jpg
さて、今2つの天気予報システムAとBがある。AはC市の天気予報、BはD市の天気予報を管轄しているのだけど、1年間分の実際の天気と予報結果を確率として表にまとめたものが上記の画像である。(実際の結果ではなく、あくまで例ね)
ここでは話を単純化して、「晴れ」か「雨」の2種類の予報をするとしよう。表の中の数字はそれぞれの場合の確率を表していて、Aシステムにおいては、

予報が晴れで実際も晴れた確率(@)は0.64
予報が晴れで実際は雨だった確率(A)は0.16
予報が雨で実際は晴れた確率(B)は0.16
予報が雨で実際も雨だった確率(C)は0.04

とする。また、Bシステムにおいては、

予報が晴れで実際も晴れた確率(D)は0.3
予報が晴れで実際は雨だった確率(E)は0.2
予報が雨で実際は晴れた確率(F)は0.2
予報が雨で実際も雨だった確率(G)は0.3

とする。さて、皆様は「A、Bのどちらの天気予報システムが優れているか?」をこの表を見ただけでどう判断しますかね?ちなみに的中率を考えてみると、

「Aの的中率」=@+C=0.68(68%)
「Bの的中率」=D+G=0.60(60%)

であるので、「Aの方が予測システムとしては性能が良さそう」と、考えられなくもない。

ところが、すでに目の付け所の良い人は気づいていると思うけど、C市の実際に晴れた日の確率(@+B)と、実際に雨だった日の確率(A+C)は、それぞれ0.8と0.2であるのに対して、D市の実際に晴れた日の確率(D+F)と、実際に雨だった日の確率(E+G)は、それぞれ0.5と0.5である。よって、「この2例を同じ的中率という指標で比較するのは不公平ではないか?」と考える人が出てくるわけですよ。


それでは、条件付確率で考えてみよう。まずAの場合、

予報が晴れだった条件の下で
実際に晴れた確率(H)=@/(@+A)=0.8。

一方、予報が晴れだった条件の下で
実際は雨だった確率(I)=A/(@+A)=0.2。

予報が雨だった条件の下で
実際は晴れだった確率(J)=B/(B+C)=0.8。

一方、予報が雨だった条件の下で
実際に雨だった確率(K)=C/(B+C)=0.2。

そしてBの場合、

予報が晴れだった条件の下で
実際に晴れた確率(L)=D/(D+E)=0.6。

一方、予報が晴れだった条件の下で
実際は雨だった確率(M)=E/(D+E)=0.4。

予報が雨だった条件の下で
実際は晴れだった確率(N)=F/(F+G)=0.4。

一方、予報が晴れだった条件の下で
実際に雨だった確率(O)=G/(F+G)=0.6。


さて、ここまで来ればAの天気予報システムが相当に胡散臭い事がわかる。というのも、Aでは晴れと予報して実際に晴れる確率(H)は0.8と高いのだけど、もともと実際の天気が晴れである確率(@+B)は0.8なので、晴れと予報したところでその条件付確率に変化がない。

一方、Bの方はというと、Bで晴れと予報して実際に晴れる確率(L)は0.6であるけれど、もともと実際の天気が晴れである確率(D+F)は0.5であることより、晴れと予報する効果が10%程度の条件付確率上昇という形であらわれるのがわかる。


タネを明かすとAの天気予報システムは、実際の天気にまったく無関係で、常に晴れを0.8、雨を0.2の確率で出力するだけのインチキシステムである。一方、Bの天気予報システムは予報によって条件付確率が上昇することから、きちんとした予報効果のあるシステムであるわけだ。
このように、予測とか予報の性能指標として「的中率」で全て判断するのが適切ではない事がわかるだろう。


ちなみに、この場合の予報性能指標としてどういう指標が最も適切かというと、「実際の天気」と「予報した天気」の「相互情報量」じゃないかと思うのだが、これについては「情報理論」という大学で習う応用数学の分野の話になるので、興味のある方は勉強してはいかがでしょうか?(条件付確率が出来れば高校生でも理解可能な分野だと思われる)
なお、「情報理論」については、エントロピーの話やデータ圧縮の話をするときに必ず話題になるところなので、いずれこのブログにでも書く機会が出てくるだろう。


※ちなみに、俺は気象庁職員ではないので悪しからず。(笑)



【おまけの一言】
本エントリーで書きたかったもう一つの事は、「物事を一つの指標のみで判断しない方が良い」って事なんだ。物事が複雑になればなるほど、全体の評価を一つの指標で表すのは非常に難しくなるのは直感的にもわかる。
例えば、日本経済の調子を貿易黒字だけで判断できるかというと、とてもそんな事ないわけで、「貿易赤字→もう日本経済はダメだ」みたいな話は非常に短絡的だと思うんだよな。

しかも今回みたいに、そもそもの指標が適切でなければその後の判断が大きく変わりかねないわけで、自分の職場とかでもこの手の指標の設定ミスがあるんじゃないかと、ちょっと不安になるわ。(笑)
posted by きらっち at 21:06| Comment(0) | TrackBack(0) | 科学
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバックURL
http://blog.sakura.ne.jp/tb/29287395

この記事へのトラックバック