[환경일보] 지난해 감사원에 따르면 지난 5년 동안 기상청의 강수유무에 대한 적중률은 절반에도 미치지 못하는 46%에 불과했다.

이는 기상청이 발표하는 강수유무 정확도와는 큰 차이가 나는 수치로, 절반도 맞추지 못할 정도라면 도저히 신뢰하기 어려운 수치다.

그런데 감사원이 말하는 ‘적중률’과 기상청이 말하는 ‘정확도’는 비슷하지만 전혀 다른 개념이다. 무엇이 다른걸까?

기상청이 말하는 '정확도'

먼저 기상청이 말하는 정확도(ACC, Accurcy)는 강수 유무를 예보 유무와 비교한 결과다.

표에서 보이는 것처럼, 비가 내린다는 예보가 나온 상황에서 ⓵비가 내린 경우 ⓶비가 내리지 않은 경우, 비가 내리지 않는다는 예보가 나온 상황에서 ⓷비가 내린 경우 ⓸비가 내리지 않은 경우 등 4가지를 모두 조합해서 예보가 얼마나 정확했는지를 계산한 것이다.

이 경우 비가 내린다는 예보가 맞은 82건(H)과, 비가 내리지 않는다는 예보가 맞은 222건(C)을 1년 365일로 나눴을 때 83%의 정확도가 나온다(참고로 기상청이 밝힌 정확도는 약 92%)다.

정확도는 비가 내리지 않는다는 예보까지 포함하기 때문에 거의 발생하지 않는 기상현상에 대해서는 검증지수로서 부적합하다는 지적을 받는다.

예를 들어 사막에서 ‘비가 내리지 않는다’는 예보는 정확도는 매우 높지만, 예보로서의 가치는 낮다. 사막에 비가 잘 오지 않는다는 예보는 일반인도 가능하기 때문이다.

감사원이 근거로 제시한 'CSI'

이 때문에 당연한 예보, 즉 비가 내리지 않는다는 예보가 나온 상황에서 비가 오지 않은 경우인 ⓸번(C)을 제외한 값을 임계성공지수(CSI, Critical Success Index)라고 부른다. 비가 온다는 예보가 얼마나 맞았는지를 확률로 계산해보는 것이다.

비가 내린다는 예보가 나온 상황에서 비가 내린 경우(H)와 비가 내리지 않은 경우(F), 비가 온다는 예보가 없는 상황에서 비가 내린 경우(M)만을 계산한 값은 0.57이다. 앞서 말한 정확도에 비해 낮은 수준을 보인다.

CSI는 관심사항에 대한 예측의 성공률, 즉 비 예보가 얼마나 맞는지를 직접적으로 보여준다. 

대신 오차의 원인을 구별할 수 없기 때문에 우연하게 맞출 수도 있다. 결국 기후학적 발생 빈도에 의존하게 되는데, 사막에서 1년 단 하루 비가 내리는다고 가정할 때 이를 맞추면 정확도는 100%가 된다. 대신 못 맞추면 0%라는 극단적인 결과를 보인다.

이건 또 뭐? 탐지확률 POP

끝으로 실제로 비가 내렸을 때 기상청에서 ‘비가 온다’는 예보가 있었는지를 계산하는 탐지확률(POP, Orobability of Detection)로 0.78(82(H)/105(H+M))이 있다.

이 경우 실제로 비가 내렸지만 강수예보가 없었던 수치가 직접 드러난다는 장점이 있다. 

대신 발생예보, 즉 적중 유무에 상관없이 365일 비가 내린다는 예보를 할 경우 모두 맞출 수 있다는 단점이 있다.

같은 결과를 두고 기상청은 가장 높은 점수를 나타내는 지표를 제시했고, 반대로 감사원은 가장 낮은 점수를 나타내는 지표를 제시했다.

물론 기상청 입장에서는 좋은 결과를 보여주고 싶은 욕심이 있겠지만, 시민들의 체감과는 동떨어졌다는 비판을 받는다.

가령 비가 온다는 예보를 듣고 우산을 가지고 나왔지만 비가 오지 않았을 경우, 우산을 들고 다니는 수고스러움만 견디면 된다.

그러나 비가 오지 않는다는 예보에 우산을 준비하지 않았는데 비가 내린 경우, 비를 맞거나 새로 우산을 사야 하는 불편을 겪게 된다.

전자에 비해 직접적인 피해를 입은 후자가 더 강렬한 기억으로 남을 것이 분명하다. 시민들 입장에서는 ‘비가 안 오는 것을 맞추는 게 중요한 것이 아니라, 비가 오는 것을 맞춰야 가치가 있다’라고 생각할 것이다.

이처럼 기상청이 발표하는 정확도와 국민이 생각하는 만족도 사이에 차이가 커지면서, 기상청은 다양한 검증지수를 단계별로 공개함으로써 예보 신뢰도 향상에 기여하겠다고 밝혔다.

그리고 이왕이면 임계성공지수, 탐지확률, CSI 등 어려운 용어 대신 ‘비 예보가 맞을 확률’처럼 쉽고 직관적인 단어를 사용하면 어떨까?