読者です 読者をやめる 読者になる 読者になる

Nanairo

プライベートを充実させてみたいものだ…。

59%と41%に差はあるのか~数字のマジック~

企業や官公庁でシステムを運用している人は少なからず1回はSLAという言葉を聞いたことがあるはずだと思う。

SLAとはService Level Agreementとの略で日本語ではサービス品質保証といわれる。例えば稼働時間などが明確に分かるような回線やシステムについては99.9%という数字が一つの目安とされている。

99.9%と言うと、とてつもなく厳しい数字に見えるだろうが、

1年=24時間/日×365日=8,760時間=525,600分
525,600分の0.1%=525.6分(=8.76時間)

冗長化などしていれば、8.76時間というのはクリア出来ない目標ではない。
が、ヘルプデスクやサービスデスクなどではこれがユーザー満足度という形で普遍的な数字ではなく、人間の感覚的な部分が考慮される。


この間、あるシステムの満足度アンケート(SLAアンケート)を見る機会があったのだが、60%の人が満足していたと記載があった。
60%というと過半数だから大抵の人は満足していると一見思うのだが、これを統計学的に、具体的にはカイ2条検定にかけてみると、「満足」と答えた人が「不満足」と答えた人よりも5%水準で有意に多いと言える(p=0.045)。したがって「満足」と答えた人が「不満足」と答えた人よりも多いと言える。

※5%水準で有意とは同じような調査を20回行ったら1回は違った結論が得られる可能性(この場合は不満足と答えた人が多かった)ことをいう(第1種の誤り)。

5%水準っていうのは、統計的にも結構緩い基準だ。よく使われるのは1%水準とか0.1%水準とかだと思う。

これが満足:不満足=59:41となるとどうなるか。
これでは5%水準で有意ではなくなる(p=0.071)ので、「満足」と答えた人が「不満足」と答えた人よりも有意に多いとは言えない。

しかし数字の上では「満足」と選んだ人が多いのだから、全体的には満足しているのだろうと勘違いしてしまう。

先輩から数字は独り歩きするから要注意と言われたことがあるが、これも数字が見せる一つのマジックなのかもしれない。案の定、アンケートの分析には59%と過半数が満足していたと書いてあったが、たぶん同じ調査を20回行ったら1回は不満足と答える人の方が多くなるのかもしれない。

分析はやはりきっちりやらないといけないと改めて感じた事例だった。