質問紙調査（アンケート）の難しさ（スケールアウト編）

これまでアンケートに答えたことのない方は皆無と言い切ってもいいと思います。そこまで広く世に浸透しているアンケートですが、一方で「ちゃんとした」アンケートのやり方を知っている人はごくまれなのではないでしょうか。学術的にもアンケートが用いられることは多いのですが、研究者でさえ、アンケートを採るのに専門的な知識はいらないと思っている人がかなりいるように感じます。

しかし、実際に有用な結果を出せるアンケートを採ろうと思うと、高度な知識と熟練の技能が必要です。世の中の大多数のアンケートは、一度集計結果をみて「ふーん」と思ったあと、まったく活用されず放置されているんじゃないでしょうか。そういう経験を積むと「アンケートなんてやっても大して意味ないよね」という誤った結論に陥りがちなのですが、実際にはアンケートという専門的で高度なツールを使いこなせていないだけなのです。

アンケートは、専門的には質問紙調査と呼びます。今回は、質問紙調査を行ううえで陥りやすい問題の一つであるスケールアウト*1について書きます。ちなみに続編があるのかどうかは気分次第です。

さて、では例としてある会社が自社の製品についての購入意欲を調査したとしましょう。その結果として、以下のような結果が得られました。*2

一見すると、購入意欲は高く、喜ばしい結果のように見えます。しかし、この結果には何か使い途があるでしょうか？多分、「よかったね」で終わりだと思います。本当にそれで終わってしまう調査もかなり多いのではないかと邪推しますが、そうならないためにはまず「何を知りたいのか」という目的意識をもって調査を実施する必要があります。

今回は購入意欲調査ということなので、「どんな人の購入意欲が高いのか／低いのか」ということを知りたい、という目的があるものとしましょう。

まずは基本的なところで男女差を見てみます。

結果をみると、女性では1～2点の人がいません。購入意欲は女性のほうが高いようです。では、この結果ならば使い途があるでしょうか？「男性にアプローチできていないから男性向けの広告を出そう」とか「女性ウケがいいからもっと女性が使いやすいように商品開発しよう」といった程度の議論ならできるかもしれません。しかしそうなると、「なぜ女性のほうが購入意欲が高いのか？」という疑問が湧いてこないでしょうか？今後どんな施策を取るにせよ、それが分からないかぎりは広告の内容も商品開発の方向性も決められないでしょう。

しかし、ここで問題が発生します。今回の結果から、性別と購入意欲の関係は、ざっくり以下のように整理できます。*3

性別＼購入意欲	高い	低い
男性	○	○
女性	◎	×

ここに大きな問題が一つあります。購入意欲の低い女性がいないことになっているということです。

例えば、女性の購入意欲が高い理由について、「主婦の購入意欲が高いために、女性の購入意欲が全体として底上げされている」という仮説を立ててみましょう。それが正しいかどうかは、女性の回答をさらに主婦とそれ以外に分け、主婦がそれ以外の人に比べて購入意欲が高いかどうかを見れば分かります。

しかし、実際にはそれはできません。今回のデータでは、主婦であろうがなかろうが、女性はみんな購入意欲が高い、ということになってしまっているからです。これでは分析のしようがありません。初見では喜ばしい結果に見えた今回のアンケートも、実のところ使い物にならない失敗調査だった、ということです。

アンケートの結果は、しばしばテストの成績のように捉えられ、肯定が多いかどうかとか、平均値が高いかどうかといったことに囚われがちです。しかし、「使い物になる」アンケート結果というものは、肯定と否定が同数のものであり、平均値が高くも低くも無いものなのです。

質問紙調査というのは、ある事象に物差しを当てて測定することだと例えられます。事象というのは人の行動や意識といったもので、物差しは質問そのものです。そして、物差しの種類（質問文）や当て方（質問する相手や方法）次第で、その測定結果はいくらでも変わってしまいます。それゆえに、高い精度で調査を行うためには、それに見合った高い専門的技能が必要になるのです。

では、今回の調査の問題点を整理しましょう。表面的には、回答が高得点に偏りすぎてしまっている、ということです。専門家ならば、このような結果を見たときには「短い物差しで端っこのほうだけ測った」のではないか、と疑います。*4つまり、本当は次のような分布になっているのではないか、と考えます。*5

このような結果はスケールアウトと呼ばれます。物差し（スケール）からはみ出してる（アウト）ってことですね。スケールアウトの原因としては、次のようなことが考えられます。

1. 調査対象者が適当でない
2. 質問文が適当でない
3. 選択肢が適当でない
4. 質問内容が適当でない

それぞれ今回の調査を例に考えてみましょう。1は、例えば「その会社の招待セールに来た人」を対象に調査したような場合です。招待されるということは以前からの顧客の可能性が高いですし、招待セールということはふらっと立ち寄ったわけではないので購入意欲が高くて当然です。*6調査対象者が適切でないことによる偏りは、サンプルセレクションバイアスと呼ばれます。

2について、質問文は専門的にはワーディングと呼ばれ、ある意味質問紙調査で一番難しい問題です。例えば「○○を買おうと思いますか」と聞くのと「○○を買いたいと思いますか」と聞くのとではどうちがうでしょうか。本当に微妙な差ですが、前者は積極的な意志を聞いているのに対し、後者は単なる願望を聞いているような感じがしますね。このくらいの微妙な差でも、場合によっては大きく回答分布がずれることもあります。*7今回はスケールアウトの話なので、スケールアウトが起きそうな例を挙げれば、「○○を買いたいと思ったことが一度はありますか」みたいな感じでしょうか。「一度は」といわれると、「一度ぐらいならあるかなぁ」という人が増えるのではないでしょうか。あまりきれいな例ではないですが…。

3については、例えば「1.まったく思わない」「2.ほとんど思わない」「3.あまり思わない」「4.どちらともいえない」「5.そう思う」のような選択肢の場合です。極端な例ですが、今回のように得点として数値だけ出されてしまうと騙されてしまいますね。*8選択肢については、単独で問題があることよりも、質問文との組み合わせ方に問題があることのほうが多いです。意識については作為を持たず普通に聞けば大体のケースで問題ないのですが、行動の頻度などでは悩みどころです。例えば「外食の頻度」を聞く場合、どのような選択肢を用意すればいいか、考えてみてください。

4についてはどんなに質問文を練ろうが内容的に偏るのが避けられない、という場合です。【追記：読み返すと、4はスケールアウトの例を出せてないですね…。というか、途中からスケールアウト編だということをほとんど忘れてました。まあ、せっかく書いたのでそのままにしておきます。】今回の例で考えるのはやや難しいので別の例を出しますが、「あなたは収入が増えればうれしいと感じますか」という質問に対して、否定する人はほとんどいないでしょう。どんな聞き方をしても、結果は大して変わらないと思います。*9このケースでは、当たり前すぎてそもそもそれを聞く意味がない、ということも多いです。前述のような例を挙げてしまうと「誰がそんな当たり前のことなんて聞こうとするのか」と思うかもしれませんが、当たり前であることに気付けないことが意外とあったりします。例えばウェブモニター調査で、「ネットを使って、換金や商品との交換が可能なポイントを貯めているか」という質問をしたとしましょう。すでに気付いている方もいると思いますが、ウェブモニター調査はポイントを報酬としてアンケートに答えてもらうというシステムが一般的です。つまり、ウェブモニター調査に参加している時点で、ポイントを貯めていることはほぼ自明なのです。これは、上記の1との組み合わせで発生した問題だといえるでしょう。実際の調査では、1から4までが複雑に絡み合うことで格段に問題の難易度が上昇します。

4のケースでは「社会的望ましさバイアス」というものが問題になることもあります。例えば、「赤信号のときには道路を横断してはいけない」という質問をしたとします。これはそもそも法律で決まっているルールなので、普通は肯定すると思います。しかし、本心ではどうでしょうか。「車が来てなかったら別にいいんじゃないの」と思っている人も多いんじゃないでしょうか。法律や倫理に関わる質問の場合、「普通は肯定する」と書いたように、本心ではどう考えていたとしても社会的に望ましいとされている回答が選ばれやすくなる、という問題があります。これが「社会的望ましさバイアス」です。非常に回避するのが難しい問題で、決定的な解決策はないのですが、そのような質問はそもそも調査倫理の観点から聞くべきではないことも多いです。

スケールアウト編といいながらも、サンプルセレクションバイアスやワーディングなど多岐に渡ってしまいました。まあ、質問紙調査は色々な問題が複雑に絡み合っている、ということが感じてもらえれば幸いです。スケールアウト編としてのまとめとしては、「大きく偏っているデータは物差しを疑ってかかれ」「調査結果を回答そのものの高低だけで論じることはできない」といったところでしょうか。今回出した図のようなものを見たときには十分注意してください。

*1:サーバーの負荷分散とは全く無関係です

*2:ここでは話がややこしくなるのでワーディング（質問文）は伏せます。また、購入意欲得点は5点満点の評価で、値は回答者の割合（全て足し合わせると1）とします。

*3:記号の意味は雰囲気で感じ取ってください…

*4:絶対にそうだ、ということではなく、あくまで疑う、ということです。本当のところは調査を繰り返して検証しなければわかりません。

*5:この図は実は手抜きで、実際には5に入っている人が減り、その分がより右のほうに分布する、というのが正しいです。

*6:この場合はスケールアウトではなく、偏っているのが正しい、という可能性もあります

*7:こういう曖昧模糊とした部分が質問紙調査の怪しさを生み出してしまい、本当に信用できるのか、と疑われることも多いのですが、ちゃんとした研究者は学術的に信頼性の検証された方法で可能なかぎり曖昧さを低減しています。

*8:馬鹿な例だと笑い飛ばしたいですが、実際にこういうことを平気でやる大手企業も普通にありますからね…

*9:無理矢理分布させることは不可能ではないですが、そうすると元々聞きたかった内容からは意味が変わってしまうでしょう。