ネット調査のゆがみの一因

アンケート調査で質問文を読まずに回答しているという話。
下記の記事の元になった論文は下記の通り。

三浦麻子・小林哲郎「オンライン調査モニタのSatisficeに関する実験的研究社会心理学研究第31巻第1号, 2015年, pp. 1–12 (PDF)
上記リンク所在:日本社会心理学会 学会誌「社会心理学研究」

紙ベースの調査でもこの種のゆがみは結構ある。論文で言及されているとおり、リッカート尺度の中点だけをマークした調査票などはよくある。今回の報告では、先行研究が挙げられているものの、紙ベースに比較してこのゆがみがどの程度増えるのかには触れられていない。直接比較した先行研究では、ネット調査だからゆがみが大きくなるという結果は得られていないようである(p.2)。だから、ネット調査ゆえに余計に警戒しなければならないということなのかは分からない。

ただ、このゆがみの存在は無視できない程度に大きいということのようで、だから対象者の選定と調査方法の選択は慎重に行うべき、という当然のことが再確認されるわけである。

一つ興味深いのは、この種のルーズな回答者をスクリーニングする技法を示唆してくれていることで、引っかけなどを使うIMC(Instructional manipulation check)という方法があるのだそうだ。似た質問を混ぜたり尺度の向きを変えたりして、いい加減な回答を弾く工夫は昔からあるけれど、一義的に良い選別方法というのはなくて調査目的に合わせて適宜工夫するしかないとのこと。それでもまあ、一定の有効性が認められている方法があるのはありがたい。

ネット調査、「手抜き」回答横行か 質問文読まずに…:朝日新聞デジタル(2015年9月29日10時00分)

 インターネットを使った意識調査で、回答者が質問文をきちんと読まずに「手抜き回答」している可能性がある――。そんな研究結果を、関西学院大の三浦麻子教授と国立情報学研究所の小林哲郎准教授がまとめた。ネット調査はマーケティングや学術研究で利用が広がっているが、ネットならではの課題もありそうだ。

 三浦教授らは昨年8月、民間調査会社2社に登録するモニター計1800人を対象に、「あなたの生活に関するお伺い」と題して2回の調査を実施。質問文をきちんと読まないと正しく答えられない「引っかけ質問」を潜り込ませ、不注意や手抜きによる回答がどの程度あるかを調べた。

 1回目の調査では、長い質問文の末尾で「以下の質問には回答せずに次のページに進んで下さい」と指示していたが、一社は51・2%、もう一社は83・8%のモニターが指示を守らずに答えたという。

 2回目の調査では、五つの選択肢から選ぶ形式の質問を10〜50問出し、そのなかに「一番『右』の選択肢を選んで下さい」などとする指示を潜り込ませた。すると、1回目で指示を守ったモニターはほとんどが2回目も指示に従ったが、1回目の調査で指示を守らなかったモニターの2割前後が2回目も指示を守らなかったという。

 日本の報道機関が行う世論調査は電話や郵送で質問する方式が主流だが、イギリスなどの海外では、世論調査にネット調査を導入する動きもある。ただ、ネット調査はモニターにとって手軽に回答できる半面、まじめに答えていない回答も混じっているのではないか、との指摘が以前からあった。

 小林准教授は「ネット調査はモニターが1回の調査で得られる謝礼が少ないため、たくさん答えようとして『手抜き』回答が生じているのでは」と指摘。調査会社によっても差があることから、三浦教授は「調査会社の選定も重要だ」と話す。研究結果は日本社会心理学会の学会誌「社会心理学研究」に今月発表された。(山下剛