ICHIRO BLOG引っ越しました

先日、ヤフーニュース個人のオーサーである、言語社会学者の寺沢拓敬さんからエデュケーション・ファースト（以下、EF）社の「世界英語力ランキング」に対する調査結果の不審さについての言及がありました。

日本の英語力、非英語圏で５３位世界ランク、前年から低下（時事ドットコム 19/11/9）

「日本の英語力は53位」というデマ報道が流れ出す季節になりましたね。（Y!ニュース個人 寺沢拓敬 19/11/9）

私も、文春オンラインで英語ネタの記事を書きましたが、先般の文部科学大臣・萩生田光一さんの「身の丈」発言がなければ、もう少し日本の英語教育や英語関連入試の在り方も議論されたのかなあと思うと少し残念です。何しろ、英語教育の必要性の議論が煮詰まらないまま強行された民間英語試験が、さらに担当大臣の失言で政治決着として先送りになってしまう、というのはビックリです。大丈夫なのでしょうか。

「英語のできない英語教師」に縛られ英語ができない“身の丈”ジャパンの諸問題（文春オンライン 19/11/8）

さて、寺沢さんからは主にサンプルの代表性を理由としてEF社の国際英語力ランキングは問題である、との認識を示されていました。
このEF社の国際英語力ランキングは、EF社が提供するオンラインの英語力テストを、そのテストを受けたいという各国の人たちが、自分の意志で（任意で）受験した結果を集計したものであって、サンプルに偏りがあり、代表性がないのではないか、というのが寺沢さんの主張です。

結論から言えば、常識的な社会調査の見地からしますと、このEF社の国際英語力ランキングは'''「厳密性に欠けるものの、傾向としては概ね正しいと解される」'''と判断して良いと思います。もちろん、寺沢さんが指摘するサンプリングされた内容の代表性に問題があるという内容は事実で、それは前述のEF社の英語力ランキング調査の調査方法によるものです。

しかしながら、このEF社の報告書をきちんと読むと、Disclaimer（調査上の問題点）として、当該の内容は公式に記述されています。日本語版の調査報告書にも、その記述があります。

EF EPI 英語能力指数 世界100か国・地域の英語力ランキング 2019

サンプリングの偏り

この指数の中に表されている受験者は任意で受験した人々であり、その国全体のレベルを代表するわけではありません。英語を勉強したいと思っている人、あるいは自分の英語スキルを知りたいと思っている人だけがこの試験を受けているため、一般人口よりも高いまたは低いスコア結果になっている可能性があります。しかしながら、テスト結果は個人使用のみを目的としており、受験者には不正行為によって利害に関係ないこのテストの点数を上げるというような動機は存在しません。

（略）

インターネットの使用率が低い地域の結果では、オンラインの普及状況の影響を大きく受けていると考えられます。このようなサンプリングの偏りは、低所得や教育を受けていない人々を含まないことにより、一般人口の平均スコアよりも実際のスコアを高くする傾向があります。それでもなお、インターネットを使った自由参加型の試験方法は、広範囲にわたる指数についての膨大なデータを収集するのに効果的であり、世界における英語能力レベルについて価値のある情報を提供うるものだと弊社は信じています。

EF EPI 英語能力指数 世界100か国・地域の英語力ランキング 2019

寺沢さんがご指摘された主要な内容は、彼ら自身が報告書の中で免責事項として記述しています。

一方で、EF社の主張を信じるのであれば「'''EF EPI 2019の各国スコアには、TOEFL iBT 2017の各国スコア(r=0.80)および IELTS Academic Test 2017の各国スコア (r=0.74)と強い相関関係がある'''」としており、寺沢さん指摘の代表性に問題があっても任意の受験のサンプル数が充分であった結果、実際のTOEFLやIELTSとの成績と強い相関があるということであれば、参考値として「国際的にその国の英語話者のレベルが高いか低いか」は充分に判断できる内容です。

そして、EF社の英語力国際ランキングの指標が示す傾向通り、'''日本の英語力は'''TOEFL iBT 2017でも極めて低迷し、まぎれもなく'''アジアの最下位'''です。'''統計的には「EF社の国際英語力ランキングは傾向として全く正しい」'''としか言えません。もちろん、このTOEFLも試験を受けたいという受験者による任意の試験です。

第118回The TOEFL iBT Test 2017スコアに見る日本の英語教育の惨状 Academic settingsの英語コミュニケーション能力で世界ランキング下位（TOEFL Webmagazine 鈴木佑治慶應義塾大学名誉教授 18/5/21）

Test and Score Data Summary for TOEFL iBT （Educational Testing Service）

寺沢さんは本件についてサンプルの代表性について問題を指摘しているのと併せて「営利目的。このランキングは、EF社がプロモーションの一環としてやっているものであり、調査のために作られたものではない」という理由でEF社の調査の信憑性に疑問を投げかけていますが、社会調査においてサンプルの偏り（サンプルバイアス）が発生することは、いかなる調査方法であっても不可避な部分はあります。逆に言えば、企業がプロモーションも兼ねて状況をきちんと調査することの何が悪いのかという反論は成立するでしょう。

例えば、四谷大塚やSAPIX、早稲田アカデミーなど大手学習塾による中学校受験の全国模試が11月から年末にかけて繰り返し行われていますが、これらも営利企業による模試であり、また、EF社と同様に任意で中学受験として受験をしたいと思っている家庭の児童しか模試を受けません。しかし、充分なサンプル数が適切な試験方法で公平に行われているのであれば、傾向として、受験でトップクラスの難易度となる筑波大付属駒場中や灘中、開成学園中などの難関校の偏差値も、その受験生の中で弾き出すことができます。そして、これらの模試の内容は受験の対象となる各中学校とは原則として無関係です。

では、EF社の英語力ランキングと中学受験模試は、任意の受験・試験だからサンプリング上のバイアスが大きく不正確と言われるでしょうか。結論は寺沢さんの主張と合致する部分と、そうでない部分があります。まず、英語力ランキングも中学受験模試も、前者は英語力を客観的に測定したい人が任意でオンラインで受験し、後者は良い中学校を目指して小学生のころから勉強したい人たちが任意で模試を受けます。その点で、これらの試験や受験に興味のない人たちに比べて、高いレベルで試験が行われます。すなわち、英語に興味のない人たちはEF社の英語力ランキングのテストを受けてもほとんど英語力は算定できないほど低いであろうし、また、中学受験の勉強を全くしていない児童が強制的にこれらの模試を受けても散々な点を取ることは確実です。これらのランキングも模試も、その行為に関心があるからこそ受ける人のスコアであることは留意するべきで、寺沢さんが代表性を欠くと主張しているのはこの点です。

英語力も中学受験も、受けたいと思う人の母集団から偏差値が出てランキングが弾き出されるので、日本人全体からすれば意欲のある人代表であることは言うまでもありません。

EF社の英語力ランキングのテストを受ける各国の受験者たちは、おそらくすべての国において英語に関心があり、オンラインで自分の英語力がどのくらいであるかを知りたいという同じ意識の持ち主ではないかと想定されます。したがって、この英語力ランキングは寺沢さんの指摘するようなサンプルバイアスは存在するとしても、その'''傾向としては英語を話したい受験者のランキングを国別に出すにあたり価値を持ちます'''。

同様のことは、国政選挙などでRDD方式やネットパネルでの情勢調査にも言えます。調査機関や新聞社・通信社によってまちまちではありますが、概ね50％から60％前後が有効回答とされる、支持政党や各種政策に関するこれらの調査は、政治に関心のない人たちは電話が仮に自宅にかかってきてもまともに回答しません。ネットパネルにいたっては、パネル調査会社に登録をするという手間がひとつ挟まっており、そもそも政治に関心のある人という前提でパネルが組まれることがあります（そうでない場合も沢山あります）。EF社の英語力ランキングも、これらの選挙や政策に関する情勢調査も、調査方法の公平性に重大な不備がない限り、ある程度正当な社会調査として受け入れられる必要はあるでしょう。

そして、厳密な意味での代表性に問題があるとしつつも、その結果において、中学受験模試は難関中学校の合格率に、国政選挙に関する調査は選挙区ごとの実際の得票数に、EF社の英語力ランキングはTOEFLなどのより客観的な英語力試験の評点に、きちんとした相関を持ち、比例しています。EF社の英語力ランキングについては、EF社がそう言っている、というだけではありますが。

したがって、'''厳密な意味で、'''日本が英語力ランキング世界53位かどうかは、分かりません。確実なことは、「国民全体の英語力」という絶対点で言えば他の国と同様にもっと低いであろうこと、そして、国際評価ではEF社が出した結論の通り、おそらくはベトナムやタイ以下の英語力しか日本人は持ち合わせていないであろうということです。寺沢さんは各国のランキングが乱高下することを問題視していましたが、実際には似たような点で並んでいたらランキングは上下するのは当然で、むしろ乱高下で疑うのは評点平均値や中央値が大きくぶれた場合です（寺沢さんも、別記事でインドの評点がおかしいぞと指摘していますが、私もあれはおかしいと思います）。非英語圏で英語を勉強しようという人の評点ですから、各国に多様な評点であったならば、ランキングは当然乱高下します。

それゆえに、寺沢さんが喝破するほど、本件EF社の英語力ランキングが不適切で、日本が53位と低迷していることが「デマ」とまでは言えないのではないかと思います。少なくとも、日本の英語力が他国に比べて低い、劣っているというところまでは、真実として受け止めてよいでしょう。

以上、私が解説したことは社会調査の基本的な部分であって、寺沢さんが「『日本人と英語』の社会学」で論じる内容も一理あります。いまの社会調査が「完全に無作為抽出の完全回答で偏りのないサンプリングができる」という理想から常に程遠いことを前提として、それでもなお参考に資する傾向を読み取ることが目的になっていることは、本件を通じてもっと広く理解されるべきだと思います。