③未検証・分かっていないこと
2026.09.07
最終更新: 2026-09-06 ／ ← /facts
🔒 このページがこのサイトの価値です。 厚く書きます。
測るものそのものについて
項目
状態
語彙を増やせば聴解力が上がるか 🔒 成人L2で、これを適切に統制して示した研究は見つかっていません。 唯一の統制試験 Saito et al. (2025) Applied Psycholinguistics 45(6) https://doi.org/10.1017/S0142716424000468 は null（p=.632） ― 統制群が訓練群と同じだけ伸びました
復元率を測れば復元率が上がるか 🔒 未検証です。 測定と改善は別のことです。近いのは Kissling (2018) MLJ 102(4) https://doi.org/10.1111/modl.12512 で、1.3時間の知覚訓練でディクテーション +15.1%（語彙交絡を排除）― ただし「測る→上がる」ではなく「訓練する→上がる」
cs 値と実際の映画理解の関係 🔒 私たちは検証していません。 参考：Durbahn, Rodgers & Peters (2020) System 94 では語彙知識と視聴理解の相関は rs=.39（約15%） にとどまります
cs と映画研究のスケール整合 🔒 2026-09-06 に扱いを変更。 他人の「3,000語族」を借りるのをやめ、映画側のカバー率を自分の単位（flemma）で自前計算 しました（95% ≒ 上位 3,850 語 → 計算・規約・感度は /facts/coverage ）。未検証のまま残るのは カバー率と理解の関係です（前項の rs=.39 と 95% 閾値の係争）。95% ラインは規則 v1.2.0 で 3,334 語に確定
復元率は帯に依存しないのか 🔒 未検証の仮定です。 R は Stage A を通過した語（高頻度に偏る）から推定し、それを V 全体に掛けています。比例配分で緩和していますが仮定は残ります
Stage A の事前接触 🔒 Stage A で各語を一度明瞭な発音で 聞かせています。したがって R は「初見の語の復元率」ではなく「一度はっきり聞いた語を自然な速さの中で取り出せる割合」 です
回答形式（入力 vs 選択）は同じものを測るのか 🔒 未検証のまま、実験を取り下げました。 同一リスニング項目でこの2形式を比較した研究は存在しません。2026-09-05 に Stage B を書き取り（入力形式）だけに決めました。 タイル選択は音を聞かずに押しても 39.6〜76.6% 当たるため、2形式を比べても床の差しか測れないからです → /facts/foils 。交絡はもう1つあり、タイプ入力の「距離1以内なら正答」が混同語を正答にしていた件（該当116個）は採点規則の改訂で潰しました → /facts/scoring
項目バンクについて
項目
状態
音韻ダミーは実測ではなく推定で作られている 🔒 B8 は「日本語母語話者の実際の 誤り分布から作ること」を要求していますが、第1期 124項目の混同語 610個のうち B8 が名指しする置換型の対立（/l/-/ɹ/ 等）を含むものは 15個（2.4%） にとどまります。2026-09-06 に足した 82項目（混同語 408個）は転写系が違うためまだ集計していません → /facts/foils
多音節語には最小対が英語に存在しない 🔒 representation satisfaction のような語には、音素が1つだけ違う実在英単語が存在しません。B8 の要求は短い語でしか厳密には満たせません
タイル選択には当てずっぽうの床がある 🔒 適当に押すだけで 39.0% 、対象語に似た語だけを押せるだけ押すと 73.4% （24項目は100%）当たります。この床を理由に、タイル選択は使わないことにしました （2026-09-05）→ /facts/foils
テキストだけで答えが分かってしまわないか（B4）は未検証 🔒 cloze_pretest_pass を true にできる項目はゼロです。落とす根拠には使えますが、通す根拠にはなりません → /facts/cloze
日本語選択肢の自然さは母語話者未検証 🔒 §2.3-4 は「日本語母語話者が検証する」を要求していますが未実施です。レビュー用のページは作りました （自然さ・粒度・正解の妥当さ・紛れの4問）。機械で検査できる4規則（英字混入・カタカナ・品詞統一・文字数差±3）は全項目通過しています → /facts/distractors
文脈文・断片の自然さは英語母語話者未検証 🔒 語数・帯・重複・対象語の品詞一致は機械で検査済みですが、「自然な発話として成立しているか」「指定した位置で実際に縮約が起きるか」は未実施です。レビュー用のページは作りました （この2点＋縮約位置の妥当性の3問）。文はすべて書き下ろしで、コーパス由来ではありません
カタカナ語を除外する閾値は事後的に決めた値 🔒 除外は日本語コーパスでのカタカナ表記の頻度（ja-Zipf ≥ 3.85 ）で機械的に判定していますが、この値は先行して人手で作られた除外リストを再現する値として事後的に選んだもの で、「日本語話者が英語音を聞いてカタカナ語を想起する率」の実測ではありません → /facts/katakana
「聞き間違い」を不正答にする採点は測定上の選択 🔒 綴りミスは正答、別語の聞き取りは不正答、という境界の引き方を検証した研究は見つかっていません → /facts/scoring
合成音声と人間録音で難易度が同一とは検証されていない 🔒 同一台本で比べた研究（Choi & Zu 2022, n=653 ほか）は得点は同等 と報告していますが、縮約そのものを測る設計での比較はありません。 私たちも実施していません。以前ここで引いていた Guo (2026) は項目の違うテスト同士の比較で、引き方が誤りでした（2026-09-05 訂正） → /facts/audio
日本人のカタカナ語と聴解の直接の連関
探した範囲で見つかっていません
Hamada (2026) の効果量
方向は抄録で確認したが、大きさは未取得 （有料・OAなし）
弱化が本当に鳴っているか確かめていない 🔒 2026-09-05、確かめないと決めました。 縮約が綴りで担保できていない24項目 （弱化21・連結3）は、指定位置で縮約が鳴っているか分からないまま出題します。耳を使わない機械検算は「綴りの違う2形の尺を比べる」型なので弱形には使えず、聞いて分かっても直す手段が無いためです → /facts/audio
語をまたぐ同化が音声に入っていない 🔒 台帳で「同化」に分類していた31項目は、その同化が鳴っている保証がありません （espeak-ng に規則が無く、台本側で固定する手も2通り実測して失敗）。2026-09-06 に分類を作り直し、「語をまたぐ変化があるか」は 2 モデルの較正済み判定（軸B）で持つ ようにしました。判定できない項目は「未決」として件数ごと出します → /facts/audio
人手検査を AI に置き換えたときの天井 🔒 2026-09-06 に「リリース時点で人手検査をゲートにしない」と決めました。置き換えの限界は 3 点、いずれも実測です。(1) モデル間の項目相関 r=0.429 — 同一設問・同一刺激でも haiku と sonnet は項目単位でほとんど一致しないので、単一モデルの項目別判定は根拠に使えません （2 モデルが共に低評価とした項目だけを使っています）。(2) 共有バイアスは原理的に検出できません — 較正セットは誤りを上限で抑えるだけで、同系統のモデルが同じ向きに間違っていると見つかりません。(3) 弱形の検出力は約 50% — was a at the のように綴りに現れない縮約は、産出形式でも半分しか捉えられません
2026-09-06 に足した 82項目は、検査を 2 つ受けていない 🔒 (1) テキストだけで当てられるかの検査（/facts/cloze ）は第1期 124項目でしか行っていません。(2) 軸B（語をまたぐ変化）の判定を取得中で、それまでは「未決」として扱います → /facts/items
語彙サイズの推定式を変えた影響は実データで確かめていない 🔒 2026-09-06 に帯ごとの正答率から曲線（頻度→既知確率）に変えました。根拠は合成学習者のシミュレーションだけ で、実受験者のデータでは検証していません（受験者がまだ 0 人のため）。分母を核 8,750 語に閉じる判断も同じ根拠です → /facts/scoring
母音挿入・モーラ分節を突く項目が1つも無い 🔒 日本語話者に固有の失敗として確立している現象（Dupoux et al. 1999、Otake et al. 1993）ですが、それを狙った項目がバンクにありません。 結果画面で 0 件と表示すると「起きなかった」に読めるので、この2分類は表示しません （測っていないものを 0 と書かない）。結果画面に出す 3 分類は「語をまたぐ変化 / 短縮形 / 機能語の弱形」で、いずれも実項目があります
証拠ではなく満足度で決めた選択 🔒 該当するものはここに列挙します。現時点では該当なし
公開そのものについて
項目
状態
項目・正解がブラウザに配信されている 🔒 項目・日本語の選択肢・正解の位置・断片・混同語は、配信される JavaScript に入っており、開発者ツールで読めます。 サーバ側に項目APIを置くまでこれは変わりません（初代バンクは差し替える前提なので、API化は2代目に回しました）。答えを見てから受けた人の応答を項目分析から外す規則 を置いています ―「Stage A を全問正解 かつ 選択肢が出てから押すまでの中央値が1.5秒未満」。閾値は暫定で、公開後の反応時間の分布を見て決め直します。⚠️ この旗は集計から外すためのもので、画面には出しません 。<br>なお Stage B の答えは音声そのものなので、API化しても隠れません。研究用の語彙テスト（VST・VLT・LVLT・LexTALE 等）も項目と正解を公開したまま使われています
項目分析が1周する速さは、Stage A と Stage B で桁が違う 🔒 セッション構造（Stage A 46問／Stage B は既知語から最大12問）を再現して6,000セッション回すと、1項目が1セッションに出る期待回数は Stage A 0.19〜0.61 / Stage B 0.027〜0.18 。1項目100応答に要るセッションは Stage A 164〜516、Stage B 543〜3,738 。つまり Stage A の項目分析は月45件で約1年、Stage B は2〜4年 かかります。断片の自然さ・推測可能性・縮約の有無を「公開後のデータで直す」計画は、Stage B については実質「直さない」と同じ です。だから公開前に人手で潰しています → /facts/cloze
