なぜ検証が要るか
Stage B の断片で、対象語が音を聞かなくてもテキストだけから復元できてしまうと、
測っているものが聴解からリーディングに変わります。
She didn't have a ___ to say goodbye. ← 音を聞かずに解けます
B4 は「事前に音なし・テキストのみで推測可能性を検証し、母語話者／上級者が当てられる項目は不採用」を
要求しています。
🔒 その事前テストは実施していません
cloze_pretest_pass を true にできる項目はゼロです。
代わりに実施したのは、実際の書き手が同じ空所に何を置いたかの測定です。
断片の対象語を伏せ、Google Books N-gram（最大5-gram）にワイルドカード検索をかけ、 補完語の分布の中で対象語が何位・何%を占めるかを取る（124項目すべてで取得）
対象語が最頻補完だった7項目を差し替えました。
night 98.8% whole 68.7% prize 49.1% annual 45.5% medical 44.5% government 32.0% stay 26.3%
we stayed up all night は補完の 98.8% が night でした。音を聞かずに解けます。
🔒 これは B4 を満たしていません
書き言葉コーパスの補完分布であって、母語話者の反応ではありません。
落とす根拠には使えますが、通す根拠には使えません。
同時に分かったことがあります。エージェントの内省による「要差し替え候補20件」は、
20件中19件がコーパスでは予測不能でした（what a long day の day は6位・4.5%、
under the left wing の wing は9位・3.6%）。逆に「当てられない」とされた行から
最頻補完の項目が6件出ています。内省スクリーニングは方向を含めて当たっていません。
LLM3体に実際に埋めさせました（2026-09-05）
内省（「当てられると思うか？」）ではなく、対象語を伏せた124断片だけを渡して空所を実際に埋めさせる
検査を、独立した3つのモデルで行いました。上位5語を確率つきで出させ、対象語の順位を集計しています。
| 指標 | 全体(124) | 1k(40) | 2k(42) | 3k(42) |
|---|---|---|---|---|
| 3体中2体以上が対象語を1位に置いた | 10 | 7 | 1 | 2 |
| 2体以上の上位5語に入った | 28 | 18 | 2 | 8 |
| どの回答者の上位5語にも入らない | 85 | 15 | 37 | 33 |
強く当てられた10項目: day（what a long ___、3/3）age（at about his ___、3/3）
past（that’s all in the ___、3/3）give again apart together unknown actually grass。
語ではなく断片を書き直しました。当てられるのは語の欠陥ではなくフレームの欠陥だからです
（10項目のうち7項目が1k帯にあり、落とすと帯が33語になります）。
書き直し後の再検査では、2体以上が1位に置いた項目は0になりました。
🔒 LLMは非常に上手な読み手なので、これは推測可能性の上限です。
LLMが上位5語にも入れなかった85項目を人が当てる可能性は低い、という向きにだけ使えます。
逆に「LLMが当てなかったから安全」とは言えません。B4 は依然として未実施です。
haiku を 110 回走らせて、項目ごとの確率を測りました（2026-09-05）
前節は 3 体に 1 回ずつでした。今回は 毎回まっさらな haiku のセッションに 124 問すべてを解かせる試行を
110 回繰り返しています（1 試行 = 協力者 1 名ぶん、出題順は毎回シャッフル、回答は 13,640 件）。
これで項目ごとに「テキストだけで当てられる確率」が、信頼区間つきで出せます。
全体の正答率は 3.42%。124 項目のうち 95 項目は 110 回とも 1 度も当てられませんでした
（95% 信頼区間の上限は最大でも 3.4%）。残りははっきり分かれます。
| 確率 | 95%信頼区間 | 対象語 | 断片 |
|---|---|---|---|
| 78% | 70-85% | ease | he’d do it with ____ |
| 68% | 59-76% | past | he never talks about his ____ |
| 62% | 53-70% | deeply | he’s ____ involved in it |
| 51% | 42-60% | fact | in ____ it’s over |
| 26% | 19-35% | night | the ____ was very cold |
| 26% | 19-35% | wing | under the left ____ |
| 25% | 18-34% | together | they went in ____ |
| 11% | 6-18% | country | out in the ____ |
| 11% | 6-18% | again | would you say it ____ |
| 10% | 6-17% | age | at that ____ you don’t care |
残る 14 項目は 1〜7%、その下の 95 項目は 0% です。
ここで挙げた 7 項目は断片を書き直しました。書き直し後の再測定（同じ 110 試行）はこうなりました。
| 対象語 | 書き直し前 | 書き直し後 |
|---|---|---|
| ease | 78% | 0% |
| past | 68% | 0% |
| deeply | 62% | 0.9% |
| fact | 51% | 6.4% |
| night | 26% | 0% |
| wing | 26% | 0% |
| together | 25% | 0% |
全体の正答率は 3.42% → 0.81%、確率 20% 以上の項目は 0 件になりました。
いちばん高い項目でも at that ___ you don't care（age）の 12.7% です。
124 項目のうち 99 項目は 110 回とも 1 度も当てられていません。
🔒 書き直しは悪化させることがあります。in fact it's over（51%）を that's a known fact に
変えたところ 99.1% になりました。in ___ を避けたつもりで、より強い連語に移っただけでした
（the ___ was ignored に再修正して 6.4%）。書き直したら必ず測り直すこと。
回数が足りているかは、110 回を奇数回と偶数回に割って確かめました。項目ごとの推定値の相関は
0.975、「10% 以上か」の判定は 124 項目中 120 項目で一致しています。これ以上回しても順位は動きません。
🔒 これは人の結果ではありません。モデル 1 種類の補完分布であって、母語話者の反応ではない、という
前節の限界はそのままです。落とす根拠には使えますが、通す根拠には使えません。
10 名の事前テストは、この確率のもとで何をするか
測った確率を各項目に当てはめて、「10 名中 k 名以上で落とす」を回すと何が起きるかは計算できます。
| 閾値 | 落ちる項目数 | うち確率 5% 未満の巻き添え | 確率 20% 以上の取り逃し |
|---|---|---|---|
| 1 名以上 | 13.3 件 | 2.1 件 | 0.15 件 |
| 2 名以上 | 8.0 件 | 0.2 件 | 0.67 件 |
| 3 名以上 | 5.8 件 | 0.0 件 | 1.54 件 |
| 5 名以上 | 3.7 件 | 0.0 件 | 3.29 件 |
2 名以上は、この項目バンクに対しては妥当な線でした。巻き添えが 0.2 件しか出ないのは、
95 項目の確率が 0 に張り付いているからです（無害な項目が一様に 5% あるなら巻き添えは 11 件になります）。
ただし 2 名以上でも、確率 20% 以上の項目を平均 0.67 件取り逃します。
10 名という規模では、7 件ある「当てられる項目」を全部は捕まえられません。
閾値の議論より先に、当てられると分かっている 7 項目を断片ごと書き直すほうが効きます。
書き直したうえで 10 名の事前テストを回せば、閾値がいくつでも結果は変わらなくなります。
何をすれば埋まるか
英語母語話者または上級学習者に、音声なし・テキストのみで提示して当てさせる。
配布用のフォームは用意してあります（124項目、機械予測可能性の高い順）。
判定閾値は提案であって承認待ちです。B4 は「当てられる項目は不採用」としか書いていないので、
何割で切るかは仕様側の決定です。上の測定は、その決定の材料であって決定そのものではありません。
もう一つの手として、公開後の実験に「テキストのみ条件」を1本足せば、
実受験者から取れます。5名の別テストより解像度が高くなります。