規則
Stoeckel, Ishii & Bennett (2018) JALT Journal 40(1) の4原則＋聴解版の追加1条。
| # | 規則 | 誰が確認したか |
|---|---|---|
| 0 | 選択肢はすべて日本語。英単語を混ぜない | 機械（全項目通過） |
| 1 | カタカナ外来語を一切使わない | 機械（全項目通過） |
| 2 | 4選択肢の品詞を統一する | 機械（全項目通過） |
| 3 | 選択肢の文字数を揃える（±3文字以内） | 機械（全項目通過） |
| 4 | 日本語として自然か、日本語母語話者が検証する | 🔒 行わないと決めた（2026-09-06）。代わりに下の ja-blind ゲートで測る |
| 5 | 英語版の定義文を訳すのではなく、選択肢が指している「語」を訳す | エージェント |
規則1が必要な理由は単純で、音声で “time” を聞いて選択肢に「タイム」があれば、
語彙知識ゼロでも音の一致で正答できるからです。
規則4に含まれないが必須の条件
- もっともらしいが明確に誤りであること。正解と部分的にでも重なる語は不可
- 選択肢だけを見て正解が当てられないこと（下記）
🔒 2026-09-06 — 「意味場を散らばらせない」をやめ、「選択肢だけで当てられるか」を測ることにしました
2026-09-04 の版には「意味場が散らばりすぎないこと。品詞も語長も意味場もばらばらだと、
消去法で解けてしまう」という条件があり、これで 32 項目を書き換えていました。
これを取り下げます。
理由: 逆向きの、より重い失敗が実測されたためです。 選択肢を意味場でまとめると、
今度は選択肢だけを見て正解が分かるようになります。
音声を渡さず日本語 4 択だけを言語モデルに 40 回解かせたところ（偶然は 25%）:
| 項目 | 選択肢 | 音声なしの正答率 |
|---|---|---|
island |
島 / 岸 / 泉 / 峰 | 73.9% |
night |
夜 / 朝 / 昼 / 夕 | 58.5% |
horse |
馬 / 鶴 / 蛇 / 熊 | 57.4% |
year |
年 / 月 / 週 / 秒 | 56.4% |
きれいな範列（同じ意味場の対等な仲間）を並べると、正解だけが無標・上位語・
その並びの異物になり、そこが手がかりになります。
音を聞かずに当てられる項目は、その語について何も測っていません。
どちらの失敗も同じ検査で測れます。 「散らばりすぎて消去法で解ける」も
「まとまりすぎて範列から読める」も、結果は同じ「選択肢だけで正解が分かる」です。
だから機構を推測する規則をやめ、結果を測るゲートに置き換えました:
> 音声を渡さず日本語 4 択だけを 40 回解かせ、正答率の 95% 信頼区間の下限が 50% を超えたら不合格。
> 不合格の項目はダミーを引き直して測り直す。落ちなくなるまで繰り返す。
> （tools/distractor-gate.py / tools/gate-loop.py）
この結果、選択肢の見た目は変わりました。 島 / 岸 / 泉 / 峰 のような並びは無くなり、
島 / 参事官 / 似顔 / 鼠 のような、意味場のそろっていない並びになります。
品詞・表層形・文字数（4 択の中の最大差 3 以内）・常用語であることは引き続き機械で保証しています。
🔒 これは既存の語彙テストの標準的な作りでもあります。 Listening Vocabulary Levels Test
（McLean, Kramer & Beglar 2015）も、同じ品詞の意味的に無関係な語を選択肢に並べます。
部分的な知識で解ける余地を減らすためです。
🔒 失った側も書いておきます。 ダミーが無関係だと、語の意味をぼんやりとしか知らない人でも
正解できる可能性が上がります（＝ 項目がやや易しくなる）。この方向の失敗は測れていません。
測れる方（選択肢だけで当てられるか）を優先しました。
正解と意味が重なる 3 項目（mistake ← 勘違い、survive ← 逃げ延びる/持ちこたえる、evil ← 罪）と
同一ダミー語の使い回し 3 項目は、いまも規則で弾いています。
🔒 ゲートの結果（2026-09-07、206 項目）
3 周引き直して 201 / 206 が合格しました（合格 = 音声なしの正答率の 95% 信頼区間の下限が 50% 以下）。
| ラウンド | 不合格 |
|---|---|
| 1 周目 | 7 件 |
| 2 周目 | 6 件 |
| 3 周目 | 5 件 |
残った 5 件を隠さずに出します。
| 項目 | 選択肢 | 音声なしの正答率 |
|---|---|---|
survive |
生き残る / 吸い込む / 這う / 湧く | 78.9% |
indirect |
間接的 / そんな / 硬い / 真の | 76.3% |
layer |
層 / 批判 / 垣根 / 使用 | 71.1% |
say |
言う / 写す / 始める / 悼む | 68.4% |
prestigious |
由緒ある / 無さそう / ちぐはぐ / 見知らぬ | 68.4% |
なぜ引き直しても透けるのか。 見ると共通しています ―
正解だけが「ふつうの日本語」で、ダミーが揃って珍しい語になっています。
say の正解「言う」は JMdict の最上位頻度帯（nf=1）ですが、ダミーは「写す」(nf=24)、
「悼む」(nf=41)。いちばん見慣れた語を選ぶだけで当たります。
これを受けて、ダミーの選び方に「正解と日本語としてのふつうさを揃える」を足しました
（JMdict の頻度帯が正解と 15 帯以内のものを優先）。頻度帯を持つ語義は全体の 36% なので、
条件ではなく優先順位として使っています。この規則を入れてからもう 3 周かけ直します。
⚠️ それでも残る項目は、この表に残したまま公開します。
音を聞かずに当てられる項目は、その語について何も測っていません。
数を伏せるより、どの項目がそうなのかを書く方が読み手の役に立ちます。
🔒 限界
日本語としての自然さは母語話者未検証です。（2026-09-06 に「行わない」と決めました。）
機械規則と ja-blind ゲートは全項目通っていますが、「機能はするが日本語として不自然」は
どちらにも現れません。JMdict の常用語（優先度タグ付き）に限る規則で、
見たことのない語（片尼 瓦屋）が混ざるのは防いでいますが、それ以上の保証はありません。
公開後は §4.5 のディストラクタ別選択率で検証できます。
誰にも選ばれないダミーは機能していないので作り直します。
ただし「機能はするが日本語として不自然」は統計に現れません。それは品質の問題です。