最終更新: 2026-09-06 ／ ← /facts
記入した1,776セルのうち、自信度100未満の1,434セルすべてについて、
どの方針で値を決めたかを記録する。
🔒 自信度20と40のセルは、方針と見直しトリガーを付けて「決定済み」にし、60に置いた。
60は「証拠が増えた」という意味ではない。「決定規則が定まり、追認待ちである」という意味。
証拠が増えたわけではないので、見直しトリガーを必ず併記している。
J01 採否
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 72 |
80 |
80 |
§4.1手順2 の除外根拠3つ（カタカナ1対1／多義過多／機能語）に機械照合して、どれにも当たらない語を accept |
accept のまま |
§4.5 の p値が 0.20〜0.90 の外、または識別力 0.20 未満なら差し替え |
/facts/items |
| 12 |
80 |
80 |
カタカナ表記の日本語コーパス頻度 ja-Zipf ≥ 3.85 かつ語義一致なら §4.1手順2 で除外 |
reject のまま |
閾値を動かす決定があれば再計算 |
/facts/katakana |
| 5 |
80 |
80 |
JMdict と WordNet の語義数が多く、中心義が拮抗する語は B2 に従って外す |
reject のまま |
なし（出題しないので統計が付かない） |
/facts/items |
| 43 |
60 |
60 |
カタカナ語が存在しても、その語義が出題語義と一致しない場合は除外しない（偽の友はリスクの向きが逆） |
accept のまま |
§4.5 の識別力。カタカナ想起で解ける項目は識別力が異常に低く出る |
/facts/katakana |
| 6 |
60 |
60 |
B2 の「避けられない場合は sense を明示して人手検査」に従い、出題語義を1つ明示して accept に倒す |
accept |
日本語母語話者パス、または §4.5 の識別力 |
/facts/items |
| 3 |
60 |
60 |
前置詞・接続詞用法が支配的で、日本語4択に落とすと測定対象が消える語は外す |
reject のまま |
なし |
/facts/items |
| 2 |
60 |
60 |
中心義が3つ以上に割れ、どれを採っても他が競合する語は外す |
reject のまま |
なし |
/facts/items |
| 1 |
60 |
60 |
閾値 3.85 を採用した以上、3.88 は除外側に置く（閾値の一貫性を優先） |
reject のまま |
閾値を動かす決定があれば再計算 |
/facts/katakana |
| 3 |
40 |
60 |
閾値 3.85 未満は除外しない。近傍だからといって個別に例外を作らない |
accept に確定 |
§4.5 の識別力が低ければ差し替え |
/facts/katakana |
| 1 |
40 |
60 |
偽の友（日本語側の語義が英語より狭い）は、正しく聞き取った受験者が正答を選べない偽陰性を生む。偽陽性より偽陰性を重く見て外す |
reject に確定 |
なし |
/facts/katakana |
J02 品詞
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 2 |
80 |
80 |
WordNet の品詞・Brown の主品詞・correct_ja の品詞・ダミー3語の品詞が一致する場合のみ品詞を修正する |
修正後の品詞を採用 |
なし |
/facts/items |
| 7 |
60 |
60 |
コーパス主品詞と出題品詞が違ってよい。条件は correct_ja・ダミー・frameA・chunkB が同一品詞で揃うこと |
現行の品詞のまま |
§4.5 の識別力 |
/facts/items |
| 1 |
60 |
60 |
同上 |
現行の品詞のまま |
§4.5 の識別力 |
/facts/items |
| 1 |
60 |
60 |
機能語は WordNet に載らない。品詞は Brown のタグに従う |
現行の品詞のまま |
なし |
/facts/items |
J03 IPA
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 23 |
80 |
80 |
CMUdict の第1変種を既定とし、出題語義に依存する場合のみ手で変種を指定する |
第1変種を採用 |
生成音声の検品 |
/facts/audio |
| 5 |
80 |
80 |
J05 で確定した出題語義に対応する発音を採る |
語義に対応する変種を採用 |
生成音声の検品 |
/facts/audio |
| 1 |
80 |
80 |
同上 |
第1変種を採用 |
生成音声の検品 |
/facts/audio |
| 2 |
60 |
60 |
CMUdict に引用形がない語（縮約形しか持たない語）は、標準的な引用形を手で与える |
手で補った表記を採用 |
生成音声の検品 |
/facts/audio |
J04 カタカナ1対1
J05 多義度と出題語義
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 46 |
80 |
80 |
WordNet の語義が3つ未満、または中心義が一意に決まる語は単義として扱う |
現行ラベルのまま |
なし |
/facts/items |
| 92 |
60 |
60 |
多義でも、頻度上位の語義が他を圧倒する場合は sense を明示して出題する（B2 の但し書き） |
現行の出題語義を確定 |
日本語母語話者パス |
/facts/items |
| 7 |
60 |
60 |
同上 |
現行の出題語義を確定 |
日本語母語話者パス |
/facts/items |
| 3 |
40 |
60 |
中心義が3つ以上に割れる語は絞らずに外す |
reject に確定 |
なし |
/facts/items |
J06 正解訳
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 60 |
80 |
80 |
§2.3-5 に従い、英語の語が指すものを日本語1語で表す。JMdict の逆引きで対象語に戻ることを確認する |
現行訳語のまま |
日本語母語話者パス |
/facts/items |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 16 |
60 |
60 |
「〜する」「〜の」形は JMdict の見出しにないので逆引きできない。語幹で判断する |
現行訳語のまま |
日本語母語話者パス |
/facts/items |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 2 |
60 |
60 |
選択肢4つの品詞が揃うことを優先して訳語形を決める |
修正後の訳語を確定 |
日本語母語話者パス |
/facts/items |
| 46 |
40 |
60 |
同点候補が複数あるときは、①他の3択と文字数が揃う ②カタカナを含まない ③他項目の正解と重複しない、の順で機械的に選ぶ。語感で選ばない |
現行訳語を確定 |
日本語母語話者パス、または §4.5 の識別力 |
/facts/items |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
J07 ダミー選択肢
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 6 |
60 |
60 |
正解と意味が重なるダミー、3項目以上で使い回されたダミーは差し替える |
差し替え後の3語を確定 |
§4.5 のディストラクタ別選択率 |
/facts/distractors |
| 85 |
40 |
60 |
§2.3 の機械4規則（英字・カタカナ・品詞統一・文字数差±3）を通し、かつ①正解と意味が重ならない ②同一の意味場に収まる ③明確に誤りである、を満たす3語を採る |
現行3語を確定 |
§4.5 の選択率が 2% 未満のダミーは差し替え |
/facts/distractors |
| 33 |
40 |
60 |
同上 |
書き換え後の3語を確定 |
§4.5 の選択率 |
/facts/distractors |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
J08 音韻ダミー
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 20 |
80 |
80 |
foil は ①実在語（英語 Zipf ≥ 3.0）②対象語と同音異綴でない ③音素距離1を優先、を満たすものだけ残す |
増減後の foil を確定 |
§4.5 の選択率 |
/facts/foils |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 44 |
40 |
60 |
綴り距離1の foil は残す。採点側（§2.1 改訂）で実在語を正答としないので衝突しない |
現行 foil を確定 |
§4.5 の選択率 |
/facts/foils |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 60 |
20 |
60 |
B8 の「実測の誤り分布」は公開前には得られない。綴りと音韻からの推定値を暫定採用し、選択率が集まった時点で置き換える |
現行 foil を暫定確定 |
§4.5 の選択率が 2% 未満のものから差し替え |
/facts/foils |
J09 frameA
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 107 |
60 |
60 |
§4.3 の機械条件（5〜8語・対象語を含む・全内容語が同帯以下・chunkB と非同一）を通し、定義的な文（語義を教える文）を除く |
現行の文を確定 |
英語母語話者パス |
/facts/items |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 17 |
40 |
60 |
同上 |
書き換え後の文を確定 |
英語母語話者パス |
/facts/items |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
J10 chunkB
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 7 |
80 |
80 |
助動詞＋have は tts_script で短縮形に固定する |
確定 |
生成音声の検品 |
/facts/audio |
| 117 |
60 |
60 |
B3・B6・B7 の機械条件を通したうえで、縮約が鳴るかは生成音声で二値判定する |
現行の断片を確定 |
生成音声の検品 |
/facts/audio |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
J11 B4推測可能性
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 7 |
80 |
80 |
Google Books 5-gram で対象語が最頻補完かつ占有率 20% 以上なら差し替える |
差し替え後の断片を確定 |
B4 事前テスト |
/facts/cloze |
| 8 |
60 |
60 |
占有率 10〜20% は「要注意」として残し、事前テストで確定させる |
現行のまま暫定確定 |
B4 事前テスト |
/facts/cloze |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 109 |
20 |
60 |
コーパス代替テストは落とすためにのみ使う。落ちなかった項目は暫定採用し、cloze_pretest_pass は false のまま公開する |
暫定採用（cloze_pretest_pass = false） |
B4 事前テスト、または stageB_textonly 条件 |
/facts/cloze |
J12 B1語義一致
| n |
決定前 |
決定後 |
方針 |
決定 |
見直しトリガー |
詳細 |
| 17 |
80 |
80 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 121 |
60 |
60 |
frameA と chunkB の対象語を品詞タグで照合し、一致しないものだけ書き換える |
一致と確定 |
項目別復元率の異常 |
/facts/items |
| 6 |
60 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
| 1 |
60 |
60 |
解釈が割れる場合は、frameA 側の用法に chunkB を合わせる |
書き換え後で一致と確定 |
項目別復元率の異常 |
/facts/items |
| 1 |
40 |
60 |
reject 行の J06〜J12 は「該当なし」 |
該当なし |
J01 の見直し |
/facts/items |
自信度20・40から決定済み（60）に移したセル: 413
2026-09-05 — 公開前に残っていた13の判断
公開を止めていた判断を、材料を揃えたうえで決めました。どれも「証拠が出た」ではなく
「決定規則が定まった」です。見直しトリガーを併記します。
| # |
判断 |
決めたこと |
見直しトリガー |
| 1 |
運営の所有（年額・撤退条件） |
年23,000円。撤退条件は「月間完走セッション」「完走率」「1完走あたりの単価」の3本 |
3か月連続で閾値割れ |
| 2 |
項目バンクがブラウザに配られる |
受け入れて公開する。覗いた疑いのあるセッションを項目分析から外す規則を置く。サーバ側API化は2代目バンクで |
覗きの旗が月5件超 |
| 3 |
予備の項目がゼロ |
このまま公開する。信頼区間は出題数（境界帯30項目）で決まるのでバンクの大きさとは別 |
公開3か月で欠陥が3項目以上 |
| 4 |
誤答の内訳が2種類しかない |
観測している2分類だけを表示する。母音挿入・モーラ分節は「未測定」と書く（0と表示しない） |
2代目バンクで最小対を追加 |
| 5 |
読解モダリティの対照（§14） |
今回はやらない。読解用に取ってあった147語は捨てずに保管 |
2代目バンクの設計時 |
| 6 |
テキストだけで当てられるか（B4） |
LLM3体の空所補充でふるいにかけ、当てられた断片を書き直した。人による事前テストは未了 |
人の結果がLLMと食い違ったら |
| 7 |
語数合わせの詰め物22本 |
いま書き直した（Stage B は公開後に直せないため） |
― |
| 8 |
音声の検品 |
同化31項目は誤答分類を外した（台本で固定する手を2通り実測して失敗）。残り24項目（弱化21・連結3）は 2026-09-05 に「聞いて確かめない」と決定し、鳴っているか分からないまま出す |
2代目バンクで別ボイスを評価するとき |
| 9 |
人間録音との相関（§4.2③） |
実施せず、限界として明記する |
2代目バンクで音声アームのA/B |
| 10 |
Phase 3 の4点 |
CORS は自ドメインのみ／書き取りの生入力は正規化して24か月保存／「データの取り扱い」ページを作る／IPは記録しない |
保存を始める日 |
| 11 |
クローラの名乗り |
受信できるアドレスができるまで巡回を止めた（2026-09-05、config の paused）。初期コーパスは36,051文書で取得済み |
アドレスの用意 |
| 12 |
検索エンジンへの登録 |
完走20〜30件までは noindex のまま |
完走率が見えたら |
| 13 |
タイル選択の当てずっぽうの床 |
タイルを使わない。Stage B は書き取りだけ |
1択の閉集合として作り直したら |
⚠️ 13は、材料を作る過程で前提が壊れた項目です。
当初 /facts に書いていた「タイル数4〜8個」「42項目がClopperの6〜12を満たさない」は
混同語だけを数えた値で、画面に並ぶ枚数ではありませんでした（実測 7〜12枚、全項目が範囲内）。
代わりに見つかったのが当てずっぽうの床（39.6〜76.6%）で、こちらの方が大きい問題でした。
→ /facts/foils
⚠️ 8も同じ型です。「聞いて確認すれば直せる」と思っていた同化が、
この生成系では原理的に作れないと実測で分かりました → /facts/audio
2026-09-05（追記） — 試聴を「行わない」と決めた
上の表の 8 は「試聴の結果」を見直しトリガーにしていましたが、その試聴自体を行わないことにしました。
| 決めたこと |
理由 |
| 124項目の試聴を実施しない。Q1 発音 / Q2 縮約 / Q3 話速はすべて「判断できない」で記録する |
鳴っていないと分かっても直す手段が無く（台本での固定は実測で失敗済み）、残る選択肢は「捨てる」か「そのまま出す」だけだから |
| 現行の合成音声の出力のまま公開する |
捨てると弱化の項目が 56 → 35 に減る。測れているか不明な項目を消しても、測れていないことの証明にはならない |
| 代わりに台本を人に見てもらう工程を用意した |
「示した位置は普通に話せば縮約されるか」は、音ではなく英語の知識で答えられる。音の検証ではないが、位置の指定が正しいかは確かめられる |
⚠️ これは「確かめた」ではなく「確かめないと決めた」です。
該当24項目の誤答分類は根拠が弱いままです → /facts/audio
人手のレビューは 3 種類をブラウザで受け付ける形にしました（推測されない URL・検索避け）。
| 何を |
誰が |
判定 |
| テキストだけで答えが分かるか（B4） |
協力者 5〜10 名 |
2名以上が当てた項目は不採用 |
| 日本語の選択肢の自然さ（§2.3-4） |
日本語母語話者 1〜2 名 |
不自然・粒度不揃い・紛れのある項目を書き換え |
| 英文と縮約位置の妥当さ（§4.3） |
英語母語話者 1〜2 名 |
不自然な文・縮約が起きない位置を書き換え |
2026-09-05（追記） — B4 の推測可能性を 110 回の試行で測った
まっさらな haiku のセッション 110 回に 124 問すべてを解かせ（13,640 回答）、項目ごとの
「テキストだけで当てられる確率」を信頼区間つきで出しました。奇数回と偶数回で推定が一致するので
（相関 0.975）、回数は足りています。詳細は /facts/cloze。
| 分かったこと |
数字 |
| 1 度も当てられなかった項目 |
124 件中 95 件（区間上限 3.4% 以下） |
| 確率 20% 以上 |
7 件（ease 78% / past 68% / deeply 62% / fact 51% / night 26% / wing 26% / together 25%） |
| 確率 10〜20% |
3 件（country / again / age） |
| 「10 名中 2 名以上で不採用」の巻き添え |
0.2 件（無害な項目の確率が 0 に張り付いているため） |
| 同じ閾値の取り逃し |
0.67 件（10 名では 7 件を全部は捕まえられない） |
決めていないこと: 閾値は依然として未承認、当てられる 7 項目を書き直すかどうかも未決。
測定は材料であって決定ではありません。
2026-09-06 — 単位・推定量・分類を作り直しました
単位を NGSL 2,809 語から BNC/COCA flemma に移しました。 🔒 旧 cs と新 cs は比較できません。
| 何を |
どう決めたか |
| cs の分母 |
核 8,750 語（頻度上位。= 映画・TV の発話の 98% を覆う地点）。1k–5k の全 15,360 語は使わない |
| 語彙サイズの推定 |
帯ごとの正答率 → 頻度→既知確率の曲線。当てはまらないセッションだけ帯方式に戻し、そのことを画面に書く |
| 事前分布（ベイズの当て込み） |
入れない。測ったが精度は上がらず、一部の学習者では悪化した |
| 縮約の分類 |
1 軸 → 3 軸（台本の短縮形 / 語をまたぐ変化 / 機能語の弱形） |
| 項目バンク |
124 → 206。どの帯が境界帯になっても 30 問を積めるようにした |
| 人手検査 |
リリース要件から外し、機械で決まる規則と 2 モデルの較正済み検査に置き換えた |
| 事前学習の自己申告 |
開始前に 1 問置く。「はい」でも数値は止めない（項目分析から外すだけ） |
上限を 6,000 にする案を却下しました
「95% カバーまであと○○語」という説得力の中心は、分母をどこで切っても変わりません
（3,334 語は累積頻度で決まる量で、母集団の切り方と無関係）。
差が出るのは 98%（8,750 語）が測定の射程に入るかどうかだけで、6,000 で切ると
「95% まであと 1,334 語」と言った直後に「その先は測れません」になります。だから 8,750 にしました。
測定の道具立てに欠陥が 6 件ありました（自己申告）
🔒 いずれも落ちずに間違った数字を出す型です。直した記録を残します。
- 検査結果のキャッシュがファイルの有無だけで効いていました。 断片を書き直したあと、
書き直し前の応答を新しい台本の測定として集計していました（ある項目の「変化率」が 2.5% → 100% に化けた）。
→ 質問文のハッシュでキャッシュを無効化するようにしました。
- 並列実行が行番号を共有していました。 検出率が 0% であるべき対照が 40% に見えていました。
- 難易度のものさしの向きが逆でした。 旧単位は「順位が小さいほど易しい」、新単位は
「頻度が大きいほど易しい」。混ぜたため「対象語より難しい語を入れない」の検査が無効化していました。
- 測っていないものを「測って陽性」に倒していました。 一度も検査していない項目が
既定値のせいで「語をまたぐ変化あり」になっていました。→ 未測定は「未決」。
- 台帳の縮約位置が正書法のままで、読み上げる台本は縮約済みでした（7 項目）。
突き合わせていなかったので、検査がその 7 項目を黙って飛ばし、
さらに「台本に短縮形があるか」の判定が逆（なし）になっていました。
- 新しい項目を足す処理が、直前の項目の値を使い回していました（85 項目）。
85 項目の縮約位置が、その断片に存在しない文字列になっていました。
共通する形: 「無い」と「測っていない」を同じ値で表すと、静かに嘘になります。
既定値は必ず「測っていない」側に倒します。
もう 1 つの共通形: 同じものを 2 通りの綴り（正書法と縮約形、順位と頻度、2 種類の発音記号）で
持つと、突き合わせを忘れたところで静かにずれます。どちらを使うかを 1 箇所に閉じます。
