測定前の事前予測

最終更新: 2026-09-06 / ← /facts

🔒 これは測定結果ではありません。データを取る前に、判定がどう出るかを予測して固定したものです。
測定後に、当たったか外れたかをこのページに追記します。期待欄(判定基準)はこの予測で動かしません。

予測の手法: 文献の実測値/台帳の実特徴量を使ったシミュレーション/受験者層シナリオの
フェルミ推定/LLM を代理評価者にした項目別仮判定(人のレビューの前の叩き台)。

命題A(被験者データで判定するもの)の事前予測

命題 判定基準(固定) 事前予測 自信度
A1 採否 p 0.20〜0.90 の外 5〜15 受験者層次第。大学生標準なら p>0.90 が 16〜20 に上振れ、広い層なら 1〜4。p<0.20 はほぼ 0 40
A2 カタカナ閾値 4項目の識別力が帯中央値−0.05 以上 命題はやや真寄り。ただし4項目比較は帰無でも20%で外れるため、カタカナ頻度の連続回帰を併用する 40
A3 日本語ダミー 選択率2%未満 20〜35% 28〜38% で境界上。非機能率は帯の正答率で決まるため、誤答者内シェアを併記する 40
A4-1 音韻ダミー 選択率2%未満 30〜50% 15〜30% でやや下振れ 40
A4-2 B8 の対立 距離1内で b8 15 vs 非b8 200、比1.5以上 p<.05 「支持」と出る確率 45%。15件の検定は検出力 50〜60% なので効果量と CI を併記 40
A4-3 音素距離 ρ ≤ −0.30 支持 60
A5 タイル数 8枚 < 5枚、CI 上限3pt 方向は支持。A/B を組めるのは45項目のみ(8枚条件の混同語候補が枯渇) 60
A6 予測モデル 交差検証 r ≥ 0.7 不支持(r 0.45〜0.60)。律速は応答数でなく項目固有分散 60
A7 採点規則 typed と tiles の差が縮む 広がる見込み(確率65〜75%)。文献の事前確率は tiles > typed 40
A8 音声検品 縮約が鳴らない 10〜25件 14〜30件。縮約対象がない・ラベル不一致が14件、同化27件のうち TTS 依存で3〜6割 60

命題B(人の判定で決めるもの)の事前予測

命題 判定基準(固定) 事前予測 自信度
B1 出題語義 別語義を挙げる 5〜15項目 8〜20項目(上端付近) 60
B2 訳語 別訳語 10〜20項目 10〜20 で支持 60
B3 自然さ 不自然 15〜30文 frameA 20〜28 で支持。chunkB は 30〜40 で上回る(語数合わせの padding 25本が構造的) 60/80
B4 推測可能性 当てられる 10〜20項目 22〜42項目で大きく上振れ。帯別では 1k 帯の pass が 40 を割る見込み 60

B4 で特に注意する予測

書き言葉コーパスの占有率が 0 なのに、人には当てられる見込みの断片が10件前後あります
(in ______ it's over → fact、that's all in the ______ → past、would you say it ______ → again)。
B4 の根拠(書き言葉コーパスは話し言葉の定型を過小評価する)どおりの項目が、
機械スクリーニングの死角に入っています。

5名版のときの予測(ρ 0.1〜0.3)と10名版の予測(ρ 0.3〜0.55)は範囲が違います。
両方を残し、どちらが当たったかを測定後に記録します。

予測を出す過程で見つかり、修正済みのもの

発見 修正
read の文脈文が現在/過去の曖昧な文で、音声が /ɹɛd/ になりうる 命令形に書き換え。許容綴りから red を外した
presence / presents が同音なのに許容リストに無い 追加した
day のダミー「夜」が night の正解と衝突 「晩」に差し替え
pollution のダミー「開発」が develop の正解と衝突 「建設」に差し替え
announce のダミー「報告する」が正解「発表する」の近義 「宣言する」に差し替え

予測から出た、まだ決めていないこと

  1. chunkB の 25本が padding 語(then / here / now …)で語数を合わせている。
    B3(不自然)・B4(推測可能性)・A8(縮約なし)の3つに同時に響く。
    5語の自然な断片に書き直すなら B4 の事前テストの前(後だと再テストになる)
  2. 1k 帯の予備語は 10 では足りない見込み(15〜20)。高頻度語ほど定型句に入り、
    テキストだけで当てられて落ちるため
  3. p_value の分母に「わからない」を含めるか

2026-09-06 の設計変更についての事前予測

🔒 これも測定前の予測です。核 8,750・曲線推定・206 項目という新しい設計で、
実受験者のデータが 1 件も無い状態で書いています。当たり外れは後で追記します。

命題 判定基準(固定) 事前予測 自信度
C1 曲線が当てはまる率 完走セッションのうち method='curve' が 90% 以上 95〜99% で支持。帯方式に落ちるのは「全問正解」「全問不正解」の両端だけで、62 問でそこに落ちるのは稀。ただし上位層で all-known が出るので、上限が 8,750 に下がったぶん天井効果は増える 60
C2 天井に張り付く率 8,750+cs 表示が完走の 2% 未満 1% 未満。cs = V × R で R が 1.0 になるセッションはほぼ無く、V が 8,750 に達しても cs は下回る 60
C3 帯内一様な学習者の割合 ― 測る手段が無い。+8.1% の過大評価はこの型の学習者にだけ出るが、実受験者にどれだけ居るかは分からない。分からないことを分からないと書くのがここの役目 ―
C4 自己申告「はい」の率 ― 3〜10%。BNC/COCA を「リストとして」覚える学習者は日本では少数(市販の単語帳は別物と明記してある)。10% を超えたら質問文が誤解されている疑い 40
C5 曲線推定と帯方式の食い違い 同一応答での V の差が中央値 15% 未満 20〜35% で不支持の見込み。帯方式は頻度上位から引くと過大評価するので、体系的に上振れるはず。差が小さかったら、それは層化が効いていない兆候として調べる 60
C6 ja-blind ゲートの収束 3 周以内に不合格 0 1〜5 項目が残る見込み。訳語が「その意味場の無標の代表」になっている語(day year night のような基本語)は、ダミーを引き直しても正解が目立つ構造が残りうる 40

C6 が外れたときにやること

3 周で収束しない項目は、ダミーではなく正解訳の側が原因の可能性が高い。
「日」「年」「夜」のような 1 文字の無標語は、同じ品詞・同じ文字数で対等な仲間を集めると
どうしても正解が浮く。その場合は (1) 正解訳をもう少し具体的な語に替える、
(2) それでも駄目なら項目ごと落とす(1k は 62 項目あるので 30 問の出題には余裕がある)。
🔒 透けたまま残さない。残すなら /facts に項目 id と blind 正答率を書く。

Copied title and URL