🔒 これは測定結果ではありません。データを取る前に、判定がどう出るかを予測して固定したものです。
測定後に、当たったか外れたかをこのページに追記します。期待欄(判定基準)はこの予測で動かしません。
予測の手法: 文献の実測値/台帳の実特徴量を使ったシミュレーション/受験者層シナリオの
フェルミ推定/LLM を代理評価者にした項目別仮判定(人のレビューの前の叩き台)。
命題A(被験者データで判定するもの)の事前予測
| 命題 | 判定基準(固定) | 事前予測 | 自信度 |
|---|---|---|---|
| A1 採否 | p 0.20〜0.90 の外 5〜15 | 受験者層次第。大学生標準なら p>0.90 が 16〜20 に上振れ、広い層なら 1〜4。p<0.20 はほぼ 0 | 40 |
| A2 カタカナ閾値 | 4項目の識別力が帯中央値−0.05 以上 | 命題はやや真寄り。ただし4項目比較は帰無でも20%で外れるため、カタカナ頻度の連続回帰を併用する | 40 |
| A3 日本語ダミー | 選択率2%未満 20〜35% | 28〜38% で境界上。非機能率は帯の正答率で決まるため、誤答者内シェアを併記する | 40 |
| A4-1 音韻ダミー | 選択率2%未満 30〜50% | 15〜30% でやや下振れ | 40 |
| A4-2 B8 の対立 | 距離1内で b8 15 vs 非b8 200、比1.5以上 p<.05 | 「支持」と出る確率 45%。15件の検定は検出力 50〜60% なので効果量と CI を併記 | 40 |
| A4-3 音素距離 | ρ ≤ −0.30 | 支持 | 60 |
| A5 タイル数 | 8枚 < 5枚、CI 上限3pt | 方向は支持。A/B を組めるのは45項目のみ(8枚条件の混同語候補が枯渇) | 60 |
| A6 予測モデル | 交差検証 r ≥ 0.7 | 不支持(r 0.45〜0.60)。律速は応答数でなく項目固有分散 | 60 |
| A7 採点規則 | typed と tiles の差が縮む | 広がる見込み(確率65〜75%)。文献の事前確率は tiles > typed | 40 |
| A8 音声検品 | 縮約が鳴らない 10〜25件 | 14〜30件。縮約対象がない・ラベル不一致が14件、同化27件のうち TTS 依存で3〜6割 | 60 |
命題B(人の判定で決めるもの)の事前予測
| 命題 | 判定基準(固定) | 事前予測 | 自信度 |
|---|---|---|---|
| B1 出題語義 | 別語義を挙げる 5〜15項目 | 8〜20項目(上端付近) | 60 |
| B2 訳語 | 別訳語 10〜20項目 | 10〜20 で支持 | 60 |
| B3 自然さ | 不自然 15〜30文 | frameA 20〜28 で支持。chunkB は 30〜40 で上回る(語数合わせの padding 25本が構造的) | 60/80 |
| B4 推測可能性 | 当てられる 10〜20項目 | 22〜42項目で大きく上振れ。帯別では 1k 帯の pass が 40 を割る見込み | 60 |
B4 で特に注意する予測
書き言葉コーパスの占有率が 0 なのに、人には当てられる見込みの断片が10件前後あります
(in ______ it's over → fact、that's all in the ______ → past、would you say it ______ → again)。
B4 の根拠(書き言葉コーパスは話し言葉の定型を過小評価する)どおりの項目が、
機械スクリーニングの死角に入っています。
5名版のときの予測(ρ 0.1〜0.3)と10名版の予測(ρ 0.3〜0.55)は範囲が違います。
両方を残し、どちらが当たったかを測定後に記録します。
予測を出す過程で見つかり、修正済みのもの
| 発見 | 修正 |
|---|---|
read の文脈文が現在/過去の曖昧な文で、音声が /ɹɛd/ になりうる |
命令形に書き換え。許容綴りから red を外した |
presence / presents が同音なのに許容リストに無い |
追加した |
day のダミー「夜」が night の正解と衝突 |
「晩」に差し替え |
pollution のダミー「開発」が develop の正解と衝突 |
「建設」に差し替え |
announce のダミー「報告する」が正解「発表する」の近義 |
「宣言する」に差し替え |
予測から出た、まだ決めていないこと
- chunkB の 25本が padding 語(then / here / now …)で語数を合わせている。
B3(不自然)・B4(推測可能性)・A8(縮約なし)の3つに同時に響く。
5語の自然な断片に書き直すなら B4 の事前テストの前(後だと再テストになる) - 1k 帯の予備語は 10 では足りない見込み(15〜20)。高頻度語ほど定型句に入り、
テキストだけで当てられて落ちるため p_valueの分母に「わからない」を含めるか
2026-09-06 の設計変更についての事前予測
🔒 これも測定前の予測です。核 8,750・曲線推定・206 項目という新しい設計で、
実受験者のデータが 1 件も無い状態で書いています。当たり外れは後で追記します。
| 命題 | 判定基準(固定) | 事前予測 | 自信度 |
|---|---|---|---|
| C1 曲線が当てはまる率 | 完走セッションのうち method='curve' が 90% 以上 |
95〜99% で支持。帯方式に落ちるのは「全問正解」「全問不正解」の両端だけで、62 問でそこに落ちるのは稀。ただし上位層で all-known が出るので、上限が 8,750 に下がったぶん天井効果は増える | 60 |
| C2 天井に張り付く率 | 8,750+cs 表示が完走の 2% 未満 |
1% 未満。cs = V × R で R が 1.0 になるセッションはほぼ無く、V が 8,750 に達しても cs は下回る | 60 |
| C3 帯内一様な学習者の割合 | ― | 測る手段が無い。+8.1% の過大評価はこの型の学習者にだけ出るが、実受験者にどれだけ居るかは分からない。分からないことを分からないと書くのがここの役目 | ― |
| C4 自己申告「はい」の率 | ― | 3〜10%。BNC/COCA を「リストとして」覚える学習者は日本では少数(市販の単語帳は別物と明記してある)。10% を超えたら質問文が誤解されている疑い | 40 |
| C5 曲線推定と帯方式の食い違い | 同一応答での V の差が中央値 15% 未満 | 20〜35% で不支持の見込み。帯方式は頻度上位から引くと過大評価するので、体系的に上振れるはず。差が小さかったら、それは層化が効いていない兆候として調べる | 60 |
| C6 ja-blind ゲートの収束 | 3 周以内に不合格 0 | 1〜5 項目が残る見込み。訳語が「その意味場の無標の代表」になっている語(day year night のような基本語)は、ダミーを引き直しても正解が目立つ構造が残りうる |
40 |
C6 が外れたときにやること
3 周で収束しない項目は、ダミーではなく正解訳の側が原因の可能性が高い。
「日」「年」「夜」のような 1 文字の無標語は、同じ品詞・同じ文字数で対等な仲間を集めると
どうしても正解が浮く。その場合は (1) 正解訳をもう少し具体的な語に替える、
(2) それでも駄目なら項目ごと落とす(1k は 62 項目あるので 30 問の出題には余裕がある)。
🔒 透けたまま残さない。残すなら /facts に項目 id と blind 正答率を書く。