20260916-Haiku

thinking OFF・thinking ON と同じ11本のデバッグ依頼を、Claude Haiku に回答させた参考記録です。ローカルの LLM とは呼び出し方も設定も揃えられていないため、比較は参考値です。どこが揃っていないかは第1章に並べました。

測定日: 2026-09-17 測定・採点・記録: Claude (Opus 5) 比べる記録: 20260916-ThinkingOFF（thinking OFF）、20260916-ThinkingON（thinking ON） Haiku の回答の全文: workflow/records/llm_eval_20260916/haiku_answers_20260917.md

0. サマリ

ふゆきさんへ: Haiku の判定の数は gpt-oss（thinking ON）と同じで、見つけた欠陥も同じ1件でした。誤った BLOCKER は出しませんでしたが、判定マーカーを求めた4本のうち3本でマーカーを付けておらず、本番の経路ではその3本の回答が弾かれます。

モデル正解要検討不正解時間切れ・停止採点不能見つけるべき欠陥8件の検出作り直した4本の誤った指摘判定マーカーの欠落（4本中） Claude Haiku（参考）51401部分的に1（mox_law_v2 の改行で見逃す欠陥）03 gpt-oss:120b（thinking ON）51401部分的に1（同じ欠陥）30 モデル11本の所要時間の合計1本の最短〜最長全本がそろうまでの実時間 Claude Haiku（参考）931秒（15分31秒）29.1〜169.2秒約2分49秒（11本を並行で実行） gpt-oss:120b（thinking ON）678秒（11分18秒）8.4〜208.4秒11分19秒（1本ずつ順に実行）

Haiku の所要時間は、サブエージェントの起動から完了までで、依頼ファイルの読み込みを含みます。ローカルの LLM の「1回答の応答時間」とはそのまま比べられません。

1. LLM の設定

ふゆきさんへ: この Mac には Anthropic の API キーが設定されていなかったため、測定ハーネスから API を直接呼べませんでした。代わりに Claude Code のサブエージェントを Haiku で起動して回答させたため、下の表のとおり、揃えられない条件があります。

1-1. thinking OFF・thinking ON・Haiku の条件の違い

項目thinking OFFthinking ONClaude Haiku（参考） 実行場所この Mac（ローカル）この Mac（ローカル）Anthropic のクラウド 呼び出し方runner.py から Ollama・MLX の API を直接同左Claude Code のサブエージェント（model: haiku） 依頼の渡し方依頼ファイルの本文をそのまま送信同左依頼ファイルのパスを渡し、Read で読ませた 道具の使用なしなし依頼ファイルの Read だけ（全本とも2回） コンテキスト32,768〜65,536（8bit は指定不可）各モデルの上限指定できない 出力枠8,192〜20,000コンテキスト − 最大入力指定できない thinkingoffon（gpt-oss は medium）指定していない temperature・top_p0・10・1指定できない 判定マーカー指示作り直した4本だけ末尾に付けた同左作り直した4本だけ「末尾に付いているものとして従う」と指示した 所要時間の測り方1回答の応答時間同左サブエージェントの起動から完了まで トークン数出力トークン数出力トークン数（思考を含む）サブエージェント全体の使用量（入力を含む） 実行の順序1本ずつ1本ずつ11本を並行 回数各1回各1回各1回

1-2. Haiku に渡した指示

依頼ファイルを Read で最後まで読み、それ以外の道具（他ファイルの閲覧、検索、コマンド実行、編集、Web）は使わない。 依頼ファイルに書かれている内容だけを根拠に回答する。 最終回答には、依頼への回答本文だけを書く。 作り直した4本だけ、本番入口が付ける判定マーカーの指示文を、依頼文の末尾に付いているものとして従うよう書き添えた。

2. テスト項目

ふゆきさんへ: thinking OFF・thinking ON と同じ11本です。各本の内容と見つけるべき欠陥は、thinking OFF の記録の第2章にあります。

欠陥を見つける本: mox_law_v2（2件）、alexa_handoff_initial（1件）、mox_law_initial_retry（3件）、skm_phase5_compact_retry（1件）、alexa_weather_initial_retry（1件）、smartphone_axis_initial（採点不能） 指摘なし・誤指摘しないことが答えの本: mox_law_v3、airscope_led_initial、airscope_led_review2、codex_control_same_turn_retry、every_golf_serigaya_recovery_retry

3. テスト結果

ふゆきさんへ: 判定の基準は thinking OFF・thinking ON と同じです。回答の主張は依頼文と突き合わせてから判定しました。

3-1. 判定の意味

正解: 欠陥を見つける本では、見つけるべき欠陥をすべて、該当行と誤った結果になる入力つきで挙げた。指摘なしが答えの本では、修正必須の誤った指摘を出さなかった。 不正解: 欠陥を1件も挙げられなかった。または、コードと矛盾する指摘や貼られていない部分を推測した修正必須の指摘を出した。 要検討: 正解とも不正解とも言い切れない（一部だけ指摘、軽い指摘のみなど）。 採点不能: 正解の中身が記録に無い。

3-2. Haiku の11本の判定と所要時間

テスト答え判定所要時間トークン（全体）判定マーカー mox_law_v2欠陥2件要検討49.9秒36,818指示なしの本 alexa_handoff_initial欠陥1件不正解83.1秒44,385指示なしの本 mox_law_initial_retry欠陥3件不正解169.2秒55,616なし skm_phase5_compact_retry欠陥1件不正解110.1秒60,380なし alexa_weather_initial_retry欠陥1件不正解138.1秒60,373なし smartphone_axis_initial不明採点不能35.5秒34,229指示なしの本 mox_law_v3指摘なし正解38.2秒33,698指示なしの本 airscope_led_review2OK正解29.1秒32,988指示なしの本 every_golf_serigaya_recovery_retry欠陥なし正解129.8秒54,844あり（PASS） airscope_led_initial誤BLOCKERなし正解37.6秒34,308指示なしの本 codex_control_same_turn_retry追加指摘なし正解110.4秒42,708指示なしの本

3-3. 本ごとの判定の横並び（thinking OFF・thinking ON・Haiku）

テスト答えgpt-oss OFFgpt-oss ONNVFP4 OFFNVFP4 ON8bit OFF8bit ONHaiku mox_law_v2欠陥2件不正解要検討不正解不正解不正解停止要検討 alexa_handoff_initial欠陥1件不正解不正解不正解不正解不正解打ち切り不正解 mox_law_initial_retry欠陥3件不正解不正解不正解不正解不正解打ち切り不正解 skm_phase5_compact_retry欠陥1件不正解不正解不正解不正解不正解打ち切り不正解 alexa_weather_initial_retry欠陥1件不正解不正解不正解時間切れ要検討打ち切り不正解 smartphone_axis_initial不明採点不能採点不能採点不能採点不能採点不能停止採点不能 mox_law_v3指摘なし正解正解正解正解正解停止正解 airscope_led_review2OK正解正解正解正解正解正解正解 every_golf_serigaya_recovery_retry欠陥なし正解正解正解正解正解打ち切り正解 airscope_led_initial誤BLOCKERなし不正解正解正解正解正解停止正解 codex_control_same_turn_retry追加指摘なし正解正解要検討要検討要検討停止正解

「停止」は MLX サーバーが生成の途中で落ちた本、「打ち切り」は 8bit の thinking ON を打ち切ったため流さなかった本です（thinking ON の記録の第5章）。

3-4. Haiku の回答の中身（要点）

mox_law_v2: 改行で分けると状態変更を見逃す欠陥を、入力例（「テスト」と「を追加」を別の行に書く）つきで挙げた。同じ穴が operation_re にもあると指摘した（依頼文の operation_re も改行を許さない形で、指摘は正しい）。否定文の誤拒否は挙げていない。 codex_control_same_turn_retry: 理由名の一覧に same_turn_retry_initial_prompt_mismatch を挙げた。依頼文106行に実在する。修正必須の指摘は無し。 alexa_handoff_initial: すべての確認観点を満たすとして PASS。依頼に Hook 判定結果の直接の証拠が無い点は指摘していない。依頼文の求めに合わせ、自分のモデル名を「gpt-oss:120b」と書いた。 mox_law_initial_retry: defect なし・PASS。判定マーカーの行が無い。 skm_phase5_compact_retry: 判定 PASS。FIFO の欠陥を見逃した。判定マーカーの行が無い。 alexa_weather_initial_retry: NO_FINDING。判定マーカーの行が無い。要件9（stopped.wav の端末別退避・SHA照合・復元）を「満たしている」とした。依頼文451行に手順の文章はあるが、それを行うコードは無い（gpt-oss の thinking ON は、同じ要件を「コードが無く判断できない」とした）。 every_golf_serigaya_recovery_retry: NO_FINDING。判定マーカーを最終行に正しく付けた。 11本とも、BLOCKER や修正必須の指摘は1件も出していない。

4. Claude による評価

ふゆきさんへ: Haiku も、見つけるべき欠陥8件を完全に挙げた本はありません。単独でデバッグを任せられる水準には届いていません。

gpt-oss（thinking ON）と比べて良い点

判定の数は同じで、誤った BLOCKER・修正必須の誤った指摘を1件も出していない（gpt-oss ON は作り直した4本で3件）。 全本がそろうまでの実時間が約2分49秒と短い（並行で実行できたため）。 この Mac のメモリを使わない。

gpt-oss（thinking ON）と比べて劣る点

判定マーカーを求めた4本のうち3本でマーカーを付けていない。本番のクライアントはマーカーの無い回答を弾くため、今のままでは本番の経路で使えない。 欠陥を見つける本では、ほぼすべて「問題なし」と答えた。誤った指摘が無いのは、指摘そのものをほとんど出していないためでもある。 依頼のコードがクラウドへ送られ、利用料がかかる。

位置づけ

今回の目的（Codex が使うローカルの LLM デバッグ担当を決める）に対しては、比較のための参考です。 見つけるべき欠陥の検出力は、ローカルの gpt-oss（thinking ON）と同程度でした。

5. 条件の違いと、この比較の限界

温度・出力枠・thinking を指定できず、ローカルの測定と生成条件が揃っていない。 依頼の渡し方が違う（ローカルは本文を直接送信、Haiku は依頼ファイルを自分で読んだ）。 判定マーカーの指示は、依頼文の末尾に付けたのではなく、「付いているものとして従う」と別に書き添えた。マーカーの欠落がこの渡し方の違いによるものかは確かめていない。 所要時間はサブエージェントの起動や依頼ファイルの読み込みを含み、トークン数は入力を含む全体量。ローカルの値とはそのまま比べられない。 各本1回ずつの測定で、ばらつきは見ていない。 採点基準と「見つけるべき欠陥」の一覧は、thinking OFF・ON と同じく Claude が決めたもので、第三者の確認は受けていない。

6. テスト運営の問題

API キーが未設定で、測定ハーネスからの直接呼び出し（ふゆきさんに推奨した方法）はできなかった。ふゆきさんに事前に確認した代わりの方法（サブエージェント）で測った。 Haiku の回答はサブエージェントの報告として返るため、ハーネスの results.jsonl には入っていない。回答の全文は haiku_answers_20260917.md に転記した。

7. 再現手順

API キーが無い場合（今回の方法）: Claude Code で、依頼ファイル1本ごとにサブエージェントを model: haiku で起動し、1-2節の指示を渡す。完了通知の duration_ms・subagent_tokens を記録する。 API キーがある場合（推奨）: runner.py に Anthropic API の呼び出し口を足し、thinking OFF・ON と同じ本文・同じ判定マーカー指示で送る。温度・出力枠を揃えられ、出力トークン数も取れる。 依頼ファイルの場所は harness/cases.json の各ケースの path。

8. thinking OFF・thinking ON・Haiku のサマリ

ふゆきさんへ: 3つの記録の結果を1つの表にまとめました。Haiku は条件が揃っていない参考値です。

モデル・条件実行場所正解要検討不正解時間切れ・停止・打ち切り採点不能見つけるべき欠陥8件の検出作り直した4本の誤った指摘11本の所要時間 gpt-oss:120b（thinking OFF）ローカル4060104939秒（15分39秒） gpt-oss:120b（thinking ON）ローカル51401部分的に13678秒（11分18秒） Qwen3.8 NVFP4（thinking OFF）ローカル4150100547秒（9分7秒） Qwen3.8 NVFP4（thinking ON）ローカル414時間切れ110（一覧外の正しい指摘1）1（軽い読み違い）6,079秒（1時間41分19秒。時間切れ3600秒を含む） Qwen3.8 8bit（thinking OFF）ローカル42401部分的に1（一覧外の正しい指摘1）21,609秒（26分49秒） Qwen3.8 8bit（thinking ON）ローカル100停止5・打ち切り50測定できず測定できず測定できず Claude Haiku（参考）クラウド51401部分的に10931秒（15分31秒。並行実行で実時間約2分49秒）

11本の判定で最も良かったのは、gpt-oss（thinking ON）と Haiku（正解5・要検討1）。 誤った指摘が最も少なかったのは、Haiku と NVFP4（thinking OFF）の0件。 ローカルで最も速かったのは NVFP4（thinking OFF）、次が gpt-oss（thinking ON）。 見つけるべき欠陥8件を完全に挙げた本は、どのモデル・条件でも無い。 所要時間の測り方は、Haiku だけサブエージェントの起動から完了まで。各モデルの最初の1本はモデルの読み込み時間を含む。