AIへ実装を任せるようになってから、モデルごとの料金とトークン消費が気になるようになりました。性能が高くても、日常的に使えない金額では困ります。
2026年6月に、AIコーディングの能力を測る「SWE-bench Pro」などのランキングを見ると、Claude系が上位にいました。しかし、実際のプロダクト開発では、私はGitHub Copilotのメインモデルとして「GPT-5.5」を選択していました。
ベンチマークの順位と、実際に使った時の印象にはズレがありました。そこで、モデルをどう使い分けてきたかを振り返ります。
Opusは不具合を解決した。でも日常的に回すには高かった
私は普段、GitHub Copilotをメインの開発環境として利用しています。AIを利用し始めた当初は、Claude Sonnet 4.6をメインに据え、サブとしてGPT-5.4を使い分けるスタイルでした。
特にPlanモード（計画フェーズ）の時には、Claude Opusを使って実装計画書や設計書を作成させていました。正直なところ、Opusは非常に賢く、人間が見落としていた仕様の漏れまでしっかりカバーしてくれます。手戻りが防げるという意味では非常に優れた性能を持っています。
実際、最新のOpus 4.8を使ってみたところ、GPT-5.5でどうしても解決できなかった不具合を見つけて修正してくれました。（私が試行錯誤の末に渡したコンテキストの内容がたまたま良かっただけかもしれませんが、それでもその推論能力はやはり優秀です）。
しかし、いかんせん絶対的な金額（単価）が高すぎます。
日常的な実装の壁打ちやトライアンドエラーでガンガン回すにはコストがかさみ、「コスパ良く開発する」という私の命題からは外れてしまい、用途が設計等の要所に限定されてしまいます。
そこで、コストの安いSonnetに実装を任せてみると、今度は肝心の実装がごっそり抜け落ちていたり、コメントで // TODO: 実装する と放置されていたり、画面間の動線が繋がっていなかったりという状態が頻発しました。4月頃はClaudeの挙動が不安定に感じ、サブで使っていたGPT-5.4の方がうまく進むこともありました。
DeepSWEを見ても、体感差の理由までは断定できない
私の業務ではClaudeで実装の抜けを感じる一方、SWE-bench ProなどではClaude系が上位にいました。なぜ体感と順位が違うのかが気になりました。
2026年に公開されたAIコーディングベンチマーク「DeepSWE」では、既存の公開課題とは異なる評価方法が使われています。
DeepSWEの開発チームは、既存のSWE-bench（過去のGitHubのIssueとPull Requestを評価に使用）が抱える「データ汚染（リーク）」の可能性を指摘しています。つまり、最新のモデルたちは、訓練データの段階で既にそのIssueの答えとなるコードを含んで学習しており、いわば「ベンチマーク向けの試験勉強」をしてしまっている可能性があるということです。
これに対しDeepSWEは、ゼロから書き下ろしたタスクを用意し、コードの差分ではなく「実際にソフトウェアを動かして振る舞いが正しいか」をテストします。ただし、これだけで私の体感差の原因がデータ汚染だったとは言えません。モデル、ツール、指示、渡したコンテキストも異なるため、ベンチマークは判断材料の一つとして見ています。
GPT-5.5だけでなく、実装ではGPT-5.4も使う
GitHub Copilotでは2026年6月1日から、モデルと使用トークン量に応じた課金方式が導入されました。既存の年間契約には従来方式を継続できる例外がありますが、私にとっては「どのモデルを選ぶか」が以前よりコストへ直結するようになりました。
そこで、GPT系を中心にしながら、作業によってモデルを変えるようになりました。
私が使った時のGPT系は、余計な変更が少なく、指示した範囲を進める傾向がありました。必要な部分や漏れている部分を補ってくれることもありました。
当初、ラリー回数が減ったGPT-5.5をメインに置いていました。私が使った範囲では実装も速く、急いでいる時には頼りになりました。（現実問題として、AIの生成速度よりもビルドや単体テストの実行時間の方がボトルネックになっています）。
しかし、あくまで私の体感ですが、GPT-5.5を使い込んでいくうちにトークン消費量の多さ（予測の難しさ）に気づきました。HighやxHigh設定で回すと、一度の処理で1000〜2000トークンを一気に消費して驚く時が何度かあったのです。Medium設定でも基本は200前後で済みますが、たまに1000を超えることがあり、コストコントロールの扱いが非常に難しいと感じました。
そこで再評価したのがGPT-5.4です。
私が使った範囲では、GPT-5.4は5.5よりトークン消費が少なく、「xHigh」設定なら実装も任せられました。
2026年6月時点では、計画と実装でモデルを分けていた
ベンチマークの点数は、あくまで特定のテスト条件下でのスコアでしかありません。
この記事を公開した2026年6月には、Claude Fable 5とMythos 5が6月12日に一時停止されていました。その後、Anthropicは輸出規制が6月30日に解除されたと発表し、Fable 5は7月1日に世界向け提供を再開しています。停止したままではありません。モデルの提供状況は短期間でも変わるため、使う時点で公式情報を確認する必要があります。
私が気にしているのは、性能だけでなく、日常的に回せる金額かどうかです。単一のモデルへすべてを任せず、作業によって使い分けています。
あくまでこれまでの私の経験と体感に基づいたものですが、現在私が導き出した運用方針は以下の通りです。
- Planモード（計画・設計）: 不具合を解決できた経験のあるOpus 4.8、またはGPT-5.5のxHighを使う。
- 実装モード: トークン消費が少なくコスパに優れるGPT-5.4のxHighを使用する。
逆に、定型作業をこなすSKILL機能や、バックグラウンドで動かすサブエージェントには、トークン節約のためにさらにモデルのレベルを下げる。
環境が整えば、ローカルLLMの活用やさらに安価なモデルへの切り替えなども十分に選択肢に入ってきますよね。
この使い分けも固定ではありません。料金やモデルが変わるたびに見直しています。
トークンをどう節約するかは、別の記事で具体的に書く予定です。
AIが実装を担うほど、設計や課題定義の比重が上がったと感じた背景は、AIによって業務のレイヤーが一段上がった今に整理しています。
確認した公式情報
確認日: 2026-09-07
コメント