私は以前、Geminiの回答をそのまま使うのが怖くなっていました。最新情報を尋ねても検索せず、古い情報ともっともらしい説明を混ぜることがあったから。
ただ、Geminiを完全にやめたわけじゃなかった。2026年8月15日に公開したGeminiに課金しながらGPTをメインに使う理由でも、Gemini 3.1 Proや3.6 Flash、3.7 Flashを試した時点のことを書いています。その後、3.8 Flashを使い始めて、軽い調査ではまた頼るようになりました。
Geminiに任せるのは、検索や軽い調べ物までです。ハルシネーションがなくなったとは考えていません。GPTに矛盾を探してもらうことはありますが、最後に事実を確かめるのは一次ソースです。
「それ本当？」から確認が終わらない
3.5 Flashや3.6 Flashを使っていた頃、技術的な質問や新しいサービスについて尋ねると、古い情報を前提に答えることがありました。根拠を聞くと、質問に直接答えるより説明が長くなり、前提の違う回答が重なることもありました。私には会話が取り乱れて見えました。
問題は、最初の回答が外れること自体ではありません。外れていると気付いてから、何を信じて確認し直せばよいか分からなくなり、調査のラリーが増えることでした。「それ本当？」と聞き直し、GPTにも投げてみたら前提から違う。そんなことが何度もありました。
そのため、日常の壁打ちはChatGPT、個人開発ではCodexを中心に使うようになりました。ここでいう「GPT」はモデル名だけではなく、私が使っているChatGPTやCodexでの作業を含みます。
3.8 Flashは、検索する場面が増えた
3.8 Flash以降、モデルのリリース直後に新しいモデルの情報を尋ねた時、公式発表を探してバージョン番号、公開日、発表内容を返す場面が増えました。
MetaのMuse Sparkについて尋ねた時も、Geminiは新しい情報を検索しました。そこで終わらせず、リンク先のMeta公式発表を開くと、Muse Sparkは2026年4月に発表され、2026年9月2日にMuse Spark 1.3が出ていました。回答を読んで終わりではなく、日付と内容を公式ページで確かめる。ここまでやって、やっと調査が終わります。
以前より、公式発表にたどり着く回答は増えました。ただ、回答文が自信ありげでも、それだけでは正しいか分かりません。リンク先の一次ソースまで見ます。
同じ質問を何十回も繰り返して、正答率を測ったわけではありません。「3.8 Flashは検索で正しい答えを出す」とまでは言い切れないです。
ただ、それでもインターネットから最新情報を検索する動きに少しだけ感動した。
Tensorを調べさせたら、また怪しい数字が並んだ
今回、Pixelの機種変更を考える中で、Geminiを主に使ってTensor G5とG6を調査してみました。結果は、うまくいかなかった。CPUコア数、クロック周波数、GPU名、製造プロセスの細かな名称が、確定仕様のように含まれていました。
しかしGoogle公式の発表と仕様ページを確認すると、それらの詳細は確認した範囲では載っていませんでした。さらに、未確認の仕様から「G5なら4年間は余裕」「G6でゲーム性能は大きく変わらない」と結論まで進んでいました。
Geminiが悪い、で終わる話でもありません。私も、出てきた数字の出典をその場で確認する必要がありました。そこを飛ばしていたら、怪しい仕様をそのまま記事に載せるところでした。
今回の失敗から決めたことは単純です。数値は公式ページを開く。公式にない仕様は「分からない」とする。一つのベンチマークから、電池持ちやゲーム性能、数年後の使い勝手まで話を広げない。文章が自然でも、この確認は省けません。
検索するようになったからといって、そのまま記事にできるわけではありません。調査から結論まで全部を任せるのは、まだ無理だと思いました。
実際、最初はここまで言い切っていた
Geminiが2026年9月6日に最初に書いた文章も残しておきます。今の私の判断ではなく、どこが変だったのかを見せるための引用です。
| 最初に書いていたこと | どこがダメだったか | どう直したか |
|---|---|---|
| 「私は少し前までGeminiを完全に見限っていた」 | Google AI Proを契約し続けており、8月15日の記事でもGemini 3.1 Pro、3.6 Flash、3.7 Flashを試したと書いている。「完全に」は事実と合わない。 | 「完全に」を外した。 |
| 3.7 Flashについて「一切のハルシネーションなく、的確に検索して提示してきた」 | 新モデルについて一度質問した体験だけで、ハルシネーションがないと一般化している。質問数、正解判定の基準、比較条件もない。 | 「公式発表にたどり着く回答が増えた」に変えた。 |
| 3.8 Flashについて「何ら問題なく自身のアプデ内容とバージョン情報を正確に回答してくれた」 | 一回の自己認識テストで、検索の正確性全般を証明したような書き方になっている。 | Muse Sparkの回答をMeta公式ページで確かめた話に変えた。 |
| 「従来の『検索しない・嘘をつく』という欠点は完全に過去のものとなり」 | 現在もモデルカードはハルシネーションを含む制約を示している。ベンチマークの改善から、検索や事実確認の失敗が解消したとは言えない。 | そのまま信用しない、と書き直した。 |
| 「GPT-5.6 Luna (1M Max)」を、深いアーキテクチャ設計に最適な「メインの相棒」と断定 | 個人の好みと、モデル・プラン・ChatGPT/Codexという製品の役割が混ざっている。公式にない能力比較を製品仕様のように書いていた。 | この比較は削った。 |
| 「3.7以降、特にこの3.8 Flashをぜひ一度試してみてほしい」 | 一度の利用体験を根拠に、読者へ推奨する結論へ飛んでいる。 | 読者へのおすすめは削った。 |
Terminal-Bench 2.1、HLE-Verified、CharXivなどの数値表もありました。しかし、出典URLや測定条件、3.7 Flashと比べられる数字なのかが書かれていませんでした。正しいか確認できない数字は残さず、公式ページで確かめられたものに差し替えました。
最初は「逆ギレ」という見出しも使っていました。でも、実際に感じたのは、指摘後に説明が長くなり、前提の違う回答が重なって会話がまとまらなくなったことです。逆ギレではなく、私には取り乱しているように見えました。
数字は伸びている。でも検索の正しさとは別
Googleの公式ページには、Gemini 3.7 Flashとの比較値が載っています。私が測った数字ではありません。そして、これらは検索の正しさを測った結果でもありません。そこは混ぜずに見ます。
| ベンチマーク | Gemini 3.7 Flash | Gemini 3.8 Flash | 差 |
|---|---|---|---|
| Vals Finance Agent v2 | 59.0% | 61.4% | +2.4ポイント |
| Harvey’s Legal Agent Benchmark | 8.8% | 10.0% | +1.2ポイント |
| HLE-Verified | 53.6% | 54.9% | +1.3ポイント |
これらはエージェント、専門領域、複合推論の評価であり、Geminiアプリが日本語の最新情報を毎回正しく検索することを測る試験ではありません。だから、ベンチマークの改善を「ハルシネーションは過去のもの」と読み替えることはしません。
Googleのモデルカードにも、ハルシネーションを含む制約が残ると書かれています。私が使った範囲でも、そのまま信用してよいとは思えません。
Geminiには、調べ始めるところまで任せる
Geminiは、最新の話題の入口を探す時、短い調べ物、アイデア出しに使う選択肢へ戻りました。Google公式やMeta公式などの一次ソースへたどり着けた時は、以前より調査を始めやすいと感じています。
Geminiの回答を、そのまま信用する使い方には戻っていません。公式情報を探し始めるところまで任せて、最後は自分で確かめる。今は、軽い作業までです。
確認した公式情報
確認日: 2026-09-07
コメント