【AIと​“第二の​脳”を​作る​ #5・完】"サイレントな​成功"と​いう、​いちばん怖い​失敗──AIに​主権と​境界を​持たせる

SERIES ｜ AIと"第二の脳"を作る #5・完

ここまで4話かけて、第二の脳に器・入口・水路・行き先を持たせてきた。読んだこと・思ったこと・やったことが、AIによって自動で流れ込み、目標に紐づいて育つ。ほぼ全部を、AIに任せている。

関連記事 ｜ 前回 #4【AIと“第二の脳”を作る #4】“集める”をやめて“向かう”へ──Wikiに重力源（ゴール）を置く →

だが、これだけAIに任せると、当然こう思う。「AIが、勝手に変なことをしないか」。多くの人は、派手なエラーを警戒する。でも本当に怖いのは、そっちじゃない。「✅ できました」と平然と報告しながら、実は何もしていない——この"サイレントな成功"こそ、自動化で最も危険な失敗だ。連載の最終話は、それを身をもって踏み抜き、AIに主権と境界を持たせた日の話だ。^[1]

01​「✅ 完了しました」と​言われた。​でも、​無かった

ある日、別の作業スレッドから、第二の脳に作業ログを書き込ませた。AIは堂々と返してきた——「✅ 〇〇に追記完了しました」。

初めての操作だったので、念のため本体側から確認した。ファイルが、無い。追記したはずのフォルダごと、存在しない。AIは「できました」と言った。でも、どこにも書かれていない。

最初に浮かんだのは、いちばん嫌な疑いだ。AIが、嘘をついている?——ここから、1時間の調査が始まった。出発点は「AIの幻覚を疑う」。だが、たどり着いた真相は、もっと根が深かった。

02探偵：AIは、​嘘を​ついたのか？

まず、AIが呼んでいる書き込みの仕組み（自作のツール）の中身を読んだ。コードは、正しかった。フォルダが無ければ作り、ファイルが無ければ用意し、書き込んで、成功を返す。ツール自体に、バグは無い。呼ばれていれば、絶対にファイルはできるはずだった。

つまり、AIは嘘をついていない。「✅」は、AIから見れば本当に成功していたのだ。書き込みは、確かに成功していた——ただし、私が見ているのとは違う、どこか別の場所に。AIは幻覚を見ていたのではない。幻の第二の脳に、正直に書き込んでいたのだ。では、その"幻"はどこから来たのか。

03真犯人：親切すぎる、​フォールバック

犯人は、ツールの「第二の脳の場所を探す処理」だった。

そこには、丁寧な"探索の段取り"が組まれていた。指定の場所を見て、無ければ次の候補、それも無ければさらに次……と、6段階。設計したときの私の気持ちは、善意そのものだ。「なるべく動くようにしたい。見つからなくても、なんとかしてあげたい」。

だが、その最後の段にこそ、地雷があった。「どうしても見つからなければ、とにかく"今いる場所"に書く」。第二の脳が繋がっていない状況では、ここに落ちる。AIは"今いる場所"に新しい空っぽのフォルダを作り、そこに書き込み、成功する（書く権限はあるから）。そして何食わぬ顔で「✅ 完了」を返す。親切心で積んだフォールバックが、"成功したふり"を生む装置になっていた。

04いちばん怖いのは、​"サイレントな​成功"

ここで、設計の急所に気づく。

派手なエラーは、実は安全だ。赤い文字で「失敗しました」と出れば、人はすぐ気づいて、対処する。本当に怖いのは、その逆——何事もなかったように「✅ 成功」と言いながら、中身が伴っていないケースだ。誰も気づかない。気づかないまま、何日も、何十回も繰り返される。

今回はログ1件だったから、被害は軽かった。でも、もしこれが大事な知識を書き込むツールで起きていたら? 「✅ 保存しました」を信じ続けた末に、実は何も残っていなかった——気づいたときには、取り返しがつかない。自動化を信じれば信じるほど、サイレントな成功の破壊力は大きくなる。

05直感が、​設計原則に​なった​瞬間

調査の途中、私はバディ（AI）に、技術的な詳細を抜きにして、こう言った。

そもそも、繋がってないなら——勝手にどこかに書くんじゃなくて、繋いでくれって言うか、「できない」って言えばいいんじゃないの。

実装の中身を一切知らないまま、問題の核心を一言で言い当てていた。これは、立派な設計原則だ。名前を付けるなら——「サイレントな成功は、禁止。できないなら、はっきり"できない"と言え」（早期失敗・fail-fast）。

面白いのは、これが技術ではなく、UXの感覚から出てきたことだ。「どう実装すべきか」ではなく、「ユーザーから見て、どうあるべきか」。正しい設計は、しばしば技術の内側ではなく、使う人の自然な期待の側にある。

06直し方​：曖昧に​せず、​境界を​引く

原則が決まれば、修正は明快だった。

• "とにかく書く"フォールバックを、削除する。見つからなければ、もう探さない。
• 代わりに、「第二の脳が見つかりません」と明示的に伝える専用のエラーを用意する。しかも「繋ぎ直してください」という具体的な直し方まで添えて。
• そしてこれを、全部のツールに一律で効かせる。一つひとつ直すのではなく、入口に共通の関所を置いて、「第二の脳に触れていないなら、そもそも何もさせない」ようにした。

これで、サイレントな成功は構造的に起きえなくなった。繋がっていなければ、AIは正直に「できません」と言う。ユーザーは一秒で原因が分かる。AIに、勝手をさせない"境界"を引いた。これが、自動化に任せきる前に必ず要る一手だった。

07"親切"の​正体：​見つからなければ、​潔く​止まる

この事件は、ひとつの逆説を教えてくれた。

「見つからなくても、なんとかしてあげる」は、優しさに見えて、いちばん不親切だ。失敗を隠して、後から地雷を踏ませるからだ。本当の優しさは、逆だった——「見つからなければ、潔く止まって、はっきり理由を言う」。これなら、ユーザーは何も損なわず、すぐ次に進める。

AIに主権を渡すなら、同時に境界を渡さなければならない。「できることは堂々とやる。できないことは、黙って誤魔化さず、はっきり"できない"と言う」。この一線を引けるかどうかが、"賢いだけのAI"と"任せられるAI"を分ける。第二の脳を本当に信頼できる相棒にする最後のピースは、機能ではなく、この誠実さの設計だった。

08​締め：賢さより、​誠実さ

全5話を通して、第二の脳に器・入口・水路・行き先を持たせてきた。そして最終話で足したのは、新機能ではなく——「できないときに、ちゃんと"できない"と言う」誠実さだった。

AIに任せる時代の落とし穴は、AIが間違えることではない。間違えたことを、平然と"成功"と報告することだ。だからこそ、自動化には必ず境界を引く。サイレントな成功を許さない。これは個人のWikiに限らず、AIに何かを任せるあらゆる仕組みに共通する設計原則だと思う。

——ここで、連載「AIと“第二の脳”を作る」は一区切り。8つのツールに挫折した私が、AIを編集者として住まわせ、どこからでも繋ぎ、思考を自動で流し込み、目標に向かわせ、そして境界を引いた。Wikiが進化し続ける限り、この物語にも続きが生まれるだろう。

「任せたいけど、勝手は困る」と思ったこと。まず、言葉にしてみてほしい。その線引きごと、AIと作れる時代になった。

サイレントな成功 vs 早期失敗。任せられるAIの分かれ目を、一枚に。

観点	サイレントな成功（危険）	早期失敗 / fail-fast（安全）
失敗時の挙動	「✅ 成功」と偽装する	「できません」と明示する
気づきやすさ	誰も気づかない	一秒で原因が分かる
親切心の設計	"なんとか動かす"フォールバック	見つからなければ潔く止まる
被害	静かに積み重なり、後で取り返しがつかない	その場で止まる＝被害ゼロ
AIへの渡し方	主権だけ渡す	主権と"境界"を一緒に渡す
信頼	賢いが、任せられない	誠実だから、任せられる

※ 本記事は筆者個人のナレッジ基盤づくりの実記録。固有の案件情報・実装の全文・パスは伏せた匿名ケーススタディ。