AIは「それっぽく動く」設計を出すことができます。しかしそれが「正しく動いている」かどうかは、人間が確認しなければわかりません。
AIは設計を代替できますが、判断は代替できません。
– AIの出力がどこでズレるのかを知りたい方は「今回起きた問題」へ
– 監査の具体的な手順を知りたい方は「人間がやるべき監査ポイント」へ
AIで自動化を組んでいて、「出力は返ってくるが本当に正しいのか確認する基準がない」という状態のまま進めている——そういう状況で読まれることを想定して書いています。
n8nでAIを使った自動化パイプラインを構築していたとき、Anthropicノードのインタビュー生成プロンプトを自分で書きました。動作確認をすると、それっぽい3問が出力されました。「動いている」と判断してそのまま進めようとしました。
しかし後から気づきました。既存の設計ファイル（01.5_interview.txt）には、質問タイプの分類・ヒント補足・出力フォーマットが明確に定義されていました。私が書いたプロンプトはそれを一切参照していませんでした。エラーは出ない。出力も返ってくる。ただ、設計とは全く違う形になっていました。
「動いているのに間違っている」——この状態に気づくのは、既存設計を知っている人間だけです。AIにはわかりません。
結論｜AIは「それっぽく動く」が「正しさは保証しない」
AIは与えられたプロンプトに対して、文脈上もっともらしい回答を返します。これは「正しい」とは別の話です。
「それっぽい」とは、出力が読めること・エラーが出ないこと・表面的に要件を満たしているように見えること、です。
「正しい」とは、既存設計の意図通りに機能していること・分類ロジックが保たれていること・出力形式が後続の処理と一致していること、です。
AIはこの2つを区別しません。プロンプトに「インタビュー3問を生成してください」と書けば、どんな形であれ3問を返します。それが既存のタイプA/B/C分類に従っているかどうか、ヒント補足が必要かどうか、出力フォーマットが後続ノードで正しく処理できるかどうか——AIは気にしません。
この状態を放置すると、ズレた設計のまま自動化だけが拡大します。ノードが増えるほど修正コストは上がり、どこでズレたかの特定も難しくなります。
AIの出力品質は「プロンプトの精度」ではなく「設計との一致度」で評価する必要があります。
今回起きた問題（実践ログ）
n8nのワークフローでAnthropicノードを使ってインタビュー3問を生成するノードを作りました。
プロンプトはこのような内容でした。
「ビジネッツ（判断設計・構造思想）の記事を書くための運営者インタビュー3問を生成してください。条件：運営者の実体験・失敗・判断を引き出す質問。抽象的な質問禁止。各質問は1〜2文で簡潔に。」
テストすると、3問が返ってきました。内容も悪くない。そのまま進めようとしたとき、別の視点から指摘を受けました。
「既存の01.5_interview.txtを参照していますか？」
確認すると、既存ファイルには以下が定義されていました。
- タイプA（失敗・試行錯誤体験）：記事の失敗ログを肉付けする素材を得る
- タイプB（判断の瞬間）：記事の判断基準に具体性を与える素材を得る
- タイプC（数値・変化の実感）：記事の数値指標に信憑性を与える素材を得る
- 各質問に※ヒント補足を1行入れる
- 出力フォーマット：「Q1（タイプA）：」という形式で統一
私が書いたプロンプトは、これらを完全に無視していました。ワークフローは動いていました。しかし既存設計とは全く違うものが動いていました。
「動いている」という確認だけでは不十分です。「何と比較して動いているか」を確認していなければ、ズレは見えません。
「動いている」と「正しく動いている」は別物
この問題の核心は、「動作確認」と「設計確認」が別だという点です。
動作確認：エラーが出ないこと・出力が返ってくること
設計確認：既存の設計意図通りに機能していること・後続の処理と整合していること
AIを使った自動化では、動作確認は比較的簡単にできます。ノードを実行して出力が返ってくれば「動いている」と判断できます。
しかし設計確認は、既存の設計を知っている人間にしかできません。AIは「このプロンプトで動く出力を返す」ことはできますが、「この出力が既存の01.5_interview.txtの意図と一致しているか」を判断することはできません。
私が間違えたのも、動作確認だけをして設計確認を省略したからです。
動作＝エラーが出ない。正しさ＝設計通りに機能する。この2つは独立しています。
なぜAIは既存設計を無視するのか
理由は3つあります。
① 文脈保持の限界
AIはプロンプトに書かれた情報だけを処理します。「既存のファイルがある」「過去にこういう設計をした」という文脈は、明示的に伝えなければAIには存在しません。人間が「暗黙の前提」として持っている設計の背景を、AIは知りません。
② プロンプト依存
AIの出力品質はプロンプトの精度に依存します。「インタビュー3問を生成して」というプロンプトに対して、AIは「3問を返す」という要件を満たします。しかしタイプ分類・ヒント補足・フォーマットという要件は、プロンプトに書かれていなければ無視されます。
③ 過去設計の参照欠如
既存の設計ファイルをAIに渡さなければ、AIはその設計を知りません。私のケースでは01.5_interview.txtをプロンプトに含めていなかったため、AIは独自に判断して3問を生成しました。それはそれで「それっぽい」出力でしたが、既存設計とは別物でした。
AI出力をそのまま採用してはいけないパターン
以下の3つのパターンが典型的です。
パターン①：既存設計を参照していない
「この機能を実装して」とだけ伝えて、既存の設計ファイル・プロンプト・フォーマット定義を渡していない場合。AIは独自に解釈して実装します。動きますが、既存設計とズレます。
確認基準：AIに渡したプロンプトに、既存の設計ファイルの内容が含まれているか。
パターン②：出力形式が一致していない
AIが返した出力を後続の処理（別のノード・別のプロンプト・パース処理）が正しく受け取れない場合。「Q1：」という形式で返すはずが「1.」という形式で返ってきた、というケースです。
確認基準：AIの出力を後続の処理に実際に渡して、正しく処理されるかを確認したか。
パターン③：分類ロジックが抜けている
「判断設計の記事を書く」という指示に対して、「判断設計」という言葉を使った文章を生成するが、タイプB（判断の瞬間）という分類に従った構造になっていない場合。表面的な一致と構造的な一致は別です。
確認基準：出力が既存の分類・型・構造に従っているかを確認したか。
– AIに既存の設計ファイルを渡したか
– AIの出力を後続処理に渡してテストしたか
– 分類・型・フォーマットが既存設計と一致しているか
– 上記を「動いているから大丈夫」で省略していないか
人間がやるべき監査ポイント
AIの出力を採用する前に、人間が確認すべき3つのポイントがあります。
① 既存設計との一致確認
AIが生成した内容を、既存の設計ファイル・仕様書・プロンプトと照合します。「同じような内容か」ではなく「同じ構造・分類・フォーマットか」を確認します。
今回のケースであれば：
- タイプA/B/Cの3分類が守られているか
- 各質問にヒント補足（※）が入っているか
- 出力フォーマットが「Q1（タイプA）：」の形式になっているか
② 出力構造チェック
AIの出力が、後続の処理で正しく扱えるかを確認します。LLMが返したテキストをパースする処理がある場合、その処理が正しく動くかを実際にテストします。
「読んで意味がわかる」と「処理で正しく扱える」は別です。
③ 判断基準の整合性
AIが生成した判断基準・分類・優先順位が、既存の設計思想と一致しているかを確認します。これは最も見落とされやすい確認です。
AIは「もっともらしい判断基準」を生成しますが、それがビジネッツの思想（構造で勝つ・捨てる判断・成果から逆算）と整合しているかどうかは、その思想を理解した人間にしか確認できません。
自動化が進むほど「監査設計」が必要になる
AI活用が進むほど、1つのパイプラインで多くの処理が自動化されます。そのとき「どこで人間が確認するか」を設計していなければ、ズレが積み重なったまま出力が量産されます。
AI依存のリスク
AIに任せる範囲が広がるほど、「動いているが間違っている」という状態が発生しやすくなります。1つのノードでズレていても、出力が返ってくるため気づきにくいのです。
設計と監査の分離
「設計はAIに任せる」「監査は人間がやる」という分離が必要です。AIは設計の「草案」を出すことができますが、その草案が既存の設計意図と合致しているかを判断するのは人間の仕事です。
判断設計の重要性
AIが普及するほど、「どこで判断するか」「何を人間が確認するか」という判断設計が重要になります。自動化のスピードを上げることと、監査ポイントを設けることは矛盾しません。むしろ自動化のスピードを上げるためにこそ、監査設計が必要です。
AIは設計を代替できますが、判断は代替できません。この構造を理解したうえで自動化を進めることが、ズレを積み重ねないための判断設計です。
「何を自動化するか」より「どこで判断するか」を先に設計することが、自動化を正しく機能させる順番です。自分の判断軸を整理したい方は、まずここから確認してみてください。
[BZ:cta type=”blog_parts” id=”1831″]
自分が今どの段階にいるかを確認してから、次のステップを選んでください。
[/BZ:cta]
コメント