社内チャットボットや文章の要約にとどまらず、企業でのLLM(大規模言語モデル)の使い方は、複数のAIが役割を分けて実際の業務をこなす「マルチエージェント」へと広がりつつあります。
一方で、「AIエージェントを業務に組み込みたいが、ハルシネーション(もっともらしい誤り)やセキュリティ、コストが心配……」「PoC(実証実験)まではできたのに、本番に進めない」という声もよく聞きます。
この記事では、まず公的なガイドラインをもとに、企業がLLMを導入するときの全体像を整理します。そのうえで、創薬調査と顧客対応の実案件に加え、隔離環境での脆弱性診断の評価と、エージェントの「スキル」の安全性を整理した論文の計4本を紹介します。結論を先に言うと、小さく作って正解データで測り、人の確認と権限の絞り込みを最初から組み込み、本番に入ってからも測り続けることが実用化の近道です!
企業でLLMを導入するときの全体像
「開発する側」「提供する側」「使う側」を分けて考える
経済産業省と総務省の「AI事業者ガイドライン」は、2026年3月31日に第1.2版が公表されています(2026年10月時点の最新版)。このガイドラインは、AIに関わる事業者を、AIシステムを作るAI開発者、AIを製品や業務の仕組みに組み込んで提供するAI提供者、事業の中でAIを使うAI利用者の3つに分けています。同じ会社が複数の立場を兼ねることもある、とも書かれています(経済産業省・総務省「AI事業者ガイドライン(第1.2版)」)。
外部のLLMを使って社内向けのエージェントを作る会社は、多くの場合「提供者」と「利用者」を兼ねます。ガイドラインは利用者に対して、提供者が想定した範囲で使うこと、出力の精度とリスクの程度を理解したうえで使うこと、個人情報や機密情報を不適切に入力しないことなどを求めています。
PoCから本番までは「一度きり」ではなく「回し続ける」
ガイドラインは、ルールを最初に固定するのではなく、「環境・リスク分析」「ゴール設定」「システムデザイン」「運用」「評価」のサイクルを継続的に回すアジャイル・ガバナンスを勧めています。運用を始めた後も、外部環境の変化に応じてリスク分析をやり直し、ゴールを見直すという考え方です。
米国のNISTが公開している「AI RMF」も、リスク管理を「GOVERN(統治)」「MAP(把握)」「MEASURE(測定)」「MANAGE(対処)」の4つの機能で整理し、統治をほかの3つに通じる横断的な機能と位置づけています。なお、NISTのページによると、AI RMF 1.0は2026年10月時点で改訂作業中です(NIST「AI RMF 1.0」、NIST「AI Risk Management Framework」)。
本番化を阻む主な課題
ガイドラインの別添は、AIのリスクの例として次のようなものを挙げています(経済産業省・総務省「AI事業者ガイドライン(第1.2版)別添」)。
- 事実と異なることをもっともらしく答えるハルシネーション
- モデルの確率的な性質から、同じ方針で運用していても場面によって判断が変わること
- AIエージェントが、自律的に動く中で人間の意図しない注文やファイル削除などをする可能性
- AIエージェントが外部のシステムと連携する過程で不正に操作され、内部データが外部に送られる可能性
権限の面では、OWASPが「過剰な権限(Excessive Agency)」をLLMアプリのリスクとして挙げ、連携する機能と権限を最小限にすること、影響の大きい操作の前に人の承認を求めることを対策に挙げています(OWASP「LLM06:2025 Excessive Agency」)。また Anthropic は、まずは一番単純な方法を探し、必要なときだけ複雑にすること、エージェントはサンドボックスで十分に試してから使うことを勧めています(Anthropic「Building effective agents」)。
ここからは、こうした課題に現場で取り組んだ論文を見ていきます。
論文で見る業務への組み込み
📄 論文: 創薬の競合調査を「2.5日から約3時間」に
LLM-Based Agents for Competitive Landscape Mapping in Drug Asset Due Diligence(Vlad Vinogradov ほか、2025年8月投稿・2026年5月改訂、arXiv:2508.16571)は、査読前の論文(プレプリント)です。
新薬の投資判断では、ある病気(適応症)に対する競合薬をすべて洗い出す必要があります。著者らは、Web検索を繰り返して競合薬を探すエージェントと、見つけた候補が本当に競合かどうかを判定してハルシネーションによる誤りを取り除く「LLM-as-a-Judge(判定役のLLM)」を組み合わせたシステムを作りました。評価には、あるバイオ系ベンチャーキャピタルの調査メモ(2019〜2025年作成)からLLMで専門家の挙げた競合薬を抜き出して正解リストを作り、そのうち新しい50の適応症をテストに使いました。
判定役で誤りを除いたうえで比べた評価では、検索エージェント3本の結果を統合した著者らのシステム全体の再現率(正解の競合薬をどれだけ拾えたか)が83%で、公開画面から使った OpenAI Deep Research の65%を上回りました。判定役だけの効果ではなく、検索と検証を組み合わせた全体の値です。また、正解リストは1つのファンドの専門家の判断にもとづくもので、論文自身も完全ではないとしています。また、システムは企業ユーザー向けに本番運用されており、そのファンドでの事例では、1つの薬あたりの調査時間が約2.5日から約3時間に縮んだと報告しています。ただしこの時間短縮は事例の報告で、測り方の詳細は書かれていません。著者ら自身も、現在のLLMのシステムは競合薬を漏れなく取得できるほど信頼できるものではないと述べています。
運営者にとっての意味は、「判定役」を後段に置くことと、過去の業務記録から正解データを作って測ることが、本番化の土台になるということです。
📄 論文: マルチエージェントの顧客対応は「試作は速いが、本番化は難しい」
LLM-Enabled Multi-Agent Systems: Empirical Evaluation and Insights into Emerging Design Patterns & Paradigms(Harri Renney ほか、2026年1月、arXiv:2601.03328)は、Journal on Artificial Intelligence(2026年)掲載(abs の書誌情報と関連 DOI の記載)です。
複数の専門エージェントを調整役がまとめる設計の型を整理し、英国の通信会社のセキュリティ部門、文化財分野で多数の拠点の資産を管理する全国組織、公益事業者の顧客対応という3つの実案件で、管理された環境での試験運用として検証した論文です。要約では、試作を2週間以内、試験運用に使える形を1か月以内に届けられたとしています。本文で具体的に書かれているのは、外部の業者2社が数か月かけても実用的なものを作れなかった顧客対応の案件で、試作と受け入れテストを1か月以内に終えたという点です。
その顧客対応の案件では、問い合わせメールへの最初の返信を下書きする仕組みで、1通あたりの費用が約0.05ポンドと、手作業の約0.33ポンド(事業者側の見積もり)を下回りました。ただし受け入れテストは3人の評価者が24通のメールを見た小規模なもので、評価者によるばらつきもありました。論文は、LLMの振る舞いのばらつきにより、試作から本番水準へ移るのは難しいという限界も改めて確認しています。
運営者にとっての意味は、試作の速さに安心せず、本番化のための調整と人の確認の工程を最初から計画に入れることです。
論文で見るセキュリティと権限
📄 論文: 脆弱性診断のエージェントは、役割分担で「安定」するが「上限」は同じ
Autonomous LLM Agents & CTFs: A Second Look(Youness Bouchari ほか、2026年4月、arXiv:2605.21497)は、IEEE EuroS&P 2026 のワークショップ(DeMeSSAI)採録(abs のコメント欄の記載)です。
侵入テストをLLMエージェントで自動化する提案が増え、CTF(セキュリティ競技の課題)で人間に近い成績という報告もあります。この論文はそれを検証し直すため、公開ベンチマークから選んだ14種類の脆弱性にまたがる30問のWeb系CTFを、隔離した環境で動かして解かせました。実行役だけの構成、評価役を加えた構成、さらに計画役を加えた構成を GPT-5 で各課題3回ずつ動かして1回でも解けた課題を数え、汎用のコーディングエージェント claude-code(Claude Opus 4.5)は使用量の制約で各課題1回の実行で比べています。
結果は、GPT-5 の3つの構成も claude-code も最高で30問中19問と同じ上限にとどまり(旧世代の GPT-4.1 では9問)、業務ロジックの欠陥や競合状態など同じ種類の課題でつまずきました。役割分担の効果は「解ける数」ではなく、3回とも解けた問題が12問から16問に増える安定性と、1問あたりの平均費用が約34%下がる点に表れました。一方で、平均の実行時間は逆に長くなっています。
運営者にとっての意味は、エージェントを作り込むと安定性とコストは改善しうるものの、能力の上限は変わらないので、人による診断を置き換える前提にはしないことです。コーディングエージェントの使い方はコード生成エージェント×論文4選で扱っています。
📄 論文: エージェントの「スキル」は出どころで権限を分ける
Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward(Renjun Xu ほか、2026年2月投稿・6月改訂、arXiv:2602.12430)は、ACM Conference on AI and Agentic Systems 2026 のワークショップ(Agent Skills ’26)採録(abs のコメント欄の記載)です。
エージェントが必要なときに読み込む「スキル」(手順書・コード・資料のひとまとまり)について、仕組み・獲得方法・運用・安全性を整理したサーベイ論文です。安全性の面では、2つの公開マーケットから約4万2千件を集め、そのうち約3万1千件を静的な解析とLLMによる分類で調べた先行研究を紹介しています。その研究では、解析した中の26.1%のスキルに少なくとも1つの脆弱性が見つかり、実行可能なスクリプトを含むスキルは指示文だけのスキルより脆弱性を含みやすいという結果でした。
これを受けて著者らは、静的な解析、意図と中身の食い違いの確認、隔離環境での試し実行、宣言した権限と実際の動作の照合という4つの検証の関門を設け、出どころと通過した関門に応じてスキルを4段階の信頼レベルに分ける枠組みを提案しています。審査を経ていないスキルには指示文だけを許し、下の2段階ではスクリプトを実行させません。ただし著者ら自身が、これは実証済みの仕組みではなく提案だと明記しています。
運営者にとっての意味は、外部から取り込むスキルや拡張機能も、ソフトウェアの部品と同じように出どころを記録し、権限を段階的に与える対象だということです。
現場でやること
最小構成から始め、過去の業務記録で正解データを作る
いきなり複雑なマルチエージェントを組まず、単純な構成で試作します。そのうえで、過去の調査記録や問い合わせ対応の履歴から「正解」を作り、再現率や誤りの割合を測ります。数値で比べられれば、構成を複雑にする価値があるかを判断できます。
判定役と人の確認を「後付け」にしない
出力をそのまま使わず、別のLLMによる判定や、人が確認する工程を最初から組み込みます。顧客への送信や発注のような影響の大きい操作は、必ず人の承認を挟みます。判定役の精度も、正解データで別に測っておきます。
権限は最小限にし、スキルや拡張は出どころで分ける
エージェントに渡すツール・データ・権限は、その業務に必要な分だけにします。外部から取り込むスキルは出どころを記録し、信頼できるまではスクリプトを実行させないなど段階的に扱います。指示を紛れ込ませる攻撃への備えはLLMエージェントのセキュリティ×論文4選で詳しく扱っています。
本番に入ってからも測り続ける
LLMの振る舞いにはばらつきがあり、モデルの更新や業務の変化でも結果は変わります。同じ質問を定期的に流して精度と費用を記録し、ガイドラインのサイクルのように、変化があればリスクの見直しから回し直します。
LLMを実用化する鍵は次の3点です
- 小さく作って、正解データで測る
単純な構成から始め、過去の業務記録で作った正解データで精度を比べます。試作の速さと本番の品質は別物です。 - 判定役・人の確認・最小権限を最初から組み込む
誤りを後段で取り除く仕組みと、影響の大きい操作の前の人の承認を設計に入れます。外部のスキルは出どころに応じて権限を分けます。 - 本番に入ってからも回し続ける
ばらつきとモデルの更新を前提に、精度・費用・リスクを定期的に測り、必要ならゴールから見直します。
まとめ:LLM活用は「単体の賢さ」から「システム全体の設計力」へ!
4本の論文に共通するのは、モデル単体の性能だけでは本番に届かず、判定役の配置、役割分担、権限の分け方、そして正解データでの測定といった「組み立て方」が成果を左右するという点です。同時に、どの論文も、作り込んでも残る限界を自ら書いています。
まずは自社の業務記録から、正解の分かっている事例を数十件集めてみてください。それが、PoCで終わらせないための最初の物差しになります!
参考文献
- 経済産業省・総務省「AI事業者ガイドライン(第1.2版)」本編・別添(https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/20260331_report.html)2026-10-01 確認
- NIST「Artificial Intelligence Risk Management Framework (AI RMF 1.0)」NIST AI 100-1(https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf)2026-10-01 確認
- NIST「AI Risk Management Framework」(https://www.nist.gov/itl/ai-risk-management-framework)2026-10-01 確認
- OWASP Gen AI Security Project「LLM06:2025 Excessive Agency」(https://genai.owasp.org/llmrisk/llm062025-excessive-agency/)2026-10-01 確認
- Anthropic「Building effective agents」(https://www.anthropic.com/engineering/building-effective-agents)2026-10-01 確認
- Vlad Vinogradov ほか「LLM-Based Agents for Competitive Landscape Mapping in Drug Asset Due Diligence」arXiv:2508.16571(https://arxiv.org/abs/2508.16571)2026-10-01 確認
- Harri Renney ほか「LLM-Enabled Multi-Agent Systems: Empirical Evaluation and Insights into Emerging Design Patterns & Paradigms」arXiv:2601.03328(https://arxiv.org/abs/2601.03328)、Journal on Artificial Intelligence 掲載(https://doi.org/10.32604/jai.2026.078487)2026-10-01 確認
- Youness Bouchari ほか「Autonomous LLM Agents & CTFs: A Second Look」arXiv:2605.21497(https://arxiv.org/abs/2605.21497)2026-10-01 確認
- Renjun Xu ほか「Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward」arXiv:2602.12430(https://arxiv.org/abs/2602.12430)2026-10-01 確認
2026-10-01 更新: 構成を見直し、論文へのリンクと参考文献を追加し、創薬の競合調査の論文の仕組みと、脆弱性診断の論文の結果の記述の誤りを修正しました。あわせて、出典を確認できなかった業界動向の記述を削除しました

