AI 企業調達におけるエージェントガバナンス

調達において、AIエージェントガバナンスは何を意味すべきでしょうか？

AIエージェントガバナンスは、定義されたソーシングジョブを許可されたデータ、ツール、権限、人員、および管理に接続する運用契約です。NIST AIリスク管理フレームワークは、ガバナンスをAIシステムのライフサイクル全体にわたる横断的かつ継続的な要件として説明しています（ガバナンス機能). したがって、調達設計は、モデル、その証拠、すべての外部アクション、および介入を担当する人々をカバーする、アクションループ全体を管理する必要があります。

ビジネスイベントから始めます。サプライヤーの発見、RFQの準備、入札の正規化、落札の推奨、契約変更、発注書作成、またはサプライヤーとのコミュニケーション。各イベントについて、エージェントの目的、許可されたシステム、禁止されたアクション、説明責任のある所有者、必要な証拠、エスカレーション経路、有効期限、および回復パスを明記します。この機能レベルのビューは、「自律型」や「人間が監督する」といった大まかなラベルが、実質的に異なる権限を隠してしまうのを防ぎます。

エージェントに実行を許可すべきソーシングタスクはどれか？

アクションの可逆性と決定の結果によって権限を割り当てます。読み取り専用の収集と下書きの準備は、外部とのコミュニケーション、サプライヤーのランキング、商業交渉、またはコミットメントよりも検査が容易です。ソースが見つからない場合、ポリシーが古くなっている場合、サプライヤーの身元が不明な場合、または次のツール呼び出しが外部記録を変更する場合でも、低リスクのタスクが安全でなくなる可能性があります。

一般的な取引額を境界線としてインポートしないでください。公的な証拠は、自律的な調達に対する普遍的な安全な支出閾値を確立していません。可逆性、サプライヤーと市場への影響、データ感度、契約上の効果、職務の分離、および誤った行動のコストを使用して、現地の権限を調整してください。 調達ガイドのAI その評価のためのより広範なワークフローコンテキストを提供します。

人間の権限はどこでワークフローを中断しなければならないか？

人間による制御は、人が結果を変更できる場所に属します。NISTは、文書化された役割とコミュニケーション経路、定義された人間による監視プロセス、および展開後の異議申し立て、オーバーライド、回復、変更管理のメカニズムを求めています(説明責任と監視)。調達においては、チェックポイントは、それが管理する外部メッセージ、ランキング決定、承認、コミットメント、または不可逆的なシステム移行の前に到達しなければなりません。

• エージェントの要約だけでなく、元の記録と正確なポリシー規則をレビュー担当者に示します。
• その人が下している決定と、その決定を許可する権限を明記します。
• 承認、改訂、却下、証拠の要求、一時停止、または例外処理など、意味のある代替案を提供します。
• レビューがオープン、期限切れ、または変更された入力に基づいている間は、エージェントが行動するのを防ぎます。
• 人間の決定を記録し、結果として生じる外部またはシステムの状態を読み戻します。

なぜヒューマン・イン・ザ・ループのラベルだけでは不十分なのでしょうか？

まれな障害が発生したとき、名ばかりのレビュー担当者は最も準備ができていない可能性があります。ベインブリッジの基礎的な人間要因分析は、自動化が人々に困難な残存タスクの任意のセットを残す可能性があり、長期間にわたる許容可能な自動操作が効果的な監視を損なうと主張しています(自動化の皮肉)。設定は産業プロセス制御であったため、この論文は調達チームを測定していませんが、そのメカニズムは受動的な承認キューに異議を唱えています。

現在のフィールド実験では、知識労働のテストで注意が促されています。研究者たちは、AIを持つ参加者は、モデルの能力の限界外に意図的に配置された1つのタスクを解決する可能性が、対照群よりも19パーセンテージポイント低いことを発見しました（フロンティア外の結果)。この調査では、調達エージェントではなく、専門のコンサルタントと以前の汎用モデルが使用されたため、結果はタスクレベルのテストを正当化するために使用し、ローカルエラー率を予測するためには使用しないでください。

意思決定記録は何を保持すべきか？

エージェントが何を認識し、何を実行し、なぜ人が次のアクションを許可したのかを再構築するのに十分なコンテキストを保持します。レコードは、ビジネス要求をソース証拠、ポリシー、ツール呼び出し、中間変換、不確実性、例外、人間の決定、および最終的な読み戻しに接続する必要があります。その設計を、 インテークから調達までのガバナンス手法 そのため、作業がシステムや所有者をまたがっても、元のニーズは可視化されたままになります。

1. 要求者、目的、サプライヤー集団、および許可された結果に安定したケースIDをバインドします。
2. ソースレコードID、取得時間、バージョン、除外、欠落フィールド、および競合を保持します。
3. モデル、プロンプトまたはポリシーテンプレート、ツールスコープ、出力、およびすべての外部アクションプレビューを、該当する分類、アクセス、最小化、編集、保持、法的保留、およびサプライヤー機密保持規則の下で記録します。
4. 説明責任のある担当者の決定、根拠、権限、条件、および有効期限を記録します。
5. 目的の状態を読み戻し、意図したアクションと照合します。曖昧な結果は自動再試行ではなく、調査の対象となります。
6. 監視、インシデント、オーバーライド、修正、および廃止イベントを同じ系統で保持します。

チームはエージェント間の市場行動をどのように管理すべきでしょうか？

自動化されたアクターは互いの行動を変える可能性があるため、市場テストは個々のエージェントテストと並行して行われるべきです。Fish、Gonczarowski、およびShorrerは、LLMベースの価格設定エージェントがすぐに競争を上回る価格に達し、その分析をオークションにまで広げた実験室実験を報告しています（マルチエージェント検索)。この研究はシミュレートされた価格設定と入札に関するものであり、企業ソーシングにおける限定的な設計教訓を裏付けています。自動化されたアクターが互いに繰り返し応答する場合、孤立した回答の品質だけでは安全な行動を確立できません。

交渉または入札権限の前に、異なる相手方戦略、プロンプト、市場状況、および終了ルールを使用して、繰り返し敵対的シミュレーションを実行します。入札パターン、サプライヤーアクセス、説明のつかない収束、ルール回避、停止不能などの観測可能な結果とともに、エージェントの説明を監視します。クリーンな監査ログでは不健全な市場結果を修復できないため、異常は競争、法務、商業、およびリスクの担当者に回送します。

調達チームはAIエージェントをどのようにパイロットすべきでしょうか？

信頼できる記録と指名された担当者を用いて、既知のプロセス内で1つの機能を試験的に導入します。フィールド実験の著者は、類似したタスクであってもモデル機能の異なる側面になり得るという、ぎざぎざのフロンティアについて述べています。(タスク境界の特定)。読み取り専用の証拠準備から始め、完了したケースやエージェントなしのベースラインと比較し、チームがエラー、意見の相違、上書き、および変更された条件を説明できるようになった後にのみ拡張します。

1. 狭いイベントを選択し、現在のプロセス、ベースライン、評価責任者、レビュー期間、例外、および損害シナリオを事前に登録します。
2. ERP、SAP Ariba、Icertisのリポジトリなど、具体的なシステムからの許可されたデータアクセスと取得をテストします。
3. 外部からのアクションなしに、標準、係争中、古い、不完全、重複、および敵対的なケースを再生します。
4. 証拠の完全性、決定の不一致、誤ったエスカレーション、エスカレーションの見落とし、レビュー担当者の労力、および回復の質を、現地で承認された承認およびエスカレーションの範囲と比較して測定します。
5. 読み戻し、重複保護、タイムアウト処理、継続性フォールバック、ロールバックトリガー、停止制御がすべて合格した後にのみ、可逆的なアクションを1つ追加します。
6. モデル、プロンプト、ツール、データソース、ポリシー、サプライヤー人口、または市場状況が変化するたびに、境界を再評価します。

パイロットの結果は、明記された条件下での1つの能力を管理するため、すべての拡張には新たな決定が必要です。証拠パケットは、その横に保管してください。 調達ソフトウェア選定ガイド プラットフォームの適合性、統合境界、監査アクセス、および運用所有権を評価する際。ベンダーのデモンストレーションを使用してユーザビリティを評価し、その後、ローカルでのリプレイおよびリカバリの証拠によって許可されるワークフローの状態を決定します。

境界のある自律性に関するZinitの見解は？