Skip to content

Human Oversight

Human Oversight(人間の監督) とは、影響の大きい遷移に対して、人間が判断、停止、例外承認、リスク引受、正規状態への反映を担う統治構造です。

人間が常に作業に参加することを意味しません。重要なのは、遷移が失敗したとき、または後続の依拠への影響が大きいときに、誰が最後に引き受けるかが明確であることです。

AI や自動化は、文脈の補完、設計判断、実装、評価、説明をまとめて進められます。これは強力ですが、次の危険も生みます。

  • 未確定事項を事実として扱う。
  • 許可されていない範囲を変更する。
  • 結果が良く見えるために過程の破綻を見落とす。
  • 誰も残るリスクを引き受けないまま正規状態へ反映する。

人間の監督は、これらをすべて手作業に戻すためではありません。自動化できる遷移を進めつつ、責任ある継続に必要な停止点と引受点を残すためにあります。

進行根拠の構成要素のうち、証拠条件(テスト結果、静的解析)は自動化できます。検証が安くなるほど、この部分の自動化は進みます。

しかし規範条件は違います。意図の設定、境界の判断、例外の承認、リスクの受容、終了の意味づけは遂行的行為であり、権限を持つ者が引き受けることでしか成立しません。これらは、テスト結果やコード差分からは作れません。

したがって、AI の能力が上がるほど、人間の監督の重心は「出力を確認すること」から「規範条件を形成すること」へ移ります。

PCE 3.0 では、人間を AI の途中に挟まる存在として扱いません。

人間は、AI の出力を最後に目視する係ではありません。人間は、AI、CI、Policy(ポリシー)、評価系と並んで、状態遷移に必要な投影を形成するアクターです。

したがって、人間の監督は Human-in-the-loop(人間参加型)というより、Multi-Actor Branch / Join(マルチアクター分岐と合流)の一部です。人間の判断は、AI 作業の途中に差し込まれる確認ではなく、Warrant(進行根拠)を形成する一つの分岐です。

  • 正規仕様、公開 API、顧客影響を変える。
  • 権限、認可、課金、データ保持を変える。
  • 戻しにくい変更を行う。
  • 未確定事項が実装判断に影響する。
  • AI が契約外の設計判断を必要としている。
  • 評価契約を満たす証拠が不足している。
  • 記憶や判断記録など、長期に依拠されるものへ昇格する。

人間の監督には複数の形があります。

  • 事前に契約を定める。
  • 遷移候補を選ぶ。
  • 例外を承認する。
  • 作業を停止する。
  • 残るリスクを引き受ける。
  • 正規状態への反映を承認する。

Human Oversight(人間の監督)は、Accountability Anchor(最終引受点)を実際に動かす方法です。

最終引受点がない監督は、ただ人間が見ているだけになります。逆に、人間が常に手を動かしていても、誰がリスクを引き受けるかが曖昧なら、責任ある継続にはなりません。