Physical AIのための運用的AIガバナンス
リスク管理を身体化システムの実行時制御へ翻訳
DOI:
https://doi.org/10.51094/jxiv.5278キーワード:
フィジカルAI、 身体化自律システム、 AIガバナンス、 実行時ガバナンス、 行動許可、 ニアミス報告、 人間による監督、 監査可能性抄録
Physical AIおよび身体化自律システムは、AIによる判断を物理環境内の行動へと変換しつつある。こうしたシステムは、移動、人や物体への接近、物体操作、支援、運用環境への介入、緊急時の行動発動などを行う可能性がある。これらの能力は、システム単位の承認、一般的なリスク分類、または事後的な責任追及だけでは十分に扱えないガバナンス上の課題を生み出す。既存のリスク管理、安全、監査、説明責任に関する枠組みは引き続き重要であるが、AIシステムが物理世界で行動を開始する場合には、それらを運用上の制御へ翻訳する必要がある。
本稿は、Physical AIのための行動単位の実行時ガバナンス枠組みを提案する。中心的な主張は、特定のPhysical AI行動類型について、時間とともに変化し得る許可状態を通じて、許可、監視、制限、停止、条件付き復帰、または撤回を行うべきであるという点にある。本稿は、Behavior Permission Classes、Behavior Permission States、Physical Operational Envelopes、Physical Near-miss Reporting、Permission State Transitions、Emergency Override Traces、Conditional Physical Reinstatementといった中核概念を導入する。これらの概念により、ガバナンス上の問いは、AIシステムが一般的に承認されているかどうかから、どの行動が、どの条件の下で、どの証拠に基づいて許可され、その許可が運用中にどのように変更されるべきかへと移行する。
本枠組みは、既存のガバナンス制度を置き換えるものでも、特定ベンダーの実装アーキテクチャを提案するものでもない。むしろ、早期リスク検知と下流の執行メカニズムとの間に位置する、実行時ガバナンスおよび翻訳レイヤーとして機能する。また、本稿は、実行時ガバナンスが、ログ記録、監査可能性、停止能力、変更管理記録、提供者の協力といった、上流の設計、調達、契約条件に依存することも強調する。Physical AIガバナンスは、行動特定的で、証拠に基づき、比例的で、人間および組織の責任に根ざしたものであるべきである。
利益相反に関する開示
著者は、本稿に関して開示すべき利益相反はありません。ダウンロード *前日までの集計結果を表示します
引用文献
Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). *Concrete problems in AI safety*. arXiv:1606.06565.
Endsley, M. R. (2017). From here to autonomy: Lessons learned from human–automation research. *Human Factors, 59*(1), 5–27.
European Union. (2024). *Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence*. *Official Journal of the European Union*.
Goodrich, M. A., & Schultz, A. C. (2007). Human–robot interaction: A survey. *Foundations and Trends in Human–Computer Interaction, 1*(3), 203–275. doi:10.1561/1100000005
Inoue, R. (2026a). *AI Behavior Licensing as a ReportingOS: A Formal Governance Architecture for High-Risk AI Systems*. Jxiv. doi:10.51094/jxiv.2490
Inoue, R. (2026b). *Agent Runtime Governance: Dynamic License Control for Autonomous AI Systems (AIBL Integrated Framework v2.5)*. Zenodo. doi:10.5281/zenodo.19428607
ISO. (2014). *ISO 13482:2014: Robots and robotic devices — Safety requirements for personal care robots*. International Organization for Standardization.
ISO. (2016). *ISO/TS 15066:2016: Robots and robotic devices — Collaborative robots*. International Organization for Standardization.
ISO. (2018). *ISO 31000:2018: Risk management — Guidelines*. International Organization for Standardization.
ISO. (2023). *ISO 3691-4:2023: Industrial trucks — Safety requirements and verification — Part 4: Driverless industrial trucks and their systems*. International Organization for Standardization.
ISO. (2025a). *ISO 10218-1:2025: Robotics — Safety requirements — Part 1: Industrial robots*. International Organization for Standardization.
ISO. (2025b). *ISO 10218-2:2025: Robotics — Safety requirements — Part 2: Industrial robot applications and robot cells*. International Organization for Standardization.
ISO/IEC. (2023a). *ISO/IEC 23894:2023: Information technology — Artificial intelligence — Guidance on risk management*. International Organization for Standardization.
ISO/IEC. (2023b). *ISO/IEC 42001:2023: Information technology — Artificial intelligence — Management system*. International Organization for Standardization.
Kroll, J. A., Huey, J., Barocas, S., Felten, E. W., Reidenberg, J. R., Robinson, D. G., & Yu, H. (2017). Accountable algorithms. *University of Pennsylvania Law Review, 165*(3), 633–705.
Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. *Human Factors, 46*(1), 50–80.
Leveson, N. G. (2012). *Engineering a Safer World: Systems Thinking Applied to Safety*. MIT Press.
Mittelstadt, B. (2019). Principles alone cannot guarantee ethical AI. *Nature Machine Intelligence, 1*, 501–507. doi:10.1038/s42256-019-0114-4
National Institute of Standards and Technology. (2023). *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*. NIST AI 100-1. doi:10.6028/NIST.AI.100-1
OECD. (2024). *Recommendation of the Council on Artificial Intelligence*. OECD Legal Instruments, OECD/LEGAL/0449.
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. *IEEE Transactions on Systems, Man, and Cybernetics — Part A: Systems and Humans, 30*(3), 286–297. doi:10.1109/3468.844354
Perrow, C. (1999). *Normal Accidents: Living with High-Risk Technologies*. Princeton University Press.
Raji, I. D., Smart, A., White, R. N., Mitchell, M., Gebru, T., Hutchinson, B., Smith-Loud, J., Theron, D., & Barnes, P. (2020). Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing. *Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency*, 33–44. doi:10.1145/3351095.3372873
Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. *Safety Science, 27*(2–3), 183–213. doi:10.1016/S0925-7535(97)00052-0
Reason, J. (1990). *Human Error*. Cambridge University Press.
Reason, J. (1997). *Managing the Risks of Organizational Accidents*. Ashgate.
ダウンロード
公開済
投稿日時: 2026-06-28 06:56:00 UTC
公開日時: 2026-07-23 00:11:51 UTC
ライセンス
Copyright(c)2026
井上, 亮司
この作品は、Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Licenseの下でライセンスされています。
