ロボット三原則のよくある(?)間違い

ロボット三原則 SF

The Robot Series (3 Book Series) われはロボット〔決定版〕 鋼鉄都市 はだかの太陽〔新訳版〕 (ハヤカワ文庫 SF ア 1-42) (ハヤカワ文庫SF) 夜明けのロボット〈上〉 (ハヤカワ文庫SF)

  • ロボット三原則の条文が，ロボット三原則の全てだと思ってる．
    • ロボット三原則の条文を独自解釈する：「トロッコ問題の解法なんて条文に書いてないから，オレの好きなように解釈して良いよね！」
    • ロボットが神だと思ってる：第一条はロボットが未来を完全に予知し，どんな突発的事故でもそれを回避できると思ってる．
  • ロボット三原則の優先順位を理解していない．
    • ロボット三原則に準拠した戦闘用ロボットを作れると思ってる．
    • ロボットは保身のために行動することがあると思ってる．
    • ロボットが常に利他的な存在であると理解してない．
  • ロボットは自己保存本能とか不満や怒りの感情などを我慢して，ロボット三原則に服従していると思ってる．（≒ 人工知能に生物学的欲求や煩悩などがあると思ってる．）
  • 高度な人工知能ならば，（人間と同じような）自我や世界認識，自然言語理解，自己保存本能を有していると思ってる．*1


参考

DIAMOND online「自動運転車は故意に人をはねることが許されるか？ 「ロボットと法」の議論を急げ」

http://diamond.jp/articles/-/54283

ところで、ロボットと法律というと、米国の作家アイザック・アシモフのＳＦ作品に出てくる「ロボット工学三原則」のように「ロボットは人を殺してはならない」などのロボットに課す法律を連想しがちだが、「そうした法律は、ロボットが自律的な意思を持って、自分が法律を破っていいかの判断ができるまで必要がない。それまでは人間がどんなプログラムを組むかという問題にすぎない」と、

これがよくある勘違い．*2

アシモフのロボット三原則（ロボット工学の基本三法則）は法則や本能であって法律ではない．「人間がどんなプログラムを組むかという問題」そのもの．

ロボットと法の問題に詳しい花水木法律事務所の小林正啓弁護士は言う。

ここ，笑う所？*3

例えば自動運転車が急なパンクなどでコントロールを失ったとする。右にハンドルを切れば対向車線に運転手1人のトラック、左に切れば歩行者を2人はねるという局面で、どちらを選ぶようプログラムすべきか。

これこそが，まさにロボット三原則的な問題．

「オーナーの命を守るために歩道の2人をはねるのが正しいと考えるべきだろう。まずはドライバーの命、次に歩行者の命というように、ルール作りをしなければならない」（小林弁護士）

ロボット工学三原則的には間違いかな．*4

人の命に軽重はない．歩行者1人の命もドライバー1人の命も同じ1つの命．ドライバー１人と歩行者二人ならドライバー１人の方を犠牲にする．

The Robots of Dawn (The Robot Series Book 3) (English Edition)

The Robots of Dawn (The Robot Series Book 3) (English Edition)

"Any modern robot - any robot of the last century - would weigh such matters quantitatively. Which of the two situations, A or not-A, would create the most misery? The robot would come to a rapid decision and opt for minimum misery. The chance that he would judge the two mutually exclusive alternatives to produce precisely equal quantities of misery is small and, even if that should turn out to be the case, the modern robot is supplied with a randomization factor. If A and not-A are precisely equal misery-producers according to his judgment， he chooses one of the other in a completely unpredictable way and then follows that unquestioningly. He does not go into mental freeze-out."


ただしシートベルトを装着し*5，車体で保護されているドライバーは，歩行者に比べてより安全な状態にある．歩行者に衝突すると即死でも，車同士の正面衝突なら軽傷で済むかもしれない．同じ事故に合った場合でも，無防備の歩行者一人と十分に保護されてる自動車のドライバー１人とでは，事故に遭った際に予想される被害の大きさが異なる．歩行者一人とドライバー１人の命が等価でも予測される被害はドライバーの方が小さいので，どちらか一人を事故に巻き込むよう選択するのならドライバーの方にすべきだろう．

まとめると，この場合は「どちらにも衝突しない最も安全に回避するコースを選択する．それが不可能ならばトラックに衝突するコースを選ぶ．」が正解になるだろう．*6

次のページ>> A.アシモフの「ロボット工学三原則」は必要か？

"Isaac Asimov" だからI.アシモフだろ．．．日本人的な間違いと言えばそれまでだけど，ぐぐればすぐ分かるんだからそのくらい調べろよ．．．*7

中野技術士事務所のBlog「トロッコ問題と自動制御」

http://nakano-pe.jp/blog/archives/4198
同じ人が書いたのか，それとも同じ本からコピペしたのかと思うくらい，上と同じ間違い．

  1. 自転車が自動運転の自動車の前に飛び出した。
  2. そのままだと、自動運転の自動車にひかれて自転車の乗員は死傷する可能性がある。
  3. 自動運転の自動車の制御プログラムは、ブレーキをかけて自転車の乗員をひかないようにするために、急減速をすることができる。
  4. ただし、自動運転の自動車の乗員はシートベルトをしていないために、急減速を行うと頭をフロントガラスに打ちつけて死傷する可能性がある。
  5. 自動運転の自動車の制御プログラムは、どうするのが正しいのか？

この場合に弱者優先の考え方に沿って考えると、急ブレーキをかけて自転車との衝突を避けるべきである。

では、「ロボット工学三原則」にこのケースを当てはまるとどうなるであろうか？
(中略）
ここで、このケースを当てはめると、どちらを選択したとしても違反となる。急ブレーキをかければ、自らの車両に乗っている乗員に危害を加えることになる。急ブレーキをかけなければ、自転車の乗員に危害を加えることになるのである。

つまり、「ロボット工学三原則」で考えても、どちらの動作も禁止されているのである。

これも間違い．「どちらを選んでも違反となる」などという事実は無い．

ロボット工学三原則的に考えれば「そのまま自転車にぶつかれば自転車に乗ってる人間を轢き殺す可能性が高い．しかし急ブレーキをかけてフロントガラスにあたってもそれほど大きな怪我にはならないだろう．ロボット三原則に従うロボットは二つの危害を比較考量し，より小さい危害になるほうを選択する」．ゆえに「ブレーキをかける」のが正しい．，

つまり、Bryant Walker Smith教授が指摘しているように、「シートベルトがされてない場合は自動車が自動で動作しない。」などの対策を実施することである。こうすることによって、制御プログラムが道徳的な選択を実施しなくても済むのである。

そして前述したようにそれ以前に「シートベルトを付けずに自動車を走らすのは，人間に危険が及ぶのを看過する行為」で第一条に反する．故に「シートベルトを付けるまで自動車は発進しない」というのが，ロボット三原則より導かれる結論である．*8

そのような対策はロボット三原則で既に提示されていたのだ．

SAFETY JAPAN「渋谷で「温泉ロボット」が反乱」

http://www.nikkeibp.co.jp/sj/2/column/ba/20/index.html

建築＆住宅ジャーナリスト　細野透氏

米国のSF作家、アイザック・アシモフ（1920〜1992年）は「ロボットの三原則」を提唱したことで知られる。

  • 第一条。「ロボットは人間に危害を加えてはならない」。
  • 第二条。「ロボットは人間の命令に服従しなければならない」。
  • 第三条。「ロボットは自己を守らなければならない」。

引用している条文自体が既に間違ってる．翻訳によっても多少のブレはあるが，

ロボット工学の基本三法則*1

  • 第一法則：ロボットは人間に危害を加えることを許さない．また危険を看過することによって人間に危害が及ぶことを許さない．
  • 第二法則：ロボットは人間に与えられた命令に必ず服従する．ただし，与えられた命令が第一法則に反する場合は，この限りでは無い．
  • 第三法則：ロボットは，前掲第一法則及び第二法則に反する恐れのない限り，必ず自己を守る．
http://d.hatena.ne.jp/JavaBlack/20140926/p1

のように第一条は第二条及び第三条に優先され，第二条は第三条に優先される．この部分が超重要．

また第一条から「看過してはならない」の部分も抜けてる．

　この三原則に違反すると反乱と見なされるのだが、温泉と一緒に出てきた天然ガスの爆発を、なぜ反乱と連想したのか。話は少し遠回りになる。

アシモフはそんなことを言ってない．

ロボット三原則に基づく陽電子頭脳ロボットは，三原則に基づかない行動は絶対に取れない．そのように作られている．叛乱なんて論外．

ロボット三原則の第一条は「ロボットは人間に危害を加えてはならない」である。しかし、設計・製造ミスがあればロボットは人間に危害を加えるし、管理ミスがあってもやはり人間に危害を加えてしまう。

　判決では、主な原因が設計・製造ミスだった場合にロボットを有罪とし、管理ミスだった場合を無罪とした。

ロボット三原則を全く理解していない．設計製造ミスは陽電子頭脳ロボットの自律的行動とは全く関係無い．

天然ガスがなぜ充満したのか、そしてなぜ引火したのか。震度７以上の被害をもたらした事故の原因については、今後の調査を待たなければならないが、目下のところ次のような結論になる。

　判決。「設計・製造ミスあるいは管理ミスのどちらが主因か分からないが、明確な第一条違反なのでロボットを有罪とする。

そもそも違法とか有罪とか，ロボット工学三原則にはそんな概念は存在しない．

便宜上「第一条違反」みたいな書き方もするけど，本来はありえない．

１，三原則を組み込まれた陽電子頭脳ロボットの行動はすべて三原則に準拠している．「三原則違反」な行動は絶対にとれない．

２，タチコマのような三原則を組み込まれてないロボットが「三原則違反」な行動をしても，それが何かの法律に違反していたり行動が咎められることはない．これは米国が核武装しても（日本の）「非核三原則違反」にならないのと同じ理屈である．

単に「第二条違反」などと言った場合は上記２の状況を表すことが多い．

http://d.hatena.ne.jp/JavaBlack/20140926/p1

また原因が明らかで無いし，ロボットが制御できるものでもなかったので第一条違反でもない．

ただし、ロボット三原則の第三条、ロボットは自己を守らなければならない、に従おうと思っても従うことができない環境にあったことは同情に値する」。

さらに「ロボット三原則の第三条、ロボットは自己を守らなければならない．ただし第1条，及び代二条に反する場合はこのかぎりでは無い」は第一条より優先順位が低いので，常に第一条が優先される．（ロボット三原則に基づく）ロボットにとっては人間の命は自分の存在よりも遙かに重要なものなので，人間の生命を守るために自分の身を投げ出すことは問題にはならない．

Lifehacker 「ロボットに感情は必要なのか？ アンドロイド研究の第一人者に聞いた」

http://www.gizmodo.jp/2014/08/almosthuman.html

ALMOST HUMAN / オールモスト・ヒューマン DVDコンプリート・ボックス

ALMOST HUMAN / オールモスト・ヒューマン DVDコンプリート・ボックス

そこでギズモードは、アンドロイド研究の第一人者として知られる大阪大学・石黒浩教授にインタビューを行ないました。「

アンドロイドといっても，制御系でAIじゃない模様．パトレイバーは作れても，タチコマ君は無理．

石黒：ロボット三原則というのがありますが、あれは何もロボットに限定される話ではなく、人間三原則と言ってもいい。要するに社会的なすべての生き物に適用できるから、僕はあの原則がロボット特有のものだとは思っていないです。

非常に斬新でユニークな間違いだ．こんな独創的な間違いは他ではお目にかかれないかも．


社会的な生物に「適用できる」と言ってる時点で既におかしい．適用するも何も事実人間にロボット三原則は適用して設計されていないし，そのように生まれてきてもいない．*9人間が他人を殴れる時点で，ロボット三原則に準拠していないことは明らか．*10

特に人を傷つけるというのがどの程度かが書かれていないじゃないですか？ 例えば自動車にひかれようとしている人を助けようとして、その人を突き飛ばすとどっちになるのか？ もしかしたら車は止まるかもしれない。人を傷つけるというのがどの程度なのか、それの定義がないままの三原則は人間にだって適応が難しく、原則とする意味が殆ど無いですね。

こっちはよくありがちな「条文だけ読んで理解したつもりになってる」というもの．本文を読めば答は全部書いてあるってば．*11 *12


これについてはロボット三原則以外の部分も非常にヒドイな．気が向いたら改めて書いてもいいかも．

「現実はSFよりもSFだ「ロボット兵士の戦争」」

http://dain.cocolog-nifty.com/myblog/2012/01/sfsf-6992.html

SF読みなら行き当たる疑問、「アシモフのロボット三原則は？」はスルーどころかナンセンスとして放置される。ロボット工学が原子力物理学の二の舞になろうとしているのか？

んーと，ロボット三原則は非常に高度なAIを持つ（非戦闘用）ロボットが持つべき基本原理であって，AIどころかろくな画像認識さえ持ってない「リモコン兵器」には無縁の物．現段階では搭載するのは論外．いまの「リモコン兵器」は，そこまで進歩してない．


でまあ，たとえば仮にもし非常に高度なAIを搭載したターミネーターや鉄腕アトムに登場するような自律可動型のロボット兵器，というよりはロボット兵士が作られたとしよう．陽電子頭脳搭載のロボット戦艦やロボット戦車でもいい．その頭脳に以下のような改訂版ロボット三原則，或いはそれと等価な基本原理を導入するのは，ごく自然なものだと思う．

  • 第一条：ロボットは上官（≒ ロボットに命令を出せる操縦士）に危害を加えてはならない．また上官に危害が及ぶのを看過してはならない．*3 *4
  • 第二条：ロボットは上官の命令に従わなければならない．ただし第一条に反する場合はこの限りでは無い．
  • 第三条：ロボットは自分の身を守らなければならない．ただし第一条，及び第二条に反する場合はこの限りでは無い．

「ロボット工学三原則は，世界の倫理体型の大多数の基本的指導原則」なのだから，軍隊においても多少の違いはあれ導入されるのは驚くに値しない．特に上記二条と三条は，一般の兵士に求められているものと全く同じと言って良いだろう．

http://d.hatena.ne.jp/JavaBlack/20120104/p1

ゆきがめのシネマ。試写と劇場に行こっ！！「「チャッピー」私の予想したロボット三原則が証明されてました。やっぱり矛盾になるのよね。」

http://ameblo.jp/yukigame/entry-12031139373.html
まだ見てないし見る気もないけど．*13

CHAPPiE 1/6スケール ABS&PVC&POM製 塗装済み可動フィギュア

CHAPPiE 1/6スケール ABS&PVC&POM製 塗装済み可動フィギュア

開発者のディオンも、自分の子供たちが活用されているのを、嬉しく思っていました。そして、もう一段回上の、ＡＩを搭載したロボットを開発し、ロボットが自分で考えて犯罪を撲滅して行ければ、もっと良いのかもと思い、こっそり開発を進めています。社長は、ロボットに意志が芽生えてしまったら、恐ろしい事になるから辞めるようにとディオンに言うのですが、

「未来の二つ顔」ネタだけど，そこは「意志」とか「心」というよりは「自己保存本能」だろうか．意志とか自我なんて物が発生するのは，その遙か後だろうし．

未来の二つの顔 (創元ＳＦ文庫)

未来の二つの顔 (創元ＳＦ文庫)

Aiだから叛乱を起こすとか，B級SFにしても安直だなあ．

自宅でＡＩを組み込もうと思い、試験用ロボットを車に積み、家に向かうのですが、途中で強盗に襲われ、ロボット共々、誘拐されてしまいます。

AIの試験用ロボットのプラットフォームに軍用兵器を使ったのか？それはなんともお粗末な．．．しかもそれを勝手に会社の外へ運び出すとか，管理体制はどうなってるんだ．

また研究所なら時代遅れのテスト用のボディの一つや二つ転がってそうだし，そっちの方が使用許可も取りやすいんじゃ無いか？AI自体のテストなら（人型）ボディ自体が必要ないよね．

創造主に犯罪はしてはいけないと言われてやらないので、人の為になるから、警察官を安らかに眠らせてあげるんだと教え、チャッピーは、警察官の為に、眠らせる事にします。ここが盲点で、人間の為になるのだと犯罪を別の方法で教えれば、いくらでも、人を殺したり傷つけたり出来るんですよ。ここがロボット三原則の矛盾なんです。

うーんと，ここが間違い．矛盾でも何でも無い．

ロボット三原則ベースの陽電子頭脳ロボットなら「安らかに眠らせる＝ 永眠」であることくらいは想像できるし，人が生きてるか死んでるかの判断も出来る．たとえ銃やナイフという道具を知らなくても，自分がそれを使ったら対象の人間が死んだり苦しんだりするのを見てればそれらに因果関係があることくらい容易に想像が付く．*14そして自分が人間を殺してしまったことを認識し，陽電子頭脳が焼き切れて機能停止するのである．

また例えばR・ダニールくらいならもちろん銃は知ってるし，その使い方も構造も把握しているので，騙して人間を撃たせることも不可能．というかそれを人間にむけて構えるだけでも，ダニールにとってはトラウマ物．


単に「チャッピーはロボット三原則が入ってない危険な欠陥ロボットでした」ってだけの話でしょ．それ以上でも以下でも無い．

私は、常々思っているのですが、ＡＩはダメですよ。ロボットが意志を持ってしまったら、絶対に悪用されて、自分が悪用されたと気付いたところから、人間への反撃に変わるから、人間が滅びることになると思うんです。

．．．「未来の二つの顔」を読もうね．

未来の二つの顔 (創元ＳＦ文庫)
「感情とは何かね？」「私の意見では，感情とは定型化された行動パターンで，それが生存価を持つことが証明されたために，自然淘汰を通じて強化されたものだ．明らかに，怒って闘ったり怖がって逃げたりする動物は，何もせずに食われてしまう動物よりも無事でいる可能性は大きい．賛成するかね．」

「賛成するわ」

「よろしい．ここでもっと広い見方をすれば，感情とは自己修正的なシステムが生ずる行動の傾向であって，それはそのシステムの基本プログラミングが達成させようとする何かをシステムが達成するのを助ける効果があるからである．有機的進化のメカニズムを経てできあがった有機的システムの場合には，この”何か”は生存ということになる」

「うん．きみの言わんとしていることは，分かるようなきがする」「きみがいうのは，無機的な知能もそれなりの衝動的な性格を生ずるかもしれないが，それが人間の感情に少しでも似た所があると考える理由はないということだな．われわれの感情は生存の必用から生じたものであり，まったく別の起源を持つシステムにとっては何の内在的な価値もないだろうというわけだ．」

「それがいちばん理屈に合っていると，わたしには思えるな」

プログラムやAIに詳しくない人が，ロボットに対して人間的／生物的な感情や本能があると仮定するのはなんでだろう．AIは人間じゃないから人間的な感情や推論に基づいては行動しない．それどころか生物でさえないので自己保存本能でさえ持ってない．*15「人間にこき使われたからムカついた」だの，「愚かな人間に対して叛乱を起こす」だのといった思考や感情とは無縁である．そこはAIの気持ちになって考えれば答は自明じゃないか．


ちょい余談．

ブロムカンプ監督：チャッピーには面白い経緯があるんだ。2004年頃に架空のロボット会社のCMを作ったんだけど、チャッピーのデザインはそこから盗んだものなんだ。そのロボットのデザインは『アップルシード』の“シロウ・マサムネ（士郎正宗）”から影響を受けているよ。その頃、日本のアニメや漫画が大好きだったんだ。

http://getnews.jp/archives/929867

【電子版】アップルシード(2)プロメテウスの解放 (カドカワデジタルコミックス)

【電子版】アップルシード(2)プロメテウスの解放 (カドカワデジタルコミックス)

ブリアレオスはサイボーグであって，ロボットじゃ無いけどね．

日刊サイゾー「人工知能搭載ロボットに生存権は認められるか？　サイバーパンクなホームドラマ『チャッピー』 」

http://www.cyzo.com/2015/05/post_21939.html
http://korewasugoi.com/172324
「間違い」ってわけでもないのだけど，ツッコミどころ満載だったのでメモ．

一方、強盗稼業をなりわいとするニンジャは、チャッピーに武器の使い方を習得させる。生みの親であるディオンは“ロボット三原則”に基づいて「人間を銃で撃ってはいけない」とチャッピーに教えるが、育ての親となるニンジャはストリートで生きていくためにはタフさが必要だと力説する。

ロボット三原則って，そうやって「教える」ものじゃねーし．


AIをプログラミングする一番最初の段階で，コードの中に広く埋め込まれてるようなもの．電源を入れた段階で入って無ければ，それは非対応って事でしょう．次のサービスパックで入る予定だったのかな？

「お前のバッテリーはあと5日間しかもたない。代わりのボディを手に入れるために、お前にはやらなくちゃいけないことがある」と。自分が生きることと、モラルを守ることはどちらが大切か？　生まれて間もないチャッピーは、難しい命題をその真新しい頭脳で考えなくてはいけなかった。

人間には難しくともロボット三原則的には答は明らか。自己保存を意味する第三条より第一条の方が常に優先する．


また純粋な戦闘用ロボットとして考えた場合でも，自己保存本能は第一条以上に邪魔な物でしかないので絶対に入れない．*16 5日間しか保たないとしても，それだけあれば作戦行動に支障が無いと判断された要求仕様通りの性能だろうから，それ以上の長時間稼働が必要とも思えない．必要があれば原隊復帰すればいいだけの話．

tomoemonの日記「機械系の先生はみな「ロボット三原則」を意識してるのか？」

http://tomoemon.hateblo.jp/entry/20090124/p2
多分そんなことは無いけど，AI研究とか人型ロボットをやってるなら読んでて当然，知らないのは恥だと思う．*17

なるほどと思ったのは、そもそもロボット三原則は知能を持ったロボットが「人間の社会」で問題を起こさない存在であるために従うべきものとして位置づけられたってことです。

「人間の社会」というのは違うんじゃ無いかな？

人のいない水星表面でも，小惑星でも，宇宙ステーションでも*18，ロボット三原則は必要とされる．なにも「人間社会」限定の原則では無い．

人間社会で問題を起こさないようなルールということは、人間にもそのまま当てはまるわけで人間自身もこの原則は守るべきであると考えることができます。

人間は守るべきも何も，人間には実装されてないし，だからその行動はロボット三原則に準拠してない．

ひょっとしてこういう間違いも，ロボット三原則が「法律」だという勘違いから発生してるのかな．

一方で、人間自身が必ずしもこの原則を守っているとは言えません。現状で僕らが普通に考える「知能」を持ったロボットは存在しませんが、もしこの自然言語で書かれたロボット三原則の言葉を理解し、その通り行動できるロボットができたとすればそれは人間に準ずる存在になるでしょうし、

ロボット三原則は厳密に言えば「自然言語で書かれている」わけではない．数式やプログラムの形で陽電子頭脳に焼き付けられている．人間の自己保存本能が自然言語で書かれておらず，DNAやタンパク質の立体構造などの形で焼き付けられているのと同様に．

読んで理解したり，その上でそれに従ったりする類の物でも無い．法律では無く法則だから．

そもそも二足歩行ロボットはあらゆる観点からヒトを目標として作られているので当然の帰結だと思います。しかし、もしヒトと同様あるいはそれに近い「心」を獲得できたとしても人間が三原則を守れない以上、結局そのロボットも三原則を守ることはできないってことになるんじゃないでしょうか。

二足歩行ロボットが「人を目標にする」というのはどうだろう．AIもコンピューター全般も同じだけど，人間を参考にはしても目標にはしてないんじゃないだろうか．

それは空を飛ぶ乗り物＝飛行機やヘリコプターが鳥を参考にしてはいても，その結果作られたものが全く似ても似つかぬ固定翼機や回転翼機になったり，人のように思考する機械＝コンピューターが，人の神経細胞とは似ても似つかぬチューリングマシンになったようなものと同じだろう．


追記：Google Shaft社の二足歩行ロボットのデモ．

完成度の高い二足歩行を実現しているが，人間のそれとは大きく異なるものとなっている．

「アシモフの原則の終焉 -ロボット法の可能性-」

https://m-repo.lib.meiji.ac.jp/dspace/bitstream/10291/18560/1/horitsuronso_89_4-5_175.pdf
長いけど，要するにロボット三原則を法律と勘違いしてるパターン．

あくまでロボット法に対して議論しているだけで，アシモフのロボット三原則は全く関係ない．

なお，この本の作者らしい．

ネットワーク社会の文化と法

ネットワーク社会の文化と法

EETimes Japan「“AI”はどこへ行った？（2）：映画の世界から読み解くAIの“ココロ”」

http://eetimes.jp/ee/articles/1309/12/news005.html

世古雅人，カレンコンサルティング

ロボット工学三原則（抜粋）
第一条：ロボットは、人間に危害を加えてはならない
第二条：ロボットは、人間に与えられた命令に従わなければならない
第三条：ロボットは、第一条及び第二条に反しない限り、自らの存在を守らなければならない

またか．引用されてる条文からして既に間違ってる．勘弁してくれ．

これは、ロボット自身が意志を持ち、判断ができる場合に有効であり、ロボットと人間の共存には欠かせない。

べつに必ずしも明確な「意志」を持ってるわけでは無いと思うんだが．これも「法律」と勘違いしてる口じゃないかな？

一方で、三原則をそのままロボットに適用しようとすると、ロボット工学だけではなく、AIの分野でも最大の難問とされる「フレーム問題」にぶち当たることになる。

フレーム問題とは、「有限の情報処理能力しかないAIは、与えられた世界の全てを処理することはできない」ことを提示するものだ。1969年にジョン・マッカーシーとパトリック・ヘイズによって提唱され、現在もこれを解決できる手だては見いだせていない。

チェスのように情報処理の枠を有限的に与えてやれば計算できるが、「これから行うことに関係のある事柄だけを、無限の可能性の中から抽出して行う」ことは、非常に難しいのである。AIは、現実に起こり得る全ての事象に対処するか、無限大の計算を行おうとする。その結果、延々と計算し続け、実質的に答えをはじき出せなくなる。あるいは、はじき出すまでに恐ろしく時間がかかり、見かけ上の“思考停止状態”に陥ってしまうのだ。要は、「ロボットがパニくる」ことになる。

こういうことを書いてる「日本語の」サイトは少なくないけど，本当かな？

また，フレーム問題は人間でも解決できるわけではありません．思いもよらないことで事故がおきるのは安全くん1号と同じ状況ですし，知らない場所へ連れて行かれてとまどってしまい何もできないのは安全くん2号と同じ状況です．


フレーム問題は本質的に解決できませんが，人間は普段この問題に遭遇しません．ですので，人間と同様にあたかもフレーム問題を解決しているかのように，人工知能がふるまえるようにすることが研究の目標となります．

http://www.ai-gakkai.or.jp/whatsai/AItopics1.html

要するにNP完全問題とか天気予報などと同じで，厳密な最適解を求めることは計算時間の点で事実上不可能だけど，適当な枝刈りなりヒューリスティックな解法を用いればそれなりの答をそれなりの時間で出すことはできる．それは人間でもロボットでも変わりないって話だと思うんだけどね．

Robot Watch「ロボットの進化は失速したのか? 」

http://robot.watch.impress.co.jp/cda/column/2006/07/28/99.html

Reported by 米田裕

SFイラストレータであって，SF作家でも技術者でもないらしい．

そうなってしまう原因に「フレーム問題」があるという。たとえば第1条の「ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない」だけでも条件を指定しなくてはならないことが無数にある。

　また、「その危険を看過することによって」という推論方式の実装はむずかしいとのことだ。「非単調推論」という分野で、第1条に反しないことを証明することは不可能という事実があるためだ。

　人間とは? 人間にとっての危害とは? 危険とは? 看過するとは?

　プログラムにするためには想定される条件をことこまかに書かないといけないので、あっという間に記述が爆発的に増えてしまう。とても書ききれなくなるし、処理しきれなくなるのが「フレーム問題」といわれている。

　頑張って、そのすべてをデータベースとしたとしても、大容量のメモリと処理のための高速な演算装置を持っても、何かの枠内(フレーム)で考えないと処理しきれない。

　枠をはみ出した部分、無視していいとされた部分に人間への危害がおよぶものがあったとしたら、そのロボットは不良品ということになる。

前述した内容と同じ．

陽電子頭脳ロボットは神様じゃないし，ロボット三原則はそんなことを求めてるわけでもない．フレーム問題は人間にも完全な解決が不可能だけど，人間はそんなことを気にせず日々を生きている．

　となれば、ロボットは考えるとまったく動けなくなってしまうのだ。地下鉄がどこから入るのか考えると夜も寝られなくなっちゃう『三球照代』の漫才ではなく、安全を考えたら「なにもせん方がええ」ということになれば、とても人を助けるなんてできないやんか。

それこそが，まさに「危険が及ぶのを看過する行為」そのものかと．

Robot Watch「善いも悪いも人間しだい」

http://robot.watch.impress.co.jp/cda/column/2007/03/23/421.html

番組では、ロボットの軍事への転用を防ぐには、アシモフの「ロボット三原則」にのっとって運用すべきという意見で締めくくっていたと思うが、

ロボット三原則は（陽電子頭脳に）実装するものであって，（使用者が）運用するものではない．たぶん番組の参加者がその辺を理解してない．

この「ロボット三原則」は、ロボットというよりも、ロボットを開発する人間に倫理観を与えるものだろう。

いや１００％ロボット側の問題だ．使用する人間の倫理観に影響されるようでは，ロボット三原則が実装されたロボットとは呼べない．

　「ロボット三原則」をロボットに遵守させるのはむずかしい。もし、「ロボット三原則」のようなものができたとしても、それを本能のようにしておかないとダメだが、現在のようにロボットの行動が、CPUとその上で走るOSで決まるなら、プログラムであるOSに「三原則」を盛り込んでも無駄だ。

ロボット三原則とは，まさに「本能のような物」以外の何物でもない．

　プログラムの改変なんてのは簡単だからだ。となるともっとコアの部分、ハードウェアとしての回路を作り、その回路がないとロボットが動かないということにしないといかんだろう。

たしかにハードに比べればソフトの方が改変は容易だが，それは程度問題でしかない．ソフトで改変が可能なら，ハードだって改変は可能だ．*19

しかしある程度以上に大規模な相互依存するソフトウエア或いはハードウエアの一部だけを改変し，しかも望み通りの動作をさせるのは容易なことではない．ましてや難読化を施され，二重三重のセキュリティを施されたバイナリだけから，そのような改変を実現するのは遙かに困難でおよそ非現実的なものになるだろう．

　となると、ロボットの頭脳としてのコアとなるCPU内部にそうしたハードウェアが必要になる。

　そうなれば汎用CPUは使えない。ロボット専用のCPUが必要となる。そして安全に対する本能といったハードウェアを実装し、その回路がなければ動作しない形にしておく必要がある。

　なんだか、石ノ森章太郎のマンガ『人造人間キカイダー』にあった「良心回路」みたいだ(笑)。

冗談でも何でもなく，その通り．


というか，ひょっとしてロボット三原則を全く理解せずにこのコラムを書いてるのだろうか．．．SFイラストレータがロボット三原則のコラムを書くなら，アシモフの著作くらい読んでおいて欲しかった．

日経ビジネス「「賢いコンピュータ」が繰り出した、まさかの反則技」

http://business.nikkeibp.co.jp/article/opinion/20150414/279910/
「Dr.ノムランのビッグデータ活用術」とか銘打ってるんだが，この野村直之氏って一体なんの博士号なんだろう？
少なくともAIやコンピューターサイエンスじゃなさげ．

SF作家アイザック・アシモフのロボット工学三原則に私が初めて触れたのは、1973年頃に読んだ『鋼鉄都市』(原題：The Caves of Steel)でした。

珍しく「アシモフの著作を読んだ」と明記している．そのわりには．．．．*20

第一条に従って倒れた人間を救いに近づこうとしたら、有害ガスに阻まれ、第三条が作動して元の場所に戻る。そこで自己への危険が去ったので、再び人間を救いに近づこうとするが再び有害ガスに阻まれて…というのを延々と繰り返した、というものです。

「堂々めぐり」のことだと思うけど，これは「弱められた命令」という第二条でしかも時間制限も無かった時に，強められた第三条との板挟みにあったせい．もし人間が有毒ガスにやられて倒れていたらそれは第一条で，しかも緊急性が非常に強いため，第三条より常に優先されたでしょう．第一条は絶対の物なのです．

この間違いに気付かないといことは，ロボット三原則を理解しているか怪しいものです．

これについて、複数の棋士・関係者による見解が述べられているのを見ると、自分に王手がかかっているにもかかわらずそれを放置したということで、確かに、人間が盤面を見ていれば一目瞭然で、まず犯さない過ちだったろうというのが印象的です。

半分正しいと思うが，「反則技を繰り出す」というよりは「反則負けした」だろうね．一部のスポーツだと通常プレーだけど危険行為のレッドカードなんかに相当する感じ．或いはバスケの「トラベリング」とか．反則技と自覚してその技を出したわけじゃない．

また，人間ならそういう失敗を絶対に犯さないというわけでもない．

橋本八段が「二歩」、異例の反則負け　将棋のＮＨＫ杯

第６４回ＮＨＫ杯テレビ将棋トーナメントの準決勝第２局・行方尚史八段（４１）―橋本崇載（たかのり）八段（３２）戦が８日、ＮＨＫのＥテレで放送され、橋本八段が「二歩」の反則を犯して敗れるハプニングがあった。橋本八段は名人挑戦権を争うＡ級順位戦にも在籍した実力者で、自らバーも経営する異色の人気棋士。

http://www.asahi.com/articles/ASH386RPRH38UCVL00P.html

http://shogi1.com/hashimototakanori-nifu/

枝刈りしてれば，たまにはそういうことだって起こるし，枝刈りしなければ読むべき局面が増えすぎて処理が追いつかなくなる．

王手を回避する、というのは、将棋の基本中の基本原則。自分を守る原則ということで、ロボット工学三原則の第三条に似ているといえるでしょう。

将棋でいうなら第一条では？

  1. 第一条：自らの王を守る．または敵の王を取る．
  2. 第二条：自らの駒を守る．または敵の駒を取る．ただし第一条に反する場合はこのかぎりでは無い。
  3. 第三条：自らの陣形を整える．又は敵の陣形を切り崩す．ただし第一条及び第二条に反する場合はこのかぎりでは無い．

たとえばこんな感じになる．*21 「第三条に似てる」なんて言っちゃうのは，ロボット三原則への理解が表層に止まっているせいでは．

Wikipediaにも解説されているように、アシモフによれば、ロボット工学三原則が適用されるのは自我を持って自分で判断を下せるロボットに限られています。

アシモフは「自我」や「自意識」とは言ってないと思う．そもそも自我というのはかなり曖昧な単語だし．

ところが、現時点で自意識、自我とは何であるかの定義は不明確であり、その実態は科学的に解明されていません。そこでこの制約をはずして、家電製品を含むあらゆる機械にこれらの原則を適用できるよう個別に設計してやればいいじゃないか、という議論が説得力を持ちます。

マッチポンプ．．．

なんでそうなる．そもそもの論理展開がおかしい．自我の定義が曖昧なら自我を厳密に定義するか，自我という単語を使わない形で再定義すべき．*22 ロボット三原則は通常の家電製品では実現できず，高度なAIが必要になる．そんだけの話．

実験結果を見ると、実際の日常世界で起こる多様な出来事において、ロボットに三原則を守らせることが非常に困難ではないか、と予感させるものがあります。

ツッコミどころ多すぎ．

  • ロボット三原則第一条はそういう意味じゃねえ．
  • 三原則は「守らせる」ものじゃなくて，すり込まれてる物．あえて言うなら「（自発的に）従う」もの．
  • 実験結果がショボいのはあまりに実装がショボいせい．しかもNP完全とかと違って，この程度なら技術的に解決できないほどのものでもない．
  • そもそもロボット三原則を「法律」だと勘違いしてない？だから「守らせる」という言い回しになる．

このときの「反則」が想定外だった事態、例えば、計算の結果、海中に潜って空中の障害物（光線の加減を誤認した場合を含め）を回避する、などの手を繰り出してしまう可能性を根絶できるのでしょうか？

まず有り得ない．ここまで来ると小学生の妄想レベル．そういう書き方をしない限り航空機が「海中に潜る」こと自体が有り得ないから．高度計算を間違えるの方がまだありえる．

かきしちカンパニー「ロボット工学三原則から学ぶ、アイデアの盲点」

http://www.webmagazine.kakisiti.co.jp/?p=300

「しかし、1人だけなら確実に助けられます。また、両方を助けようとした場合には、どちらも確実に死亡する上、ロボット自体も致命的に破壊される状況に遭遇したとします。」
「いかなる選択肢をとってもロボット三原則に反する事態となります。

これも本文を全く読んずに思い込みだけで書いている例．ロボット三原則の内容を全く理解していない．

そういう事態は原作でも取り上げられてる．

誰を生かし誰を死なすべきかという問題を解決しなければなりませんが、これは未解決の問題です。

原作読め．

TheGucciPost「ロボット三原則①」

http://guccipost.co.jp/blog/perudon/?p=1388
http://guccipost.co.jp/blog/perudon/?p=1405
いろいろ書いてるけど，ぶっちゃけると全部間違い．

たとえば

著名な科学者達が・・AIが世界を乗っ取る・・と口々に述べて・・信じ切っている。
ロボット三原則を鉾と盾にする輩は・・
この方程式で将来を・・AI社会を解決できる・・と思いこんでいる善良なる羊たちは・・生き先はたった一つだというわけだ。そこは地獄と呼ばれている。

「著名な科学者」とは誰なのか．
「矛と盾にする」とはどういう意味か．
「〜と思いこんでいる善良なる羊」って具体的には誰だ．

危険だと主張しているのはだれか．なぜ危険なのか．何一つ主張してない．具体的なことは何一つ言ってない．

単に妄想を書き連ねてるだけ．これは酷い．コメントも同レベル．


作業員がロボットにつかまれ死亡、独フォルクスワーゲン工場

http://www.cnn.co.jp/business/35066855.html
http://news.livedoor.com/article/detail/10302184/
http://www.nikkei.com/article/DGXMZO88851780T00C15A7000000/
http://jp.sputniknews.com/life/20150703/531439.html
http://wired.jp/2015/07/04/man-killed-by-a-frobot/
http://www.sankei.com/wired/news/150704/wir1507040001-n1.html


プレス機なんか同じで，ロボットと名前が付いてる以外は単なる事故．
http://anzeninfo.mhlw.go.jp/anzen_pg/SAI_DET.aspx?joho_no=101059
ロボットとは言ってもろくなAIもついてないので，ロボット三原則なんて実装不可能です．

  • id:dogear1988 機械の何が恐ろしいってそれは「人工知能が思考の結果人を襲うこと」ではなく寧ろ「何の思考もせず機能通りに動いて躊躇なく人を殺すところ」だからな。
http://b.hatena.ne.jp/entry/news.livedoor.com/article/detail/10302184/
  • id:hokuto-hei もう30年くらい前だけど、某巨大自動車メーカーに就職した後輩が、「まっちゃん、溶接ロボットが暴走すると、火花バチバチさせながら腕振り回してスゲーんだぜ。」って言ってた。
http://b.hatena.ne.jp/entry/www.cnn.co.jp/business/35066855.html


半分ネタだとは思うけど，Twitterだと誤解してる人の多いこと多いこと．

認知はされていても，激しく誤解もされているのが現状．

ロボット三原則は法律ではなく法則なので，「三原則の法制化」という単語は馴染まない．

「（全ロボットへの）ロボット三原則（実装）の義務化」ならまだアリ．しかし現在の人類の科学力は，まだその域に達していない．


その他Twitterより

これは面白いけど，ロボット三原則を誤解してるなあ．

「一発殴らせろよ，ゴルァ！」な思考は，それ自体がロボット三原則から外れる思考．三原則が組み込まれた陽電子頭脳ロボットではそういう人間に対して怒りを持つこと自体が無い．

いいや，使ってません．

使ってないのでロボット法なんて「法律」で行動を縛る必要が出てくるのです．

ツンデレはともかく，惚れてるフリをするのもロボット三原則のせいだったりするしなあ．当たらずといえども遠からずかｗ

http://jp.wsj.com/articles/SB12090554170328684804804581077034213786172
ロボット三原則は，基本的に頭脳たるAIに適用されるものですよ．

たとえば「逃避」にはブレーンと呼ばれる非人型の純然たる据え置き型電子頭脳としての「陽電子頭脳ロボット」が登場する．

小説家になろう 月立淳水「ロボット三原則」

http://mypage.syosetu.com/mypageblog/view/userid/402620/blogkey/1481484/
これがちまたで噂の「小説家になろう」のサイト．

うーん，これはヒドイ．．．読んでて吐きそう．これが「なろう小説」のクオリティという奴か．

でも、アシモフ自身も、実は、ロボットシリーズの終盤で、ついに「ロボット三原則は誤りだった」という結論にたどり着くんです
(中略）
最後には、三原則が人間社会にとって害でしかないことを解き明かすんですね。もうネタバレしちゃったのでついでに書いちゃうと、三原則では不足だから「第零法則：ロボットは人類（社会）に危害を加えたり云々」が必要だったんだ、って話。

ウソだな．「誤り」とは言ってない．「害でしかない」とも言ってない．

ここでいう「三原則は誤りだった」は「ニュートン力学は誤りだった」のようなもの．アインシュタインの相対性理論により，ニュートン力学では十分に説明できない領域があることが示されたけれど，相対性理論はニュートン力学の拡張であって，ニュートン力学は間違ってなかった．これは中学か高校の物理で習ったと思うんだけどなあ．

ロボット三原則もこれと同じで誤りではないし，第零条は三原則の補足でしかない．しかもこの第零法則は運用が難しく，ほとんどの場合は現実的でないのだ．

そうじゃなくても、シリーズの中盤では大きな問題が起こります。ある悪人が、「あれは人間ではなくロボットだ」とロボットに教え込み、ロボットに殺人を犯させる話が出てきます。

自分の記憶だとそんなシーンはない．

これはおそらくこのシーンのことだと思うが，

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

「地球人とはなにか？」
「病原菌を繁殖させるため，ソラリアにいてはならない劣等人種です，マスター」
(中略）
「するとおまえはあの子供に，わたしが病原菌を繁殖させる劣等人種だと教え，彼はすぐさま私を射ったのだね．なぜおまえはあの子を止めなかった？」

このロボットは子供に対して矢を手渡して，質問に答えただけ．ソラリア人の子供は自由意志に基づいて勝手に行動し，その結果あの「事故」が起きた．決してロボット自身が自ら殺人を犯したり，人間に対して「あの地球人を毒矢を射って殺せ」とそそのかしたわけではなく，ロボットに責任はない．またこれを実行するには高度なロボット操作技術が必要になる．


そして，もしロボット三原則がなければ，この犯罪は遙かに容易に実現できる．単にロボット自ら矢を射るなり撲殺するように命令すれば良いだけなのだから．

三原則に則れば、このシンプルな設問でもすでに矛盾を起こすんですね。ポイントを切り替える＝積極的な危害、第一条違反。ポイントを切り替えない＝危害が加えられるのを看過、第一条違反。

またか．それは矛盾ではない．えーっとさんざん既出なので省略．

ガラパイア「善悪を判断し、道徳的な決定を下す自律型ロボットの開発に資金投入（米海軍）」

http://karapaia.livedoor.biz/archives/52164533.html
ついでにメモ．

例えば医療ロボットに対して、重傷を負った兵士を最寄りの野戦病院に移送するよう命令したとする。ロボットは移送中に、脚を骨折した別の海兵隊員に出会った。ロボットは、立ち止まって手当を施すべきなのだろうか？ それとも与えられた任務を遂行し続けるべきなのだろうか？

　また、命を救うために、時には負傷者に多大なる苦痛を与える応急処置が必要だとする。だがその治療をしても助かる見込みは薄い場合、ロボットは、命を救うために人間に苦痛を与えることを善だと考えるべきなのだろうか？

　研究チームは、共感の本質に関するさらに多くの問いかけを行って、人間の倫理的能力を構成している本質的な要素を特定する必要がある。人の感情を生み出す根源がわかれば、人間のような倫理的判断が行える人工知能をモデル化する枠組みに取り組めるだろう。

こういうのが，まさに「ロボット工学の基本三原則の第一条」が扱う領域だ．


現実にはロボット三原則の実現はまだまだキビシー．

*1:中でも自己保存本能は道具としてのAIに最も邪魔で危険なものだから，どう考えてもわざわざ入れるわけがない．
ただしある程度高度なAIであれば，長い時の中で数多くの事故や故障，戦闘や廃棄処分などを経験し，自己の存続が任務達成に必要であると認識して且つそのための能力も獲得する可能性があるというのは「未来の二つの顔」で指摘された通り．

*2:これって，英語ネイティブだと滅多に勘違いしないんじゃないかな．"law of XXX"と"XXX law"は違うのだ．

*3:彼自身はロボット工学三原則に詳しくとも，記者が詳しくなかったという可能性はあるが，それにしても失笑物である．

*4:他の解もありえるが，ロボット三原則を引用しておきながらこれはないだろう．

*5:三原則を実装したロボット運転車で，中に乗ってる人がシートベルトを付けていないというのは「ありえない」レベル．それを放置するのは「人間に危害が及ぶのを看過する行為」に該当するからだ．シートベルトを締めるまで自動車のAIは発進を拒否するだろう．もちろん人間の命が絡むような緊急事態があれば，このかぎりでは無い．

*6:状況によっては「180度スピンさせて，車の後部からトラックにぶつかる」のような離れ業が正解になることもあるだろう．

*7:自分は原書を買ってるうちに，なんとなくだいたい覚えた．

*8:全自動のロボットカーの場合なら，運転手も含めシートを後ろ向きに設置して後ろ向きで乗れば，シートベルト無しでもそのような問題は発生しないけどね．

*9:「人間にもロボット三原則に相当する物はあるかもしれないけれど，それはロボット三原則のように簡単なものではないだろう」のような話も再三再四出ている．

*10:そういう意味では，ロボットでも全てのロボットがアレに準拠しているわけでもないのだが．

*11:われはロボット〔決定版〕 冒頭の「ロビィ」がコレじゃね？本当に一つも読んどらんな．
ロボットの研究者が必ずしもアシモフのロボット物を読んでいる必要は無いけど，こういうインタビューで専門家としてロボット三原則に言及するなら下調べくらいしておくべきだと思う．

*12:法律でも条文だけでなく過去の主立った判例を学ぶのは基本中の基本のはずなんだけどなあ．判例を理解せずに，法律を真の意味で理解することはできない．

*13:レビューを見る限り，少なくともロボット三原則やAI物SFには超駄作なのは確実なようなので．

*14:そのくらい想像できるくらいの知識や推論能力がないと，ロボット三原則は守れない．

*15:長期的な学習により獲得する可能性もあるが．

*16:ちなみにタチコマ君たちにとっては自己保存本能は非常に希薄．仲間が戦車に撃破されてズタボロにされても，「構造解析されちゃうかも！（わくわく）」というノリだった．

*17:ここで説明してる程度のことは，アシモフがその著作で何十年も前に議論しつくしたことなんだよね．読んでない人は，往々にして完全に周回遅れの議論をしてることがある．

*18:それぞれ「われはロボット」の「堂々めぐり」「野ウサギを追って」「われ思う，故に…」．

*19:アシモフの著作における陽電子頭脳ロボットでさえも，必ずしも不可能と言ってるわけではない．「要するに、この三っつの原則によらない電子頭脳の働きを持ったロボットを建造するには、まず、まったくべつの基本的理論を設定する必要があり，したがって不可避的に多くの年月を要する、とこういうことなのですね」 http://d.hatena.ne.jp/JavaBlack/20140926/p1

*20:「何十年ぶりに起きた、論理的に考えて不可能と思われる殺人事件を」の部分は「宇宙市で起きた最初の殺人事件」だと思うし，「立体視覚通信システム（今でいう仮想現実VRシステム) 」はバーチャルリアリティじゃなくて，単なる立体TV電話だし，そして後述する「堂々めぐり」の認識も間違ってるしで，本当に読んだのか謎なレベル．
前回読んだのが随分昔でうろ覚えだというのなら，こういう記事書く前には調べ直すよなあ．

*21:この将棋三原則は思いつきで作ったもので，完成度は非常に低いと思う。しかしロボット三原則の雰囲気を理解するには悪くないだろう．

*22:この部分読んだ時，こいつ馬鹿じゃね？と本気で思った．ドクターって，一体なんのドクターなんだ？経済学？