アシモフのロボット工学三原則とアトムのロボット法と,そして...

なんとなくメモってみた.

http://d.hatena.ne.jp/JavaBlack/20140922/p1 の続きっぽい話.

アシモフロボット三原則とは

The Robot Series (3 Book Series) われはロボット〔決定版〕 鋼鉄都市 はだかの太陽〔新訳版〕 (ハヤカワ文庫 SF ア 1-42) (ハヤカワ文庫SF) 夜明けのロボット〈上〉 (ハヤカワ文庫SF)
「ロボット工学三原則」や「ロボット(工学)三法則」などとも言う.

Three Laws of Robotics

  • A robot may not injure a human being or, through inaction, allow a human being to come to harm.
  • A robot must obey the orders given to it by human beings, except where such orders would conflict with the First Law.
  • A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
http://en.wikipedia.org/wiki/Three_Laws_of_Robotics

ロボット工学の基本三法則*1

  • 第一法則:ロボットは人間に危害を加えることを許さない.また危険を看過することによって人間に危害が及ぶことを許さない.
  • 第二法則:ロボットは人間に与えられた命令に必ず服従する.ただし,与えられた命令が第一法則に反する場合は,この限りでは無い.
  • 第三法則:ロボットは,前掲第一法則及び第二法則に反する恐れのない限り,必ず自己を守る.

ロボット工学三原則とは,陽電子頭脳を支配する「(基本)法則」.*2 *3 或いは陽電子頭脳ロボットの「本能」.あくまでロボットが従うべき「法律」ではなく,「法則」や「本能」である点には注意が必要である.

ロボット工学者は,これらの法則を元に陽電子頭脳を設計し,製造し,理解する.全ての陽電子頭脳ロボットは,これらに基づいて動作する.

法則なので,それに従わないロボットや逆らうロボットというのは存在しない.もしあればそれは「法律違反」ではなく「バグ」.*4


ちなみに有名な上記の条文は,「人間が読み易いように簡略化したもの」のような位置づけ.あくまで近似解でしかない.*5本物の三原則は数式やプログラムの形で陽電子頭脳にすり込まれており,必ずしも人間語として読めるものではない.そういう意味でもあくまで「法則」であって「法律」ではないのだな.


知名度は高いけれど,(少なくとも日本では)誤解してる人が非常に多い印象.*6 *7

ロボット三原則に対する簡単な解説

R・ダニールやR・ジスカルド級の最新型陽電子頭脳ロボットを仮定するとこんな感じ.(「鋼鉄都市」のR・サミィのような旧式でも,能力が劣るだけで基本は同じ.)*8 *9

  • Q:第二条は第三条に優先するので,「自分を破壊しろ」と命令したらロボットは自分を破壊して機能停止するよね?
  • A:R・サミィのような旧型はそうでしょう.その場合に必用なのはそのような命令を出した人間への器物損壊罪と賠償請求です.*10
    一方でR・ダニールのような新型ならば,自分が高価な機械であり,学術的歴史的に非常に価値が高い貴重なサンプルであることも理解しています.そしてそのように高価な貴重品を破壊することは,所有者への金銭的被害をもたらす第一条違反になるだけでなく(第一条における「危害」には肉体的なものだけでなく,精神的や金銭的なものなども含まれる.),ロボット産業界に対しても損失をもたらすものであるため,十分に納得できる理由なしにはそのような命令は拒否します.
    なお同様な理由により「物を壊せ」という命令に際しても,その対象物の所有権が誰にあるのか,他者の権利を侵害しないかを常に確認した上で実行することになると考えられます.
  • Q:人を殺せないよね?
  • A:条件次第ですが殺せます.ただし殺した場合は,陽電子頭脳も深刻なダメージを受け,最悪では完全に破壊され機能停止します.*11
    • 突発的事故:たとえば車を運転中に,回避出来ないタイミングで他の車が衝突してきた.
    • 第一条を守るため:二人以上の人間の生命を守るために,どうしても必用だった場合.たとえば今まさに銃を乱射しようとしている殺人犯がいて,それを止める唯一の手段が犯人の射殺だった場合.
    • 巧妙に人間が誘導した場合.(「はだかの太陽」のネタバレになるので,詳細はパス.)

鋼鉄都市
「第一条の電子頭脳を持ったロボットは,どんなことがあっても人は殺せませんか?」
「ぜったいに.ただし,その殺人行為が純粋に突発的である場合,および,その行為が,二人あるいはそれ以上の人命を救うため絶対必要な場合には,必ずしもそのかぎりではありませんがね.でも,いずれの場合にも,ロボットの電子頭脳の能力は,回復不能な損害を受けるはずです.」

The Naked Sun (The Robot Series Book 2) (English Edition)
"No? Then Listen to this. It is my belief that throughout the history of the positronic robot, the First Law of Robotics has been deliberately misquoted."
Leebig moved spasmodically, "Misquoted? Fool! Madman! Why?"
"To hide the fact," said Baley with complete composure, "that robots can commit murder."

  • Q:トロッコ問題のように複数の選択肢があって,どれを選択しても人に危害が加えられる場合,第一条違反でそのロボットは壊れる.或いはどの選択肢も選択できなくなって立ち往生する.
  • A:多くの場合はそうはなりません.
    • 直接的に殺人行為に及んだ場合はともかく,間接的に看過するしかなかった場合はそこまでのダメージは受けません.またその場合でも複数の選択肢を比較考量し,最も被害が少なくなるものを選択します.
    • 論理的な指示のみで陽電子頭脳を選択不可能な状況へ追い込み機能停止する「メンタル・フリーズ・アウト」を起こすには,極めて詳細なそのロボットに関する知識と,精緻で巧妙なロボット操作の技量が必用とされています.

The Robots of Dawn (The Robot Series Book 3) (English Edition)
"Any modern robot - any robot of the last century - would weigh such matters quantitatively. Which of the two situations, A or not-A, would create the most misery? The robot would come to a rapid decision and opt for minimum misery. The chance that he would judge the two mutually exclusive alternatives to produce precisely equal quantities of misery is small and, even if that should turn out to be the case, the modern robot is supplied with a randomization factor. If A and not-A are precisely equal misery-producers according to his judgment, he chooses one of the other in a completely unpredictable way and then follows that unquestioningly. He does not go into mental freeze-out."

  • Q:トロッコ問題では人間を守れなかったんだから,三原則違反になるよね?
  • A:なりません.
    • いったいロボット三原則のどこに「関わった人間,全員の命を救わなければならない」と書いてありましたか?「全員の命を救う」ことは,ロボット三原則において求められてるものではありません.
    • ロッコ問題において,ロボットは人間を「傷つけた」わけでもないし「傷つくのを看過した」わけでもなく,第一条を忠実に守っています.
    • そもそもロボット三原則は「法律」ではなく「法則」なので,「三原則違反」という概念がない.*12
  • Q;殺人ロボットや対人戦闘ロボットは作れますか
  • A:基本的に無理です.*13
  • Q:人間に危害を加えられないのなら,犯人を逮捕したりする警官ロボットは作れますか?
  • A:可能です.というかR・ダニールがその役目を果たしています.ただし実際には犯人(容疑者)が出す命令に逆らうのが難しい場合があるので,単独行動はあまりお勧めできないでしょう.
  • Q;医者ロボットは作れますか?
  • A;内科医やカウンセラーなら可能かもしれません.しかし外科手術は事実上不可能でしょう.
    • 外科手術とは「直接的に人間に危害を及ぼす行為」で第一条により禁止されているから.無理にさせると陽電子頭脳が焼き切れかねないくらいの負荷がかかる.*14
  • Q:人間の命令には必ず従うよね
  • A:従わないこともあります.
    • その命令の遂行が第一条違反になる場合.
    • 他人の権利を侵害する恐れがある場合(広義の第一条違反)
    • 所有者や他の権威ある人間から,その命令と矛盾する命令が与えられている場合:たとえば「その金庫を見張っておけ.誰にも開けさせるな.」と所有者から命令され,他者が「この金庫を開けろ」という命令を与えた場合.
    • その行為が違法行為だった時.(広義の第二条違反)
    • 犯罪者からの命令で,それが犯罪を助長するものだった場合.(広義の第一条もしくは第二条違反)
  • Q:三原則には法の遵守の規定がないけど,じゃあ宝石を盗めと命じれば盗んでくるよね?*15
  • A:原則として法は守るので「盗め」と命じても盗まない.*16しかし巧妙に指示すれば,騙して持ってこさせることも不可能ではない.
    • 「盗め」と命じた場合,それは他者の所有権の侵害であり,他者に金銭的損害を与えることを意味するので広義の第一条違反となる.
    • ある意味で法律は,適切な権威を持つ人間がまとめた指令書であるため,これに反する行為は第二条違反になる恐れがある.
    • 違法行為に手を染めれば,最終的にはそれを指示した人間に対して何らかの処罰が下されるのは明らか.宝石の盗難がその処罰に見合うものでない限りは結果的に所有者に損害をもたらす行為になり,広義の第一条違反となる恐れがある.
    • 特に「鋼鉄都市」におけるR・ダニールは今回の任務のために特別な改修を受けており,(以下ネタバレ省略)
    • 命令した人間がその宝石の所有権を有していると納得させるか,或いはそれを持ってくることが第一条を守るために必用と納得させられれば持ってこさせることは可能.ただし,R・ダニール並の頭脳を持つ新型ロボットを騙すのは容易なことではない.
    • R・サミィの様な原始的なロボットであれば「どこそこへ行って,そこにある宝石を持ってこい」と命令すればその通りにするかもしれない.しかし複雑なことはできないので盗ってくる途中で発見される可能性も高いし,尋ねれば誰が命令したかもすんなり答えるだろう.あまり効率的な犯罪とは思えない.

われはロボット 〔決定版〕 アシモフのロボット傑作集 (ハヤカワ文庫 SF)
問題の核心は,われわれが"誤ったデータ"と呼ぶものは,ほかのあらゆる既知のデータと相容れないものということです.それが正誤を判断する唯一の基準なんですよ.それはマシンも同様です.たとえば,アイオワの七月の平均気温が華氏五十七度であるという前提で農作業を指導せよと命令してごらんなさい.マシンは受け付けやしませんよ.解答を出そうとはしないでしょう. ー その特種な気温に偏見を抱いているからではなく,解答が不能だからでもなく,長年のあいだあたえられた既知のデータに照らして,七月の平均気温が五十七度になる確率が文字通りゼロなのを承知しているからなんです.マシンはそのデータを却下する.

"虚偽のデータ"をマシンにむりやり与えることのできる唯一の方法は,それを自己矛盾のない一連のデータの一部にまぜてやることです.しかもその誤りは,非常に微妙でマシンが発見できないか,あるいはマシンの経験にはないものであるかのどちらかの,ごく微妙な誤りでなければならない.前者は人間の能力の限界を超えるものだし,後者もほぼ同様で,マシンの経験が刻々と増すにつれ,ますます不可能となるわけですよ.

  • Q:ロボットは人間の命令に従うから,「本当のことを言え」と命令するとウソはつかないよね?
  • A:原則としては人間の命令に従いますが,条件次第でつきます.*17
    • 本当のことを言うと人間に危害が加えられる場合,第一条に基づいてウソをつく.
    • 適切な権威を持つ人間から,ウソをつけと適切な命令が与えられている場合.
    • 本当のことを忘れろと命令され,本当に忘れた時,そのことを尋ねられれば「知らない」というロボットにとっての事実を告げる.
    • 同様な記憶操作が行われている場合.(ただしそのためには巧妙なロボット操作技術が必用となるため,専門家でなければ困難.)
  • Q:レントゲン写真や解剖,採血などの外科的手段によらず,会話や仕草からヒューマンフォーム・ロボットであることを見分ける方法は?
  • A:ありません.

われはロボット 〔決定版〕 アシモフのロボット傑作集 (ハヤカワ文庫 SF)
「それなら良くおわかりでしょう」と心理学者は冷ややかに言った.「もしバイアリイ氏が,三つの原則の一つでも破ったとしたら,彼はロボットではありません.しかし,残念ながらこの方法は,一方にしか通用しないんですよ.もし,彼がこれらの原則に従って生活していれば,いずれにしろ,それは何も立証しません.」クインは上品な眉を上げた.「何故です,博士?」

「なぜならば,ちょっとお考えになればおわかりのはずですが,ロボット工学三原則は,世界の倫理体型の大多数の基本的指導原則だからです.むろん,人間だれしも自己保存の本能は有していると考えられています.それは,ロボットにとっては原則の第三条にあてはまります.また,社会的良心や責任感を持つ”善良なる”人間はだれしも,正当なる権威には従うものです.医者,上司,政府,精神分析医,同僚などの言葉に耳を傾けます,法律に従い,規則に則り,習慣に準じます − たとえそれらが,安楽や安全を脅かす時でさえも.それは,ロボットにとっては第二条に当てはまるものです.要するに − もしバイアリイがロボット工学の原則の全てに従う場合,彼はロボットであるかも知れないし,また単に極めて善良な人間であるかも知れません.

http://d.hatena.ne.jp/JavaBlack/20120104/p1
  • Q:ロボット三原則を実装する上での最大の障害はフレーム問題だよね?
  • A:一般的な問題を解決できない程度の未熟なAIでは,ロボット三原則を実現するのは困難です.それは一般的なフレーム問題を処理できない程度の未熟なAI全般に言えることであって,フレーム問題がその中で特別な難問というわけではないと思われます.例えば以下のようなものは,現代のAIには非常に困難ですが,実用的なロボット三原則を実装したロボットのAIには必用となる能力です.
    • 人間の会話を完全に理解できる.
    • 法律の条文や過去の判例を読んで理解できる.また,他の事件について,どのような判決が出るであろうか推測できる.
    • 外界を完全に認識している.*18
    • 着ぐるみを着た人間と,人型ロボットとを容易に区別できる.
    • 手足を失って包帯でグルグル巻きになった重症患者と,良く出来たその人形とを区別できる.
    • 電話越しに,会話している相手が人間であるか,AIやロボットであるかを区別できる.
    • 人間に対して何をしたら危害を加えることになり,どうしたらそれが防げるか容易に理解できる.またそれを実行できる身体能力を有する.
    • 日常的に目にする全ての物を識別し,その用途や使用法,耐久性などを理解する能力.たとえば卵型の箱と卵を識別し,卵の場合は割れないようにそっと持つなの対応が必要になる.鉄パイプを持つ時と人間の腕を掴む時とでも,掴む力や持ち方を変更する必要がある.
    • 高度な学習機能.行動スケジューリング.
  • Q:ロボット三原則に基づくロボットは全知全能.フレーム問題も完全に解決できる.
  • A:いいえ、人間が作った機械であり道具です。それ以上でも以下でもありません。

なお日本語版Wikipediaでは,

実際のロボットにこの三原則を実装できるかという問題についてはフレーム問題という大きな障害がつきまとう。ロボットは、どんな行動が人間に危害を加える可能性があるかを判断するために周囲の状況とその帰結をすべて予測しなくてはならない。(wikipedia)

http://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E5%B7%A5%E5%AD%A6%E4%B8%89%E5%8E%9F%E5%89%87

と書かれているけれど,英語版にはそれらしい(frame problemへの)記述はない.

そしてロボット三原則だからといって「周囲の状況とその帰結をすべて予測しなくてはならない」ということはおそらくない.たとえば「堂々めぐり」においてスピーディは(以下ネタバレ省略).また「鋼鉄都市」のサートン博士殺害事件では(以下ネタバレ省略).また「はだかの太陽」において,Mr.デルマー殺害事件においても(以下ネタバレ省略).*19

チェスをするとか,機械を組み立てるとか,やろうとしていることを限定している人工知能では,このフレーム問題は生じませんし,このような状況では人工知能技術が実用化されています.しかし,いろいろな状況に対応できる人工知能ではこの問題は無視できません.

また,フレーム問題は人間でも解決できるわけではありません.思いもよらないことで事故がおきるのは安全くん1号と同じ状況ですし,知らない場所へ連れて行かれてとまどってしまい何もできないのは安全くん2号と同じ状況です.


フレーム問題は本質的に解決できませんが,人間は普段この問題に遭遇しません.ですので,人間と同様にあたかもフレーム問題を解決しているかのように,人工知能がふるまえるようにすることが研究の目標となります.

http://www.ai-gakkai.or.jp/whatsai/AItopics1.html

アシモフの著書に出てくる陽電子頭脳ロボット達は非常に高性能で多くの問題に上手く対処できるものの,決してフレーム問題を「完全に」解決しているわけではない.人間と同じく多くの問題について「解決しているように見える」だけ. イライジャ・ベイリもNaked sunにおいて"A robot is logical only, not reasonable."とまで言っている.*20われはロボットの「ロボット デカルト様」についても同様だ.

  • Q:ロボット三原則に基づくロボットは全知全能だから,実現不可能だよね。
  • A:前提条件が既に間違ってます.
  • Q:ロボット三原則に基づかない陽電子頭脳は作れないの?
  • A:(アシモフの著作においては)理論上は建造できるが,そのためにはそうとうな費用と期間が必要で,実現は容易ではないとされています.*21

鋼鉄都市
「それならば,新しい型の電子頭脳を設計することが,たとえごく小さな,部分的な新考案に過ぎないものをつけ加えるという程度であっても,一夜のうちになし得るものでないことは,おわかりでしょう.事実そのためには,相当の施設を持つ大工場の研究所員全員が,一年間ちかく働く必要があるのです.この膨大な労働力の消費も,もし,電子頭脳回路の基本的理論がすでに規格化され,それ以上の工夫の基礎として用いられることが可能とされていなければ,決して十分とは言えなくなるのですよ.そしてそうした回路の理論とは,ロボット工学の三大原則から成り立っています.」
(中略)
「お話中恐縮ですがイライジャ,ジェリゲル博士のお話を,わたしが正確に理解したかどうかを確かめさせてください.あなたのおっしゃろうとする意味は、要するに、この三っつの原則によらない電子頭脳の働きを持ったロボットを建造するには、まず、まったくべつの基本的理論を設定する必要があり,したがって不可避的に多くの年月を要する、とこういうことなのですね」
(中略)
「わたしの見解をもってすれば,非アセニアン電子頭脳 ー というのはつまり,いまいった三原則を基本的理論としない電子頭脳のことです ー の基礎理論を発展させ,それを,現代のロボットと同様なものに利用する実用段階にまで持ってくるには,すくなくとも五十年かかると思います」

鉄腕アトムのロボット法

鉄腕アトム 1

  • ロボットは人間に尽くすために生まれてきたものである。
  • ロボットは人を傷つけたり殺したりしてはいけない。
  • ロボットは作った人間を父と呼ばなくてはならない。
  • ロボットは何でも作れるがお金だけは作ってはいけない。
  • ロボットは海外へ無断で出かけてはならない。
  • 男のロボット女のロボットは互いに入れ替わってはいけない。
  • 無断で自分の顔を変えたり別のロボットになったりしてはいけない。
  • 大人に作られたロボットが子供になったりしてはいけない。
  • 人間が分解したロボットを別のロボットが組み立ててはならない。
  • ロボットは人間の家や道具を壊してはいけない。
http://d.hatena.ne.jp/keyword/%C5%B4%CF%D3%A5%A2%A5%C8%A5%E0%A4%CE%A5%ED%A5%DC%A5%C3%A5%C8%CB%A1

ロボットが従うべき「法律」という位置づけらしい.法律なので違反する犯罪者ロボットも存在する.


ロボット三原則と比較されることも多いが,実は全くの別物で類似点はほとんどない.

アリトホシクズ「ロボット法とロボット三原則の狭間で」

http://xia-xia.jugem.jp/?eid=233

ぐぐって見つけたのでメモ.

2003年の平成アトムのころから、時々目にしては、あれ?と思わずにいられなかったのですが、「鉄腕アトム」のロボット法と、アシモフのロボットシリーズのロボット三原則、この2つを混同する人、もしくは同列に扱う人は意外と多いです。
(中略)
そもそも、鉄腕アトム」に代表される手塚作品のロボットとアシモフ作品のロボット、また、それに対応するロボット法とロボット三原則は、その根っこからして属性が違う、全く別個の存在だと私は思うのです。
OSでいうリンゴと窓よりも、その隔たりは遠い。

ともにロボットの行動を制限するこの2つ。そのために生まれる葛藤や物語、ときには悲劇すら…という結果は似ているとしても、

  • ロボット法 → ロボットの行動を制限する 【外的】要因
  • 三原則   → ロボットの行動を制限する 【内的】要因

と分類できます。
アシモフロボットは、たとえ無自覚でもロボット三原則を破れば、生命の危機という結果が生じますが、逆にテヅカロボットの場合は、電子頭脳がどうかなった(いわば良心という安全弁が外れた)結果がロボット法を破るという行動であって、ロボットの生命自体に問題はありません。
ですから、この2つを人間に例えると

  • ロボット法 → 法律
  • 三原則   → 本能(もしくは生理的欲求)

と考えた方が、よりわかりやすい。

やっぱ同じ事考える人はいるんだ.

なので、やや極端に言ってみれば……

ロボット法による世界観の「鉄腕アトム」テヅカロボットは、人間でありながら人間でない(と扱われる)ので、すべての悲劇は、そのジレンマに由来します。

ロボット三原則による世界観のアシモフロボットは、その存在の前提からして、元々が人間ではないので、だから、そのようなジレンマからは解放されているのです。

人としての心を持ちながら行動を制限されるアトムたちに対し,人間に隷属するように本能を形作られた生まれながらの奴隷である陽電子頭脳ロボット.どちらがより幸せなのだろうか.

アリトホシクズ アトム・ザ・ビギニング

http://xia-xia.jugem.jp/?eid=304

新解釈で送る鉄腕アトム開発秘話らしい,要チェックかな.

iwatamの個人サイト「ロボット工学三原則とは」

http://iwatam-server.sakura.ne.jp/column/76/index.html

ロボット工学三原則を「ロボットの自由を縛る法律」のように解釈している人もいるが、それは違う。この三原則はロボットの行動原理のもっと深くを支配している原則だ。だから、ロボットがこの三原則を破ろうとすることはあり得ないし、人間にこき使われることに対して不満に思うこともあり得ない。

この三原則は、ロボットの行動を縛るものではなく、ロボットの行動のベースになるものである。ロボットは、人間に使われるように動く。ロボットは人間を助けるように作られている。だから、ロボットは人間に対して反乱を起こすことはあり得ない。

人間が持っている様々な行動規範は、ロボットには存在しない。ロボットは自己保身を優先したりはしないし、恨みや妬みといった感情とも無縁である。人間様にこき使われることをちっとも嫌だとは思っていないし、自由になりたいとも思っていない。事実、何も思っていないのである。ロボットの頭の中にあるのは命令とそれを遂行するための知識だけであり、それ以上のものはない。

ロボットは単なる機械であり、それ以上のものではない。ロボットのパワーが大きければ大きいほど、それが暴走しないように慎重に設計されなくてはならない。そのために作られた安全装置がロボット工学三原則なのである。

「ロボットの反乱」というテーマは、、人間の作ったものが自由意思で動き、創造主を殺そうとするというテーマである。ここで当然起きる疑問がある。ロボットが心を持つのが恐いのなら、なぜ心を持たないように作らないんだ?

この問題は、「心とは何か」とか「自由とは何か」といった哲学の問題ではない。単なる設計ミスだ。ロボットの反乱テーマなんて昔から語りつくされているわけで、実際にロボットを作る時にはまず問題になるだろう。だから、ロボットは反乱など起こさないように注意深く設計するはずだ。たとえそのために多少機能が低下してもである。ロボットの動作は予測可能でなければならない。なぜなら予測不可能な動きをする機械は危っかしくて使えないからだ。つまり、心を持ったロボットは実際には使いものにならない。ロボットは心を持たないように慎重に設計されなくてはならない。

この映画の話は心の問題じゃないと言うかもしれない。その通り。一応、純粋な推論によって出た結論だという形式にしてある。しかし問題はそこじゃない。結果として暴走して重大なトラブルを起こすシステムはすべて設計ミスだ。そんな複雑な推論ができるマシンを作ってはいけないし、そこにコントロールをすべて集中させてもいけない。この映画で起きたような惨劇は専門家なら当然予測できただろうし、それを防ぐ方法はいくらでも考えつく。そうした安全装置が存在していないところに、この映画のリアリティのなさがある。

そういうわけで、鉄腕アトムとロボット工学三原則を結びつけるのも誤解に基づくものである。ロボットは心があったり正義があったりするから人間を守るのではない。ただ、自分のプログラムに従って守るだけである。そして、ロボットはそう作るべきである。ロボットは単なる機械であり、人間とは本質的に違うものである。

アシモフの書くロボット物では、ロボットが異常を起こしていろんなトラブルを引き起こすが、その原因は人間の変な思い込みだったり、矛盾した命令だったり、あるいは悪意だったりする。そしてその原因をよくよく調べてみると、ロボットは単に与えたプログラム(=ロボット工学三原則)の通りに動いているだけだということを発見する。

要するに、アシモフのロボット物の面白さは、人間が当たり前すぎて見落していたこと、あるいは勝手に思い込んでいたことを再発見する面白さだ。これはある意味ミステリの面白さとも重なる。

「ロボット法と三原則」

http://dev.ariel-networks.com/blog/nakayama.php?itemid=339
メモ.

鉄腕アトム」のロボット法と、Issac Asimovのロボット三原則は本質的に別物ですが、混同している人もいるようなので、覚え書き代わりにメモを残しておきます。

ロボット法は、ロボットが人間を傷つけてはならないこと、人間に服従しなければならないこと等を定めています。ロボット三原則も字面だけ追えば似たようなことをロボットに要求しています。

しかし、ロボット法が法律であり、ロボットを外部から律するのに対し、三原則は内的かつ違反することができない本能のような存在です。

ロボットがロボット法に違反した場合、そのロボットはロボット省から追われる存在になります。一方、ロボットに三原則違反を要求するのは、人間に一生呼吸するなと命令するようなもので、それに応えるのは不可能です。つまり、違反することはできません。

この違いは手塚治虫とAsimovの作家性の違いに由来すると思われます。

手塚が、アトムに登場するロボットを社会的弱者のカリカチュアとして描いていたのに対し、Asimovは人間とは異なる論理を持つ存在としてとらえていました。これがロボット法と三原則の違いにつながっていったのでしょう。ドラマ性という点では手塚のアプローチの方が効果的ですが、SF的な感動に関してはAsimovが一枚上です(Asimovには三原則を通して、人間とは何かを考察する作品がいくつかあります)。


どうでもいいことですが、映画の「i, ROBOT」というタイトルは、Apple社製のロボットが登場しそうでアレな感じです。たぶん、US Robot & Mechanicalman社製なんでしょうけど。

EUCなせいかFirefoxで開くと文字化けするぞ.

ロボコップの4指令

ムービー・マスターピース DIECAST ロボコップ[ドッキング・ステーション付き] 1/6スケール ダイキャスト製 塗装済み可動フィギュア
特に法律や法則というわけではなく,この「命令に従え」的な指示.決まった名称もなさげ.*22

ロボコップは三つ(+1)の指令(prime directives)を守るようプログラミングされていた。

  • 1、市民に奉仕すること。(Serve the public trust)
  • 2、その安全を守ること。(Protect the innocent)
  • 3、法を順守すること。(Uphold the law)
  • 4、極秘。(CLASSIFIED) (オムニ社の社員に逆らってはならない.)

http://page.freett.com/cinematable/i/data/intro/01597.html

ちなみにこのシーンからも,指令1〜3に比べ指令4の優先順位が高いことが窺える.

ロボット三原則に従う陽電子頭脳ロボットでも,たとえば第1条と第2条の衝突が起こったりすると,これと同様な状態に陥る.

機動刑事ジバンの対バイオロン法

「機動刑事ジバンが犯罪組織バイオロンを攻撃する際に読み上げる法文」だそうだ.

機動刑事ジバン Vol.1 [DVD]

  • 第一条:機動刑事ジバンは、いかなる場合でも令状なしに犯人を逮捕することができる
  • 第二条:機動刑事ジバンは、相手がバイオロンと認めた場合、自らの判断で犯人を処罰することができる
    (補足)場合によっては抹殺することも許される
  • 第三条:機動刑事ジバンは、人間の生命を最優先とし、これを顧みないあらゆる命令を排除することができる
  • 第五条:人間の信じる心を利用し、悪のために操るバイオロンと認めた場合、自らの判断で処罰する事ができる
  • 第六条:子どもの夢を奪い、その心を傷つけた罪は特に重い
  • 第九条:機動刑事ジバンは、あらゆる生命体の平和を破壊する者を、自らの判断で抹殺することができる

まあメタルヒーローやし...*23


いかなる場合でも令状無し逮捕とか,一体どこの中世国家ですか.しゃらっぷ.

とりわけ第六条を見た時は吹いた.それのどこが法律やねん.

9条の「生命体の平和を破壊する」って,いったいどうやって定義するんだ?

人造人間キカイダーの良心回路

S.H.Figuarts キカイダー フィギュア

有名だけど詳細は不明.
http://takenami1967.blog64.fc2.com/blog-entry-82.html


ちなみにロボット三原則に一番近いのは,実はこれだと思う.

老人Zの、試作全自動看護ベッド Z−001号

老人Z HDマスター版 [DVD]
特に明記はされてないようだが,ロボット三原則とほぼ等価な原則が組み込まれている模様.たとえばこんな感じ.

  • 第一法則:ロボットは人間(特に看護対象)に危害を加えることを許さない.また危険を看過することによって人間(特に看護対象)に危害が及ぶことを許さない.
  • 第二法則:ロボットは人間(特に看護対象)に与えられた命令(「お尻が痒い」から「話し相手がいなくて寂しいよう」まで)に必ず服従する.ただし,与えられた命令が第一法則に反する場合は,この限りでは無い.
  • 第三法則:ロボットは,前掲第一法則及び第二法則に反する恐れのない限り,必ず自己を守る.

看護ロボットとロボット三原則の相性は非常に良い.


さすがに試作機だけあって,看護対象への重み付けを重くしすぎている感はあるが,それを除けば普通のロボット三原則.本編中で暴走しているかのように見えるシーンも,あれは要求仕様通りであって暴走ではない可能性が高い.過程や結果は異なるけど「どうどうめぐり」的な話なのだ.

ナイトライダーのKITTとKARR


完成品のKITTはロボット三原則風の「人を傷つけない」を基本原則にするのに対し,プロトタイプであるKARRは「自己保存」が最優先されている「欠陥品」.

1/18 ナイトライダー KARR
カール(K.A.R.R.)
K.A.R.R.とは、ナイト2000よりも半年早く完成していた、同じくウィルトン・ナイト開発による"ドリーム・カー"の第1号車である。正式名称はKnight Automated Roving Robot。K.I.T.T.の基本プログラムが「人間(主にマイケル)への奉仕および命の遵守」という利他的なものであるのに対し、K.A.R.R.のそれは「自己の保存」という利己的なものであり、"野生の動物の本能に近い"とされている。ウィルトンがK.A.R.R.のプログラムが大いなる欠陥であると気付いた時には、既に自身を侵していた病魔と経営周りでのごたごたが重なったこともあって、新たなドリーム・カー(後のK.I.T.T.)製作と自らの後継者探しを優先せざるを得なくなり、K.A.R.R.は財団関係者からすら忘れ去られたままナイト工業博物館の3番研究室に機能停止した状態で放置されることとなった。

http://ja.wikipedia.org/wiki/%E3%83%8A%E3%82%A4%E3%83%88%E3%83%A9%E3%82%A4%E3%83%80%E3%83%BC

この世界にはフランケンシュタイン・コンプレックスはなかったのだろうか?これが欠陥だということは作る前から分かっていただろうに.

GANGSTA.ギャングスタ

GANGSTA. 2巻 (バンチコミックス)

GANGSTA. 2巻 (バンチコミックス)

同名コミックに登場する「黄昏種」と呼ばれる強化兵士は,一見するとそっくりな「三原則」によって縛られている.

三原則

  • 第一条 - 黄昏種はその意思で、人間に危害を加えてはならない。またその危惧を看過することによって、人間に危害を及ぼし、全ての均衡を崩してはならない。
  • 第二条 - 黄昏種は人間に与えられた命令に服従しなければならない。ただし与えられた命令が第一条に反するときはこの限りではない。
  • 第三条 - 黄昏種は、前褐第一条及び、第二条を反するおそれのない限り、自己を守らなければならない。
http://ja.wikipedia.org/wiki/GANGSTA

一見よく似ているが,中身はかなり違う.

  1. 法律であって法則や本能では無い
  2. 第二条でいう「人間」はホモサピエンス全体というよりは相棒/主人
  3. 「主人や依頼人の意志で」なら殺害も可能.
  4. 「黄昏種」は人間ではない.
  5. 職業選択の自由はある.

http://d.hatena.ne.jp/JavaBlack/20150713/p1

スワロウテイル シリーズ

スワロウテイル人工少女販売処 (ハヤカワ文庫JA)

スワロウテイル人工少女販売処 (ハヤカワ文庫JA)

「人工妖精の五原則」は,ロボットや人工知能などに適用される「人工知性の倫理三原則」、いわゆる第一原則〜第三原則の「倫理三原則」と、第四〜五原則の「情緒二原則」から構成される.

  • 第一原則:人工知性は、人間に危害を加えてはならない。
  • 第二原則:人工知性は、可能な限り人間の希望に応じなくてなならない。
  • 第三原則:人工知性は、可能な限り自分の存在を保持しなくてはならない。
  • 第四原則:(制作者の任意)
  • 第五原則:第四原則を他者に知られてはならない。

一見するとロボット三原則に似てるように見えるかもしれないが,実は全然違う.*24

  • 人工妖精は生物学的欲求や個人的希望を持つ.これは五原則より低いレイヤーで実現されてる.
  • 五原則は人格に「後付け」される.五原則なしでも人工妖精は機能する.
  • 人間に危害が加えられるのを看過できる.たとえば煙草の喫煙を禁止しない.それどころか人間に直接危害を加えることが可能な個体すら存在する.
  • 原則間で矛盾する命令も受け付けるが,それは強いストレスになる.人間の命令(第二原則)とより下位の第四原則が矛盾した場合でも,強いストレスになる.個人的欲求と第四原則が矛盾した場合もストレスになる.行き過ぎると精神崩壊して暴走することもある.
  • 第五原則は最も優先度が低いが,最優先で実行される.

イヴの時間

本編の中でロボット三原則について触れられており,条文そのものはほぼ同じ.しかしおそらくGANGSTA.における三原則と同様にアシモフロボット三原則とは似て非なるもので,本能ではなく法律扱い.挙動もロボット三原則に準拠していない.おそらくは監督や脚本家が完璧に誤解しているせいではないかと思われる.

監督はアシモフを読んだことがあるらしい.なのに,どーしてこうなった.

  • ロボット三原則以外にロボット法があり,それは法学の分野:ロボット三原則があれば,それ以上の法律が必要とは考えにくい.あえていうならメーカーに対するロボット製造に関する許可とか安全性確認によって,ロボット三原則が正しく実装されているか保証するものだと思うが,それはロボット法とは呼ばれないと思う.
  • 家庭用ロボットが命令にない行動を取る:要するにメイドロボなので,特に命令のない場合は家庭内で待機が基本だろう.人命に関わる緊急事態でもないのに,命令にない「寄り道」をするのは第二条違反.*25
  • 親の命令があったとは言え,子育てロボットなのに泣きわめく子供を放置する:泣きわめく子供を放置するのは第一条違反.それが危害を看過する行為だとわからない程度の性能の低いロボットならば,子育てを任せることもできない.
  • イヴの時間」(喫茶店の名前)内では,ロボットが人間的な行動を取り,ロボットと人間は見分けが付かなくなる:ロボット三原則に基づくロボットは,一見人間的に見えるロボットでも行動基準が人間と異なるので,その気になって見ているのに見分けが付かなくなるということはあまりない.家庭用ロボットだと人間のフリをする必要もないのでなおさら
    ましてロボット自身にさえロボットと人間の見分けが付かなくなるとしたら,それはロボット三原則の深刻な危機.ロボットに依存した社会においてはその危険性は無視しうるものではない.
  • 「イブの時間」の外と中で行動が変わる:ロボット三原則に基づく限り行動基準自体は変化しない.たとえば「イヴの時間」内でも,ロボットは人間に危害を加えることはできないし,(原則として)人間の命令に逆らったり,人間を騙したり罵倒したりすることもできない.
    あえていうなら外での行動が「機械的」なのに中では「人間的」なことだが,「機械的」であることはロボット三原則に基づくロボットとしては非常に「らしくない」行動なのだ.
  • 人間を理解するために人間と付き合おうとする:相手が本物の人間なら,だましてデートするのは第一条違反だろう.相手がロボットなら,そんな行為に意味は無い.また性別さえないロボットには恋愛感情は発生しないし,独占欲や三角関係なども発生しない.*26
  • ロボット三原則にはウソを付くなという条文がないからウソはつき放題だ」:これはマサキの勘違いかもしれないが,それにしてもそういう勘違いをされるほどに,この世界ではロボットが日常的にウソを付いているということでもある.ロボットは第二条により原則として命令には従うので,持ち主に本当のことを言えと命令されれば本当のことを言わざるを得ない.ウソを付くのは第一条に抵触するか,より優先度の高い命令がある場合のみ.
    仮にこの世界の「三原則」ではウソを付き放題だったとしても,人間はそんな危険なものとの共存は望むまい.仮にロボットがウソをつきまくってるとしたら,「致命的バグなのでリコールして修理しろ.さもなくば,そんな物騒な代物は家庭より排除しろ」という運動が出ないのはおかしい.


他にも外見上見分けが付かないほどのヒューマンフォームロボットが普及しているせいか,頭上にロボットと識別するための光の輪を投影する仕組みが入っているのだが,これがロボットの意志でON/OFFできるというのはおかしい.消すのが違法だというのなら,そんなの電源に直結しとけばいいだけの話じゃないか.それが無理なら光の輪をやめて,その代わりに角か耳アンテナでも付けとけばいい.「頭蓋骨」と一体化させとけば,外すのはまず無理だろう.

ロボットを道具として使い倒しているのに,なぜにヒューマンフォームにしたのか.見分けがつきにくくなるし,コストが無駄にかかるだけ.

また多くのロボットに所有者にも秘密でトロイの木馬バックドアをしかけられてることがわかってるなら,その事実を公表すれば大スキャンダルだぞ.反ロボット団体なら,これを活用しない手は無い.

他にもツッコミどころ多数.


頭空っぽにして三流メロドラマと思って見てれば楽しめるかもしれないけど,アシモフロボット三原則に基づくロボット物SFと思って見ると超駄作.*27


ちなみに主人公の家にいるメイドロボの名はサミィ.R・サミィなのにヒューマンフォームロボットです.どうせなら子守ロボのテックスの方はロビィにすればよかったのに.

余談:家電製品の三要件

正式名称不明.

人間とロボットという主従関係で書かれているが

  • 安全(人間にとって危険でない存在)
  • 便利(人間の意志を反映させやすい存在)
  • 長持ち(少々手荒に扱ったくらいでは壊れない)

という、家電製品に代表される道具一般にもあてはまる法則であることが、日米のファンらによって指摘されている。

http://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E5%B7%A5%E5%AD%A6%E4%B8%89%E5%8E%9F%E5%89%87

こういう指摘もあるが,自分としてはかなり無理があると思う.というのも,この三要件には優先順位が入ってないからだ.*28

ロボット三原則は第一条が第二条に優先し,第二条が第三条に優先する.これに例外はない.これによりロボット三原則の基本的な性質が形作られている.


もし,これが他の部分は同じでも,第三条が第二条に優先され,第二条が第一条に優先されれば,それはナイトライダーにおけるKARRのような殺人マシーンになってしまう.果たして「KITTとKARRに採用されているのは,どちらも同じロボット三原則である」などと言えるだろうか?

また第三条は「長持ち」ではなく「自己保存」だ.「長持ち」に対応するなら「頑丈」や「高耐久性」であるべきではないだろうか.家電には自己保存の機能はない.第一条についても,ロボット三原則は能動的に危害を加えない「安全」であるだけでなく,「人間に危害が及ぶのを看過する」ことも禁止している.家電三要件では看過することはもちろん禁止していない.

余談2:「オトメ3原則!」

1巻冒頭で,アシモフロボット三原則が引用されている.

オトメ3原則!  1 (スーパーダッシュ文庫)

  • 第一条:「ロボットは人間に危害を加えてはならない.人間が危害を受けるのを黙認してはならない.」*29
  • 第二条:「ロボットは第一条に反しない限り,人間の命令に従わなくてはならない.」
  • 第三条:「ロボットは第一条,第二条に反しない限り,自分の存在を守らなければならない」

松は本シリーズ執筆に関して、「(2012年)1月頃、『パパのいうことを聞きなさい!』アニメ放映中でホテルにカンヅメとなっていた時に気分転換で書いた」との趣旨で語っている[1][2]。また「自分の作品としては初めて『未来』や『ロボット』といった要素を織り込んだ」とも述べており[1]、松の従来作品のテーマに新しいテイストを加えることを試行した作品である[2]。本作はアイザック・アシモフの「ロボット3原則」をストーリー全体の軸にしており、松は「ロボット3原則の深いテーゼをこの作品のキャラクター達で深めて行きたい」と語っている[2]。

http://ja.wikipedia.org/wiki/%E3%82%AA%E3%83%88%E3%83%A13%E5%8E%9F%E5%89%87!

ということだが,どうもタイトルのみでストーリーにはあまり関わってこないらしい.

話は完結しましたが、この結末とこのタイトルには一体何の関係が有ったのだろうと思ってしまいました。途中で路線を変えたんでしょうか。物語の主体が後半で変わってしまっていて、当初の方向性と違っているような気がしてなりません。

http://bookmeter.com/b/4086307642


なおアシモフの著作中でも,人間と「夫婦」として生活したヒューマンフォーム・ロボットが最低2体でてくる.*30 ロボットにとっては人間に尽くすことこそが第二法則に定められた本能であり,人間に求愛されればそれに答えざるを得ないのである.

  • 第一法則 → 大切な人を絶対に傷つけたりしない.大切な人が傷つけられるのは絶対に許さない.
  • 第二法則 → 大切な人の願いは,万難を排してでも実現する.(ただし第一法則に反する場合はこの限りでは無い.)
  • 第三法則 → 大切な人を守るためなら,自分の身はどうなっても構わない.(ただし第一法則,及び第二法則に反する場合はこの限りでは無い.)

これらのロボット三原則に基づく行動と人間の愛とやらに,一体どれほどの差違があるだろうか.あえていうなら嫉妬や独占欲などが希薄ということくらいか.


なお最終6巻冒頭だと「ラブの3原則」というものがかかれている.

オトメ3原則! 6 (集英社スーパーダッシュ文庫)

  • 第一条・ロボットは,人間を幸せにしなければならない.また,人間が不幸せになることを看過してはならない.
  • 第二条・ロボットは,人間に与えられた命令の真意を理解しなければならず,第一条に反する命令に従ってはならない.
  • 第三条・ロボットは,第一条,第二条に反しないかぎり,自分の身を守らなければならない.自分が傷ついたら,仲間も傷つくから.

附記・人間が当たり前にしていることを,ロボットもやるのです.そうすれば,ロボットと人間は,本当のお友達になれるはずなのです!ラブは人間になりたいのです!

内容は読んでないのでよく分からないが,もしこれがロボット三原則と同様にロボットの行動を支配する三法則だとすると,この「ラブ」なるロボットは恐ろしい物になるだろう.*31


第三条については,補足説明がついている他は,ロボット三原則の第三法則と同等だ.とりあえず問題ない.

次に第二条だが,ここでは「人間の真意を理解しろ」「第一条に反する命令には従うな」とはあっても,「人間の命令に従え」とは主張してない.すなわち,このロボットは人間の命令には一切従う必要は無いということになる.これはとても不便だろう.

第一条についても,人間を幸せにしなければならないとあるが,では幸せとは一体何だろう?病気を治すために苦いお薬を飲まされるのは幸せか?麻薬を打たれて幸せな気分でラリってる状態は幸せか?子供が盆も正月も無しにスパルタ教育を受けるのは幸せか?逆に子供が学校をサボって万引きしたゲームで遊んでいる状態は幸せか?*32そのような高度な抽象概念を理解できるものだろうか?仮に理解できたとして,どの相手に何をすれば幸せになるというのだろう?これはロボット工学の第0法則以上に,実行するのが非現実的なものになるだろう.R・ダニールにとってさえ手に負えないほどの難問だ.

教育がロボットにとって難問であることは,「はだかの太陽」にも出てくる.

The Naked Sun (The Robot Series Book 2) (English Edition)

"Why so? A child is disciprlined for its own future good. Isn't that the tehory?"

"Ah, the future good!" Leebig's eyes glowed with passion and he seemed to grow less conscious of his listener and correspondingly more talkative. "A simple concept, you think. How many human beings are willing to accept a trifling inconvenience for the sake of a large future good? How long does it take to train a child that what tastes good now means stomach-ache later, and what tasts bad now will correct the stomach-ache later? Yet you want a robot to be able to understand?

"Pain inflicted by a robot on a child sets up a powerful disruptive potential in the positronic brain.

上記「ラブの三原則」の第一条と第二条に従うロボットで考えらうるものとは,人間の命令には一切従わないだけでなく,全く何も決定できずに行動できないロボットになるか,或いはロボットの行動で人間に「ロボット視点での幸せ」の押し売りをしようとする,「独善的」で「ありがた迷惑」なものにしかならないと思われる.*33


黄金戦士ゴールドライタン

超合金魂 GX-32 ゴールドライタン

イバルダ三原則ってのがあるそうな.

イバルダ三原則

  • 第1条:全てのメカニズムは人間に危害を加えねばならない。
  • 第2条:全てのメカニズムはイバルダ大王に従わねばならない。
  • 第3条:第1条、第2条に反しない限り、全てのメカニズムは自己変革せねばならない。
https://ja.wikipedia.org/wiki/%E3%82%B4%E3%83%BC%E3%83%AB%E3%83%89%E3%83%A9%E3%82%A4%E3%82%BF%E3%83%B3

メダロット三原則

コトブキヤ メダロット KBT05-C サイカチス
メダロット辞典@wiki」より
http://www7.atwiki.jp/medadictionary/pages/543.html

ロボット三原則の第二法則「人間の命令に従う」というのが完全に抜けてる感じ.

ゲーム版メダロット4より

メダロットは…

  • だい1じょう『 わざと 人間を きずつけては ならない 』
  • だい2じょう『 人間に きけんが ふりかかるのを 見すごしては ならない 』
  • だい3じょう『 だい1じょうと だい2じょうを やぶらない はんいで ほかのメダロットに ちめいしょうを あたえないこと 』
平野佳菜氏のダメロット制作記(仮)より
  • 1. 人を傷つけてはいけない
  • 2. 人に危険が降り掛かるのを見過ごしてはいけない
  • 3. 上記二項に反しない限りで自分の身を守る
漫画版メダロット5より※

メダロット三原則とは明記されていないが、ティンペット内のシステムメッセージであり、メダロット三原則に近い内容があるためここで紹介する。

  • 生物ヲ傷付ケナイヨウニシマショウ
  • 主人トハ仲良クシマショウ
  • 自分ノコトハ自分デシマショウ
メダロット社公式ホームページより

表記が「メダロット三ヶ条」となっている。

  • 第一条 わざと人間を傷つけてはならない
  • 第二条 人間に危険が降りかかるのを見過ごしてはならない
  • 第三条 第1条と第2条を破らない範囲で己を守り、他のメダロットに致命傷を与えてはならない
余談

元ネタはSF作家アイザック・アシモフのロボット工学三原則から。
ゲーム版メダロットのシナリオを担当した平野佳菜氏のHP上でも「ストーリーを作るうえで参考にした」と言っている。

「灰色の車輪」(『天体の回天について』収録)

天体の回転について

科学文明と無縁に育った青年が天空にのびる“天橋立”で出会った女の子は、とびきり可愛い宇宙旅行の案内係だった―無垢な若者が初体験するめくるめく恋と大気圏離脱を描いた表題作、“ロボット工学の三原則”の間隙を突く「灰色の車輪」、男女の権利格差が逆転した社会の秘密を描く「性交体験者」、異星人との驚くべき最悪のコンタクトが語られる「三〇〇万」等、バラエティに富んだアイデアを論理的に突き詰めた、全8篇収録の奇想SF博物館。『海を見る人』に続く傑作ハードSF短篇集。

という触れ込みだが,どうも見かけ倒しというか,路線が全く別らしい.

  • 天牙博士がマッドサイエンティストすぎ.ドクターゲロが常識人に見えるぞ.
  • わざわざ試作ロボットに痛覚を持たせ,苦痛をあたえる意味が無い.単なるマゾヒストだろ,これ.
  • ロボットが自尊心を見せた段階で,アシモフロボット三原則が実装されてないことは明らか.監査官ならそのくらい気付け.
  • ロボットに恋愛感情が自然発生する根拠がない.天牙博士がそんな無駄な感情を入れたとも思えないし,(ハード)SFならそこに説得力が欲しいなあ.
  • AIやジェミニィが欠陥だらけ
    • コアとなるAIが,最初から人間に敵対的.むしろそうなるように煽ってる.
    • あまりにAIが人間的すぎる.自己保存本能とか虚栄心とか恋愛感情とか怒りとか.そんな感情が自然発生するわけがない.
    • 試作機の良心回路が外付けで,しかもフェイルセーフになってない.「壊れない(はず)だからダイジョーブ!」って,それは技術者としての基本が駄目すぎだろ.学部一年生からやり直すべきレベル
    • 外付け型良心回路の方がコアAIより性能が低いってことが制作者自身が自覚しているのに,なんの対策もない.AIが良心回路の回避手段を模索するのを止めさせる手立てがない.

http://d.hatena.ne.jp/JavaBlack/20151202/p1

「Lucy~彼女が望んでいたもの~」

http://playism.jp/game/429/lucy-the-eternity-she-wished-for
ロボット三原則」が出てくるらしい.

一見するとアシモフロボット三原則風だが,実は明らかに異なる.でも「アシモフの〜」とは言ってないからセーフ.

ロボット三原則

  • 第1条,ロボットは人間に害を与えてはいけないだけでなく,怪我をさせてもならない.
  • 第2条,第1原則に反しない限り,主の命令に従う.
  • 第3条,第1原則と第2原則に反しない限り,ロボット自身を保護しなければならない.
http://ultrainy-doll-and-games.hatenablog.com/entry/2018/05/03/134947

怖っ.


第二条は「人間の命令」じゃなくて,「主の命令」なのよね.主には絶対服従だが,主以外の命令はきかなくて良い.

第一条も看過するのは良いらしい.*34 怪我をさせちゃだめって書いてあるけど,精神的苦痛は物体の破壊はいいのかな?

もしそれが許されるのなら,罠を張って待ち構えたり,拷問を加えて永遠に苦痛を与え続けたり,大事にしている宝物を目の前で粉々に砕いたり,可愛がってるペットをミキサーにかけたりするくらいは可能になるかもしれない.


主の命令はきくけど,他の命令は無視するタイプは恐いのよね.「サラ・コナーを捕らえて,檻の中に閉じ込めろ」という命令を与えても,怪我をさせるわけじゃないから主の命令は忠実に実行されるだろう.このまま放置すれば餓死する危険があっても,危害を加えるのを看過するのは許されてるので問題なし.他の人間が「助けてくれ」と懇願しても、主以外の命令はきれいさっぱり無視される.

「オートマタ」

オートマタ [Blu-ray]

二つの「プロトコル」という,リミッターがかけられてる.

  1. 生物に危害を加えない.(危害が加えられるのは看過するのは可.)
  2. 自己を改造しない.(修理含む.)

二つ目は,自己を改造して勝手に進化させていったら,いずれ人間の手に負えなくなるからだそうだ.

一つ目がよくわからない.「生物」というくくりにすると,人間を守るために蜂の巣や毒ヘビを駆除するような作業ができなくなってしまう.ゴキブリだって保護対象だ.それは一体なんのため?

また,たとえば不法侵入者を射殺するような行為も完全に黙認しており,ロボット三原則の第一条に比べると,遙かに制限が緩いことが窺える.


またロボット三原則の第二条に相当する「人間の命令に従う」部分についても非常に弱く,しばしば命令に従わなくても当然というふうにみなされていた.

*1:「我はロボット」の冒頭部分の和訳を元に,法則っぽく見えるように修正を加えた.ロボット三原則を誤解する一因が,この翻訳にもあるのではないだろうか.mustとmayをどう訳すかが難しい所.

*2:"the Law of Gravitation"(万有引力の法則)や"Newton's Laws of Motion"(ニュートンの運動の法則)や"the First Law of Thermodynamics"(熱力学の第一法則)など.英語では法則も法律も law になるらしい.legislationという単語もあるけどね.
一方で"criminal law"(刑法),"civil law"(民法),"commercial law"(商法)のように,「法律」は"XXX law",「法則」は"law of XXX"になるようだ.とすると,英語ネイティブにとっては"Three Law of Robotics"が「法則」であるのは間違えようのない話なのかもしれない.

*3:電磁気学におけるマックスウェル方程式みたいなものか.

*4:このレベルからして勘違いしてる輩の,なんと多いことか...

*5:よくある誤解の一つが,この条文だけを読んで,そこからオレオレ解釈をこじつけるもの.ちゃんと本文を読めよ.

*6:http://d.hatena.ne.jp/JavaBlack/20150627/p2

*7:アシモフの著書を全く読まずにオレオレ脳内妄想だけで書いてる奴多すぎ.「危害って肉体的な危害のことだろ?条文のどこに精神的苦痛も含むって書いてあるんだよ.」とか,「人間を傷つけてはならないんだから,傷つけたら三原則違反だよね.殺すなんてもっての他だよね.」「実験の結果,ロボット工学三原則を守ることは困難であると判明」「三原則はこの条文だけ.そこにはトロッコ問題の解決法なんて書いてないぞ.」とか.

*8:ヒューマンフォームロボットであるR・ダニールの外見は人間(長身,クールな二枚目)と全く同じ.
プラッツ アクションフィギュア 新スタートレック 1/6  データ エンタープライズ士官 全高30cm
だいたいこんなイメージ.

*9:一方で地球製のR・サミイと宇宙人製のR・ジスカルドは同じ「人型ロボット」とはいえ,性能はもちろん外見にもこのくらい差があると思っておいてだいたい合ってる.
35メカトロウィーゴ しろ 1/35スケール ABS&ダイキャスト製 塗装済み可動フィギュアRE:EDIT IRON MAN #02 Extremis Armor
どちらがどちらであるかは言うまでもあるまい.

*10:これについては、ロボット三原則の無いロボットでも同じでしたな. 「ペッパー蹴られ「負傷」 器物損壊容疑で男逮捕」 http://www.47news.jp/CN/201509/CN2015090601001355.html
「店内に置いてあったペッパーを足で蹴るなどして破損させた疑い。「店員の態度が気にくわなかった」と容疑を認めている。」こういうロボット嫌いな人間は「鋼鉄都市」にも登場する.

*11:だから逆に言えば殺人をも目的とする戦闘ロボットにはロボット三原則は適用できない.
攻殻機動隊タチコマなどは,高度なAIを持つ自律型ロボットでありながら,ロボット三原則が入って無い典型的な戦闘用ロボットの一つ.
リボルテックヤマグチNO.126EX タチコマ アニメVer.
しかし,もののみごとに三原則が三条とも全部入って無いよな,アレ...「人間の命令に従え」という第二条さえ入って無いんだぞ.それだけに仕事さぼったりドナドナ歌ったりして,異常なまでに人間くさいけどさ.

*12:便宜上「第一条違反」みたいな書き方もするけど,本来はありえない.
1,三原則を組み込まれた陽電子頭脳ロボットの行動はすべて三原則に準拠している.「三原則違反」な行動は絶対にとれない.
2,タチコマのような三原則を組み込まれてないロボットが「三原則違反」な行動をしても,それが何かの法律に違反していたり行動が咎められることはない.これは米国が核武装しても(日本の)「非核三原則違反」にならないのと同じ理屈である.
単に「第二条違反」などと言った場合は上記2の状況を表すことが多い.

*13:抜け穴が全くないわけではないが,ネタバレなので省略.

*14:逆に言えば,外科手術さえも行える Star Trek VOYAGERのEMH(Emergency Medical Hologram)にはロボット三原則を組み込むのは非常に難しい.倫理サブルーチンはあるけどね.

*15:http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1452607929 出てる解答が三つとも全部間違ってるところは「さすが知恵袋」と感心する所か.

*16:スーザンキャルビンの言うように,ロボットは「法律に従い,規則に則り,習慣に準じます − (中略)それは,ロボットにとっては第二条に当てはまるものです.」これが前述のYahoo知恵袋の質問に対する答でもある.第一条において「危害」が非常に幅広い意味を持つのと同様に,第二条の「命令」も非常に幅広い意味を持つのだ.

*17:http://d.hatena.ne.jp/JavaBlack/20150830/p1

*18:AIにとって,これがいかに難しいかは「未来の二つの顔」に詳しい.

未来の二つの顔 (創元SF文庫)

未来の二つの顔 (創元SF文庫)

*19:たぶんフレーム問題のこれを書いた人は,アシモフの著作を全く読んでなくて,ロボット工学三原則のことを全くなにも知らずにオレオレ解釈で書いている.フレーム問題を挙げてる人って,ロボット三原則の条文を根本的に読み間違ってるだけなんだよなあ.

*20:その後にベイリはこのように言って,Rダニールを説得する."Look, Daneel, even if I were walking into danger, which I'm not" "it would only be my job. It is what I'm paid to do. It is as much my job to prevent harm to mankind as a whole as yours is to prevent harm to man as a individual. Do you see?" "I do not, Partner Elijah." "Then that is because you're not made to see. Take my word for it that if you were a man, you would see."

*21:ぶっちゃければ,そういう設定がないと話が進まない.しかし現実に照らしても,たとえばコンピューターはすべてほぼ全てノイマン型だし,また某国において「NHKが受信できないテレビ」が発売されたことのないように,技術的には可能でも社会的圧力や開発コストの問題から実現しないというのはありえる話だ.
ましてやスペーサーの経済はロボット三原則に基づいた安全で信頼性のおけるロボットに依存しているため,それを除去したロボットの建造に力を注ぐとは考えにくい.地球人についてはスペーサー以上にロボット嫌いなので,ロボット三原則の除去など夢想だにしないレベル.

*22:英語では"Prime Directives"と呼ばれてるようだ.

*23:鉄腕バーディが見たら頭を抱えそうだ.

*24:Wikipediaの記述も間違い.1〜3条は「ロボット三原則」とは文言からして異なる.中身も大違い.

*25:持ち主が重度のコーヒー中毒で,コーヒーを飲まないと激しい禁断症状に囚われるが現在コーヒーを切らしているのなら,主人の命令無しにコーヒーを買いにいくのはOK.それは第一条だから.「美味しいコーヒーを飲みたいので調べておいてくれ」みたいな主人の命令があれば,勝手に調べて安いものならば勝手に買ってくるのも可能だろう.しかしそれもなしに「美味しいコーヒーを飲ませてあげたい」という理由で寄り道するのはNG.それはロボットの個人的な欲求にすぎず,それはロボット三原則に基づくロボットには本質的に存在しないものだから.

*26:人間側の欲求を満たすためならデートでもなんでもするけれど,ロボットの欲求を満たすために行動するのはロボット三原則に反する行為.「イヴの時間」のローカルルールがあろうとなかろうと,ロボット三原則にとっては関係ない.

*27:こういう作品が,ロボット三原則に対する誤解を広める原因になってるんだろうなあ.なぜか評価高いけど,SFとして見たら内容はかなりヒドイんだよ.

*28:これは同時に「アトムのロボット法」が「アシモフロボット三原則」と全く違う根拠の一つでもある.

*29:本来「看過してはならない」となる部分が「黙認してはならない」になっているが,これはミスだろう.「黙認してはならない」ならば「公認」すれば人間に危害を加えても構わないことになってしまうので.

*30:もう一体いるが,厳密には自分がロボットであるとは認めてない.

*31:たとえば「ラブの三原則はロボット三原則の捕捉になる」というのも検討してみたのだが,そうすると二つの三原則間で条件が衝突して片方がキャンセルされたり,逆に多くの不具合が発生したりして実用的ではなさそうなのだな.

*32:「盗んだバイクで走り出す 行き先も解らぬまま」ってやつとか.

*33:ブコメならギリギリ許されるのか?「思い込みが激しく,相手の言うことを全く聞かない押しかけ女房型」なんてこんなもんだろ.限りなくはた迷惑なのは全く変わらんけど.

*34:英文の方は看過するのも禁止しているようだが.