ウソ付きＡＩとロボット三原則

人工知能 プログラミング ロボット三原則 SF

なかなか面白かった．人狼知能／ＡＩ ＷＯＬＦか．

人狼知能 だます・見破る・説得する人工知能

ただしロボット三原則については例によって大きく誤解しているなあ．．．

人工知能を使ったゲーム大会「第1回人狼知能大会」があると教えてもらって見に行ったのだ。パシフィコ横浜で開催の開発者イベント「CEDEC 2015」で27日に開催されたものだ。大会は大人気で、観客の長い行列ができていた。

　人工知能に会話ゲーム「人狼」をプレイさせ、勝者を決める。人工知能が将棋を打つ「電王戦」のようなもので、まずは人工知能の中でゲームの優勝者を決める。

いままで人工知能が勝負をしてきた将棋や囲碁などのゲームは「完全情報ゲーム」、与えられた情報の中から答を見つけるシンプルなもの。対戦相手と1:1のコミュニケーションで、盤上の推理と行動もきわめて厳密に規定されている。

間違いではないけど誤解を招く表現だ．

脱衣の有無に関係無く，ポーカーや麻雀は不完全情報ゲームだぞ．PCゲームでは不完全情報ゲームなんて定番の一つ．*1 *2 *3

また完全情報と不完全情報では性質は異なるけど，必ずしも複雑さの程度を表す単語ではない．当初AI研究にオセロ，チェッカー，チェス，将棋，囲碁のような２人完全情報ゲームが選ばれたのは，ハッタリや運の要素が少なく，勝敗が容易に定義でき，論理的思考が勝敗を決めるからではないだろうか．*4

完全情報ゲームで3人以上というのは珍しいと思うが，いわゆるダイヤモンドゲーム（Chinese Checkers）は3人の完全情報ゲームではないか．*5 *6

マグネチック　キングダイヤモンド

マグネチック　キングダイヤモンド

http://www.nakajim.net/index.php?Chinese%20Checkers%20%EF%BC%8F%20%E3%83%80%E3%82%A4%E3%83%A4%E3%83%A2%E3%83%B3%E3%83%89%E3%82%B2%E3%83%BC%E3%83%A0

一方、人狼は「不完全情報ゲーム」。情報に限りがあり、プレイヤー同士で情報量に偏りがある中で真実を見抜く必要がある。さらに「人狼」側になったときは、事実にもとづいた推理で誤った結論に相手を導かなければならない。

　他者を理解し、不完全な情報をもとに正しく推理する。あえて味方を「追放」したり、自分たちを最終的に有利な方向に導くため、あらゆる行動を考える。

不完全情報ゲームでも，その多くはマージャンのように自分の点の最大化を目的とするものなんじゃないかな．誰がウソを付いてるか見抜くゲームは不完全情報ゲームだろうけど，不完全情報ゲームだからと言って嘘つきを見つけたり推理をするのが目的なわけじゃない．


ポーカーみたいに「ブラフ」が重要な戦術であるゲームもあるけど，その場合でも真実を見抜くのが目的ってわけではない．マージャンだと若干の引っかけがあるくらい．*7

　ここで研究者たちが倫理的な課題として抱えているのは「人工知能に嘘をつかせてもいいのだろうか」という戸惑いだ。

　SF作家アイザック・アシモフが提唱したロボット工学三原則には『人間を傷つけてはいけない』という項がある。たとえば、事実を誤解させて人間を説得し、自分を信用させる人工知能があってもいいのだろうか。

うーん，そこでアシモフのロボット三原則を引用するとは，この人はロボット三原則を分かってないな．*8

そしておそらく全く原作を読んだことがないと断言できる．なにしろ「われはロボット」には，タイトルもそのままズバリな「うそつき（Liar!）」という話まであるのだから！*9

  • Q:ロボットは人間の命令に従うから，「本当のことを言え」と命令するとウソはつかないよね？
  • A:条件次第でつきます．
    • 本当のことを言うと人間に危害が加えられる場合，第一条に基づいてウソをつく．
    • 適切な権威を持つ人間から，ウソをつけと適切な命令が与えられている場合．
    • 本当のことを忘れろと命令され，本当に忘れた時，そのことを尋ねられれば「知らない」というロボットにとっての事実を告げる．
    • 同様な記憶操作が行われている場合．（ただしそのためには巧妙なロボット操作技術が必用となるため，専門家でなければ困難．）
http://d.hatena.ne.jp/JavaBlack/20140926/p1

鋼鉄都市

鋼鉄都市

R・ダニールがいっていた．「いまから少しでも動くものは射殺する！」
（中略）
「しかし，それは，考えちがいだ．わたしの構えているのは神経衝撃銃でもなければ催笑銃でもない．生命を奪う熱線銃だ．わたしは躊躇なくこれを使う．脅しに頭の上など狙うと思うな．きみたちが，わたしをつかまえるまでに大勢が死ぬぞ．おそらくきみたちのほとんどが死ぬ．わたしは本気だ．本気に見えないか？」

「ジェシィとわたしは尋問される．わたしはわたしなりに尋問に答える．きみはそれを見逃す．わかるな？」
「もちろん，おっしゃることはわかります．しかし，もし私が直接尋問されたら，わたしがそれ以外のことをいうことができますか？」
「もしきみが直接尋問されたら，ありのままをいえばいい．ただ，すすんで情報を提供しないで欲しいんだ．それはできるか？」
「できると思います，イライジャ．もし，わたしが沈黙を守ることによって，人間に危害が加えられないならば．」

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

「わたしにはこういう説明がなされました，パートナー・イライジャ．宇宙国家の人間と手を組めば，あなたはソラリア人から高く評価されます．ロボットと手を組めば，あなたの評価は下がります．わたしはあなたのやり方に慣れていますし，いっしょに仕事をするのも楽ですから，わたしを人間としてソラリア人に受け入れさせるのは理の当然だと言われました．このわたしが人間であるとわざわざ彼等を欺くことはないのです」

「ところで礼を言うよ，虚偽の申し立てをしたのに，話を合わせてくれて」
「あれは当然の判断です．あなたを支持することは，アトルビッシュ局長代行に，ある種の些細な危害を加えることになります．あなたが虚偽を申し立てていることを明らかにするのは，あなたに対して，それよりはるかに大きな，はるかに直接的な危害をくわえることになります」

「地球人とはなにか？」
「病原菌を繁殖させるため，ソラリアにいてはならない劣等人種です，マスター」
「そのことをお前に教えたのは誰なんだ，ぼうや？」
ロボットは沈黙している．
ベイリは言った「だれが教えたか，お前は知っているね？」
「知りません，マスター．それはわたしの記憶装置の中にあります」

The Robots of Dawn (The Robot Series Book 3) (English Edition)

The Robots of Dawn (The Robot Series Book 3) (English Edition)

"And could you at need, serve as a witness in a courtroom?"
"I,sir? No, sir" Giskard's eyes were fixed firmly on the road."Since a robot can be directed to lie by a skillful enough command and not all the exhortations or threats of judge might help, the law wisely consider a robot an incompetent witness"

人間のコミュニケーションはささいな嘘の積み重ねでもある。

　料理を「おいしい？」と聞かれてうなずく。場を盛り上げる芸がありがちであっても「すごいね」と喜んでみせる。そこで正直に「平均以下です」「つまらないです」などと返したら、それが事実でもコミュニケーションは崩壊する。嘘とは小さな思いやりで、幸せになるために嘘が必要という考えもありうる。

それこそがロボット三原則 第一条的な嘘の話なんだってば．．．


ところがアンドリューNDR114の映画版では，その辺りが完全に間違っていた．*10

アンドリューNDR114 [DVD]

アンドリューNDR114 [DVD]

「ぼくは君が嫌いだ．」「ただのガラクタだ．」などというセリフは，ロボット三原則に基づくロボットでは絶対にありえない．

http://d.hatena.ne.jp/JavaBlack/20050424/p2

そして，それを知る者だと逆に脅迫に利用できることもある．

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

はだかの太陽〔新訳版〕 (ハヤカワ文庫SF)

ベイリはその形式張ったものの言い方を聞きながら，微笑を浮かべるどころか，むっつりと唇を歪めていた．ダニールがロボットであることを知っている者には，それはダニールが人間に，ベイリやアトルビッシュに不快感をあたえずに仕事を果たそうという試みであるとわかるだろう．ダニールがオーロラ人であると，宇宙国家のなかでも最も歴史が古く，軍事的にもっとも強大な国の人間であると思っている者にとっては，この言い回しは礼儀正しい微妙な脅迫と取れるだろう．

結果発表後、大会の運営にたずさわり、饂飩のソースコードを見ていた東京大学の鳥海不二夫准教授にたずねてみると、こんな推察が返ってきた。

「対戦相手のクセを見抜いているんじゃないかと」

　なるほど、と思わず大声をあげてしまった。

　ほかの人工知能は1回1回のゲームで勝つためのルールを考え、正しい決断を下すことに全力を注いでいた。しかし饂飩は「このプレイヤーはこの役割を与えられるとこう行動する」というゲーム外の法則をとらえることで人狼、あるいは村人と思われるプレイヤーを見抜いたのではないかというのだ。

コメントによると，この推測は間違いらしい．

http://togetter.com/li/866293

いずれにせよ饂飩が圧勝できたのは他の参加者（AI）が，まだウソを付くのが下手だったからだろう．*11 嘘をつくのが上手い参加者相手だとこうは行かない．*12


ちなみに嘘を見抜くロボットの話は，「われはロボット」でも登場している．

われはロボット〔決定版〕

われはロボット〔決定版〕

問題の核心は，われわれが"誤ったデータ"と呼ぶものは，ほかのあらゆる既知のデータと相容れないものということです．それが正誤を判断する唯一の基準なんですよ．それはマシンも同様です．たとえば，アイオワの七月の平均気温が華氏五十七度であるという前提で農作業を指導せよと命令してごらんなさい．マシンは受け付けやしませんよ．解答を出そうとはしないでしょう． ー その特種な気温に偏見を抱いているからではなく，解答が不能だからでもなく，長年のあいだあたえられた既知のデータに照らして，七月の平均気温が五十七度になる確率が文字通りゼロなのを承知しているからなんです．マシンはそのデータを却下する．

"虚偽のデータ"をマシンにむりやり与えることのできる唯一の方法は，それを自己矛盾のない一連のデータの一部にまぜてやることです．しかもその誤りは，非常に微妙でマシンが発見できないか，あるいはマシンの経験にはないものであるかのどちらかの，ごく微妙な誤りでなければならない．前者は人間の能力の限界を超えるものだし，後者もほぼ同様で，マシンの経験が刻々と増すにつれ，ますます不可能となるわけですよ．

過去のデータとの矛盾や不整合から，嘘を見つけ出すと．もちろんこれほど高度な推論をやってのけるほど高性能なAIは，まだ実現していないだろう．

「知能というのはうまく嘘をつくことをかなり含んでいます。人間だけでなく類人猿も、自分だけバナナを与えられ、仲間が来たとき知らないふりをする。つまり嘘をつくことがあるんですね。嘘は生きていくための高度な知能なんです」

それはその通りだろうが，人工知能がそういう「利己的な嘘」をつくには，「利己的に行動する」という本能や行動指針を持たせる必要がある．たとえばロボット三原則に基づいた陽電子頭脳ロボットは必要に応じて嘘をつくが，「利己的な嘘」をつくことはない．

Pepperのようなコミュニケーションロボットは1:1の関係を基本とする。しかし、人間社会に混じる形で人工知能が生活に組みこまれることになれば、高度な社会性を持ち、自分（利用者）が有利になる行動をとることも考えられる。

「未来の二つの顔」ネタだけど，社会性はともかく自分に有利な行動とか，そういう利己的な本能は人間が実装しない限りはそう簡単に発生するものではないだろう．

プログラミングに疎い人は不思議な事に，なぜか人工知能が天然の生物と同じような進化を遂げて同種の本能を持つと想定する．人工知能は人工的に人の手で創られたもので，生命体とは全く異なる存在なのだから，生物的な本能が自然発生するわけないじゃないか．自己保存本能ですら，獲得するのにどれだけの期間が必要となることか．*13

ロボット三原則のように人間に利益をもたらすものなら最初から組み込む事もあり得るが，「利己的な精神」のように人間（つまり造物主）に不利益となる本能となるとわざわざ入れるはずがない．自然発生する可能性も限りなく低い．いったいどこからそんな本能が降って湧いてでると？*14

http://b.hatena.ne.jp/entry/ascii.jp/elem/000/001/043/1043020/

  • id:ilolio 実は学習機能は入ってない(癖は見抜いていない)らしいですね(作者さんのTwitterより)。既存の知見を基にした丁寧なAIが勝因のようです。
  • id:y-kawaz 全部記者の想像で書いた記事（嘘を見抜くとか癖を学習する機能なんてなかったらしい）だったようだ。

へー．しかたない部分はあるにせよ，お粗末な記事だなあ．．．特にロボット三原則．

  • id:proto_typo どうやってプレイしてるかは１４年の記事が参考になる　b:id:entry:223836933　今の段階ではこの方式に特化された人工知能　ではありそうだけど　今後の実装次第では怖いところもあるかも

とりあえず適当にぐぐってみた．

  • declare 90%(Matsubara wolf)
  • agree 0%(speech 10)
  • Request any 90%(execute Osawa)
    because declare 20%(Osawa humanside)
http://weekly.ascii.jp/elem/000/000/255/255084/

そうしないと，現時点では実現不可能だし．．．

チューリングテストでラインプリンタを使う設定なのも，音声合成や音声認識が未完成の技術だったからじゃない？

  • id:kei_1010 言葉を理解して、嘘までつけるなんて、にわかに信じ難い。 ログの公開が後日のようなので、なんとも言えないが、とても人語とは思えないものでやりとりしてるんじゃないか？

ルールを斜め読みしただけだけど，それようの簡単な人工言語を使うらしい．自然言語理解はまだ不完全な技術だから．

  • id:quwachy 執事ロボットに身だしなみを聞いたら、良くお似合いですお嬢様とかウソ言うようになるのか。AIすら信用出来ない世の中なんて

ロボット三原則というのはそういうものです．

余談

人狼ゲームはこの漫画で知った．その時は期間限定無料だった．

放課後さいころ倶楽部（１） (ゲッサン少年サンデーコミックス)

放課後さいころ倶楽部（１） (ゲッサン少年サンデーコミックス)

ミラーズホロウの人狼 (The Werewolves of Miller's Hollow) カードゲーム

ミラーズホロウの人狼 (The Werewolves of Miller's Hollow) カードゲーム

一見して地味なボードゲームやカードゲームをネタに，よくもまあこういうマンガにまとめられるものだと感心したわ．



ギガミック (Gigamic) マラケシュ (Marrakech) [正規輸入品] ボードゲーム

ギガミック (Gigamic) マラケシュ (Marrakech) [正規輸入品] ボードゲーム

ハゲタカのえじき (Hol's der Geier) 日本語版 カードゲーム

ハゲタカのえじき (Hol's der Geier) 日本語版 カードゲーム

ねことねずみの大レース (Viva Topo!) [並行輸入品] ボードゲーム

ねことねずみの大レース (Viva Topo!) [並行輸入品] ボードゲーム

Drei Magier ごきぶりポーカー

Drei Magier ごきぶりポーカー

*1:イカサマをして，PC側だけ完全情報になってる可能性が無くは無いが……．

サイバー・クライム

サイバー・クライム

*2:ちなみに「ゲーム理論」の創始者は，ノイマン型で有名なあのフォン・ノイマンだそうだ．

*3:大昔のマイコンゲーム「スタートレック」なんかも不完全情報ゲームじゃないかな．敵の位置などが最初は不明で，探査するごとに発見されていく型式．同様なゲームは他にも数多くあると思われる． https://ja.wikipedia.org/wiki/%E3%82%B9%E3%82%BF%E3%83%BC%E3%83%88%E3%83%AC%E3%83%83%E3%82%AF_%28%E3%83%9E%E3%82%A4%E3%82%B3%E3%83%B3%E3%82%B2%E3%83%BC%E3%83%A0%29

*4:単純な2人完全情報ゲームが欲しければ，tic-tac-toeもあるのですよ．研究にはならんけどね．

*5:3人以上の完全情報ゲームが珍しいのは，「面白くないから」だと思う．完全情報ゲームの醍醐味は相手の行動を先読みしてその一歩上を行くところにある．3人や4人などの多人数ゲームだと，完全情報であってもランダム性が増してしまい，そういった論理的思考での先読みが有効ではなくなる．それだったら，不完全情報ゲームでいいじゃん．

*6:理屈の上では4人でも5人でも完全情報ゲームは作れるだろうけど，時間がかかりすぎる上に，なによりゲームとして面白くないだろう．

*7:ちなみに完全情報ゲームとは逆に不完全情報ゲームでは2人ゲームが珍しいと思うが，これも「面白くない」からだろう．たとえば「あるカード／牌／駒を自分以外の誰が持ってるか」が不明な所を推理する所に面白さがあるのに，二人だと自分じゃなければ相手が持ってるに決まっているので推理要素が無くなってしまうことがある。運の要素やランダムさについても同様だ．

*8:そもそもロボット三原則には，そのどこにも「ウソを付いてはならない」などという項目はないというのに．

*9:「迷子のロボット」(Little Lost Robot)の方が，もっと直接的能動的にウソを付くが，改造NS2型はちょっと特殊なので，あくまでロボット三原則の例外．

*10:翻訳ミスの可能性もなくはないが，もしそうならかなり初歩的且つ致命的なミスだろう．

*11:蒼い人曰く，正確な射撃ほど，コンピューターには予測は容易いものなのですよ．

*12:「狼男を撃つ銀の弾丸はない」のだな．

人月の神話【新装版】

人月の神話【新装版】

*13:とくにバナナのたとえの場合は「猿と同様の食欲」が自然発生する必要があるわけで．あまり適切な例えとは思えん．

*14:仮に発生しても，単独のAIなら単純にデリートして廃棄処分だろうなあ．