外科医に麻酔と同時に臨終の秘蹟を施すことを求める法律を通過させるようなものだ

「Google、人工知能の反逆を抑止する「非常ボタン」開発」 http://japanese.engadget.com/2016/06/06/google/
「Googleの人工知能「AlphaGo」を作ったDeepMindがAIの暴走を止める「緊急停止ボタン」の仕組みを開発」 http://gigazine.net/news/20160606-big-red-button-stop-ai/

今回の発表は、DeepMind社の研究者とFIL関係者の共同によるもの。この文書では、人工知能がいつでも適切に動作するわけではないこと。よって人間のオペレータが人工知能に有害な行動をやめさせて、安全な状況に導くための「非常ボタン」が必要であると述べられています。すでに人間のオペレータがいつでも安全に人工知能を中断できる「フレームワーク」は完成しているとのこと。一方では、人間の介入を妨害する方法を学習させない方法も確立しているそうです。

UIはこんな感じがいいなあ．

「人工知能を開発するなら、スカイネット回避策も考えなければいけない」 http://www.gizmodo.jp/2016/06/s_6014.html
痛いニュース「グーグル、人工知能の反逆を抑止する「非常停止ボタン」開発」http://blog.livedoor.jp/dqnplus/archives/1885115.html
Wired「人工知能の暴走を防ぐ「非常停止ボタン」はつくれるか」http://wired.jp/2016/06/08/google-red-button/

「人工知能の反逆？」

http://d.hatena.ne.jp/funct/20160607/p1

みたいなことしか書かれてなくて、どこにも”「非常ボタン」を開発”という内容は含まれていない。

なんと！

あわててAbstractを斜め読みしてみたが，たしかに「非常ボタンを開発」ではなくて，「非常ボタンは悪影響があるから，それを使わない副作用のない学習矯正法を提案する」みたいな話のようだ．gizmodoの記事なんかはタイトルからして随分と印象が異なる．

とはいえ，これはこれで「未来の二つの顔」ネタっぽいのだけど．

未来の二つの顔 (創元ＳＦ文庫)
作者: ジェイムズ・Ｐ・ホーガン
出版社/メーカー: 東京創元社
発売日: 2015/04/24
メディア: Kindle版
この商品を含むブログ (16件) を見る
Cyber Rogues (English Edition)
作者: James P. Hogan
出版社/メーカー: Baen Books
発売日: 2015/03/15
メディア: Kindle版
この商品を含むブログを見る
「だが，スパルタクスは，ちょっと違う．これは，生存を維持するようにプログラムされるのだ．したがって，自分の制御の及ばない何らかの原因でSPが停止すれば，その同じ原因によって他のSPも同様に停止されうることにすぐ気がつくはずだ．だから，作業量を分配しただけで，運を天にまかせてじっとしてはいないだろう．ありきたりのシステムとは違って，われわれが思っている半分の利口さでも持ち合わせていれば，その節点を生き返らせようとして，積極的な方策を講ずるだろう．スイッチング・マトリックスを操作して，われわれが作りだした電力の遮断点を迂回しようとするだろう」
（中略）
「これは最初の大きなテストだ．この段階で，スパルタクスはSPを回復させるために側路を併設するという着想を思いつくだろうか．もしそれをやったら，困難の原因が自分の外にある物理的空間内の特定の一点に起因していることを認識するわけだ．これは認識の進化において巨大な飛躍が起こった証左となるだろう．」

Wired「人工知能の暴走を防ぐ「非常停止ボタン」はつくれるか」

http://wired.jp/2016/06/08/google-red-button/

必ずしも（AIの動きが）計画通りに進行しない一例として、テトリスをプレイするアルゴリズムの例が考えられる。アルゴリズムは学習を進めた結果、「負けないためにゲームを中断すること」を学習するかもしれない。そうしたことから研究者らは、最終的にアルゴリズムが、「（人間が押す）非常用ボタンを無効にすること」を学ぶかもしれないと主張している。
そうした事態を回避するために、研究者らは、動いているアルゴリズムに対する人間による介入が「目の前のタスクの一部ではないように見える」方法を提案している。つまり、停止命令が外部から指示されたものだと考えることなく自らを停止するようにマシンに教えるのだ。

「しかし、すべてのアルゴリズムを、簡単に、安全に止めることができるかは不透明だ」。論文にはそうも書かれている。より普遍的なアルゴリズムを変更しようとした試みは、停止できる可能性が低いという結果に終わったそうだ。

http://b.hatena.ne.jp/entry/japanese.engadget.com/2016/06/06/google/

id:nattoh “未来の二つの顔”か

デスヨネー

「配電グリッドから分離した手動制御の開閉ステーションを通してネットワークに電力を供給するんですよ．そうすれば，いつもシステムの手の届かない所にプラグがあることになります」
「手間がかかりすぎる」ダイアーは，かぶりを振った．「惑星全体を接続しなおさなければならんし，莫大な費用がかかるだろう．何か別の知恵を出すんだ．」
この論点はワシントンでうんざりするほど議論されたが，この種の一連の理由によって，却下ないしは最後の手段という範疇に含められたのだった．このタイプの解決策が除外された別の理由を，ダイアーは言わなかった．これだけ大がかりな予防処置工事を進める決定をすることは，世界が制御不能になり得るという現実の危険を公式に認めるに等しかった．それに伴う恐慌の恐れが，これを除外させたのだった．それはまるで，外科医に麻酔と同時に臨終の秘蹟を施すことを求める法律を通過させるようなものだったのである．

id:shoot_c_na コンセント抜けばいいんじゃないの・・・？

飛行機を制御しているAIの電源をOFFにしたらそのまま墜落する．自動運転車ならブレーキもかけずに人混みに突っ込んだり崖から転落したりする．信号機や航空管制，株取引や溶鉱炉なんかも似たようなものだろう．

電源をOFFにするのが解決策にならない場面は多いよ．

それに問題が「誤った」学習結果にあるのであれば，電源OFFは問題を一時先送りにするだけで，同じ問題は毎日繰り返されることになるだろう．

id:hobbling 「未来二つの顔」ではその手のセキュリティはあっさり突破されたな。

なお「未来の二つの顔」だと，スパルタクスは自分のシステムも自分で管理しているので，簡単には電源を切らせてくれません．

「データストリップは，ヤヌス全域に，システムが持つ知能と並んで電力線を配線している．我々が接続を切りはじめると，システムはまず間違いなくバイパス回線を作り始めて，遮断を無効にしようとする．何十億という組み合わせが選択でき，何千というコンピューターを駆使しして考えることができるのだから，われわれの妨害よりも遙かに早く経路を見つけるのは，何でもないはずだ．」

現実のAIがそこまで進歩するのは遠い未来の話だろうけどね．

id:kk42 ロボット三原則の組み込みを義務化しよう

「人間を愛さなければならないと教えるんですよ」とロン．
「人間とは何かを知らなかったらどうするね？」

id:repose 元論文のどこに「人工知能の反逆を抑止する」などという表現があるんですかね．論文読んでこの記事書いたんですか．

id:guldeen システム自体をストップするのではなく(そんな事をしたら、今までの成果がパーになる)『あたかも自らがそう考えた』ようにAIを「ダマす」仕掛けか。でもこれって、人間でいう『マインドコントロール』やな…

id:Dy66 SF脳でよく分かってない人が思いがちな疑問に、ご丁寧にも応えてくれたマーケティングだけのネタ感が否めない。飲み屋で「でもGoogleは非常ボタンまで開発してるらしいっすよ」程度の話。

id:yoko-hirom そこは建屋ごと吹っ飛ばす爆薬がお約束。3分間くらいの時限信管付きで。

id:arg_on 高度な人工知能によって「非常ボタン」がdisableされる所までが、セットな気がしてならない…