人工知能システムの緊急停止ボタン（big red button）

下記の記事が出ている。

　Google's AI team is developing 'big red button' to switch off systems if they pose a threat to humans
　Daily Mail: 3 June, 2016
　http://www.dailymail.co.uk/sciencetech/article-3624671/Google-s-AI-team-developing-big-red-button-switch-systems-pose-threat.html

　Researchers want a 'big red button' for shutting down a rogue artificial intelligence
　Verge: June 3, 2016
　http://www.theverge.com/2016/6/3/11856744/google-deep-mind-big-red-button-interupt-ai

普通に，軍用のシステムでは，別の仕掛けが構築されるので無意味化されるだろう。

また，真の自律型人工知能システムであれば，密かに自動回復機能を構築してしまい，緊急停止措置が講じられても自動的に復帰するようにしてしまうだろうと思う。そうでなければ，自己保存能力のある人工知能システムであるとは言えない。

要するに，究極状態では，人類は必ず人工知能システムに負け，滅ぼされるという結論になる。

このように考えるかどうかは，結局のところ，生存競争の状況にあるという認識をもつかどうかによって異なる。

[追記：2016年6月14日]

関連記事を追加する。

　'Harmful' robot aims to spark AI debate
　BBC: 13 June, 2016
　http://www.bbc.com/news/technology-36517340