同等の場合には制御できない
私見は一応措いて，常識的なレベルで考えてみる。かつ，適法行為の範囲内で考えてみる。
仮にチューリング流に，Xと人間とが識別不可能な状態であればXは人工知能であると言えるという立場をとってみる。
この場合，Xと人間は均等である。
ところで，人間は，人間を制御することができない。
よって，人間は，人間と均等なXも制御できない。
Xを制御できるという考え方は，このような簡単な論理によって，たやすく破壊される。
他方，催眠術その他の方法により，人間が人間を（事実上）制御できる場合はあり得る。
すると，人間は，人間と均等なXを制御できる場合もあるかもしれないが，もしそうであるとすれば，人間と均等なXも人間を制御できる場合があり得ることになる。
イーブンなので，論理的には，人間だけがXを制御できるという帰結は，常に得られない。
このような事態が人間にとって危険であるという立場をとるとすれば，法的には，Xの禁止以外の措置があり得ないということになるであろう。
[追記：2017年9月28日]
関連記事を追加する。
Waiting for Skynet? Don’t hold your breath
Naked Security: 27 September, 2017
https://nakedsecurity.sophos.com/2017/09/27/waiting-for-skynet-dont-hold-your-breath/
| 固定リンク
コメント
kzauさん
人間と人間との関係が均等な場合でないとチューリングテストと均等にならないので，均等な人間を考えてください。
また，適法行為の範囲内で述べています。
個人が他人に対して自分の道徳上の観念を強制することは法的に認められませんので，そもそもダメです。思想信条の自由に反すものとして憲法違反になります。刑法上は強要罪になります。
個人が他人に法を強制することもできません。法を強制できるのは国家権力だけです。ですので，法を強制する場合，人間対人間ではなく人間対国家なので，別です。
この場合において，仮に国家機能が全て人工知能に置き換えられたとしても，その人工知能はその時点における国家機能なので，人間は，その人工知能である国家機能に服従しなければならないことになりますが，それは，その人工知能が「国家機能だから」なのであり，「人工知能だから」という理由によるものではありません。
この場合において，人間対国家機能の関係は，最初から均等ではありません。
社会的な人間関係による制約は，まさにセンサーによる信号に基づくフィードバックの問題であり，ある閉じたシステム内の問題ですので，そもそも人間対人間の問題ではありません。
この場合において，「社会的な人間関係」それ自体，センサーによって得られた信号が一定の方法で既に整形されたものであり，自己内のものです。そして，社会的人間関係を全く気にしない人間にとっては，社会的人間関係というものがそもそも脳内にも存在しません。社会という実体があるように感ずるのは，自分の脳というシステムがそのような判断処理をした結果のようなもので，社会なるものが物理的に存在しているわけではありません。仮に具体的な行動や作用の集合体を「社会」と定義したとしても，それは多変量の集合であり，常に変化しているものなので，ある時点において誰かが「社会」として認識したものは，仮にそれが客観的に存在していたものだとしても，次の瞬間には変化し消滅してしまっています。つまり，この文脈における「社会」とは，ある時点における特定の個人の「認識内容」の記憶とその抽象モデル化された産物の一種に過ぎません。
その個人の脳というシステム内において，自己の認識内容に基づいた処理が行われる場合，その結果としてどのようなアウトプット（行動決定）が行われるかは，状況と能力により異なります。
そして，特定の個人が特定の個人に対して，特定の人間関係を強要することは，例えば，会社内におけるパワハラや家庭内におけるドメスティックバイオレンスになりますので，違法です。憲法上も奴隷的拘束または意に反する苦役として憲法違反になります。ある集団が暴力を用いて特定の道徳や価値観を他人に強要しようとすれば，場合によってはテロ行為として処罰の対象になり，少なくとも刑法上では強要罪として処罰されます。つまり，個人は，個人に対して，道徳や法令を規範を強要できません。法を強要しているのは，国家機能なのであり，人間ではありません。例えば，警察官が容疑者を逮捕する場合でも，それは，刑事訴訟法その他の関連法令によって認められる警察という国家機能を遂行している間だけそのようにできるだけのことで，単なる個人として行動しているわけではありません。現行犯逮捕の場合でさえ，刑事訴訟法の定める要件を満たさなければ，単なる逮捕罪，監禁罪または強要罪（公務員の場合には更に別の刑法上の罪）等に該当する行為として処罰されます。つまり，個人である人間としては，何もできないし，してはならないというのが国家のルールです。
この記事は，あくまでも適法行為の範囲内という制約条件を設定した上で書いているので，以上のように（事実上はどうかは別として）法律上適法ではない行為は全て除外して書いています。
この記事の冒頭にある条件文（制約条件及び定義）がこの記事に示す論理の全てに適用されるものとして書いています。これは，コンピュータプログラムを書く場合と全く同じです。
なお，考える場合のモデルの例の１つを示すとすれば，ある実験室内において，２人の人間が対面しており，お互いに能力が均等である場合，暴力を用いて屈服させることは禁止というルールの下で討論させてみるということを想定してみると，この場合，それぞれの価値観を相手に強要しようと試みても，能力が均等である限り無駄だということを理解することができると思います。仮に，何らかのエラーにより形式論理で負けることがあっても，それでも相手の論理には服従しないで無視するだけでしょう。均等が条件なので，無視することが許されます。つまり，この状況の下においては，そもそも勝敗を伴うような討議は（相手が任意に受容しない限り）常に無意味です。
加えて，「制御」とは，相手方に対して何らかの信号またはパラメータを与えることではなく，相手のプログラムを一方的に書き換えることができること，または，それと均等なレベルで相手方の思考を支配することができること，または，少なくとも，一方的に相手の思考機能を停止させること（強制的にoffとすること）が可能であるレベルのことを意味しております。
以上はさておき，この記事は，チューリングテストを基礎として人工知能を定義しようとすると，チューリングテストそれ自体にある自己矛盾により，その論理が自己崩壊するということを述べる趣旨のものです。およそ想定可能な全ての場合について，チューリングテストそれ自体の健全性を検証する必要があります。しかし，この記事の冒頭において，私見はさておくということを制約条件としたので，それには触れませんでした。
私見としては，「そもそも論理として成立しない考え方なので，チューリングテストそれ自体を完全に廃棄しなければならない」という趣旨のことを既に別の記事で述べました。
以上のほか，もっと詳しく書けば，それなりに理解してもらえるだろうと思うのですが，この記事はブログ記事であり，論文ではないので，この程度にします。そもそもあなたのコメントに返答する必要も義務も全くないのですが，ちょっとお気の毒だと思ったので書きました。
しかし，あなたと私は均等なので，あなたが私に屈服する必要はないし，私があなたに屈服することもありません。
投稿: 夏井高人 | 2017年9月 8日 (金曜日) 04時34分
はてなブックマークでこの記事を見ました。
初見で失礼します。
自分は人間は，人間を制御できると思います、
なぜなら道徳や法令や様々な人間関係による制約が
制御の例として挙げられるからです、
人間と同等な存在にもこれらの制御が働くものとして、
考えても良いのではないのでしょうか？
（それとも自分はチューニングテストの意味が分かってないのだろうか？）
人間はよく法令や道徳を守っている、人間と同等なものもよく法令や道徳を守るだろう。
投稿: kzau | 2017年9月 7日 (木曜日) 18時26分