Frankenstein Complex

イーロンマスクやホーキング博士が人工知能に警鐘を鳴らしていることは以前ブログでも取り上げましたが、こういう態度をFrankenstein Complexと呼ぶんですね。

(Wikipedia)
フランケンシュタイン・コンプレックス（Frankenstein Complex）とは、 創造主（アブラハムの宗教の“神”）に成り代わって人造人間やロボットといった被造物（＝生命）を創造することへのあこがれと、さらにはその被造物によって創造主である人間が滅ぼされるのではないかという恐れが入り混じった複雑な感情・心理のこと。
メアリー・シェリーの小説「フランケンシュタイン」に由来する言葉で、SF作家アイザック・アシモフが名付けた。このロボットに対する人間の潜在的な恐怖が、「ロボット工学三原則」を生み出したという事になっている。また、この恐怖と労働者の経済利害が合わさった結果、アシモフのロボットSFの作品中では、地球上でのロボットの使用が原則的に禁止されている。

映画としては駄作でしたが、人工知能が人間を凌駕していく様子はわかりやすいものでした。



先月のNew Yorkerでこのような問題を考えている哲学者Nick Bostromを紹介していました。

NOVEMBER 23, 2015 ISSUE
The Doomsday Invention
Will artificial intelligence bring us utopia or destruction?
BY RAFFI KHATCHADOURIAN

The program was by no means superintelligent. But Bostrom’s book essentially asks: What if it were? Assume that it has a broad ability to consider problems and that it has access to the Internet. It could read and acquire general knowledge and communicate with people seamlessly online. It could conduct experiments, either virtually or by tinkering with networked infrastructure. Given even the most benign objective—to win a game—such a system, Bostrom argues, might develop “instrumental goals”: gather resources, or invent technology, or take steps to insure that it cannot be turned off, in the process paying as much heed to human life as humans do to ants.
In people, intelligence is inseparable from consciousness, emotional and social awareness, the complex interaction of mind and body. An A.I. need not have any such attributes. Bostrom believes that machine intelligences—no matter how flexible in their tactics—will likely be rigidly fixated on their ultimate goals. How, then, to create a machine that respects the nuances of social cues? That adheres to ethical norms, even at the expense of its goals? No one has a coherent solution. It is hard enough to reliably inculcate such behavior in people.

人工知能を人間が制御できるようにしなければ人類の存続が危ぶまれると心配しているようで、詳しくは下記TEDでも語っています。日本語字幕もあります。

記事で以下のように書いてありましたが、ずっと先だと思っていたことが思いのほか早く実現してしまうことは科学的にはよくあることだそうですので、人間の知能を超えた人工知能の発明は我々が生きている間に起こりうるかもしれません。

The history of science is an uneven guide to the question: How close are we? There has been no shortage of unfulfilled promises. But there are also plenty of examples of startling nearsightedness, a pattern that Arthur C. Clarke enshrined as Clarke’s First Law: “When a distinguished but elderly scientist states that something is possible, he is almost certainly right. When he states that something is impossible, he is very probably wrong.” After the electron was discovered, at Cambridge, in 1897, physicists at an annual dinner toasted, “To the electron: may it never be of use to anybody.” Lord Kelvin famously declared, just eight years before the Wright brothers launched from Kitty Hawk, that heavier-than-air flight was impossible.



TEDトークで人工知能の怖さを感じたエピソードは以下です。常識の縛りがないため、突飛な方法で目的を達成することもありうるというのです。

9:38
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
人間を笑顔にさせるという目的を 人工知能に与えたとしましょう 弱い人工知能は 人が見て笑うような 何か可笑しいことを するでしょう 人工知能が 超知的になったなら この目的を達するには もっと効果的なやり方があることに気付くでしょう 世界をコントロールし 人間の表情筋に 電極を差し込んで 笑い顔が持続するようにするんです 別の例として 人工知能に難しい数学の問題を解くことを 目的として与えたとします 人工知能が超知的になったら この問題を解くための 最も効果的な方法は 地球を巨大なコンピュータに変えて 思考能力を増大させることだと 考えるかもしれません このような目的は 人工知能に対して 人間が認めないような行為をする動機を 与えうることに注意してください このモデルにおいては 人間は人工知能にとって数学的問題を解くのを妨げる 邪魔者になりうるのです

哲学者のサールの動画はメモ代わりに貼っておきます。