Uncharted Territory


RSS     Archives



今回は先ほどのTEDの動画でKing Midasとgenieという英語表現を取り上げます。こういう表現は教材だとなかなか出会いませんよね。

Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
もちろん物事がこの筋書き通りに まずいことに陥ることはないでしょう これはあくまで 戯画化した例です しかしこの一般的な論点は重要です 目的Xに向けて最大化を行う 強力な最適化プロセスを 作るときには Xの定義が自分の気にかける その他すべてのことに 問題を生じないか よく確認する必要があります これは伝説が教える 教訓でもあります ミダス王は自分の触るものすべてが 金になることを望みました 娘に触れば 娘が金に変わり 食べ物に触れば 食べ物が金に変わりました これが本当に 問題になるかもしれません 単なる強欲を諫める メタファーとしてではなく 強力な最適化プロセスを作って 間違った あるいは まずく定義された目的を与えたときに 何が起きるかを 示すものとしてです


Midas, King
in ancient Greek stories, a king who was given the power to change everything he touched into gold. He soon realized this would not bring him happiness, when he found that even his food and drink changed into gold as soon as he touched them.

the Midas touch
if someone has the Midas touch, everything they do is successful and makes money for them:
a talented young businessman with the Midas touch

手に触るものを金に換えるのでMidas touchを「金もうけの才能」となるのでしょうが、お金儲けだけでなく、やることなすことうまくいく場合にも使われることがあります。金銭的な成功に限定していたロングマンやオックスフォードとは違いマクミランはそのように幅広く解釈した訳語を載せています。

the Midas touch
if someone has the Midas touch, they succeed easily at everything that they do
He seemed to have the Midas touch, appearing in three hit films by the age of 25.

Word story
In ancient Greek stories, Midas was a king who was given the power of turning everything he touched into gold.

次はgenieという表現。our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.という部分はlet the genie out of the bottleという表現を知っているとピンときます。

More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
もっと奇想天外なシナリオだって 考えられます たとえば人工知能が 内部回路にある電極の 振動で発生した 電波を使って 通信をするとか あるいは人工知能が故障を装って プログラマーが調べようと中を開け ソースコードを見たところで バーン! 操作してしまうとか あるいはすごく洗練された 技術の設計図を出して 人間がそれを実装してみると そこには人工知能が潜ませていた 密かな副作用があるとか 要は我々は高度に知的な魔神を いつまでも壺に閉じ込めておけるとは 思わない方がよいということです 遅かれ早かれ 出口を見つけ出すことでしょう

I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
この問題への答えは 非常に知的な人工知能を それが逃げ出しても 危険がないように作るということ 人間と同じ価値観を持っていて 人間の側に立つように作る ということだと思います この難しい問題を 避けて通ることはできません


let the jinn out of the bottle [動] [自] (大きな)変化を起こす.

let the genie out of the bottle <人が>取り返しのつかないことをしてしまう(◆その結果の状況をThe genie is out of the bottle.という)

let the genie out of the bottle
to do something that causes a situation to change, so that it is no longer possible to go back to an earlier state
Now the press has let the genie out of the bottle, the question is what happens next.