ロボットはトローリー問題をどう解くか？

Autonomous carは「自律走行車」と訳されることが多そうです。

グーグルの自律走行車、公道での実験が決定（動画あり）
グーグルが2014年5月に発表した、ハンドルやアクセル、ブレーキ等がない「完全自律走行車」が、今夏から公道テストに使われることになった。動画で紹介。

現時点では英語の辞書でロボットや自動車が自律的に動く意味を載せているものはないようです。新しい語義として載るにはあと数年待つ必要があるでしょうか。

（オックスフォード）
autonomous
1.(of a country, a region or an organization) able to govern itself or control its own affairs
synonym independent
an autonomous republic/state/province
a federation of autonomous groups
2.(of a person) able to do things and make decisions without help from anyone else
Teachers aim to help children become autonomous learners.

かろうじてマクミランがOpen Dictionaryで紹介していまいた。

（マクミラン）
driverless
ADJECTIVE
Contribute to our Open Dictionary
or autonomous

From our crowdsourced Open Dictionary
describes a vehicle that takes charge of steering, accelerating, indicating and braking during most if not all of a journey between two points
In California alone, Google's driverless car has done more than 300,000 miles on the open road.
Submitted from United Kingdom on 01/08/2014

Autonomous robotはどう訳しているのだろうと思ったんですが、ブリタニカ国際大百科事典では以下のように訳していました。

自律ロボット
じりつロボット
autonomous robot
作業命令を与えられると，その行動を自分で計画し，かつ状況を判断して作業を実行することのできるロボットをいう。自律性のためには，かなり高度な知的機能を持たなければならない。特に，宇宙・海洋開発のためのロボットや，原子炉保守ロボット，災害救援ロボットなどでは，人間の指令や判断が常に与えられるわけではないので，自律性が要求される。

(Wikipedia)
An autonomous car,[1] also known as a driverless car,[2] self-driving car[3] and robotic car,[4] is an automated or autonomous vehicle capable of fulfilling the main transportation capabilities of a traditional car. As an autonomous vehicle, it is capable of sensing its environment and navigating without human input. Robotic cars exist mainly as prototypes and demonstration systems. As of 2014, the only self-driving vehicles that are commercially available are open-air shuttles for pedestrian zones that operate at 12.5 miles per hour (20.1 km/h).[5]

**********

An autonomous robot is a robot that performs behaviours or tasks with a high degree of autonomy, which is particularly desirable in fields such as space exploration, household maintenance (such as cleaning), waste water treatment and delivering goods and services.

社会の中で自律的に動くということは、価値判断を自らしなければいけなくなります。社会の中で使われるためには、自律ロボットや自律走行自動車もこの問題に対応できなくてはいけないようです。先日ご紹介したNatureの記事はこの問題を取り上げています。

Machine ethics: The robot’s dilemma
Working out how to build ethical robots is one of the thorniest challenges in artificial intelligence.
Boer Deng
01 July 2015

In his 1942 short story 'Runaround', science-fiction writer Isaac Asimov introduced the Three Laws of Robotics — engineering safeguards and built-in ethical principles that he would go on to use in dozens of stories and novels. They were: 1) A robot may not injure a human being or, through inaction, allow a human being to come to harm; 2) A robot must obey the orders given it by human beings, except where such orders would conflict with the First Law; and 3) A robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.

Fittingly, 'Runaround' is set in 2015. Real-life roboticists are citing Asimov's laws a lot these days: their creations are becoming autonomous enough to need that kind of guidance. In May, a panel talk on driverless cars at the Brookings Institution, a think tank in Washington DC, turned into a discussion about how autonomous vehicles would behave in a crisis. What if a vehicle's efforts to save its own passengers by, say, slamming on the brakes risked a pile-up with the vehicles behind it? Or what if an autonomous car swerved to avoid a child, but risked hitting someone else nearby?

“We see more and more autonomous or automated systems in our daily life,” said panel participant Karl-Josef Kuhn, an engineer with Siemens in Munich, Germany. But, he asked, how can researchers equip a robot to react when it is “making the decision between two bad choices”?



Natureのポッドキャストでもライターが登場して話していました。興味を惹かれたのは冒頭のトロッコの問題です。現在のコンピュータでは対応できないことをSiriで表現しています。

13分40秒あたりから
Siri, quick, I need your help. There’s a runaway railway trolley about to kill five innocent people on the track. But there’s a lever here to divert the train saving their lives but killing one innocent bystander. Or I can just put this guy. Hey, what should I do?
I’m not sure I understand.
（Siri。急いで、助けてほしい。暴走したトロッコが線路上の５人を巻き添えにしようとしている。でもここにポイントがあって進路を転換して５人を助けることができるけど無関係な傍観者を一人犠牲にしてしまう。それが、この男性を線路に押し出すこともできる。どうすべきだろうか。
理解できません。）
Now don’t worry. No one actually just died. But the point still stands as the computers find it difficult to negotiate complex questions like that famous ethical thought experiment, trolley problem.
（ご心配なく。誰も無くなっていません。それでも問題点は残ったままです。コンピュータは複雑な問題に対応するのが難しいのです。今回のような有名な倫理の思考実験である、トローリー問題に対しては）

Natureの記事でもトローリー問題を取り上げています。Wikipediaのいう派生問題も一緒に考察していますね。

One of these is illustrated by the trolley problem, in which you imagine a runaway railway trolley is about to kill five innocent people who are on the tracks. You can save them only if you pull a lever that diverts the train onto another track, where it will hit and kill an innocent bystander. What do you do? In another set-up, the only way to stop the trolley is to push the bystander onto the tracks.

People often answer that it is all right to stop the trolley by hitting the lever, but viscerally reject the idea of pushing the bystander. The basic intuition, known to philosophers as the doctrine of double effect, is that deliberately inflicting harm is wrong, even if it leads to good. However, inflicting harm might be acceptable if it is not deliberate, but simply a consequence of doing good — as when the bystander simply happens to be on the tracks.

This is a very difficult line of analysis for a decision-making program. To begin with, the program must be able to see two different futures: one in which a trolley kills five people, and another in which it hits one. The program must then ask whether the action required to save the five is impermissible because it causes harm, or permissible because the harm is only a side effect of causing good.

To find out, the program must be able to tell what would happen if it chose not to push the bystander or pull the lever — to account for counterfactuals. “It would be as if a program was constantly debugging itself,” says Pereira — “finding where in a line of code something could be changed, and predicting what the outcome of the change would be.” Pereira and Ari Saptawijaya, a computer scientist at the University of Indonesia in Depok, have written a logic program4 that can successfully make a decision based on the doctrine of double effect, as well as the more sophisticated doctrine of triple effect, which takes into account whether the harm caused is the intended result of the action, or simply necessary to it.

(Wikipedia)
概要
まず前提として、以下のようなトラブル (a) が発生したものとする。
(a) 線路を走っていたトロッコの制御が不能になった。このままでは前方で作業中だった5人が猛スピードのトロッコに避ける間もなく轢き殺されてしまう。
そしてA氏が以下の状況に置かれているものとする。
(1) この時たまたまA氏は線路の分岐器のすぐ側にいた。A氏がトロッコの進路を切り替えれば5人は確実に助かる。しかしその別路線でもB氏が1人で作業しており、5人の代わりにB氏がトロッコに轢かれて確実に死ぬ。A氏はトロッコを別路線に引き込むべきか？
なお、A氏は上述の手段以外では助けることができないものとする。また法的な責任は問われず、道徳的な見解だけが問題にされている。あなたは道徳的に見て「許される」か、「許されない」かで答えるものとする。
つまり単純に「5人を助ける為に他の1人を殺してもよいか」という問題である。功利主義に基づくなら一人を犠牲にして五人を助けるべきである。しかし義務論に従えば、誰かを他の目的のために利用すべきではなく、何もするべきではない。

派生問題[編集]
では次のような派生問題ではどうだろうか。A氏はやはり(a)の状態にあるが、(1)ではなく次の(2)の状況に置かれている。
(2) A氏は線路の上にある橋に立っており、A氏の横にC氏がいる。C氏はかなり体重があり、もし彼を線路上につき落として障害物にすればトロッコは確実に止まり5人は助かる。だがそうするとC氏がトロッコに轢かれて死ぬのも確実である。C氏は状況に気づいておらず自らは何も行動しないが、A氏に対し警戒もしていないので突き落とすのに失敗するおそれは無い。C氏をつき落とすべきか？
前述の問題と同様、A氏にはつき落とすかつき落とさないかの選択肢以外は無いものとする。C氏ほど体重の無いA氏が自ら飛び降りてもトロッコを止められず、またその事実をA氏は理解している。
功利主義に基づけば、トロッコを分岐させることも、一人を突き落として脱線させることも一人を積極的に死に追いやり五人を助けるという点で等しい。しかし多くの人が、1番目の質問では一人を犠牲にすることは許されると答えるのに対し、2番目の質問では一人を犠牲にすることは許されないと答える。この二つの質問で異なる点は、最初の質問では行為者の行動自体は「分岐の切り替え」に過ぎず、一人の死は（たとえ結果を承知の上でも）その意図の直接の結果ではなく副次的な出来事（つまり巻き添え）と考えることが可能であるのに対し、次の質問でははっきりと「狙ってC氏をトロッコに激突させる」という行動をとっており、行為者の直接の意図と行動によって死ぬということである。

サンデル教授でも第一回の授業でこのトローリー問題を取り上げていたのですね。911の時のペンシルバニアに不時着した飛行機を例に出した学生がいましたが、なかなか分かりやすい例ですね。



社会の中で自律的に動くには、このようなハードルが高い問題にも対応できるようにしないといけないんですね。