Posted at 2014.01.12 Category : Nature
「女性ロボット」の表紙で話題になった人工知能学会ですが、もしかしたら炎上広報なのかもしれません。雑誌NatureはDeep Learning（深層学習）の可能性について記事がありましたし、日経コンピュータは機械学習を特集しています。IBMのワトソンはまだ先ですが、AppleのSiriは身近なものになっていますよね。
Vol. 29 No. 1 (2014年1月)
特集：「ヒューマンコンピュテーションとクラウドソーシング」
世界のAI，日本のAI〔第23 回〕
連載解説：「Deep Learning（深層学習）」〔第5 回〕
アーティクル
レクチャーシリーズ：「人工知能とは」〔第7 回〕
SF ショートショート〔第3 回〕
特集：「人工知能分野における博士論文」
論文特集：「知的対話システム」
論文特集：「近未来チャレンジ」
論文特集：「2013 年度全国大会速報論文」
グローバルアイ〔第26 回〕
学生フォーラム〔第70 回〕
会議報告
会 告
この学会誌でDeep Learning（深層学習）の解説を連載している久保 陽太郎さんのコラムを以下のリンクで読めます。
「深層学習」を再発見する土壌 久保 陽太郎
NTTコミュニケーション科学基礎研究所 研究員
音声認識器は耳を再発明するべきでしょうか.人工知能 システムは脳を再発明するべきでしょうか.音声認識や人 工知能に限らず,同様の議論はさまざまな学術分野で長く 続いており,決着の兆しをみせません.そして,このよう な分野に深層学習がもたらしたブレイクスルーは,人間か ら学ぶことがまだあるということを我々に示唆してくれた と考えることもできます.なぜなら深層学習の基本技術と して用いられる模型「ニューラルネットワーク」は,人間 の神経細胞を大雑把に模したものだからです.
Deep Leaningの最近の成果として挙げられるのが、iPhoneの音声認識Siriであったり、Google Brainによる猫の認識だったりするようです。2012年にコンピュータが猫を認識したというニュースがありましたね。その意義をまったく理解していませんでしたが。。。（汗）
Google、大規模人工ニューロンネットワークを用いた研究成果を紹介
2012/06/27
鈴木 英子＝ニューズフロント
米Googleは現地時間2012年6月26日、同社研究チームの機械学習技術に関する研究成果を紹介した。脳をシミュレーションする大規模ネットワークを用いた新たな手法により、コンピュータが猫を認識する能力を自ら身につけることに成功したという。
現在、機械学習技術を新用途に適用させるにはたいへんな作業を必要とし、例えば車とバイクの写真を区別できるシステムを構築しようとする場合、標準的な手法ではまず「車」あるいは「バイク」のラベルを付けた多数の写真を集めなければならない。そしてこれらラベル付けしたデータを使ってシステムをトレーニングする。
しかしGoogleは、Web上や「YouTube」ビデオから無作為に画像を収集し、人間の脳などの神経回路網の学習プロセスをシミュレーションする人工ニューラルネットワークを構築してトレーニングした。
前置きが随分と長くなりましたがようやくNatureのDeep Learningの紹介記事です。2500語を超える記事ですので、機械学習に興味がない人にとっては長く感じてしまうでしょうか。Deep Learningの変遷から、音声認識や画像認識での最近の成果、そして、製薬研究開発への応用について分かりやすく説明してくれています。課題や違ったアプローチにも触れてくれています。
このDeep Learningは我々が使っている自然言語の理解に役立てることが期待されている分野でもあるようです。また、製薬の研究開発にDeep Learningによるパターン認識が使われているようです。
Computer science: The learning machines
Using massive amounts of data to recognize photos and speech, deep-learning computers are taking a big step towards true artificial intelligence.
Nicola Jones, 08 January 2014
Words checked = [2400]
Words in Oxford 3000™ = [89%]
With triumphs in hand for image and speech recognition, there is now increasing interest in applying deep learning to natural-language understanding — comprehending human discourse well enough to rephrase or answer questions, for example — and to translation from one language to another. Again, these are currently done using hand-coded rules and statistical analysis of known text. The state-of-the-art of such techniques can be seen in software such as Google Translate, which can produce results that are comprehensible (if sometimes comical) but nowhere near as good as a smooth human translation. “Deep learning will have a chance to do something much better than the current practice here,” says crowd-sourcing expert Luis von Ahn, whose company Duolingo, based in Pittsburgh, Pennsylvania, relies on humans, not computers, to translate text. “The one thing everyone agrees on is that it's time to try something different.”
Deep science
In the meantime, deep learning has been proving useful for a variety of scientific tasks. “Deep nets are really good at finding patterns in data sets,” says Hinton. In 2012, the pharmaceutical company Merck offered a prize to whoever could beat its best programs for helping to predict useful drug candidates. The task was to trawl through database entries on more than 30,000 small molecules, each of which had thousands of numerical chemical-property descriptors, and to try to predict how each one acted on 15 different target molecules. Dahl and his colleagues won $22,000 with a deep-learning system. “We improved on Merck's baseline by about 15%,” he says.
久保さんもDeep Learningを時代遅れの方法だったと語っていたように、人間の脳に似せることが機械学習で最良の方法かどうかは異論があるようです。よく使われる例で、「飛行機は鳥を真似たものではない」というのがありますが、ここでも反対者は飛行機の例をあげています。
Not all researchers are so committed to the idea. Oren Etzioni, director of the Allen Institute for Artificial Intelligence in Seattle, which launched last September with the aim of developing AI, says he will not be using the brain for inspiration. “It's like when we invented flight,” he says; the most successful designs for aeroplanes were not modelled on bird biology. Etzioni's specific goal is to invent a computer that, when given a stack of scanned textbooks, can pass standardized elementary-school science tests (ramping up eventually to pre-university exams). To pass the tests, a computer must be able to read and understand diagrams and text. How the Allen Institute will make that happen is undecided as yet — but for Etzioni, neural networks and deep learning are not at the top of the list.
機械学習と一口にいってもアプローチに大きな違いがあるようですね。
ちなみに日経コンピュータの特集は以下のようになっています。
「機械学習」革命
的中したビル・ゲイツの予言
2014/01/08
出典：2014年1月9日号
「自ら学習するマシンを生み出すことには、マイクロソフト10社分の価値がある」。
米マイクロソフトの創業者ビル・ゲイツ氏は今から10年前の2004年2月にこう語った。
その時は来た。
米グーグルや米アップル、米フェイスブックといった先進IT企業は今、コンピュータがデータの中から知識やルールを自動的に獲得する「機械学習」の技術を駆使し、様々なイノベーションを生み出し始めている。
これらは来たる機械学習革命の、ほんの序章に過ぎない。
機械学習の本質は、知性を実現する「アルゴリズム」を人間の行動パターンから自動生成することにある。
この事実が持つ意味は、果てしなく大きい。
今後、実社会における様々な領域で「人間の頭脳を持つプログラム」が登場する一方、データの中から知識やルールを見つけ出したり、プログラムを開発したりするデータサイエンティストやプログラマーの仕事が、機械に置き換えられてしまうからだ。
機械学習は社会や企業にどんな革命をもたらし、IT関係者の役割や活動の場はどう変わるのか。
猛スピードで進行する革命の本質に迫る。
（中田 敦）
◆part1 嘆く天才プログラマー
◆part2 常識破りの9事例
◆part3 危機を好機に、五つの未来
この記事は定期購読者のみの閲覧ですので、引用は最小限にしたいと思います。興味がある方は紀伊国屋書店など大きな書店で売っていますので、お買い求めください。
機械学習の弱点として「学習していない事象には対応できない」「苦手とするタスクがある」「データが無いと学習できない」という3つを挙げていました。苦手なタスクとは、以下のようなものです。TOEICでいうとパラフレーズ問題になるでしょうか。
国立情報学研究所（NII）社会共有知研究センター長の新井紀子教授は、「表現が異なる二つの文章の意味が同じかどうかを判断する『含意関係認識』なども機械学習は苦手とする」と述べる。合意関係認識は、意味の推論や文章の要約などの際に必要となる技術だ。新井教授は「機械には何ができて、何ができないかを見極めることも、人間にとっての重要な仕事だ」と語る。
しつこいようですが、AI開発にはアプローチの違いがあったり、弱点の克服という課題があったりして、すぐにバラ色の未来が開けるということではなさそうです。
以下はDeep Learningの自分メモです。
プレゼン資料
（Wikipedia）
Deep Learning
Deep learning is a set of algorithms in machine learning that attempt to learn in multiple levels of representation, corresponding to different levels of abstraction. It typically uses artificial neural networks. The levels in these learned statistical models correspond to distinct levels of concepts, where higher-level concepts are defined from lower-level ones, and the same lower-level concepts can help to define many higher-level concepts.[1]
Deep learning is part of a broader family of machine learning methods based on learning representations. An observation (e.g., an image) can be represented in many ways (e.g., a vector of pixels), but some representations make it easier to learn tasks of interest (e.g., is this the image of a human face?) from examples, and research in this area attempts to define what makes better representations and how to learn them.
Some of the most successful deep learning methods involve artificial neural networks. Deep Learning Neural Networks date back at least to the 1980 Neocognitron by Kunihiko Fukushima.[2] Ronan Collobert has said that "deep learning is just a buzzword for neural nets".[3] On the other hand, many recent research results demonstrate superior learning abilities of neural nets with more layers than the traditional single hidden layer that was the norm before the invention of deep belief networks in 2006.
Vol. 29 No. 1 (2014年1月)
特集：「ヒューマンコンピュテーションとクラウドソーシング」
世界のAI，日本のAI〔第23 回〕
連載解説：「Deep Learning（深層学習）」〔第5 回〕
アーティクル
レクチャーシリーズ：「人工知能とは」〔第7 回〕
SF ショートショート〔第3 回〕
特集：「人工知能分野における博士論文」
論文特集：「知的対話システム」
論文特集：「近未来チャレンジ」
論文特集：「2013 年度全国大会速報論文」
グローバルアイ〔第26 回〕
学生フォーラム〔第70 回〕
会議報告
会 告
この学会誌でDeep Learning（深層学習）の解説を連載している久保 陽太郎さんのコラムを以下のリンクで読めます。
「深層学習」を再発見する土壌 久保 陽太郎
NTTコミュニケーション科学基礎研究所 研究員
音声認識器は耳を再発明するべきでしょうか.人工知能 システムは脳を再発明するべきでしょうか.音声認識や人 工知能に限らず,同様の議論はさまざまな学術分野で長く 続いており,決着の兆しをみせません.そして,このよう な分野に深層学習がもたらしたブレイクスルーは,人間か ら学ぶことがまだあるということを我々に示唆してくれた と考えることもできます.なぜなら深層学習の基本技術と して用いられる模型「ニューラルネットワーク」は,人間 の神経細胞を大雑把に模したものだからです.
Deep Leaningの最近の成果として挙げられるのが、iPhoneの音声認識Siriであったり、Google Brainによる猫の認識だったりするようです。2012年にコンピュータが猫を認識したというニュースがありましたね。その意義をまったく理解していませんでしたが。。。（汗）
Google、大規模人工ニューロンネットワークを用いた研究成果を紹介
2012/06/27
鈴木 英子＝ニューズフロント
米Googleは現地時間2012年6月26日、同社研究チームの機械学習技術に関する研究成果を紹介した。脳をシミュレーションする大規模ネットワークを用いた新たな手法により、コンピュータが猫を認識する能力を自ら身につけることに成功したという。
現在、機械学習技術を新用途に適用させるにはたいへんな作業を必要とし、例えば車とバイクの写真を区別できるシステムを構築しようとする場合、標準的な手法ではまず「車」あるいは「バイク」のラベルを付けた多数の写真を集めなければならない。そしてこれらラベル付けしたデータを使ってシステムをトレーニングする。
しかしGoogleは、Web上や「YouTube」ビデオから無作為に画像を収集し、人間の脳などの神経回路網の学習プロセスをシミュレーションする人工ニューラルネットワークを構築してトレーニングした。
前置きが随分と長くなりましたがようやくNatureのDeep Learningの紹介記事です。2500語を超える記事ですので、機械学習に興味がない人にとっては長く感じてしまうでしょうか。Deep Learningの変遷から、音声認識や画像認識での最近の成果、そして、製薬研究開発への応用について分かりやすく説明してくれています。課題や違ったアプローチにも触れてくれています。
このDeep Learningは我々が使っている自然言語の理解に役立てることが期待されている分野でもあるようです。また、製薬の研究開発にDeep Learningによるパターン認識が使われているようです。
Computer science: The learning machines
Using massive amounts of data to recognize photos and speech, deep-learning computers are taking a big step towards true artificial intelligence.
Nicola Jones, 08 January 2014
Words checked = [2400]
Words in Oxford 3000™ = [89%]
With triumphs in hand for image and speech recognition, there is now increasing interest in applying deep learning to natural-language understanding — comprehending human discourse well enough to rephrase or answer questions, for example — and to translation from one language to another. Again, these are currently done using hand-coded rules and statistical analysis of known text. The state-of-the-art of such techniques can be seen in software such as Google Translate, which can produce results that are comprehensible (if sometimes comical) but nowhere near as good as a smooth human translation. “Deep learning will have a chance to do something much better than the current practice here,” says crowd-sourcing expert Luis von Ahn, whose company Duolingo, based in Pittsburgh, Pennsylvania, relies on humans, not computers, to translate text. “The one thing everyone agrees on is that it's time to try something different.”
Deep science
In the meantime, deep learning has been proving useful for a variety of scientific tasks. “Deep nets are really good at finding patterns in data sets,” says Hinton. In 2012, the pharmaceutical company Merck offered a prize to whoever could beat its best programs for helping to predict useful drug candidates. The task was to trawl through database entries on more than 30,000 small molecules, each of which had thousands of numerical chemical-property descriptors, and to try to predict how each one acted on 15 different target molecules. Dahl and his colleagues won $22,000 with a deep-learning system. “We improved on Merck's baseline by about 15%,” he says.
久保さんもDeep Learningを時代遅れの方法だったと語っていたように、人間の脳に似せることが機械学習で最良の方法かどうかは異論があるようです。よく使われる例で、「飛行機は鳥を真似たものではない」というのがありますが、ここでも反対者は飛行機の例をあげています。
Not all researchers are so committed to the idea. Oren Etzioni, director of the Allen Institute for Artificial Intelligence in Seattle, which launched last September with the aim of developing AI, says he will not be using the brain for inspiration. “It's like when we invented flight,” he says; the most successful designs for aeroplanes were not modelled on bird biology. Etzioni's specific goal is to invent a computer that, when given a stack of scanned textbooks, can pass standardized elementary-school science tests (ramping up eventually to pre-university exams). To pass the tests, a computer must be able to read and understand diagrams and text. How the Allen Institute will make that happen is undecided as yet — but for Etzioni, neural networks and deep learning are not at the top of the list.
機械学習と一口にいってもアプローチに大きな違いがあるようですね。
ちなみに日経コンピュータの特集は以下のようになっています。
「機械学習」革命
的中したビル・ゲイツの予言
2014/01/08
出典：2014年1月9日号
「自ら学習するマシンを生み出すことには、マイクロソフト10社分の価値がある」。
米マイクロソフトの創業者ビル・ゲイツ氏は今から10年前の2004年2月にこう語った。
その時は来た。
米グーグルや米アップル、米フェイスブックといった先進IT企業は今、コンピュータがデータの中から知識やルールを自動的に獲得する「機械学習」の技術を駆使し、様々なイノベーションを生み出し始めている。
これらは来たる機械学習革命の、ほんの序章に過ぎない。
機械学習の本質は、知性を実現する「アルゴリズム」を人間の行動パターンから自動生成することにある。
この事実が持つ意味は、果てしなく大きい。
今後、実社会における様々な領域で「人間の頭脳を持つプログラム」が登場する一方、データの中から知識やルールを見つけ出したり、プログラムを開発したりするデータサイエンティストやプログラマーの仕事が、機械に置き換えられてしまうからだ。
機械学習は社会や企業にどんな革命をもたらし、IT関係者の役割や活動の場はどう変わるのか。
猛スピードで進行する革命の本質に迫る。
（中田 敦）
◆part1 嘆く天才プログラマー
◆part2 常識破りの9事例
◆part3 危機を好機に、五つの未来
この記事は定期購読者のみの閲覧ですので、引用は最小限にしたいと思います。興味がある方は紀伊国屋書店など大きな書店で売っていますので、お買い求めください。
機械学習の弱点として「学習していない事象には対応できない」「苦手とするタスクがある」「データが無いと学習できない」という3つを挙げていました。苦手なタスクとは、以下のようなものです。TOEICでいうとパラフレーズ問題になるでしょうか。
国立情報学研究所（NII）社会共有知研究センター長の新井紀子教授は、「表現が異なる二つの文章の意味が同じかどうかを判断する『含意関係認識』なども機械学習は苦手とする」と述べる。合意関係認識は、意味の推論や文章の要約などの際に必要となる技術だ。新井教授は「機械には何ができて、何ができないかを見極めることも、人間にとっての重要な仕事だ」と語る。
しつこいようですが、AI開発にはアプローチの違いがあったり、弱点の克服という課題があったりして、すぐにバラ色の未来が開けるということではなさそうです。
以下はDeep Learningの自分メモです。
プレゼン資料
（Wikipedia）
Deep Learning
Deep learning is a set of algorithms in machine learning that attempt to learn in multiple levels of representation, corresponding to different levels of abstraction. It typically uses artificial neural networks. The levels in these learned statistical models correspond to distinct levels of concepts, where higher-level concepts are defined from lower-level ones, and the same lower-level concepts can help to define many higher-level concepts.[1]
Deep learning is part of a broader family of machine learning methods based on learning representations. An observation (e.g., an image) can be represented in many ways (e.g., a vector of pixels), but some representations make it easier to learn tasks of interest (e.g., is this the image of a human face?) from examples, and research in this area attempts to define what makes better representations and how to learn them.
Some of the most successful deep learning methods involve artificial neural networks. Deep Learning Neural Networks date back at least to the 1980 Neocognitron by Kunihiko Fukushima.[2] Ronan Collobert has said that "deep learning is just a buzzword for neural nets".[3] On the other hand, many recent research results demonstrate superior learning abilities of neural nets with more layers than the traditional single hidden layer that was the norm before the invention of deep belief networks in 2006.
スポンサーサイト
Tracback
この記事にトラックバックする(FC2ブログユーザー)