ディープ・ラーニングへの途

user-pic
0

AlphaGoが話題になる前から、ディープ・ラーニングには興味があって、岡谷貴之著、「深層学習」機械学習プロフェッショナル・シリーズ、講談社を買っておいたのだが、AlphaGoが話題になってもその本は積読のままで、困ったものだと嘆いていた時期があった。

ところが、量子アニーリングとの関係で、機械学習も重要だと分ってくると、急に「深層学習」機械学習プロフェッショナル・シリーズを読み始めたのだから、自分の気紛れさに呆れる。

ともかく、その「第1章 はじめに」を自分の知識の整理のため、まとめてみる。

さて、1980年代の半ばから、1990年代前半にかけて、ニューラル・ネットワークのブームが起きた。もしかして、通産省(当時)が打ち上げた、第五世代コンピュータ・プロジェクトに後押しされていた面もあったかもしれない。

それは、誤差伝播法(back propagation)という学習法の発明によるものだったが、1990年代後半にはすっかり下火になってしまった。その理由は、誤差伝播法は、2層より多いニューラル・ネットワークにはうまくいかなかった。すなわち、過学習、あるいは過適合になってしまう。入力層から離れた層に行くにつれて、勾配が発散してしまう、という問題があった。但しなぜか、画像を対象とする畳込みニューラル・ネットワーク(CNN)は比較的うまくいった。

その後、ニューラル・ネットワークに対する関心は低下したが、1990年代後半から、2000年代前半にかけて、HintonらがDeep belief network(DBN)の研究を行い、これがブレーク・スルーになった。これでも、多層になると依然として学習が困難だったが、DBNの層毎に、制約ボルツマン・マシン(restricted Boltzmann machine:RBM)と呼ばれる単層ネットワークに分解し、greedyに入力層から順に教師なしで学習していく方法を提案した。

そうやって得られたDBNは、順伝播型のニューラル・ネットワークに転換可能で、そうして得られたニューラル・ネットワークは、多層でも過学習の問題を引き起こさなかった。このような、RBMによる学習を、事前学習(pretraining)と呼ぶ。

その後、DBNやRBMでなく、より単純な自己符号化器を使用しても事前学習が可能であることが分かった。

このようにして得られる多層ニューラル・ネットワークの学習処理を深層学習と呼ぶ。ただ、深層学習といっても、いくつかの異なる方法論の集まりである。例えば、音声認識では、層間ユニットが全結合したネットワークがよく使われ、上述の事前学習が行われる。

一方、画像認識に使用される、畳込みニューラル・ネットワークでは、事前学習は必要ない。

他方、自然言語処理や音声認識では、再帰型ニューラル・ネットワーク(recurrent neural network:RNN)が使用される。

深層学習が結局成功を収めた理由は、上記のようなアルゴリズムだけでなく、ウェブ時代になって入手可能な学習データが増えたことと、マルチコアやGPUなどによって計算機の計算能力が顕著に高まった、ということがある。

以上、深層学習に関して、学んだキーワードをちりばめてみたので、あとは地道に勉強することにする。

トラックバック(0)

トラックバックURL: http://commutative.world.coocan.jp/mt/mt-tb.cgi/4462

コメントする

このブログ記事について

このページは、あやたろうが2017年3月 2日 05:16に書いたブログ記事です。

ひとつ前のブログ記事は「将棋連盟、理事解任」です。

次のブログ記事は「意外なメモリ・リーク」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。