研究説明research activities

村田研究室の研究領域は「(統計的)機械学習」です。「学習」というのは我々人間をはじめとする生物の脳が行う極めてエレガントな情報処理です。「学習」とは与えられたデータから、そのデータに内在する性質・構造を獲得する脳の情報処理機構です。脳内に分散したさまざまな情報は、相互に結合した多数の神経細胞の働きによって並列に処理されますが、長い進化の過程で獲得された生物の脳の高度で柔軟な並列分散処理の機構は、数学的にも興味深い原理が働いていると考えられています。

現在多くの研究者が「学習する機械=学習器」のより良い実現を目指し、脳をモデルとした情報処理に興味を持っています。計算機上で行うことができる情報処理は、生物の神経機構とはかけ離れていることも多いですが、脳の情報処理を単純化し・抽象化し、記憶や学習といった情報処理の仕組みを数学的にモデル化し、それを工学的に実現することは面白いとともに重要な試みです。最近発展の著しい深層学習は、生物の脳の構造を模した階層的なパターン変換の組み合わせによる情報処理の方法論で、こうした試みの一つと考えられます。脳の情報処理の原理を探求することによって、制御やパターン認識などの基本的な問題から例えばエネルギー運用の最適化や物質材料の設計などさまざまな分野へその応用を拡げています。
学習器を用いて応用的な課題を解決するためには、学習という情報処理機構を理解するための強力な理論が必要です。我々の研究室ではこれまでに主に2つの方法論を用いて、この問題に挑戦してきました。それは確率的なモデリング技術と確率分布の空間の幾何学です。
データに雑音が含まれるとき、一般に入力と出力の関係は条件付確率分布を用いて記述されます。また学習器が学習していく過程も確率的な挙動をするため、これは確率分布と確率的な力学系を用いて記述されます。このため、学習器を統計学や確率論の枠組で扱い、それらの性質を調べることが有効となります。これは統計的機械学習といる研究分野になります。

もう1つの重要な考え方は幾何学です。与えられたデータを用いて1つの学習器を訓練するとき、計算機実験などを通してその性質を詳しく調べることができますが、ここで観測される性質はたまたま与えられた1つのデータや用いた学習器に特異的であることが多いのです。ある1つのデータ・学習器について議論するのではなく、ある種の性質を持つ学習器の集団(集合)を考え、その集団の能力や限界を議論することは、時として学習器の性質や学習アルゴリズムを理解するのに非常に有効な方法です。パラメタをn個持つ機械の集まりは、それらを座標とするn次元の多様体となりますが、この多様体の幾何学的な性質が学習器の性能と密接に関係していることがわかってきました。確率分布のなす多様体の情報構造に着目して統計学と幾何学を結び付けるこうした考え方は情報幾何と呼ばれ、1980年代に確立しました。微分幾何学とよばれる分野で発展した数学的な道具とともに発展し、現在は統計学ばかりでなく機械学習の分野でも用いられるようになってきました。

当研究室は、確率・統計、信号処理、パターン認識、機械学習の数理的な枠組みを扱い、「学習」という情報処理の原理の解明に取り組んでいます。