ベイズ推定入門 モデル選択からベイズ的最適化まで【感想・レビュー】

前作に引き続き、お妃様と魔法の鏡の機械学習シリーズの続編を読みました。

ベイズ推定入門 モデル選択からベイズ的最適化まで

前作のレビュー記事は以下になりますので、未読の方はぜひご参照ください。

www.konosumi.net

ちなみに「ベイズ推定」が知りたいという方は本書からでも問題ないのですが、それ以外の方は、前作の「機械学習入門 ボルツマン機械学習から深層学習まで」を先に読むことをオススメします。

機械学習とベイズは関連が深いのと、前作で築かれた「お妃様」と「魔法の鏡」の関係性を知っていたほうが、物語をより楽しめます。

バラエティーに富んだ物語

前作では、美しさの判定を求める事が目的だったのですが、本作にはいくつもの物語があります。

• 失くしてしまった宝石探し
• イノシシの住処を探す
• 兵士は恋をしたのか？
• イノシシを罠で捕まえよう

前作よりもオムニバスの色が強くなり、物語が豊かになりました。内容が面白かったので、ほぼ一夜漬けでずっと読んでました。時間で言うと6時間くらいです。複雑な数式を使わないので、読みやすい事が特徴です。

機械学習や深層学習では数式で詰まりがちですが、それをあえて掲載しないことで、ベイズ推定の本質的な考え方の理解に集中してもらおう、というコンセプトです。

事前情報を活用する

あなたは大事なモノを失くしてしまいました。さて、どこを探せば見つかるでしょうか？落とし物をしたとして、大抵の人は記憶を辿りながら、どこで失くしたのかを推測しながら探しますよね。

その推測や予測は、ベイズ推定における事前情報になります。当然ですが、闇雲に捜索するよりも効率が良いわけです。見つかる可能性の高い場所から、落とし物の捜索をするのですから。

ベイズ推定では、この事前情報が重要な役割を果たします。予め得た事前情報を使って、効率よく推定をしましょうっていうわけです。

事実や実際の結果を基にした最尤推定

最尤推定(さいゆうすいてい)は、実際に起こった結果や、発生した事実を基にした推定です。一見、事実を基にした方が確実なように感じます。

しかしながら、確率を扱う分野では、事実を基にしてしまうと不正確な推定になってしまう事があります。コインを振って、たまたま3回連続で表が出た場合、最尤推定では表が出る確率は100%です。

・・・でも、我々はコインで表が出る確率は50%であるという事実を知ってますよね？これが最尤推定の欠点であり、ベイズ推定であれば、事前情報によって補正することができるのです。

確率分布

失くしてしまった大切なモノがどこにあるのか、推測はできるかもしれませんが、実際にどこにあるのかは、見つかるまでは断言できませんよね？

• クローゼットにある可能性は50%
• ダイニングにある可能性は25%
• リビングにある可能性は10%

これが確率分布です。あくまで確率ですので、確信の域は出ないのですが、本書では後半のイノシシを捕まえる話に至るまで、終始「分布」が非常に重要な役割を果たします。

ベイズの定理

本書では、ベイズの定理が非常に重要な役割を果たします。

逆の条件付き確率(P(X|Y)) <= 条件付き確率(P(Y|X)) X 前提条件の確率(P(X))

ざっくりとだけ解説します。

• 「条件付き確率」は、Xが原因でYが結果の確率です。
• 「逆の条件付き確率」は、Yの結果からXを原因とする確率です。
• 「前提条件の確率」は、そもそものXという原因が発生する確率です。

原因と結果が反対になっているので、逆の条件付き確率というわけです。条件付き確率や前提条件の確率が高くなれば、同様に逆の条件付き確率も上昇していきます。

なお、一言ではとても解説しきれません。ぜひ、本書で読んで理解してみて欲しいです。ちなみに、本書ではXが「恋」でYが「ボケーッとしている」です。

まさか、恋でベイズ推定が学べるとは驚きです。

赤池情報量規準

モデルに含まれるパラメータの個数が少ないほど、汎化性能が良くなるという考え方です。

複雑なモデルにすればするほど、目の前にあるものには合わせやすくなります。しかしながら、目の前にあるモノに最適化をしすぎると、これから先のことを予測する場合に、却って身動きが取りづらくなってしまうのです。

これを過適合と言います。前作に登場するスパースモデリングとも、考え方は似ているかもしれませんね。

正則化とベイズ的最適化

正則化は、事実から得られたデータと、事前情報を組み合わせて、最も良いバランスで調整する方法です。推測プラス実際のデータというわけです。

ベイズ的最適化は、データを取得することが困難であったり、時間がかかったりする場合に、効率よく探索をしながら最適化問題を解く方法として、注目されています。そう、ベイズ推定は、データ量が少ない場面でも使えるのです。

不確実性を受け入れる

ベイズ的最適化では、データが少なく関数の軌道が予測しづらい箇所を、素直に不確実性が高いと表現します。データが少ない箇所は、予測がしづらくブレが大きくなりやすいのです。

しかしながら、不確実性が高い箇所に限ってデータを集めることで、関数の精度を上げることができます。闇雲にデータを取るよりも効率的なのです。

さいごに

本書は確率を扱うため、前作ほど明快に答えが出るような本ではありません。

しかしながら、データが少ない局面でも適用できるとなれば、実用範囲はとても広くなります。世の中はビックデータだらけではないですし、一見ビックデータに見えても、使えるデータは意外と少なかったりするのです。

本記事では、自分用の備忘録という意味も含めて、駆け足でかいつまんで説明をしました。本記事で要約した内容以外にも、様々なことが載っております。 とても面白い本でしたので、ぜひ読んでみてください。

ベイズ推定、知っておいて損はなしです。

ベイズ推定入門 モデル選択からベイズ的最適化まで

機械学習入門 ボルツマン機械学習から深層学習まで