gejiqmq さんの情報幾何ツイートまとめ: 自分用備忘録¶

メモ¶

全く理解できていないが自分用備忘録として残しておく. このツリーをまとめた.

ツイートまとめ¶

Fisher情報量は、統計学の普通の教科書だと、局所不偏推定量の平均二乗誤差の達成可能な下限、として出てきます。が、局所不偏性はそれ自体では人為的な条件で、不偏性を弱めて数学的に扱いやすくしているだけのものです。だから、「達成可能」と言っても威張れるものでもなく、
— QmQ (@gejiqmq) September 9, 2020

Fisher情報量が示す下限を達成する不偏推定量のないモデルはいくらでもあるわけです。自分の博士論文の審査でもそういう質問出たし、また、今でもその手の記述はみかけます。まあよくある疑問です。これは甘利本などを読んだ方には常識でしょうが、漸近論による意味付けが可能な訳です。
— QmQ (@gejiqmq) September 9, 2020

つまり、データ数が沢山あって、中心極限定理が機能する状況になれば、「最適な」推定量の平均二乗誤差の下限がFisher情報量の逆数に比例する、というわけです。しかし、この「最適な」はなかなか曲者でして、Fisherの大胆な「証明」以来、
— QmQ (@gejiqmq) September 9, 2020

反例の提示もあり、どういう条件を推定量やモデルにかすか、というのは実はそれだけでモノグラフが書けるのでは、というくらいの話なのです。もうずっと前になりますが、柴田先生とこの件で雑談した時、「結局、漸近的に局所不偏、という条件が簡潔なんじゃないの」ということになったくらいで。
— QmQ (@gejiqmq) September 9, 2020

やはり、漸近論の話にしますと、解析学的な難所がいちいち妨げになって、本質が曖昧になるきらいがあると思います。そこで、もう一つのものの見方は、統計量の期待値が、どの程度敏感にパラメータの変化を表し得るか、という問題を考えます。
— QmQ (@gejiqmq) September 9, 2020

この視点からFisher情報量を包括的に扱ったのは、AmariNagaokaの本や、長岡さんの数理科学の古い記事があります。先立って、藤原さんが線形応答とFisher情報量の関係をセミナーで指摘しているので、影響関係はあるのでは、と思っています。
— QmQ (@gejiqmq) September 9, 2020

考えてみると、局所不偏性条件は、期待値をパラメータで微分したら1、というわけで、シグナルの強さを固定して揺らぎを最小化しましょう、と読めます。
— QmQ (@gejiqmq) September 9, 2020

また、漸近論の話は、読み解くと結局のところ、局所不偏性の議論のようなものが近似的にできますよ、というふうに読めると思います。となると、この期待値の感度の上限という見方が本質、ということになるかもしれません。
— QmQ (@gejiqmq) September 9, 2020

最近時折見る、speed limitとの関係なども、基本的にはこういう話だと思います。
— QmQ (@gejiqmq) September 9, 2020

もう一つ、Fisher情報量の導出として、アファイン微分幾何からの
アプローチがあります。野水、黒瀬、松添などのアプローチで、これはe接続を埋め込みを用いて導出する過程で、自然とFisher情報量とm接続が出てきてしまう、というもので、
— QmQ (@gejiqmq) September 9, 2020

最初見た時は魔術かと思いました。大まかに言いますと、確率分布の集合をR^m内の曲面だと思うのですが、そのやり方は、log p(i)をi番目の座標の値にします。接続は、ユークリッド空間の普通の接続を、「射影」して作ります。この射影の方向を(p(i))にとるわけです。
— QmQ (@gejiqmq) September 9, 2020

言い換えると、接ベクトルの表現を対数微分にとり、並行移動は基本、対数微分をそのまま他の点に移動します。ただ、対数微分は期待値がゼロでないといけないので、期待値を引いて調整します。
— QmQ (@gejiqmq) September 9, 2020

Fisher情報量はどこに出てくるかというと、この射影をするときに捨てられる部分の大きさになります。
— QmQ (@gejiqmq) September 9, 2020

これは数学的なギミックのようですが、操作的に見ても自然だとおもいます。今、真の確率分布をpだと思っているとき、それが本当かどうかチェックしたいとします。その時、対数微分の期待値をデータから見て、判定したとしましょう。
— QmQ (@gejiqmq) September 9, 2020

これはつまり、先程の埋め込んだ曲面に入っているかどうかを、接ベクトルと「法線ベクトル」の積を見ることでチェックすることに相当します。このテストの感度がFisher情報量です。
— QmQ (@gejiqmq) September 9, 2020

今は対数微分を用いてパラメータの真の値のチェックをしたけれど、これを一般化することはできます。つまり、ある望ましい性質を持った、期待値がゼロになる関数でもいいわけです。これはM推定量に対応する話で、これを接ベクトルの表現に用いた
— QmQ (@gejiqmq) September 9, 2020

一般化された情報幾何もあります。黒瀬、松添、逸見らのstatistical manifold admitting torsionというやつで、その一般化された枠組みは、元の情報幾何よりも弱い結論しか出ません(divergenceが定義できない)が、量子にも適用可能です。
— QmQ (@gejiqmq) September 9, 2020

①統計量の期待値がパラメータにどれだけ鋭敏に反応するかの尺度②ユークリッド空間への埋め込みを考えた時の「曲がり方」の度合い　という、二つのFisher情報量の見方を見たわけですが、両者はもちろん、関係があります。先にも述べたとおり、埋め込んだ時の歪みを通じて、真の確率分布
— QmQ (@gejiqmq) September 9, 2020

が思った通りのものか、検出できたわけです。埋め込みの仕方をlogではなく、一般にした場合にも同様の議論ができますが、その場合は、この検出の感度はより悪くなることが①からわかります。つまり、最適な埋め込みを考えると、自然とFisher情報量と双対接続出てきてしまう、というわけです。
— QmQ (@gejiqmq) September 9, 2020

補足1 埋め込みをlogでない適当な変数変換でやりますと、射影の残差はリーマン計量を定義しません(内積で書けない)。埋め込みの仕方を統計的な理由で最適化したら、何故か幾何的性質も良好になってしまう、というのは摩訶不思議ではあります。
— QmQ (@gejiqmq) September 9, 2020

今後, きちんと勉強したい¶

情報幾何も勉強の記録として YouTube 動画を投稿していきたい. 他にもやりたいことがあるので優先度低めになってしまうが.

追記¶

2021 年, 藤岡さんによる数学向けの情報幾何の本が出た. これを読みたい.