Compression of imaginary-time data using intermediate representation of analytical continuation
Hiroshi Shinaoka, Junya Otsuki, Masayuki Ohzeki, Kazuyoshi Yoshimi

Phys. Rev. B 96 (2017) 035147
arXiv:1702.03054

埼玉大学での集中講義が研究へ結実!スパースモデリング逆襲論文2。同じく量子モンテカルロ法に関係する話題です。解析接続に都合の良い基底を見つけ出したわけですが、その振る舞いや特徴、性質を深掘りする研究です。
パラメータのある極限では、ルジャンドル関数が出てきて、一般にはそこから離れた良い関数が存在するようです。ルジャンドル関数を利用して解析接続等、データ解析を行うという話はあるようですが、この研究ではスパースモデリング経由で得られた良い基底関数を利用することで、それこそなんでルジャンドル関数が良いの?と訳もわからず使うのではなく、重要な寄与をするところをうまく用意できるため、解析の精度も向上して、さらに必要過不足なく結果を示すのに最低限必要なデータの取得量を推し量るなどにも利用が可能です。気になるのはこの良い基底関数はなんなのか?です。
スパースモデリングの真の目的である物理モデリング、物理の抽出まであと一歩。楽しみな結果です。
ここ数年で1番興奮した話です。

ページの先頭へ

Sparse modeling approach to analytical continuation of imaginary-time quantum Monte Carlo data
Junya Otsuki, Masayuki Ohzeki, Hiroshi Shinaoka, Kazuyoshi Yoshimi

Phys. Rev. E 95, 061302(R) (2017)
arXiv:1702.03056

ひたすらスパースモデリングの伝道師を続ける中、東北大学で素晴らしい仲間と出会いました。出ました。スパースモデリング逆襲論文。量子系の研究をする際に、本当は実時間における挙動を計測したいのですが、多くの場合はそれが非常に難しいため、虚時間と呼ばれる仮想的な世界で量子モンテカルロ法を実行します。そこで得られたデータを「解析接続」を行なって間接的に実際の挙動を「推定」します。思えば今までなぜここにデータ科学の方法が系統的に入っていかなかったのかと思うのですが、今回スパースモデリングの伝家の宝刀LASSOと、うまい基底を利用した解析により、そもそもこの解析接続で推定した結果には原理的限界があり、その限界ギリギリまで自動的にノイズに埋もれていないところを選択することで、最大限のデータ解析をすることができる方法を開発しました。
今までこの分野を牛耳っていた方法は、最大エントロピー法と言われるもので、盛んに活用されていますが、その方法のなんだかふやふやしたところをよそに、限界ギリギリまでの性能を、計測と推定の連携で行なった成果です。
ここ数年で1番気持ちの良い話かな。

ページの先頭へ

Quantum Monte Carlo simulation of a particular class of non-stoquastic Hamiltonians in quantum annealing
Masayuki Ohzeki

Scientific Reports (2017) 41186
arXiv:1612.04785

まだ方法を提案しただけ、深化はこの先だ.量子アニーリング研究の世界の潮流は、ユニバーサル計算が可能なNon-stoquastic(確率解釈不能)系の実現に向かっている。いわば本当の量子性を実現する「量子コンピュータ」となるための進化に向かっている。
量子アニーリングで典型的な量子揺らぎは横磁場をかけるというものである。しかしこれはStoquastic(確率解釈可能)系であり、古典コンピュータ上でシミュレーションが容易に可能である。一方で、そのままではシミュレーションが困難であるものをNon-stoquastic系と呼び、量子揺らぎを伴う系のシミュレーションとして典型的に採用される量子モンテカルロ法を適用すると、負符号問題を伴う。うまく計算を行えばこの負符号問題を解消することのできる問題もあるが、問題によって特別な解法を採用する必要があり、一般的な解決方策を必要としていた。本論文では、従来より知られていた平均場近似による解析方法を利用して、比較的広い問題について特定のNon-stoquastic系の負符号問題を回避して量子モンテカルロ法を実行するスキームを提案した。今後このスキームを利用して、これまでに見られなかった量子揺らぎの活用の仕方を探ることが可能となった。またD-Waveマシンを始め、次期量子アニーリングマシンで実装される横磁場以外の量子揺らぎに対するベンチマークテストを与えることが可能である。

ページの先頭へ

Statistical mechanical models of integer factorization problem
Chihiro H Nakajima and Masayuki Ohzeki

J. Phys. Soc. Jpn. 86, 014001
LinkIconarXiv:1605.01310

ぐるぐるぐるぐると結論が見えない議論であった古典計算機と量子計算機の違いが顕著に出る有名な計算として素因数分解がある.それを最適化問題として素朴に定式化して統計力学の処方箋に則り、計算量評価を行ったもの.賢いアルゴリズムに対応しているわけではないから、最速の計算量評価にはなっていないものの、古典のアルゴリズムを適用した時の特殊な性質が見えている.
単なる一次転移ではなく二次転移の特徴も有することがわかり、一次転移ほど状態間の遷移が制限されているわけではない印象.もしかしたら模型を変えたら二次転移に帰着できるのではないかという兆候が見える.それが古典の範囲では難しく、量子揺らぎを利用した時に、この一次転移を失くすことが、またはやわらげることができるのではないかという兆しを見つけたという論文.
当然、量子アニーリングの定式化で検証を進めている.

ページの先頭へ

Conflict between fastest relaxation of a Markov process and detailed balance condition
Kazutaka Takahashi and Masayuki Ohzeki

Phys. Rev. E 93, 012129 (2016)
LinkIconarXiv:1509.08212

BBDBC2014の様子東工大時代に一緒に過ごした高橋さんと初めての共著.詳細釣り合いの破れというのは最適な確率過程の中で自然に現れるということを示した論文.彼が得意とする量子最速降下曲線の方法を、古典の確率過程であるマスター方程式が支配する世界へ輸入することでなしえた結果.色々と教訓めいたこともあり、内容以上にしみじみと色々と感じた.フォッカープランク系や他のシステムへの拡張や展開も視野にいれつつ、これまでとは異なった視点で「詳細釣り合いの破れ」というものの領域を広げることを目指した.
日本では諏訪・藤堂法から始まり、酒井・福島の結果、そして一木・大関の結果、そして大関・一木法を経て、遂に数理的基盤の醸成として最適化の手法まで登場しました.これまでよりもユニークで優れたルールによる確率過程が登場する日も近いかもしれません.あくまでこれは狼煙で、続々と続きます.BBDBCの系譜、乞うご期待.
(元タイトル:Optimization of Markov process violates detailed balance condition)

ページの先頭へ

Full-order fluctuation-dissipation relation for a class of nonequilibrium steady states
Akihisa Ichiki and Masayuki Ohzeki

LinkIconPhys. Rev. E 91, 062105 (2015)
LinkIconarXiv.cond-mat.1503.04504

非平衡定常系の夜明けぜよ.詳細釣り合いをやぶり、しかし定常分布は平衡系と同じようにGibbs-Boltzmann分布とする特殊な非平衡定常系に注目する.諏訪藤堂法を始め、数値計算で考えられるようになった人工的な系である.
しかしひとたび非平衡定常系の例題として解析をしていくと非常に性質がよく、色々なことが分かる.
平衡系ではしっかりと理解されている揺らぎと応答の関係を、非平衡定常系についても求めようと地道な努力が続けられて来たが、本論文ではそのひとつの結実を示している.
元々数値計算上、緩和が早くなる、相関時間が短くなる等の特徴があり、その起源を追い求めて行くと、レアイベントサンプリングを使っていることが見いだされたところに端を発する.
根本佐々理論のように、そのままではサンプリングが難しい確率分布の裾野の領域について、
外力を加えることにより得られる別の非平衡定常系で典型的なイベントにしているのではないか?
だとすると、その特別な外力は何だろうか?根本佐々理論と同様に得られるはず.
根本佐々理論そのままでは中々扱いが難しいので、杉山大関の変分法を使い、非常に簡素に求めることに成功した.
その力は、数値計算上の興味で前回求めた詳細釣り合いを破ったLangevin系にかける力そのものであった.
発見的に見つけたものを理論的に示した快感を伴う成果である.
揺らぎと応答の関係を非平衡定常系ではっきりと見いだした意味でも非常に重要な知見である.

ある意味初めて物理の論文を書いた気がする.

ページの先頭へ

L_1-regularized Boltzmann machine learning using majorizer minimization
Masayuki Ohzeki

LinkIconJ. Phys. Soc. Jpn. 84, 054801 (2015)
LinkIconarXiv.stat.ML.1503.03132

蛍の光を検出するのもスパース解推定ですね
statML第二弾.L1ノルムによる正則化でスパース解を出すときに、どうやったらいいんだろう?物理界隈の人に伝えるために書いたようなもの.業界内では普通のことですが、こちらの分野ではそんな知られていないのでチュートリアル的に書きました.
実際にアルゴリズムを動かして遊んでみないと、面白みは分かりません.
是非この手法を使ってスパース解を推定して、威力を噛み締めてほしいと思います.
応用編は今後次々と出ますので、興味を持つタイミングはこれからでも遅く無いですよ.

ページの先頭へ

Statistical-mechanical analysis of pre-training and fine tuning in deep learning
Masayuki Ohzeki

LinkIconJ. Phys. Soc. Jpn., 84, (2015) 034003
LinkIconarXiv.stat.ML.1501.04413

京都大学に来たからには機械学習そして情報統計力学でしょう.
出ました、Deep Learningの性質を調べる解析的研究です.今や右も左もDeep Learningという時代ですが、その識別能力に対して、
Deep Learningの何が良いことを引き起こしているのかがよくわからないと言った声が多く聞かれます.そこまでわからないわけでもないのですけども、教師無し学習と教師あり学習がそれぞれどのような性質をもたらしているかをまずは丁寧に探りました.Deep LearningというとDeepじゃないと意味がないみたいに思われますが、扱っているデータをどのように表現するのかが非自明だから多層にするのであって、データが表現できるような状況であれば多層化する必要はないわけです.

ではあの非自明な精度はどこからくるのか?それは学習をしっかりやるからです.
ただその学習をするには大変で、そのためにAuto encoder等の対処法が必要というわけです.
今回はその大変になる理由が、半教師あり学習特有の一次転移にあることを示しました.
しかも教師無し学習のデータ量を大きくすると非自明な相転移があり急激に精度が良くなることがわかり、これがDeep Learningの性能の意味であることを発見しました.

個人的には何気にレプリカ法+SGの平均場理論初デビューをこの論文にしたくて、昨年はのんきに映ってしまう状態になりましたが、これから大量放出されますのでご安心を.

ページの先頭へ