Pinned
Our NeurIPS paper is published on arXiv.
In this paper, we propose a new optimizer ADOPT, which converges better than Adam in both theory and practice.
You can use ADOPT by just replacing one line in your code.
arxiv.org/abs/2411.02853
Shohei Taniguchi
1,453 posts
Shohei Taniguchi
@ishohei220
Joined March 2015
- NeurIPSの論文をarXivに上げました．Adamに軽微な修正を加えることで，ハイパラに依存せずに常に収束を保証できることを示した論文です．提案法のADOPTは，コードを1行変えればすぐに使えるので，ぜひ使って見てください．Our NeurIPS paper is published on arXiv. In this paper, we propose a new optimizer ADOPT, which converges better than Adam in both theory and practice. You can use ADOPT by just replacing one line in your code. arxiv.org/abs/2411.02853
- こちら第5回の講師を担当することになりました。強化学習と確率推論 (ベイズ統計) の関係、POMDPにおける強化学習手法 (e.g., 世界モデル) について話します。興味ある人はぜひ応募してください！締切は日曜日の23:59です。
- 主著がNeurIPSに通りました。 Adamの収束性の解析と、それに基づくアルゴリズムの改良を提案する論文です。 提案法のADOPTは幅広いタスクでAdamよりいい性能を示し、LLMの訓練でもロスのスパイクを抑えられることを確認しています。 近いうちにarXivにも上げる予定です。当研究室の論文がNeurIPS 2024に２件採録されました。 weblab.t.u-tokyo.ac.jp/%e5%bd%93%e7%a…
- 卒論とともに取り組んできたPyTorchとPixyzによるDeepMindのGQNの再現実装を公開しました。著者のEslamiさんから直接すべてのハイパラを教えていただいたので、論文に忠実な実装になっています。興味のある方はどうぞ。(なおGPU4枚は必須です) github.com/iShohei220/tor… github.com/masa-su/pixyzo…
- OMRON SINIC Xでのインターンの成果がICRA2020に通りました。把持物体が環境と接触した際の幾何的な制約を用いて粒子フィルタを更新することで、ロボットハンド内の物体姿勢を推定する研究です。ベイズ×ロボット制御に興味がある人はぜひ読んでみてくださいー
- PFNのインターン通ったー
- 弊ラボからオープンソースのLLMが出ました 現時点で日本語対応のオープンソースで最大規模なので、いろいろ使って遊んでください100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。オープンソースの日本語大規模言語モデルで最高水準です。（JGLUE評価での実績（2023年8月16日時点））bit.ly/47zPTJiReaders added contextこのプレスリリースは、Open Source Initiativeが定義する一般的な "Open Source" とは異なる定義で「オープンソース」と表示されていることに注意が必要です。 opensource.org/faq/#commercial 2023年8月19日現在、Weblab-10BはHugging Face上においてCC BY-NC 4.0ライセンスで公開されています。 huggingface.co/matsuo-lab/web… huggingface.co/matsuo-lab/web… CC BY-NC 4.0ライセンスは商用利用を禁ずるもので、 OSI Approved Licenses のリストには掲載されていません。 opensource.org/licenses/
- 主著論文がNeurIPS 2022に採択されました VAEのようなエンコーダを使った推論をMCMCにも取り入れようという研究です それを使った新しい深層生成モデル Langevin autoencoderも提案しましたOur paper “Langevin Autoencoders for Learning Deep Latent Variable Models” has been accepted at NeurIPS 2022🎉 We proposed a novel framework of deep generative models named the Langevin autoencoder (LAE). Brief summary in the thread below. arxiv.org/abs/2209.07036
- 当研究室修士１年の谷口尚平くんの発表が、2019年度人工知能学会 全国大会学生奨励賞に選ばれました。 weblab.t.u-tokyo.ac.jp/%e5%bd%93%e7%a…
- こちら第5回の講師を担当することになりました。強化学習と確率推論 (ベイズ統計) の関係、POMDPにおける強化学習手法 (e.g., 世界モデル) について話します。興味ある人はぜひ応募してください！締切は日曜日の23:59です。【学生限定：短期講座第1弾】強化学習講座の募集開始！8/11より全6回の講座です。強化学習の基礎から、sim2real、模倣学習、Control as Inference、世界モデルなどをカバーします。深層学習の基礎を理解している学生さんはぜひご応募を！（7月26日 23:59締め切り） deeplearning.jp/reinforcement_…
- **Update on the ADOPT optimizer** To address several reports that ADOPT sometimes gets unstable, a minor modification has been made to the algorithm. We observe that this modification greatly improves stability in many cases.Our NeurIPS paper is published on arXiv. In this paper, we propose a new optimizer ADOPT, which converges better than Adam in both theory and practice. You can use ADOPT by just replacing one line in your code. arxiv.org/abs/2411.02853
- Our paper “Langevin Autoencoders for Learning Deep Latent Variable Models” has been accepted at NeurIPS 2022🎉 We proposed a novel framework of deep generative models named the Langevin autoencoder (LAE). Brief summary in the thread below. arxiv.org/abs/2209.07036
- 幣研M2の古田くん、直近1年でICLR、ICML、NeurIPSにすべて筆頭著者で論文通していて、まじですごい既存の深層強化学習のアルゴリズムを分類した論文がNeurIPS2021に採択されました！松尾研、@Tdash_Kozさん、 @shaneguMLさんの共同研究の成果です arxiv.org/abs/2103.17258
