DeepSpeed の新機能 AutoSP のPyTorch公式ブログが公開されました!
- コンパイラレベルでの最適化により、既存モデルに設定変更だけで Sequence Parallel を適用
- 長い系列の学習に最適化された Sequence-aware AC (activation checkpointing)
Great News! Thanks to DeepSpeed AutoSP, efficient long context LLM training is now easily accessible.




