指尖魔法屋
  • 文章
  • 分类
  • 标签
  • 闲来勤思
  • 武林秘籍
  • 思辨录
  • 时间轴
  • 关于
  • 联系
  • 🔍

FSDP

昇腾 LoRA FSDP
昇腾 910B 微调 Qwen3.8-27B:从 OOM 到 4096 上下文 LoRA
cutoff_len=16 时链路全绿,一拉到 4096 就在 MLP 前向炸显存。这篇把 8×910B 上 Qwen3.8-27B 的 LoRA 怎么从 OOM 拧到跑完 2475 步写清楚,也把验证集先降后升这件事摊开。
醉月思 醉月思
📁 技术实践
📅 2026-09-07
Copyright © 2017-2026 指尖魔法屋. All rights reserved POWERED BY thinkBlog · v6.1.0 关于 · 联系 · 隐私政策 · Cookie 政策 本站已顽强运行:加载中...
粤ICP备17055617号