Research
Workshop
训推、部署、算子与优化
and more
近期文章
0102030405
训练 NaN 的失败现场与状态恢复
训练中断时，最后一条异常可能来自日志系统。一次运行在写优化器审计记录时，严格 JSON 序列化拒绝了非有限浮点数；后续另一段运行则明确记录了非有限 loss，并由保护机制停止。两种退出都涉及 NaN，却不能只凭最终异常定位产生 NaN 的运算。
ONNX 导出中的 Python 形状计算与静态适配
一个模块在 PyTorch 中可以正常执行，导出时却被根据输入尺寸调用的 Python round() 阻塞。出问题的表达并不复杂：从特征的长宽比计算池化输出尺寸，再将整数尺寸交给后续算子。
PyTorch 派生缓存的精度转换与失效处理
模型参数已经转换成 FP16，推理却仍然报 Half 与 Float 不匹配。检查参数列表时看不出异常，因为留下 FP32 数据的对象，是评估模式下生成的一份派生缓存。
Qualcomm HTP 上 DEIM 的数值误差与拆图
DEIMv2-S 在 QCS9075 上可以完成整图 HTP FP16 推理，Session 创建和执行都成功，但检测分数明显偏离 CPU 参考。同一张输入的最高检测分数从 0.9573 降到约 0.314，按 0.5 阈值筛选时，CPU 参考中的有效目标
NVIDIA KV Cache 量化中的 NVFP4 与 TurboQuant
长上下文和多请求推理中，权重能放进显存，不代表服务还留有足够的 KV Cache 空间。历史 K/V 随序列增长，也会在解码时被反复读取。降低缓存位宽既能增加容量，也可能减少访存，但收益取决于量化误差、解包开销和实际 attention 内核。
moonnryan 的研究与实践
关于这个 Workshop ↗理解原理，验证方法
记录技术问题的分析过程、实现取舍与适用边界