38total notes

标签可多选38 篇匹配

工程与运行环境·约 8 分钟

训练 NaN 的失败现场与状态恢复

训练中断时，最后一条异常可能来自日志系统。一次运行在写优化器审计记录时，严格 JSON 序列化拒绝了非有限浮点数；后续另一段运行则明确记录了非有限 loss，并由保护机制停止。两种退出都涉及 NaN，却不能只凭最终异常定位产生 NaN 的运算。

PyTorch AMP 故障定位

2026-10-30↗

计算图与算子·约 6 分钟

ONNX 导出中的 Python 形状计算与静态适配

一个模块在 PyTorch 中可以正常执行，导出时却被根据输入尺寸调用的 Python round() 阻塞。出问题的表达并不复杂：从特征的长宽比计算池化输出尺寸，再将整数尺寸交给后续算子。

PyTorch ONNX ONNX Runtime 模型导出精度对齐

2026-10-30↗

工程与运行环境·约 6 分钟

PyTorch 派生缓存的精度转换与失效处理

模型参数已经转换成 FP16，推理却仍然报 Half 与 Float 不匹配。检查参数列表时看不出异常，因为留下 FP32 数据的对象，是评估模式下生成的一份派生缓存。

PyTorch FP16 故障定位

2026-10-30↗

量化与精度·约 15 分钟

Qualcomm HTP 上 DEIM 的数值误差与拆图

DEIMv2-S 在 QCS9075 上可以完成整图 HTP FP16 推理，Session 创建和执行都成功，但检测分数明显偏离 CPU 参考。同一张输入的最高检测分数从 0.9573 降到约 0.314，按 0.5 阈值筛选时，CPU 参考中的有效目标

Qualcomm QNN DEIMv2 FP16 精度对齐异构推理

2026-10-27↗

量化与精度·约 12 分钟

NVIDIA KV Cache 量化中的 NVFP4 与 TurboQuant

长上下文和多请求推理中，权重能放进显存，不代表服务还留有足够的 KV Cache 空间。历史 K/V 随序列增长，也会在解码时被反复读取。降低缓存位宽既能增加容量，也可能减少访存，但收益取决于量化误差、解包开销和实际 attention 内核。

NVIDIA vLLM KV Cache NVFP4 TurboQuant 量化

2026-10-20↗

计算图与算子·约 7 分钟

视觉 patch embedding 的等价改写：从 Conv3D 到 Linear

模型使用 Conv3D，不一定意味着它在做一般意义上的时空滑动卷积。Qwen3-VL 和 Qwen3.5 的视觉 patch embedding 接收的是已经按独立 patch 整理的输入；在对应结构下，每个 patch 的输出只有一个空间位置，这一层可以

AMD NVIDIA Qwen3-VL Qwen3.5 LLaMA-Factory Conv3D 图优化训练加速

2026-09-24↗

操作教程·约 9 分钟

Qualcomm QNN 环境部署与 ABI 排查

在高通 Linux 设备上通过 ONNX Runtime 使用 QNN HTP，需要同时准备 ORT、QNN EP、QAIRT 用户态运行库和设备侧 FastRPC 环境。库文件齐全只是第一步，还要确认应用实际加载的版本、插件注册方式，以及 ARM 与 D

Qualcomm QNN ONNX Runtime ABI EPContext Plugin EP 部署

2026-09-24↗

工程与运行环境·约 7 分钟

AMD Qwen3.5 训练的故障定位与性能优化

在适配基于 LLaMA-Factory 的多平台训练运行时时，AMD R9700（gfx1201）上先后遇到了两个问题：视觉 patch embedding 走到异常慢的卷积路径，以及 Qwen3.5 训练早期触发 GPU memory access fa

AMD R9700 ROCm Qwen3.5 hipBLASLt 故障定位

2026-09-23↗

工程与运行环境·约 10 分钟

端侧多模态会话与流式语音的状态管理

iOS 多模态助手的链路并不是“模型输出文字，再交给播放器”。一轮回答同时涉及会话历史、图片与文本的对应关系、生成任务、语音分句、自回归音频码、codec 缓存和播放缓冲。用户发送下一条消息、编辑历史或停止朗读时，这些状态需要分别处理。

llama.cpp ONNX Runtime TTS KV Cache

2026-09-15↗

操作教程·约 8 分钟

Qualcomm llama.cpp 部署与性能分析

Qualcomm 设备上的 llama.cpp 可以使用 ARM CPU、Adreno OpenCL 和 Hexagon HTP。Hexagon 后端由 ARM64 宿主库、FastRPC 与 HTP kernel 组成，与 QNN graph API 是

Qualcomm llama.cpp Hexagon OpenCL ABI GGUF 量化性能部署

2026-09-09↗