工程 FP8、FP4 与 BF16：AI 数值格式详解 FP8、FP4 与 BF16 有何区别？本文详解各格式的位布局、NVFP4 与 MXFP4 的块缩放方式、哪些 GPU 原生支持哪种格式、能节省多少显存，以及在准确度上要付出多少代价。 2026-10-22·阅读约 8 分钟
工程 如何使用 vLLM 自托管 LLM 推理 使用 vLLM 自托管 LLM 推理：本文介绍如何估算所需的 GPU，运行兼容 OpenAI API 的推理服务器，调优 FP8、前缀缓存和并行策略，并为生产环境做好安全加固。 2026-10-22·阅读约 9 分钟
工程 如何微调 70B 模型：GPU 要求与工作流程 微调 70B 模型需要几张 GPU？QLoRA 用单张 80 GB GPU 即可，BF16 LoRA 约需两张，全参数微调则需要 1 TB 以上显存（8× H200 级别）。文中附显存计算方法与环境配置步骤。 2026-10-22·阅读约 9 分钟
