Blog

从零开始构建一个量化大语言模型（LLM）：一步步教你用 PyTorch 实现模型压缩与极速推理

本文将带你深入探究如何从底层架构出发，用 PyTorch 手写一个大语言模型（LLM），并通过自定义量化（Quantization）算法将 FP32 参数压缩至 INT8。这是一篇兼具理论与实战的深度技术指南。