H编

Humming：JIT 编译的量化 GEMM 内核库

Humming v0.1.18 源码与官方博客教程——面向量化推理的 JIT 编译 GEMM 内核库，统一量化表示与支持矩阵、三层配置架构、三条 CUDA 流水线（标准/warp specialization/UMMA）、设备启发式调优、MoE grouped 路径、vLLM 三

Open site Project Open in the app JSON README (API)

# Humming：JIT 编译的量化 GEMM 内核库

Humming 官方自我定位是 **"a high-performance, lightweight, and highly flexible JIT (Just-In-Time) compiled GEMM kernel library specifically designed for quantized inference"**——面向量化推理的高性能、轻量、高灵活 JIT 编译 GEMM 内核库（F-001）。它由 **Ant Group 与 vLLM community 联合开源**（F-009），是 vLLM 量化推理的内核后端之一。

本知识包基于**本地源码检出**（`v0.1.18-1-g5b500b4`，commit `5b500b4`，2026-10-21；F-003）、**vllm.ai 官方博客**（2026-10-21 发布公告）、**vLLM 集成侧源码**（v0.32.1rc0-283）与**作者知乎自述**四信源交叉整理。

> **类型**：源码学习教程（可操作）。所有命令与代码示例可在 Humming v0.1.18 环境复现；版本相关数字均带时点。
> **信源距离**：本地源码（一手）+ 官方博客（一手）+ vLLM 集成侧源码（一手）+ 作者自述（一手但时点较早）。
> **核验结论**：四源在**核心 API 与项目定位**上完全一致；在架构门槛、体积口径、版本引入时点、依赖清单等边界表述上存在 **5 处口径差异**，均已逐一核验并解释（见 [references/verification.md](references/verification.md)）。

## 本文概要

Humming 解决的核心问题是**量化 GEMM 的覆盖度与性能二选一**：通用 Marlin 类内核只支持 4/8 位固定位宽、架构专用，大 batch 下表现不佳（F-091）。Humming 的做法是**用 JIT 换自由度**——内核在运行时针对「权重类型 × 激活类型 × scale 粒度 × GEMM 形态 × 目标架构」现场编译，于是任意 ≤8 bit 的组合都能被覆盖，且由**设备启发式**自动为每个 M 档位挑选最优 tile 配置（F-056~F-060）。

代价

README

More

• More okf bundles on Code versions (Git)
• All from awesome-flexloop
• A–Z index