蚂蚁集团与 vLLM 联合开源量化推理算子库 Humming

蚂蚁集团与 vLLM 社区联合开源通用高性能量化推理算子库 Humming。该库覆盖多种 GPU 及兼容 CUDA 编程的设备，通过统一架构支持 Dense 和 MoE 中多种整数与浮点类型、位宽及缩放方式的权重与激活格式组合。官方称其在多种典型负载中显著优于 vLLM Marlin、FlashInfer 和 DeepGEMM 等现有实现。