Buoyant 开源 Kinference：专为 vLLM 打造

Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes Buoyant发布开源项目Kinference，一个基于vLLM和Kubernetes的推理控制平面。该项目旨在为构建可扩展的推理平台提供控制层，核心功能包括Token速率限制、租户使用量与成本跟踪、智能负载均衡以及推理策略管理，帮助客户在现有环境中部署开源权重模型。