AI湾
2026-09-29 · 研究论文 · 重要性 ★★★

arXiv:HybridInfer 提出端侧-边缘-云端三层自适应温控强化学习 LLM 路由框架

HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference 针对手机等移动设备持续运行端侧大模型易引发过热降频乃至运行时崩溃的物理限制,研究团队开发了热感知强化学习路由器 HybridInfer。该框架将设备热余量、查询复杂度等作为状态变量,通过离线 Q-learning 策略在端侧 3B、边缘 8B 和云端大模型之间动态调度,在真实安卓基准测试中显著降低了调用

一手来源:arXiv cs.LG ↗

本站仅做聚合整理与来源标注,版权归原作者所有。

← 返回资讯列表