arXiv基准BOTTLED：考察LLM智能体能否把能力「装瓶」成廉价可复用产物

Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts? 研究者提出BOTTLED基准，要求智能体在固定时间、算力和API预算下自主为大规模未标注工作负载产出低成本方案（如训练小模型或编写可复用程序）。对十个模型三项任务的测试显示，零样本能力强并不保证装瓶能力强，60次运行中48次低于其零样本表现95%置信区间下界；但也有亮点：Opus 5在商品相关性分类任务上以约657分之一的成本保留了约82