TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning

一句话概括

TREK 是面向 LLM 智能体的旅行规划评测基准，用 800 个多约束任务和确定性规则评估器检验行程是否真正可执行。最强模型 GPT-5.6 也只在 46.2% 的可解任务上给出完全可行方案。

速览

• 任务与方法：TREK 要求智能体一次性生成同时满足可行性、无幻觉、时空可执行、预算合规和隐性需求的完整行程，用确定性规则评估器打分，不用 LLM 裁判。
• 关键数字：800 个任务（533 个可解、267 个可证不可解），知识库含 212,530 条记录，覆盖 375 个城市和 13 种旅行者画像；15 个智能体参与评测，最强 GPT-5.6 成功率为 46.2%，中位数 6.6%，最低 0.0%。
• 数据与开源：数据集、工具沙箱、确定性评估器和智能体代码全部开源，作为可复现基准发布。
• 隐性需求：满足旅行者未陈述的需求是所有智能体的共同瓶颈，前沿模型也未解决；具体失败率分布摘要未给出。

问题背景

旅行规划是工具型 LLM 智能体的压力测试。一份可用行程必须同时满足多个条件：航班、酒店、景点真实可订，每日路线物理可行，总花费不超预算，还要照顾旅行者只被部分表述的需求。

现有基准的问题在于逐项奖励这些属性，并用软性评分或 LLM 裁判给最终输出打分。这种做法无法证明返回的计划可执行，结果既不可复现也不可审计。

结果是：高分智能体生成的行程可能根本走不通，或含大量虚构信息。TREK 要填补的正是这一空白——一次性生成多约束正确的完整行程，并用确定性规则打分。

方法要点

TREK 的设计围绕三部分展开。

1. 合成知识库与工具沙箱：内部一致的合成知识库含 212,530 条记录，覆盖 375 个城市和 13 种旅行者画像。数据通过模拟生产环境的 RESTful API 提供，智能体须像调用真实工具一样使用。
2. 800 个多约束任务：533 个可解，267 个被证明不可解（原因分路线冲突、实体不可用、预算超支等类型）。每个任务附带人工验证的黄金参考方案，在确定性评估器下得分为 1.0，天花板明确可达。
3. 完全确定性的规则评估器：不依赖 LLM 裁判，基于硬性规则逐项检查九个约束维度，包括实体真实可订、时空顺序合理、预算合规、满足隐性需求等。评测因此可复现、可审计。

关键结论

• 最强智能体表现有限：15 个被评估智能体中，GPT-5.6 仅在 46.2% 的可解任务上生成完全可行计划。超过一半情况下，最先进模型也无法一次性满足所有约束。
• 中位数表现极低：所有智能体成功率中位数为 6.6%，最低为 0.0%。多数智能体在旅行规划上远未达到实用水平。
• 隐性需求是普遍瓶颈：满足旅行者未明确表述的需求是所有智能体的共同短板，前沿模型也未解决。摘要未给出具体失败率分布。
• 不可解任务检测：TREK 含明确标注的不可解任务，智能体需识别任务不可解，而非生成看似合理的计划。摘要未给出智能体在此类任务上的具体表现数据。

读后思考

TREK 的方法论启示在于评测框架的设计。它用合成数据解决真实数据难获取、难标注的问题，又用确定性评估器消除「用 LLM 评 LLM」带来的不可靠与不可复现。

「天花板明确、差距可归因」是这套框架的核心价值。黄金参考方案得分为 1.0，任何未达满分都可归因于智能体能力不足，而非评分标准过严。研究者因此能定位具体短板：工具调用、约束推理，还是用户隐性需求理解。

适用场景包括三类。旅行规划产品可用 TREK 做能力验证基准；智能体通用能力评测可参考其九个约束维度，它们覆盖工具使用、多步推理、约束满足和用户建模；模型对比与迭代可用它比较不同模型或提示策略在复杂规划上的差异。

局限与开放问题

1. 合成数据的生态效度：合成知识库保证内部一致，但现实旅行数据更复杂——航班时刻临时变更、酒店价格实时浮动、景点开放时间随季节调整。合成数据无法完全模拟这种动态性和不确定性。
2. 隐性需求的建模方式：摘要指出满足未陈述的隐性需求是最大瓶颈，但未说明这些需求如何定义和编码。若标注本身带主观性，评估客观性可能受影响。
3. 确定性评估的覆盖范围：九个约束维度是否覆盖所有重要质量维度？规则上完全正确的行程，直觉上可能并不合理，比如为省钱让旅行者每天换酒店。确定性规则可能捕捉不到这类软性质量问题。
4. 从评测到训练的鸿沟：TREK 是评测基准，如何把发现的短板转化为训练改进方向仍是开放问题。隐性需求理解这一瓶颈，可能需要新的训练范式。