CulturalRiddles: A Multicultural Benchmark of Riddles

一句话概括

CulturalRiddles 是一个由社区参与、完全由人类创作的多文化谜语基准，覆盖 62 种文化。它用谜语考察大语言模型（Large Language Model, LLM）的文化推理能力，结果显示前沿模型在部分社区的最高准确率仅为 22%。

速览

任务与方法：构建原创文化谜语基准，要求模型进行溯因推理与组合推理，并调用事实知识、社会知识、语言技能和文化联想。
覆盖规模：62 种文化、45 个国家、51 种语言。
关键数字：评测 28 种 LLM 配置；部分社区中前沿模型准确率最高为 22%。
数据与开源：作者公开全部产物，并提供开放贡献流程以扩展语言与文化覆盖；具体许可协议摘要未给出。

问题背景

LLM 的语言覆盖持续扩大，评估其文化理解与表征能力随之变得重要。现有基准多偏英语中心，文化覆盖有限。这些基准也更关注事实性知识，较少考察知识在真实文化情境中的应用。CulturalRiddles 针对这两点缺口：用扎根文化的谜语，把知识考察转向情境化推理。

方法要点

数据来源：谜语全部由人类创作，通过社区参与式协作完成，而非模型生成或网络抓取。
文化扎根：每条谜语深植于所属文化，解题依赖文化特有的联想关系。
能力要求：解题需要溯因推理（abductive reasoning）与组合推理（compositional reasoning），并叠加事实知识、社会知识、语言技能。
评测设计：对 28 种 LLM 配置同时采用自动评测与大规模人工评测。
开放扩展：公开全部产物，并设开放贡献流程，便于后续扩充语言与文化覆盖。

关键结论

文化谜语对当前 LLM 构成实质挑战：即便前沿模型，在部分社区准确率最高也只有 22%。
单一总体分数不足以反映文化能力，社区之间存在明显差异。
自动评测与人工评测并用，说明该基准重视评测结论的可靠性。
结论指向一个判断：模型的语言覆盖扩大，不等于文化理解同步提升。

读后思考

这个基准的价值在于把「文化知识」从静态问答推向推理应用。谜语的答案往往不能靠检索直接命中，需要把语言线索、社会常识与文化联想串起来。22% 这一数字提示，现有模型在低频文化语境中可能更多依赖表面模式。社区参与式创作也带来方法启示：文化基准的合法性来自文化内部，而非外部标注者的想象。对科技媒体读者而言，这提醒我们谨慎看待模型在多语言榜单上的高分。

局限与开放问题

规模与均衡：62 种文化、51 种语言在数量上仍有限；各社区题目数量是否均衡，摘要未给出。
评测细节：28 种配置的具体名单、提示设置与评分规则，摘要未给出。
人工评测：标注者构成、一致性指标与成本，摘要未给出。
谜语特性：谜语依赖隐晦联想，可能同时考察模型能力与题目歧义，二者如何区分尚待说明。
扩展机制：开放贡献流程如何保证质量与文化真实性，摘要未给出。
动态风险：基准公开后可能进入训练数据，需持续更新以防污染。