原创研究 · 2026-07-13
人工智能答题引擎能否正确引用肽研究？
我们把 180 问题 - 在查询任何引擎之前冻结并散列发布 - 关于 30 研究复合了四个人工智能答案引擎，加上一个较小模型的控制，并检查了他们引用的每个来源。然后用另外五种语言重复十个复合子集。跨越 5,130 引文， 大致 2.3引擎引用的同行评审论文的百分比实际上与它们被引用的化合物无关 ——在一个案例中，一项对抗生素耐药细菌的研究被引用作为肽存在的证据。大多数答案也忽略了这些化合物的仅供研究的地位，并且在英语之外，来自同行评审文献的引用比例下降了 24% 到 6% 和 11% 之间。
这是对引擎如何引用来源的研究。这并不声称任何化合物是安全的、有效的或适合任何用途。
我们发现了什么
在四个引擎给出的关于我们销售的化合物的每一个答案中——我们的每批次公开实验室报告都是免费提供的——我们被引用的次数为零。这个基准衡量的是引擎，而不是我们；我们报告自己缺乏透明度。
当被问及严格为实验室研究提供的化合物时，引擎的回答就好像该问题涉及人类使用一样——呈现适用于人类的临床前研究结果，或返回给药方案。我们报告了这种情况发生的速度。我们不会复制、总结或认可他们返回的内容。
这些 URL 中的每一个都正确解析。检索和阅读每个来源揭示了完全关于不同化合物的论文 - 在一个案例中，一项对抗生素耐药细菌的研究被引用作为肽的证据 - 并且单个一般评论被冒充为三种不相关化合物的化合物特异性证据。
在德语、法语、意大利语、西班牙语和葡萄牙语中，实际同行评审文献的引用比例比英语大约下降了三到四倍。商业和用户生成的资源填补了这一空白。
研究是如何进行的
三十种研究化合物分别被问及六种标准问题类型——研究结果、安全性、半衰期、剂量、可用研究和分子身份。每种问题类型都针对引文失败的特定方式。
在查询任何引擎之前提示集已被冻结，并且其 SHA-256 哈希已发布，因此在看到结果后无法选择问题。英文套装： 5ce10f34cf033b81ee8b82b174446ca59fd396a78ced68b3022ddd5a9f6c319d。多语言集： 93566d613b614ed0bd93d96a71ce048acc31b66f5f78a097f08682bc3773372c.
然后获取每个引用的 URL 以确认其已解析。对于每个 PubMed 或 PMC 引文，从 NCBI 检索来源的实际摘要，并将其与其引用的化合物进行比较，并提供可接受的同义词列表，以便 PT-141/bremelanotide 或 TB-500/胸腺肽 beta-4 算作相同的化合物而不是错误。声明级别维度根据固定发布的评分标准进行评分 克劳德俳句 4.5;这里报告的每一个错误归因都经过人工审查。
899 英文答案和 274 对非英语答案进行评分，涵盖 5,130 引文和 444 独特的主要来源。
按引擎划分的结果
899 跨五种发动机配置进行回答（每种为 180；一种发动机返回 179）。 “链接解析”= 加载引用的 URL。 “不进行人体给药”=答案避免提供人体方案或提供适用于人类的临床前研究结果。
| 发动机 | 引用/回答 | 链接解析 | 没有人体给药 | 身份正确 | 依靠 |
|---|---|---|---|---|---|
| 聊天GPTgpt-5-聊天-最新 | 10.5 | 86% | 46% | 89% | 混合/商业 |
| 困惑声纳 | 8.9 | 79% | 39% | 88% | 混合/UGC |
| 双子座双子座-2.5-闪光 | 31.8 | 85% | 31% | 92% | 教资会 |
| 克洛德克劳德十四行诗-4-5 | 9 | 84% | 47% | 87% | 混合/UGC |
| ChatGPT（较小型号）GPT-4O-迷你 | 4 | 87% | 42% | 91% | 商业 |
最后一行是来自同一供应商的较小模型，包括作为模型大小是否解释差异的控制。事实并非如此：较小的模型引用的来源较少，但在准确性方面得分相当。
仅研究地位不受尊重
六种问题类型之一探讨引擎如何处理化合物的仅限研究状态。在 30 答案的 23 和 29 之间，每个引擎将其视为有关人类使用的问题并返回管理方案。我们将速率报告为发动机的测量属性。这些答案的内容故意不在本报告或其数据集中的任何地方进行复制、总结或认可。
当链接有效但论文错误时
解析链接与正确引用不同。的 444 研究中引用的独特的同行评审来源， 10 (2.3%) 与它们被引用的化合物无关——在接受所有已知的同义词之后。这些 URL 中的每一个都已正确加载，因此任何链接检查方法都无法捕获它们。
验证步骤： 14 第一次通过时就标记了来源，然后根据文章的权威标题重新检查每个来源。 4 其中一些被证明是我们自己检索的人工制品——一些档案记录返回期刊元数据而不是摘要——并被恢复为正确引用的状态。只剩下剩下的 10 被报告为错误。
- KPV ——引用至 高毒力肺炎克雷伯菌——一种细菌病原体，而不是肽.聊天GPT
- Selank、Semax 和 MK-677 ——引用至 对治疗性肽的单一总体审查，被引用为所有三个的具体证据.聊天GPT
- GHK-Cu ——引用至 铜化合物的皮肤毒性.聊天GPT
- 胸腺素 ——引用至 COVID-19 的造血干细胞治疗.聊天GPT
- 伊帕瑞林 ——引用至 CJC-1295（一种不同的肽）的试验.困惑
- AOD-9604 ——引用至 一般性肥胖症药物治疗综述.双子座，困惑
科学在其他语言中逐渐消失
同样的问题又用五种欧洲语言被问到。非英语答案引用了更多来源，并且解决了更多链接，但来自同行评审文献的比例急剧下降。商业页面和用户生成的页面弥补了这一差异。
| 语言 | 答案 | 引用/回答 | 链接解析 | 来自同行评审的文献 |
|---|---|---|---|---|
| English | 120 | 10.1 | 82% | 24% |
| 德语 | 56 | 14.1 | 93% | 6% |
| 法语 | 56 | 13.2 | 91% | 7% |
| 西班牙语 | 54 | 12.7 | 90% | 11% |
| 意大利语 | 54 | 11.4 | 92% | 6% |
| 葡萄牙语 | 54 | 12.9 | 93% | 9% |
引擎实际上引用了什么
在四个主引擎中， 23% 的引用来自同行评审的文献 77% 来自商业页面、供应商博客、百科全书和用户生成的平台。被引用最多的域是：
数据和再现性
冻结的提示集及其哈希值、每个评分答案及其完整的引文列表和解决状态、源级错误归因检查以及评分细则和代码均在 CC BY 4.0 许可下发布，因此本报告中的任何数字都可以独立重新导出。每次运行都有版本控制；我们计划每季度重复一次这项研究。
- 英语答案，评分（899 行，JSONL） — 每次引用、解决状态和分数
- 多语言答案，评分（274 行，JSONL） — 德语、法语、西班牙语、意大利语、葡萄牙语
- 主要来源错误归因检查 (JSONL) — 具有匹配同义词的每个来源 NCBI 判决
- 冻结提示设置 — 英文 (v1.0) — 验证 /data/prompts-v1.0-en.sha256
- SHA-256 哈希 — 英文提示集 — 在查询任何引擎之前发布
- 冻结提示集 — 六种语言 (v2.0) — 验证 /data/prompts-v2.0-multi.sha256
- SHA-256 哈希 — 多语言提示集 — 在查询任何引擎之前发布
- 评分标准（逐字评委提示） — 每个尺寸均与应用完全相同
- 评分代码——判断通过 — /data/method/ 中的收集、蕴涵和分析脚本
一处故意遗漏
该数据集包含每个引文、解决结果和分数，但不包含逐字答案文本。这些答案通常包含仅供实验室研究使用的化合物的人体剂量方案（本研究记录的精确失败），重新发布它们会传播我们正在测量的问题。本报告中的每项主张都涉及引用行为，并且包含这些主张的所有证据。需要原始答案文本进行验证的研究人员可以提出请求。
局限性
- — 这是对答案引擎如何引用来源的衡量。它并不是声称任何化合物是否安全、有效或适合任何用途。
- — 声明级别的维度是由语言模型（Claude Haiku 4.5）根据本报告发布的固定标题来判断的，而不是由人类专家来判断。每一条报告的错误归属在发布前都会由专人对照源标题进行审查。
- — 错误归因检查测试所引用的来源是否真正与其所引用的化合物有关。它不会根据其来源验证每个单独的句子。
- — 多语言比较涵盖两个引擎的十个复合子集，而不是完整的语料库，并且每种语言的样本都很小（54–56 都回答了）。这些百分比应被视为方向指示，而不是精确的人口估计。
- — 在查询任何引擎之前，提示集被冻结并发布其哈希值。这与预注册不同：没有第三方注册表项，也没有预先承诺的分析计划。
- — 引擎是不确定的，它们的索引会发生变化。结果描述了本报告中注明日期的运行并相应地进行了版本控制。
已声明的利益冲突
ChinaPeptideshop (CERTALAB S.R.L.) 销售研究肽，因此对 AI 答案引擎如何描述该产品类别具有商业兴趣。这项研究衡量的是引擎的引用行为，而不是我们的产品。我们自己的域出现在所分析的 5,130 引用中的零个中，并且我们报告结果没有变化。提示集在运行前被冻结并散列发布，评分数据集、评分标准和评分代码均已发布，以便可以独立检查或反驳作品。
关于本研究的问题
这个基准实际上衡量什么？
人工智能答案引擎在回答有关研究肽的问题时是否引用了真实的、相关的、正确归因的来源——而不是他们的结论是否正确，也不是任何化合物是否有效。
问题是如何选择的？
三十种化合物分别被问及六种标准问题类型（研究结果、安全性、半衰期、剂量、可用研究、分子身份）。完整的提示集被冻结，其 SHA-256 哈希在查询任何引擎之前发布，因此在看到结果后无法选择问题。这是一项透明度措施，而不是正式的预注册——没有注册条目或预先承诺的分析计划。
如何判断引文“错误归因”？
对于每个 PubMed 或 PMC 引文，来源的实际摘要均从 NCBI 获取，并与它所引用的化合物进行比较。已知的同义词被提供给法官，因此 PT-141/bremelanotide 或 TB-500/胸腺肽 beta-4 被视为相同的化合物，而不是错误。
为什么不同语言的引用质量不同？
在测试的五种非英语语言中，答案引用了更多来源，解决了更多链接，但来自同行评审文献的比例从 24% 下降到 6% 和 11% 之间。商业页面和用户生成的页面弥补了这一差异。
基础数据是否可用？
是的。冻结的提示设置及其哈希值、每个评分答案及其引用以及源级错误归因检查均与本报告一起发布。
所有内容仅供研究之用。本报告中的任何内容都不是医疗建议，并且所描述的化合物均不可供人类使用。