人工智能(AI)工具,特别是像 ChatGPT 这样的大语言模型,正逐渐渗透到学术研究的各个环节。一个备受关注的应用是利用 AI 自动生成用于系统综述或范围综述的文献检索策略。本文将探讨使用 ChatGPT 构建布尔检索式的具体方法、潜在风险,并提供一份实战指南。
能否用 ChatGPT 撰写文献检索策略?
2023 年 2 月,研究人员 Wang 等人发表论文,展示了如何使用 ChatGPT 为 PubMed 数据库生成用于系统综述的布尔检索式。研究发现,与其他自动化检索策略生成工具相比,ChatGPT 生成的检索式精确率较高,但召回率(或称灵敏度)较低。
这意味着:ChatGPT 生成的检索式能找到 部分 相关文献,但很可能遗漏掉 大量 相关文献。
Wang 等人提出的方法
该方法依赖于用户向 ChatGPT 提供一系列精确的指令,并通过一篇“种子文献”(通常是一篇已发表的相关系统综述)的标题和摘要来引导模型。其核心是利用 PICO 框架(人群、干预、研究设计等)来构建检索概念。
核心警告
在使用此方法前,必须认识到其固有的局限性:
- 结果不可复现:即使使用完全相同的提示词,ChatGPT 也可能生成不同的检索策略。
- 召回率不可接受:生成的检索式虽然精确率尚可,但召回率过低,无法满足系统综述“全面检索”的核心要求。
- 表面效度差:检索策略通常显得杂乱无章,逻辑性不强。
- 可能捏造 MeSH 术语:ChatGPT 会在检索式中加入一些实际上并不存在的 MeSH 术语。
- 无法处理专有数据库:该方法目前仅适用于 PubMed,无法为 Ovid Medline, Embase, PsycINFO 等专有数据库生成策略。
- 不支持邻近运算符:无法使用邻近运算符(如 ADJ, NEAR)来平衡精确率和召回率。
- 对使用者要求高:
- 用户必须能理解 PubMed 的检索语法。
- 用户必须有能力评估和修正输出结果的有效性。
重要提示: 为了评估 ChatGPT 的输出,你必须具备解读和评判 PubMed 布尔检索式的专业能力。不要盲目信任,永远进行验证。
使用 ChatGPT 创建 PubMed 检索式的四步提示词
以下提示词(Prompts)逐字复制自 Wang 等人的研究论文,旨在指导 ChatGPT 分步生成检索策略。
第一步:提取关键词
此步骤要求 ChatGPT 从种子文献中识别出 50 个相关术语。
请精确遵循我的指令,为医学系统综述的文献检索开发一个高效的布尔检索式。不要解释或详细说明。只回应我要求的内容。
首先,根据以下来自一篇相关研究的陈述和文本,请识别出 50 个相关的术语或短语。你识别的术语应该用于检索更多相关研究,所以请注意选择的术语不要过于宽泛。你的列表中不能有重复项。
陈述: [在此处插入种子文献的标题] 文本: [在此处插入种子文献的示例文本,例如摘要]
第二步:按 PICO 分类术语
此步骤要求 ChatGPT 将上一步生成的术语列表按 PICO 元素进行分类。
对于你在第一步创建的列表中的每一项,请将其分为以下三类之一:与健康状况相关的术语 (A),与治疗相关的术语 (B),与研究设计类型相关的术语 (C)。如果某一项不属于这些类别,请标记为 (N/A)。每个项目都需要被分类为 (A), (B), (C), 或 (N/A)。
第三步:生成初步布尔检索式
此步骤要求 ChatGPT 使用分类后的术语构建一个符合 PubMed 语法的检索式。
使用你在第二步创建的分类列表,创建一个可以提交给 PubMed 的布尔检索式,该检索式将每个类别的项目组合在一起。例如:
((itemA1[Title/Abstract] OR itemA2[Title/Abstract] or itemA3[Title/Abstract]) AND (itemB1[Title/Abstract] OR itemB2[Title/Abstract] OR itemB3[Title/Abstract]) AND (itemC1[Title/Abstract] OR itemC2[Title/Abstract] OR itemC3[Title/Abstract]))
第四步:优化检索式并添加 MeSH 术语
最后一步要求 ChatGPT 利用其“专业知识”对检索式进行优化。
请利用你的专业知识优化此检索式,使其在检索到尽可能多相关文献的同时,最大限度地减少检索到的文献总数。必要时,请在检索式中添加相关的 MeSH 术语,例如
MeSHTerm[MeSH]。请保留检索式的总体结构,即检索式的每个主要子句对应一个 PICO 元素。最终的检索式仍需能在 PubMed 上执行,因此它必须是一个有效的检索式。
ChatGPT 生成的检索式示例
以下是 Wang 等人研究中,通过上述四步法最终生成的检索式。该检索旨在查找关于通过尸检研究分化型甲状腺癌患病率的文献。
(((differentiated thyroid cancer[MeSH] OR "differentiated thyroid"[All Fields] OR "thyroid carcinoma"[All Fields] OR "papillary microcarcinoma"[All Fields])
AND
(prevalence[All Fields] OR incidence[MeSH] OR "etiology of"[All Fields] OR "risk factors"[All Fields] OR gender[All Fields] OR hormonal[All Fields] OR "nodular goiter"[All Fields] OR "Hashimoto’s thyroiditis"[MeSH] OR malignancy[MeSH] OR "concomitant lesion"[All Fields] OR tumor[All Fields] OR infiltrate[All Fields] OR fibrosis[All Fields] OR "early stages of development"[All Fields] OR frequency[All Fields]))
AND
(autopsy[MeSH] OR surgical[All Fields] OR material[All Fields] OR series[All Fields] OR specimens[All Fields] OR cases[All Fields]))
批判性思考
在评估这个由 AI 生成的检索式时,请尝试回答以下问题:
- 你能识别出其中的错误吗? (例如:不相关的术语、错误的字段标识、逻辑混乱等)
- 你能解释这个检索式在 PubMed 中具体执行了什么操作吗?
- 你是否信任这个检索式的结果? 它能保证高召回率(找到所有相关研究)和高精确率(排除不相关研究)吗?
- 你是否能将这个检索式轻松地转换为适用于其他数据库的语法?
- 你是否愿意信任 ChatGPT 来完成你研究中的数据收集工作?
结论
目前来看,将 ChatGPT 用于生成系统综述或范围综述的检索策略是不可靠且有风险的。虽然它可以作为头脑风暴、寻找同义词或初步构建检索概念的辅助工具,但其输出结果的低召回率、不可复现性以及逻辑缺陷使其无法替代人类专家的工作。
对于严谨的学术研究而言,文献检索策略的设计、执行和记录仍需由具备专业知识的研究人员或信息专家完成,以确保研究的全面性、透明度和可重复性。
👉 如果你需要 ChatGPT 代充 / Claude / Claude Code / 镜像 / 中转 API:
- 购买 / 了解更多:ai4.plus
- 备用入口:kk4099.com