2025年1月20日，中国科学技术信息研究所（简称“中信所”）与 Elsevier、Springer Nature、Wiley 三家国际出版集团共同完成的《学术出版中 AIGC 使用边界指南》正式对外发布。
随着人工智能技术的迅速发展，特别是 2022 年 11 月人工智能聊天机器人 ChatGPT 的发布，人工智能内容生成（Artificial Intelligence Generated Content，简称 AIGC）已经走进公众视野，并被广泛利用。部分科研人员甚至开始用它来进行写作或润色论文。然而，像 ChatGPT 这样的人工智能语言模型仍在开发阶段，存在许多局限性。以下是一些需要注意的潜在风险。
ChatGPT 的潜在风险
1. 安全风险
尽管 OpenAI 采取了许多安全措施，但由于安全漏洞或错误，仍可能发生数据泄露事件。例如，2025年1月，一个漏洞导致部分用户看到了其他用户的聊天标题及有限的个人信息和账单信息。
对于研究人员来说，尤其需要注意的是，当您将论文的全部或部分内容输入 ChatGPT 时，您的稿件可能会成为大型语言模型的训练语料库，从而存在稿件泄露的风险，特别是在同领域的其他学者也使用 ChatGPT 润色时。
2. 不精确的措辞与错误
ChatGPT 是一个不断发展的语言模型，难免会犯错。它可能出现语法、数学、事实和逻辑错误，因此使用时必须仔细检查论文内容。
更令人担忧的是，ChatGPT 有时会编造看似合理的答案，而忽略事实的正确性。这种“一本正经的胡说八道”可能会误导用户，尤其是在用户缺乏足够的信息和判断能力时。
3. 有偏见的答案
与所有语言模型一样，ChatGPT 存在固有偏见的风险。这可能由以下因素造成：
- 初始训练数据集的设计方式；
- 设计者的背景；
- 模型随时间的“学习”效果。
如果偏见的输入决定了 ChatGPT 的知识库，那么它可能输出带有偏见的内容，尤其是在某些话题或语言使用上。
4. 缺乏人类洞察力
虽然 ChatGPT 擅长生成连贯的回复，但它终究不是人类，无法提供真正的洞察力。这可能导致以下问题：
- 无法理解话题的全部背景，可能给出无意义或过于直白的回答。
- 缺乏情商，无法识别或回应讽刺、幽默等情绪暗示。
- 无法准确理解成语、地方语言或俚语。
- 无法基于直接经验理解世界。
- 回答方式机械化，缺乏创新性。
- 无法理解潜台词，难以在需要立场时做出选择。
- 无法提出独特见解，仅能总结和解释已有知识。
5. 冗长的答案
ChatGPT 的训练数据集鼓励它从多个角度回答问题，这可能导致答案过于冗长，而非直接有效。
使用 ChatGPT 时的注意事项
1. 批判性评估内容
仔细检查 ChatGPT 生成的内容，避免语法、逻辑等错误，并使用可靠来源验证信息。
2. 遵循机构或期刊要求
咨询所在机构关于使用人工智能写作工具的政策。大多数期刊要求作者披露人工智能工具的使用情况。例如：
During the preparation of this work the author(s) used [NAME TOOL / SERVICE] in order to [REASON]. After using this tool/service, the author(s) reviewed and edited the content as needed and take(s) full responsibility for the content of the publication.
3. 仅通过官方渠道使用 ChatGPT
目前，ChatGPT 官方应用仅在 iOS 设备上可用。如果没有 iOS 设备，请通过 OpenAI 官方网站访问该工具，避免下载欺诈或恶意软件。
4. 避免输入敏感信息
ChatGPT 通常会保存用户输入的信息以优化模型，因此避免上传敏感信息。