ChatGPT、WebGPT和 Plugins的在线阅读能力怎么样？我测试了下

猫柳 开智学堂

作者：猫柳 来源：公众号「自由特质协议」

GPT 能不能真正“读”论文，是我最近考察 GPT 阅读能力的关注点，于是测试了 GPT-4、web browsing 和 plugins 三个功能的效果。

首先，你应该知道如何开启 WebGPT 和 Plugins。

在左下角“Settings-Beta features”开启。

图片

测试论文选择了 Dan McAdams 的《Self and identity in personality psychology》。

论文 APA 格式：

McAdams, D. P., Trzesniewski, K., Lilgendahl, J. L., Benet-Martinez, V., & Robins, R. W. (2021). Self and identity in personality psychology. Personality Science, 2, e6035.

我首先使用插件[Xpapers]、[AskYourPDF]、[Scraper]，测试是否通过论文标题，在线阅读文档。

首先得到[Xpapers]提示，论文不在 arXiv 的数据库。

图片

接着改用论文的 doi，并换用插件[Link Reader]、[Keymate.AI Search]、[Access Link]。

[Link Reader]能读取论文内容，并成功摘要观点。

图片

但再一步追问，GPT 会换用勾选的第二个插件[Keymate.AI Search]来回答。

应该是我的问题让[Keymate.AI Search]为难了，他无法回答论文的关键概念。

图片

点开插件阅读代码，了解到插件首先将我的中文转移成英文，并尝试获取全文阅读。

图片

但可能全文还是太长了，又或者“真正全文”获取失败，他不断不断地在后台搜索网络，尽力去回答我的问题。

图片

换个问题，继续追问。模型还是选择[Keymate.AI Search]来回答。

同时，后台会不断搜索链接，企图获取全文来综合回答。

图片

图片

本轮测试感受：

勾选限定的三个插件也许很重要，需要你对插件有基本的了解。新手宜熟悉单个插件后再组合使用，暂不清 楚 GPT 基于什么逻辑使用勾选的插件。

GPT-4 无法读取在线论文（意料之中）。

图片

但是 web browsing 可以阅读在线论文，回答质量还不错。

图片

小结：

1、如果让我选择，我会首先选择 Web Browsing 模型；

2、如前文所述，新手使用插件功能，宜先对单个插件深入理解后，再组合使用。而且并非如我测评那样，组合相似功能的插件。所勾选的插件更应该能起到互相补充的作用。

3、晚上测试了几个插件后，就被流量限制，无法进一步追问细节。更多插件功能后续揭晓。■