ChatGPT答案质量不尽人意?这四大常见原因看你中了几个

闪闪 开智学堂

作者:闪闪 来源:闪闪的博客「sunnyhuang.net」

近几个月我基本每天都会使用 ChatGPT 至少二十次,也常推荐大伙儿把这十亿美金的个人助理用起来。但这几周陆续收到反馈,感觉问 ChatGPT 得到的答案帮助不大。

为什么?细致了解下来,我发现通常是因为以下四点。如果你也想借助 AI 为自己提效,不妨瞅瞅。

01 使用的模型是 GPT-3.5 而不是 GPT-4

两者差别还是挺大的,类似普通的中学毕业生水平和斯坦福毕业生水平的人帮你干活的差异。如果希望大幅提升效能,还是争取使用 GPT-4 。不过后者要付费升级成 Plus 才能使用。

那试了各种办法也难以升级成功,怎么办?

退而求其次的方案:

  1. 使用 https://chat.forefront.ai/ , GPT-3.5 和 GPT-4 都可选用。不过随着使用的人越来越多,GPT-4 的额度越来越低,目前是每 3 小时 5 条消息,比官网少 80% 。
  2. 使用别的质量也不错的大模型,比如 Claude 。可以基于网上的较新数据生成答案,结果质量一般介于 GPT-4 和 3.5 之间,且目前没有额度限制。具体介绍见 https://www.anthropic.com/product 。可在 Slack 上直接使用,具体见 Claude in Slack Anthropic 。

不知道自己用的是什么模型?

可以直接问它“你是基于什么模型,GPT-4 吗?”没说自己是 GPT-4 的,一般不是 GPT-4 。

如果还不放心,可以问一些 GPT-3.5 能力之外的问题,比如一些高阶推理相关的如“为什么我爸妈结婚没邀请我?”,GPT-4 会回答正确,比如:

图片

GPT-3.5 则不会:

图片

02 没指定角色或优质信息源

GPT 是猜词游戏,基于前面的词预测下一个词。如果在对话时给出更多优质线索,比如赋予 GPT 相关领域的专业角色,它会更可能生成靠谱答案。如“你是创业者教练”“市场和品牌专家”“律师”等。

如果加上“世界一流的”或“资深的”“顶尖”等修饰词,或加上具体人名,比如该领域某位颇有建树的人士,会更可能得出靠谱结果。

比如前两周我帮一位想让公司给加班费的朋友防范风险,这是借助 GPT 逆向了解公司可能的处理方式时用的提示词:

你是世界一流的人力资源总监、法务专家,现在遇到一个棘手事件,情况是这样子的:公司未能按时支付员工加班费,现在有一名工龄近三年的员工,要求公司补偿未支付的加班费。目前我想到两种可能性:

  • 为该员工补偿所有未支付的加班费。这个方案意味着公司预计需要一次性支出 4-7 个月工资,用于补偿过去的加班费。同时,未来每个月将比现在多支出 20% 的人力成本,因为需要合理支付员工的加班费。一旦给该员工补偿,可能其他员工会借鉴要求补偿加班费。
  • 协商离职,一次性补偿员工,要求员工保密。这个方案意味着公司需要一次性支出 6-11 个月工资。但可能后续其他人想离职,就拿这个事情来说。

请问还有其他可能吗?请你给出所有处理方案,分析各个方案的利弊和风险预案,并给出最后的处理建议。

最后 GPT-4 和 Claude 给出的结果都不错,感兴趣可以展开查看:

GPT-4 的回答:

图片

Claude 的回答:

图片

一些偏事实类的疑问,在问 GPT 时附上优质信息源,也更可能得出靠谱成果。比如:

女性最佳生育年龄是什么时候?请从维基百科、谷歌学术、亚马逊图书、谷歌图书、O’Reilly 图书、官方政府统计数据和报告、TED 演讲、goodreads 等优质信息源中,帮我找到答案

这里“请从维基百科、谷歌学术、亚马逊图书、谷歌图书、O’Reilly 图书、官方政府统计数据和报告、TED 演讲、goodreads 等优质信息源中,帮我找到答案”就是我的常用提示词,一般我想了解偏事实类的问题时,都会加上这句。甚至还把这些常用提示词配置成了输入法快捷键,一键输入。

此外,如果英文来问,会更可能得出靠谱结果。如果使用英语没那么熟悉,可以先请 GPT 把问题翻译成英文。

那如果想了解某领域真正顶尖人士的视角,而不是所谓专家的观点或理论,但又不知道该领域颇有建树的人是哪些,怎么办?

  1. 可以瞅瞅《聪明的阅读者》最后一章《通识千书:智者的代表作》,里面盘点了人类历史上主要领域的一批智者及其代表作清单。

其挑选标准如下:

图片

  1. 或到 https://chat.forefront.ai/ 瞅瞅。这里从不同领域、视角,也给出了一些候选清单。

03 成果要求不具体

典型比如只是简单描述了问题背景,询问 ChatGPT 怎么办或让它提提建议,但没有给出期待的成果要求。这么做,好比我们要派任务给别人,没描述清楚成果要求,大概率是很难得出满意成果的。

那怎么给出成果描述比较好?

可以参考这里的例子:https://42words.io/

如果在提要求时附上一些成果示例,会更可能得到靠谱结果。

04 问题颗粒度太大,没有拆解子问题

比如描述了一下自己想要的生活状态,直接问 GPT 怎么实现、有什么行动建议。这得出的结果通常比较空泛。

那怎么细化问题颗粒度,得出相对靠谱的行动方案?

可以拆解出子问题,再请 GPT 扮演专业角色逐步分析。比如目标的关键成功要素(Key Success Factors)、里程碑和不同阶段的重点、难点、易错点以及业界基准值(benchmark),并推荐优质资源线索,然后再请它基于这些内容列出未来一个月要探索的问题清单等。

具体可参考这个示例:

人生岔路,何去何从?GPT 助你快速产出人生探索计划

其它任务场景也类似,别直接让 GPT 完成一个颗粒度特别大的任务,而是拆解子问题后,再请 GPT 一步步来生成内容。比如不要请 GPT 直接就某个问题生成一篇文章,而是请它先产出大纲,你优化大纲后,再一个模块一个模块请它生成内容。

如果你优化大纲时想轻松些,还可以请它生成三个版本,你再综合优化出新版,并请 GPT 基于新版来逐步扩充内容。

05 小拓展

上述四点全都没踩中,还是没得出满意成果?或者想进一步了解如何借助 AI 为自己提效?不妨瞅瞅提示工程(prompt engineer)相关材料,看看有什么可以借鉴的。比如:

以上。■