chatgpt :全流程,根据自有知识库,检索生成式问答

chatgpt或者gpt3,生成式问答的问题明显。

一方面知识更新不及时,另一方面一本正经的胡说八道。

嘴硬心不软,还时不时闹点小脾气。

下面是openai的生成式模型在自有知识库上,检索生成式问答的全过程。

当然,库不需要是问答的知识,只要是需要限定的背景知识即可。

比如pdf文档的内容,分块存储到库中,最后进行检索式的问答,完成根据pdf的问答。

拢共分三步:

第一步,将现有知识库语料,转化为向量,加入pincone,。当然这是开源的openai的做法,这个有一定免费额度,后期还是直接放到faiss或者milvus上,这笔可以省下。

第二步,query进行,转化为向量,根据cosine相似度,进行检索,找到topN最相似的知识库文档。

第三步:根据检索到的文档知识,作为背景知识,传入chatgpt 或者其他的gpt3模型,这里是text-davinci-003

即可得到答案。

另外:如果需要多轮问答,每次把历史对话回传。尤其针对普通的客服类消息回复,没那么长,所以通常的产品推荐和售前售后咨询,多轮问答是没有问题的。

重点:其实不管多长的背景知识,只要分块存储和向量化,都可以存入库中,并不担心的背景信息太多的问题。

第一步:将现有知识库语料,转化为向量,加入pincone,。

(1)先用自己的的openai的api_key,

chatgpt :全流程,根据自有知识库,检索生成式问答

这答案骗骗我是可以的。

chatgpt :全流程,根据自有知识库,检索生成式问答

使用生成式模型text-davinci-003

chatgpt :全流程,根据自有知识库,检索生成式问答

(2) 正式进入向量转化,使用模型 text-embedding-ada-002。生成向量维度为1536。

chatgpt :全流程,根据自有知识库,检索生成式问答

chatgpt :全流程,根据自有知识库,检索生成式问答

chatgpt :全流程,根据自有知识库,检索生成式问答

(3)知识库语料导入,youtube语料,包含字段如截图

chatgpt :全流程,根据自有知识库,检索生成式问答

(走到这我就后悔了,不自己造数据的后果就是,20万条来一遍,也忒耗时了 )

(4)这步登入pincone,需要先在pincone注册登录,替换自己的api_key 和environment, 都在左栏api_key那里。

chatgpt :全流程,根据自有知识库,检索生成式问答

(5)将知识库语料转化为向量,并插入pincone

chatgpt :全流程,根据自有知识库,检索生成式问答

chatgpt :全流程,根据自有知识库,检索生成式问答

(速度还能接受)

第二步,query进行,转化为向量,根据cosine相似度,进行检索,找到top2最相似的知识库文档。

(1)query转化为向量,进行检索

chatgpt :全流程,根据自有知识库,检索生成式问答

结果如下

chatgpt :全流程,根据自有知识库,检索生成式问答

第三步:根据检索,得到的文档知识,作为背景知识,传入chatgpt 或者其他的gpt3模型,这里是text-davinci-003

即可得到答案。

(1)生成prompt,限定背景知识来回答

chatgpt :全流程,根据自有知识库,检索生成式问答

chatgpt :全流程,根据自有知识库,检索生成式问答

(3)生成答案

chatgpt :全流程,根据自有知识库,检索生成式问答

试了一下,感慨于nlper:确实该多考虑考虑了。

虽然这里面的模型,都可以自训练和检索,给公司省点钱。

只是省的这点钱,好像不够发工资。

后台发送:gen_qa

即可下载:https://pan.baidu.com/s/1-EohvzhtC2-foN5XAhNihw

提取码:9zt0

 

 

 


 

 

本网站文章皆为作者授权。发布者:虹七,转载请注明出处:https://ruofanseo.com/search-generative-qa/

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 20 6 月, 2023 1:20 下午
下一篇 20 6 月, 2023 1:25 下午

相关推荐

  • ChatGPT Plus会员升级指南:全面掌握ChatGPT-4.0的高级功能

    近期参加的分享活动比较频繁,加上日常工作颇为繁忙,故迟迟未更新。ChaGPT-4.0在3天前悄然上线,因为ChaGPT3.5的出现,已经引起了巨大的轰动,所以大家对于ChaGPT-4.0就更加期盼了。 今天与大家讲讲ChatGPT3.5、ChatGPT4.0、ChatGPT PLUS的信息。 01 如何使用ChatGPT-4.0 第一步,我们需要先注册Cha…

    4 4 月, 2023
    59300
  • AIGC,革命性的生产方式

    ChatGpt的出现,相当于知识型工作者的工业革命 微软CEO纳徳拉:我这辈子,至少在从事技术工作的30年里,chatGPT是我从未见过的技术扩散。也许这一次,对知识型工作者来说,这就完全等同是工业革命。微软每个产品都将接入chatGPT。 ChatGPT(Chat Generative Pre-trained Transformer)是OpenAI在202…

    20 6 月, 2023
    5400
  • ChatGPT 用户指南:最新版本的详细使用说明(上)

    chatgpt对提问者的帮助大小,取决于怎么提出问题。其实这也是一种编程,一种自然语言式的编程。 以下是根据官方的说明文档,做个简洁整理版,算是最少必要知识。   chatgpt是什么? 答:openai训练的大型语言模型,擅长语言理解和文本生成。 2. 它能做什么? 答:它能, 生成文本内容;做总结;文本分类(也包括情感分析);数据提取;写代码改…

    14 4 月, 2023
    7900
  • 跨境电商独立站的SEO/SEM运营人员该如何应对ChatGPT带来的改变

    1月底,一位平时联系不多的老师给我发了信息,建议我尝试用AI来协助广告投放。2月初,ChatGPT热度爆发,迅速攻占了朋友圈至今热度不减,公司内部也有不少同事分享使用ChatGPT来生成的文字和媒体内容。甚至听到一些断言,不仅是客服等基础岗位,就连SEO和SEM都可以被ChatGPT取代。 2月底的最后一次更新,我想分享个人对于ChatGPT可能会给我们SE…

    25 6 月, 2023
    5500
  • ChatGPT账号注册指南

    以下操作均需要付费 1、弄一个可以出去的梯子(需要你付费通过一个可以访问外网的服务); 2、通过sms-activate购买一个国外的虚拟电话号码,用来接收 OpenAI的注册验证码 3、开始试玩 ChatGPT 梯子的链接自己搜索一下,贴出来容易被封。 启用代理后,访问 https://www.ipip.net/  或者 https://ipinfo.io…

    2 7 月, 2023
    9700

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

联系我们

联系我们

159-7415-9137

在线咨询: QQ交谈

邮件:ruofan1001@gmail.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
关注公众号
关注公众号
分享本页
返回顶部