2023年:ChatGPT与ChatGLM联袂出击,揭秘微调与训练秘籍!【新手必看,干货满满】

听说很多人想微调,或者完成了微调。调完发现,模型能用,效果却一般。那哪些点,是作为新手需要知道的呢?

下面是团队小伙伴“艾大叔”的投稿,他的特点:把新手给讲的明明白白。

2023年:ChatGPT与ChatGLM联袂出击,揭秘微调与训练秘籍!【新手必看,干货满满】

 

一:什么是fine tune?

中文译为微调,指的是通过自己的数据在已经训练好的网络结构上进行微调参数,从而使得模型在自定义的任务上能够表现更好。fine tune是一种迁移学习的范式,将gpt作为语言模型学到的大量语言知识迁移到具体任务上,能够低成本快速的训练一个高质量的模型。低成本是因为免去了训练大语言模型的时间和算力成本,快速是因为有了大语言模型的加持,可以通过少量样本,简单训练就能完成一个复杂任务的模型。为什么要fine tune chatgpt。已经能够准确的理解语义了,为什么还要fine tune模型呢?

1. 更准确。通过特定任务的专项学习,能够让模型效果更准确。

2. 定制化。通过fine tune,将定制化的信息让模型理解,比如我问chatgpt:我老婆喜欢吃什么?他不可能知道,但是我fine tune的时候告诉他我老婆喜欢吃火锅,他就能回答这个定制化的问题。

又比如翻译中更想加入:人艰不拆、喜大普奔类网络新词,那么需要语料中针对的加类似通过网络新词翻译的语料,才可以得到更偏向使用网络新词翻译的模型。

3. 输出格式统一。比如我想让他判断一段话的情绪,我只想要简练的情绪判断,而不是一大段话,通过fine tune的答案设置,也可以让他学会特定格式的输出。

4. 更强的泛化能力。特定场景的理解,只需要少量数据(几百到几千都有可能)让模型理解,之后获取同样的理解能力,同个模型可以一直用。

二:哪些任务适合fine tune?

1. 文本分类,比如情绪识别,意图识别等

2. 语义抽取,如抽取文中提到的人物、地点等

3. 摘要,总结一篇文章、新闻。

4. 翻译等等

……

还有很多任务,并不适合或者不需要finetune。在数据量超大、预算无限时,是不存在这个限制的。

三:fine tune模型前需要那些准备工作?

1. 读懂自己的数据。认识、理解自己的数据永远是自然语言处理任务的第一步,也是最重要的一步,以tweet内容的情绪分类为例:正向情绪,反向情绪占比多少,哪些内容比较容易区分情绪,哪些内容虽然有情绪但是需要一定的分析才能知道结果,有哪些Corner case容易被误解等等,理解了数据才能设计任务,和设计训练数据。

2. 明确定义自己的任务。任务的定义是跟自己的需求绑定在一起的,比如我想知道用户对某件商品的评价,那么:物流慢、贵等都可以认为是负向的。如果我想统计tweeter用户的戾气指数,那么客观的评价一个商品好与不好都可认为是中性的情绪,而谩骂、诋毁的内容才会被认为是负向的。

另外设计任务要记得给不想要的类别设一个other类别,模型需要处理所有的文本,把任务定义以外的类别设置为other能够让模型更明确各种类别数据的边界。

 

四:准备fine tune的数据

准备数据需要遵循以下原则:

(1)定制化程度越高、任务越难需要用于训练的数据越多

(2)hard example特别重要,重点加数据

(3)fine tune设计prompt也管用,比如下面的例子:

input:Decide whether a Tweet’s sentiment is positive, neutral, or negative. Tweet: I loved the new Batman movie!

output:Sentiment: positive

input中说明这是一个tweet内容,任务是判断positive, neutral, or negative的情绪,Tweet: 指明tweet内容是哪部分,这些内容都有利于模型理解语义完成任务,包括output中开头是Sentiment:也有利于模型根据这个提示进一步输出答案。

(4)不要泄露或者影射答案,比如上面的例子我加上:tweet中提到了loved,他的情绪可能是?

这样的提示几乎告诉模型了答案,会让模型依赖你的提示内容。当没有这类提示时,模型的能力会大大降低。

fine tune模型的质量特别依赖任务定义是否清晰,训练语料是否典型、充足。

所以这部分准备工作特别重要。

fine tune的过程,可参考:ChatGPT微调全过程,只需2刀(10分钟)

官方文档可参考:https://platform.openai.com/docs/guides/fine-tuning

 

五:如何评估fine tune的结果?

不同的业务场景,评估指标很不相同,不可一概而论。

比如分类模型评估指标,常用召回率和精确率来衡量。召回率是以实际样本为判断依据,实际为正例的样本中,被预测正确的正例占总实际正例样本的比例。精确率是以预测结果为判断依据,预测为正例的样本中预测正确的比例。为了平衡二者结果,一般用F1。召回和精确两个都好才是真的好(感觉像是广告词)。

那什么任务,什么数据,应该达到什么水准,这个才是衡量你微调结果好坏的标准。而不是,把模型步骤走下来,就大功告成了。

评估指标和数据集,永远是你在开始微调or训练模型前,就要考虑清楚的

当然,如果只想根据自己的数据,做个自己的数字人,可以不用考虑。

 


过往文章:

1. chatgpt:送头像啦  【包满意】

2. ChatGPT:【万能话术模板】+99个提示词【请收藏】

3. 您使用的ChatGPT错了!以下是如何领先于 99% 的 ChatGPT 用户

4.私域知识库的问答:chatgpt :全流程,根据自有知识库,检索生成式问答

5. midjourney ,助你画出美图系列(一)

6. midjourney, 助你画美图 不熬夜(二)

7. midjourney ,新手画图 不熬夜(三)

 


 

本网站文章皆为作者授权。发布者:虹七,转载请注明出处:https://ruofanseo.com/fine-tune-train/

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 18 6 月, 2023 8:36 上午
下一篇 18 6 月, 2023 8:47 上午

相关推荐

  • ChatGPT的常用插件和学习网站

    所有插件请从Chrome应用商店下载,Microsoft Edge也支持从Chrom应用商店安装插件。 常用Chrome插件 1. ShareGPT 分享你与ChatGPT的对话,其他人不需要魔法也能看到你与ChatGPT的对话。 我向ChatGPT访问了必要条件与充分条件的区别,下面是对话的内容。https://shareg.pt/qFAnyUs Shar…

    2 7 月, 2023
    21700
  • ChatGPT温度调整指南:如何调整温度,生成优质内容。

    1. 温度 生成模型,例如chatgpt这样的,抽样都包含随机性,因此每次点击“生成”时,相同的提示可能会产生不同的输出。而温度,就是用于调整随机程度的数字。 2. 生成时如何选择温度 较低的温度意味着较少的随机性; 比如,温度为 0 将始终产生相同的输出。 那么,多少温度合适呢?最好根据自己的问题,来调节。 我们看看后面的栗子(栗子不看版:直接看第6点结论…

    14 4 月, 2023
    39800
  • 人工智能的未来:CHATGPT的崛起和应用

    ChatGPT实在太火了,很多粉丝小伙伴都来微信私聊,问SEO会不会被ChatGPT取代? 我和我们SEO部门的同事们在ChatGPT刚出来就开始使用了,在使用过程中我发现ChatGPT你提供的信息越详细,它输入的内容就越有深度,越靠谱。写文章页也是如此,你要尽可能多的描述你的中心思想。写Python或者Excel的VBA代码之类的就必须更详细的告诉Chat…

    3 4 月, 2023
    6700
  • chatgpt :全流程,根据自有知识库,检索生成式问答

    chatgpt或者gpt3,生成式问答的问题明显。 一方面知识更新不及时,另一方面一本正经的胡说八道。 嘴硬心不软,还时不时闹点小脾气。 下面是openai的生成式模型在自有知识库上,检索生成式问答的全过程。 当然,库不需要是问答的知识,只要是需要限定的背景知识即可。 比如pdf文档的内容,分块存储到库中,最后进行检索式的问答,完成根据pdf的问答。 拢共分…

    20 6 月, 2023
    5400
  • 重大升级!HelloAI机器人(ChatGPT中文版)PC端已上线,移动和PC端会员通用无需重复注册!

    升级目的:提升PC端的用户体验,拓宽ChatGPT使用场景及应用范围。习惯在PC端聊天办公画图的用户更方便啦! PC端登陆网址: www.hello-ai.chat 复制到PC端浏览器打开,记得收藏哦!

    3 7 月, 2023
    21500

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

联系我们

联系我们

159-7415-9137

在线咨询: QQ交谈

邮件:ruofan1001@gmail.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
关注公众号
关注公众号
分享本页
返回顶部