当前位置:首页 » 《随便一记》 » 正文

【实践笔记】手把手带你微调自己的GPT-davinci-003 关联 ChatGPT,OpenAI,微调API,Fine-tune API

15 人参与  2023年05月08日 08:57  分类 : 《随便一记》  评论

点击全文阅读


预备 Preliminary:

接下来的操作我默认以下条件已满足:

1.已安装openai pakage, 具体可以看我的上两篇文章。
2.做的是生成任务,如果是其他任务诸如抽取和问答,可以参考,对照官方文档调整对应操作。

Step 0.5 : 设置密钥

官网指令(Linux):

export OPENAI_API_KEY="<OPENAI_API_KEY>"

如果你是Windows,请这样操作:

setx OPENAI_API_KEY "<OPENAI_API_KEY>"

Step 1 :准备数据

我是简单的生成,所以只有输入"prompt"和输出"completion"这两个东西,
官方给了很多数据格式与载体格式,我这里用的是csv,
很简单,两个列,列名对应好就可以。
这里演示,我们假设我们的微调训练数据文件名为 pac.csv

openai tools fine_tunes.prepare_data -f pac.csv

此时完成了文件处理,他会帮你加好一些预处理操作,一直选Y(yes)就行。


Step 2: 创建并训练微调模型

参数 -t 是你生成的jsonLine文件
参数 -m是你的基础模型,这里我选择的是达芬奇

openai api fine_tunes.create -t "pac_prepared.jsonl" -m davinci

当这句话开始执行, 先会把文件传到云端,然后微调训练就开始了,你可以用给出的命令 follow查看进度。

openai api fine_tunes.follow -i "<model_id>"

或者你也考虑list指令看当前全部模型状态

openai api fine_tunes.list

在输出中找到你的训练id, status属性会显示"pending"
当训练结束,可以使用的时候,status会变成 “processed”


Step 3: 使用微调模型结果进行预测:

在命令行:

openai api completions.create -m "<model_name>" -p " 帮我生成肯德基吮指原味鸡的广告语 ->"

如果你想像在官网playground上面那样调一些模型参数,可以考虑python调用方式:

import openairesponse = openai.Completion.create(    # 模型名称    model= "<model_name>",    # 用户提供的输入文本,用于指导GPT输出    prompt=" 生成文案关于必胜客的牛肉披萨 ->",    # 控制输出的多样性,0-1,其中0表示最保守的输出,1表示最多样化的输出。    temperature=0.2,    # 输出的最大长度(输入+输出的token不能大于模型的最大token),可以动态调整    max_tokens=1000,    # [控制字符的重复度] -2.0 ~ 2.0 之间的数字,正值会根据新 tokens 在文本中的现有频率对其进行惩罚,从而降低模型逐字重复同一行的可能性    frequency_penalty=0.5,    # [控制主题的重复度] -2.0 ~ 2.0 之间的数字,正值会根据到目前为止是否出现在文本中来惩罚新 tokens,从而增加模型谈论新主题的可能性    presence_penalty=0.5,)print(response['choices'][0]['text'])

response有很多输出属性,可以自行做其他拆解。
此处python调用API的代码参考 @感谢地吸引力 原文链接:

https://blog.csdn.net/weixin_43764974/article/details/129218852


点击全文阅读


本文链接:http://www.zhangshiyu.com/post/61476.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 离恨覆江山全书+后续+结局(萧墨川温洛颜)免费_(离恨覆江山全书+后续+结局)萧墨川温洛颜列表_笔趣阁(萧墨川温洛颜)
  • 贫困生自称真千金,要把我这个鸠占鹊巢假千金赶出门结局+番外纯净版(方玉兰林嘉禾),贫困生自称真千金,要把我这个鸠占鹊巢假千金赶出门结局+番外纯净版
  • 穿书女配的逃出指南小说后续在线免费阅读_[牧宠]完结版免费阅读
  • 「太荒混沌鼎」后续更新_「叶无涯柳如烟」小说后续在线免费阅读
  • 全文消失的老婆(昭昭王力)列表_全文消失的老婆
  • (番外)+(全书)爱占便宜的表嫂全书+后续+结局(谢一瑶袁博文)_爱占便宜的表嫂全书+后续+结局列表_笔趣阁(谢一瑶袁博文)
  • 完结文沈青禾贺临渊霍沉洲前言+后续+结局列表_完结文沈青禾贺临渊霍沉洲前言+后续+结局
  • [太子假死逼我学乖,我直接登基了]爆款小说高能章节试读_娇娇李寻太子妃独家章节限时试读
  • 浮云散尽见天晴全书+后续+结局(陆子期苏晚月)全书免费浮云散尽见天晴全书+后续+结局读_列表_笔趣阁(陆子期苏晚月)
  • 全书浏览错综复杂结局+番外(秦封孤以晴)_错综复杂结局+番外(秦封孤以晴)全书结局
  • 故人心易变免费(萧衡梨娘)_故人心易变免费萧衡梨娘
  • 任他明月下西楼无弹窗阅读_[云溪邵淮烬祁雪芷]小说无删减版在线阅读

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1