这并没有直接回答问题,但是指定了一种替代方案,如果您只想准备数据集并创建新模型以进行微调,那么它就很有用。无论您使用哪个系统都可以。
经过长时间的挣扎,我决定不在我的特定机器上运行cli,因为有太多不同的配置和混乱。我的最终目标只是创建一个模型并将其上传到OpenAI。
因此,如果其他人遇到这个帖子,请使用Google Colab。我也分享了其中一个链接,其中包含需要遵循的步骤here。
如果将来链接不起作用,我也会在下面列出步骤:
(步骤1)
设置您的API密钥(已添加的API密钥是虚假的,请用您自己的替换):
%env OPENAI_API_KEY=sk-Kz8Weh1234ddgYBmsdfinsdf7ndsfg55532432
(步骤2)
使用以下命令通过pip安装openai软件包:
!pip install -Uq openai
(第三步)
像下面这样导入openai包:
import openai
(第四步)
确保在Google Colab文件夹中上传promptdata.csv文件。
上传的方法如下:
- 在右侧,您将看到汉堡菜单图标,请单击它。
- 您将看到“目录”
- 单击顶部的最后一个文件夹图标。如果将鼠标悬停在图标上,则会显示“文件”。
- 现在,您将看到一个名为“sample_data”的文件夹。
- 单击“sample_data”的三个点菜单,然后选择“上传”。
- 您应该能够上传您的csv文件
- 上传csv文件不是必需的。您还可以上传OpenAI文档中列出的任何类型的TSV、XLSX、JSON或JSONL文件。但是,在运行以下命令后,它将始终转换为JSONL文件。
完成文件上传后,您可以运行以下命令准备数据集,它将返回一个新的JSONL文件,该文件与原始文件位于同一位置,并具有工具提供的所有更正。
!openai tools fine_tunes.prepare_data -f "/content/sample_data/promptdata.csv"
步骤五:
在进行更正后,再次运行以下命令,很可能会显示“未找到任何修复措施”。
!openai tools fine_tunes.prepare_data -f "/content/sample_data/promptdata_prepared.jsonl"
步骤 6:
最后,使用文件 promptdata_prepared.jsonl 运行以下命令来创建模型。
!openai api fine_tunes.create -t "/content/sample_data/promptdata_prepared.jsonl"
(第七步)
创建模型后,请注意"已上传模型"的名称