ChatGPT Token Limit
我希望ChatGPT能够记住以往的对话并保持一致的（有状态的）对话。 我看过几个ChatGPT提示工程的代码。 以下是设计提示的两种方式（伪代码）： 使用单个输入（便宜）<- 如果可能的话更好 堆叠所有先前的历史记录（昂贵，令牌限制） def openai_chat(pr...
ChatGPT模型Python上出现了“Llama_index意外的关键字参数”错误。
我正在测试一些广泛发布的GPT模型，只是想尝试一下，但我遇到了一个无法解决的错误。 我正在运行这段代码： from llama_index import SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredic...
OpenAI GPT-3 API：微调一个已经微调的模型？
OpenAI的fine-tune API中model属性的文档有点令人困惑： model 要进行fine-tune的基础模型名称。您可以选择其中之一："ada"、"babbage"、"curie"、"davinci"或2022-04-21后创建的经过fine-tune的模型。 我的问题...
OpenAI API：在发送API请求之前，我如何计算令牌数量？
OpenAI的文本模型有一个上下文长度，例如：Curie的上下文长度为2049个标记。它们提供max_tokens和stop参数来控制生成序列的长度。因此，当获取停止标记或达到max_tokens时，生成过程会停止。问题是，在生成文本时，我不知道我的提示包含多少标记。由于我不知道这一点，我无法...
对一组文档进行OpenAI GPT-3模型的微调
根据https://beta.openai.com/docs/guides/fine-tuning文档，微调OpenAI GPT3模型的训练数据应该按照以下结构组织： {"prompt": "<prompt text>", "completion": "<ideal gen...
OpenAI GPT-3 API错误："请求超时"
我运行以下代码时，一直出现如下错误： 请求超时：HTTPSConnectionPool(host='api.openai.com', port=443)：读取超时。(读取超时=600) def generate_gpt3_response(user_text, print_output=F...
确定运行LLM模型的一般规格
我有三个问题： 如果给定了十亿级别的LLM参数数量，如何确定需要多少GPU内存才能运行模型？ 如果你有足够的CPU-RAM（即没有GPU），即使速度很慢，你也可以运行模型吗？ 是否可以在混合GPU-RAM和CPU-RAM中运行LLM模型（例如h2ogpt，open-assistant）？
OpenAI GPT-3 API错误："此模型的最大上下文长度为4097个令牌"。
我正在向完成端点发出请求。我的提示符是1360个令牌，由Playground和Tokenizer验证。我不会在这个问题中展示提示符，因为它有点太长了。 这是我使用openai npm包在Nodejs中向OpenAI发送的请求。 const response = await openai.c...
如何确保答案来自定制（微调）数据集？
我正在使用带有“提示”和“完成”的自定义文本来训练新模型。 这是我用来创建自定义模型的教程： beta.openai.com/docs/guides/fine-tuning/advanced-usage 然而，即使在对模型进行训练并向模型发送提示文本之后，我仍然得到了一些通用的结果，这些...