如何在GPT4的API中上传一张图片作为上下文和提示？

Question

我看到这里有各种图像生成的方法：https://platform.openai.com/docs/api-reference/images 但我只是想发送一个png文件给Chat GPT，问一句"这是什么？"之类的问题，然后得到一个回答。

- Blake Young

Answer 1

这是可能的...

但是根据他们在论坛中的回复，chatGPT目前无法实现：

你想要的是“图像描述”，这不是OpenAI目前在他们的API中提供的服务。

你可以尝试其他API，比如Azure的Describe Image API，或者使用hive.ai这样的服务，或者自己托管CLIP模型。

来源：https://community.openai.com/t/how-can-i-get-description-from-the-content-of-the-image/307090/2

使用Azure计算机视觉来描述图像

但是我发现使用Azure AI服务 | 计算机视觉 API可以描述图像。

1. 创建一个免费的Azure账户: https://azure.microsoft.com/zh-cn/free
2. 访问 portal.azure.com 并通过搜索并点击 "计算机视觉"，然后点击+ 创建按钮来创建您自己的计算机视觉实例
3. 输入所需的详细信息（子账户、名称等），直到完成
4. 点击管理密钥：点击此处管理密钥和终结点
5. 保存您的密钥1和终结点数值

现在您可以进行curl请求，如下所示：

url = "https://upload.wikimedia.org/wikipedia/commons/thumb/1/12/Broadway_and_Times_Square_by_night.jpg/450px-Broadway_and_Times_Square_by_night.jpg"

image_analysis = client.analyze_image(
    url, visual_features=[VisualFeatureTypes.tags])

完整的代码示例在这个replit中：https://replit.com/@allenmcgehee/HonoredCarefulBackticks#main.py

- Allen M

---

谢谢。我觉得GPT4V的图片上传功能和图片标题似乎不太一样……至少结果看起来很不同。 - undefined