我目前正在开发一个由大型语言模型（LLM）驱动的聊天机器人，并希望它能根据我的文档提供回答。我知道在我的文档上使用微调模型可能不会产生直接的回答，所以我正在探索检索增强生成（RAG）的概念，以提高其性能。 在我的研究中，我遇到了两个工具，Langchain和LlamaIndex，它们似乎可以...

我正在创建一个对话，就像这样： llm = ChatOpenAI(temperature=0, openai_api_key=OPENAI_API_KEY, model_name=OPENAI_DEFAULT_MODEL) conversation = ConversationChain(l...

我有三个问题： 如果给定了十亿级别的LLM参数数量，如何确定需要多少GPU内存才能运行模型？ 如果你有足够的CPU-RAM（即没有GPU），即使速度很慢，你也可以运行模型吗？ 是否可以在混合GPU-RAM和CPU-RAM中运行LLM模型（例如h2ogpt，open-assistant）？

基本上，我想通过Flask和LangChain实现这个目标：https://www.youtube.com/watch?v=x8uwwLNxqis。 我正在构建一个使用LangChain作为后端的问答Flask应用程序，但是我在从ChatGPT流式传输响应方面遇到了问题。我的链条看起来像这样...

我在官方网站的langchain文档中进行了全面搜索，但没有找到如何在Python中使用一个str变量创建langchain文档的方法，所以我在他们的GitHub代码中进行了搜索，我找到了这个： doc=Document( page_content="te...

什么是指令调优和大型语言模型的正常微调之间的区别？ 我所指的指令调优并不是上下文/提示式的那种。 最近关于微调的所有论文似乎都是关于指令调优的。 我看过一些关于微调/指令调优（例如FLAN）的论文，但没有一个真正描述指令调优与其他选择（无论是什么选择）之间的区别。 我理解指令调优是一种...

我正在使用llama-index基于文档创建一个非常简单的问答应用程序。之前，我已经成功地使用OpenAI实现了这个功能。现在，我想尝试不使用外部API，所以我正在尝试使用Hugging Face的示例在这个链接中。 链接中的示例中写道：“请注意，为了完全私密的体验，还要设置一个本地嵌入模型...