我目前正在开发一个由大型语言模型(LLM)驱动的聊天机器人,并希望它能根据我的文档提供回答。我知道在我的文档上使用微调模型可能不会产生直接的回答,所以我正在探索检索增强生成(RAG)的概念,以提高其性能。 在我的研究中,我遇到了两个工具,Langchain和LlamaIndex,它们似乎可以...
我想在Google Colab中执行这段代码,但是出现了以下错误: from llama_index.prompts.prompts import SimpleInputPrompt # Create a system prompt system_prompt = """[INST] &...
如https://gpt-index.readthedocs.io/en/latest/guides/tutorials/building_a_chatbot.html所述,我们编写了一个聊天机器人来索引我们的参考资料,并且它运行良好。它最大的问题是有时会用自己的知识回答问题,而这些知识超出了...
我使用 llama_index 对 PDF 进行索引,取得了不错的结果,但是我遇到了一个问题:无法找到它基于哪个 PDF 找到了结果。result.node_sources 使用了一个似乎是内部生成的文档 ID。我该如何获取对文档的引用?
我正在测试一些广泛发布的GPT模型,只是想尝试一下,但我遇到了一个无法解决的错误。 我正在运行这段代码: from llama_index import SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredic...
我按照this教程(colab笔记本)进行了微调。 尝试加载我本地保存的模型 model = AutoModelForCausalLM.from_pretrained("finetuned_model") 产出 被杀。 尝试从hub加载模型: 产生结果 import torc...
我正在使用llama-index基于文档创建一个非常简单的问答应用程序。之前,我已经成功地使用OpenAI实现了这个功能。现在,我想尝试不使用外部API,所以我正在尝试使用Hugging Face的示例在这个链接中。 链接中的示例中写道:“请注意,为了完全私密的体验,还要设置一个本地嵌入模型...
OpenAI的GPT嵌入模型被用于LlamaIndex的所有示例中,尽管与T5和句子转换模型相比,它们似乎是最昂贵且表现最差的嵌入模型(请参见下面的比较)。 我该如何使用all-roberta-large-v1作为嵌入模型,并与OpenAI的GPT3一起作为“响应生成器”?我甚至不确定是否可...