戰(zhàn))
GPT Researcher 本地文檔研究指南基于 DOC_PATH 的 Local 與 Hybrid 檢索模式實(shí)戰(zhàn)【免費(fèi)下載鏈接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers項(xiàng)目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher本篇技術(shù)指南聚焦 gpt-researcher 的「本地文檔研究」能力如何讓自主研究 Agent 以本地文件夾中的 PDF、Word、Excel、Markdown 等文檔為數(shù)據(jù)源執(zhí)行研究任務(wù)并通過report_source在 Local僅本地與 Hybrid本地 Web模式之間切換。讀完本文你將掌握DOC_PATH配置、前端 My Documents 選項(xiàng)、Python 包級(jí)調(diào)用方式以及本地文檔在源碼層的加載、向量化與檢索鏈路可直接落地到私有知識(shí)庫與聯(lián)網(wǎng)研究相結(jié)合的實(shí)戰(zhàn)場景。一、本地文檔研究概覽gpt-researcher 默認(rèn)以 Web 為研究來源但通過設(shè)置DOC_PATH并切換數(shù)據(jù)源可以讓 Agent 完全基于你的本地文檔執(zhí)行研究任務(wù)。官方文檔local-docs.md明確列出了當(dāng)前支持的文檔格式PDF純文本txtCSVExcelxls / xlsxMarkdownmdPowerPointpptxWorddoc / docx在源碼層這些格式的解析統(tǒng)一由 DocumentLoader 完成。它基于 LangChain 社區(qū)加載器通過擴(kuò)展名分發(fā)到對(duì)應(yīng)的解析器文件擴(kuò)展名加載器說明pdfPyMuPDFLoader基于 PyMuPDF 的 PDF 解析txtTextLoader純文本csvUnstructuredCSVLoadermodeelements結(jié)構(gòu)化行級(jí)加載xls/xlsxUnstructuredExcelLoadermodeelementsExcel 工作表mdUnstructuredMarkdownLoaderMarkdownpptxUnstructuredPowerPointLoaderPowerPointdoc/docxUnstructuredWordDocumentLoaderWord 文檔html/htmBSHTMLLoader額外支持的網(wǎng)頁文件DocumentLoader.load()會(huì)遞歸遍歷DOC_PATH指向的目錄os.walk對(duì)每個(gè)文件按擴(kuò)展名選擇加載器最后把非空的page_content組裝成{raw_content: ..., url: 文件名}結(jié)構(gòu)的文檔列表document.py#L32-L62。若目錄中沒有任何可解析內(nèi)容會(huì)拋出 Failed to load any documents!異常提示。二、快速上手僅本地文檔研究Local 模式原文檔給出兩步操作法下面結(jié)合倉庫現(xiàn)狀給出完整可運(yùn)行版本。Step 1設(shè)置 DOC_PATH 環(huán)境變量DOC_PATH指向存放文檔的文件夾是本地模式的唯一必配項(xiàng)。配置文件與默認(rèn)值定義在config/variables/default.py默認(rèn)值為./my-docsconfig/variables/base.py聲明DOC_PATH: str字段config/config.py#L148-L155_set_doc_path()讀取環(huán)境變量并在validate_doc_path()校驗(yàn)失敗時(shí)回退到默認(rèn)值export DOC_PATH./my-docs校驗(yàn)失敗的場景包括路徑不存在等情況此時(shí)會(huì)在終端打印Warning: Error validating doc_path ... Using default doc_path.并回退到./my-docs。因此建議在運(yùn)行前確認(rèn)目錄真實(shí)存在且包含受支持格式的文件。測試配置 config/variables/test_local.json 中給出的示例值為DOC_PATH: tests/docs可作為參照。Step 2a前端方式localhost:8000如果你運(yùn)行的是內(nèi)置前端應(yīng)用后端默認(rèn)localhost:8000在界面中找到Report Source下拉框選擇My Documents即可。該選項(xiàng)在前端組件 ResearchForm.tsx#L135-L145 中實(shí)現(xiàn)其 HTML 結(jié)構(gòu)為option valuelocalMy Documents/option選中的值會(huì)以report_source字段隨研究請(qǐng)求發(fā)送給后端見 app/page.tsx#L486最終傳入GPTResearcher實(shí)例。Step 2bPython 包方式pip / 源碼調(diào)用使用 Python 調(diào)用時(shí)實(shí)例化GPTResearcher類并傳入report_sourcelocal。構(gòu)造函數(shù)的完整簽名與參數(shù)說明見 agent.py#L53-L137from gpt_researcher import GPTResearcher from gpt_researcher.utils.enum import ReportSource query 根據(jù)我的產(chǎn)品文檔總結(jié) VLX500 的關(guān)鍵規(guī)格 researcher GPTResearcher( queryquery, report_sourceReportSource.Local.value, # 等價(jià)于 local ) await researcher.conduct_research() report await researcher.write_report()report_source的取值由 utils/enum.py#L30-L51 的ReportSource枚舉統(tǒng)一定義web、local、azure、langchain_documents、langchain_vectorstore、static、hybrid。若實(shí)例化時(shí)未傳report_source則會(huì)回退到配置中的report_sourceagent.py#L143。倉庫測試 tests/vector-store.py#L209 中即有report_sourcelocal的調(diào)用示例可參考其組合vector_store的寫法。三、本地模式的源碼執(zhí)行鏈路了解界面與參數(shù)后再看本地模式在后端如何被真正執(zhí)行。研究流程由 ResearchConductor.conduct_research() 編排其中report_source ReportSource.Local.value的分支實(shí)現(xiàn)為researcher.py#L164-L171elif self.researcher.report_source ReportSource.Local.value: self.logger.info(Using local search) document_data await DocumentLoader(self.researcher.cfg.doc_path).load() self.logger.info(fLoaded {len(document_data)} documents) if self.researcher.vector_store: self.researcher.vector_store.load(document_data) research_data await self._get_context_by_web_search( self.researcher.query, document_data, self.researcher.query_domains )整個(gè)鏈路可以拆解為三個(gè)階段加載DocumentLoader(cfg.doc_path).load()遞歸讀取目錄并解析全部文檔?？蛇x向量化若傳入了vector_store文檔會(huì)被包裝為 LangChain Document再按chunk_size1000、chunk_overlap200切塊后寫入向量庫見 vector_store/vector_store.py#L17-L57供后續(xù)相似度檢索復(fù)用。上下文構(gòu)建_get_context_by_web_search()先基于原始問題規(guī)劃子查詢plan_research再對(duì)每個(gè)子查詢調(diào)用_process_sub_query—— 此時(shí)傳入的scraped_data即本地文檔內(nèi)容Agent 不再執(zhí)行聯(lián)網(wǎng)搜索而是直接在這批文檔上做相關(guān)性檢索與壓縮researcher.py#L596-L602。值得注意的是在 Local 模式下Agent 規(guī)劃子查詢階段仍然可能調(diào)用檢索器進(jìn)行初步搜索以輔助規(guī)劃plan_research使用self.researcher.retrievers[0]但最終研究上下文完全來自本地文檔。若配置了curate_sources收集到的上下文還會(huì)經(jīng)過 source curator 去重整理researcher.py#L211-L227。四、Local WebHybrid 混合研究模式在僅本地文檔之外gpt-researcher 還支持將本地文檔與 Web 研究結(jié)合形成 Hybrid 混合模式即report_sourcehybrid。它同樣從DOC_PATH加載本地文檔但會(huì)同時(shí)執(zhí)行本地文檔檢索與 Web 搜索最后把兩路上下文合并交給 LLM 生成報(bào)告。對(duì)應(yīng)源碼分支見 researcher.py#L172-L186elif self.researcher.report_source ReportSource.Hybrid.value: if self.researcher.document_urls: document_data await OnlineDocumentLoader(self.researcher.document_urls).load() else: document_data await DocumentLoader(self.researcher.cfg.doc_path).load() if self.researcher.vector_store: self.researcher.vector_store.load(document_data) # 本地文檔通道與 Web 通道相互獨(dú)立并發(fā)執(zhí)行 # visited_urls 仍在兩路之間做去重。 docs_context, web_context await asyncio.gather( self._get_context_by_web_search(self.researcher.query, document_data, self.researcher.query_domains), self._get_context_by_web_search(self.researcher.query, [], self.researcher.query_domains), ) research_data self.researcher.prompt_family.join_local_web_documents(docs_context, web_context)從實(shí)現(xiàn)細(xì)節(jié)可以總結(jié)出 Hybrid 模式的幾個(gè)關(guān)鍵點(diǎn)數(shù)據(jù)源二選一優(yōu)先使用document_urls在線文檔未提供時(shí)回退到DOC_PATH本地文檔。因此即使文檔全部在本地也無需額外配置。并發(fā)執(zhí)行本地文檔通道與 Web 搜索通道通過asyncio.gather并發(fā)運(yùn)行互不阻塞同時(shí)visited_urls集合會(huì)在兩路之間共享去重避免對(duì)同一 URL 重復(fù)抓取。上下文合并兩路結(jié)果由prompt_family.join_local_web_documents()合并。默認(rèn) prompt 家族PromptFamily.Default負(fù)責(zé)組織合并后的上下文順序而不同模型家族的提示模板可能對(duì)合并方式有不同實(shí)現(xiàn)枚舉定義見 utils/enum.py#L94-L103。Hybrid 模式適合以私有文檔為主、以公開網(wǎng)絡(luò)資料為輔的場景例如企業(yè)內(nèi)部知識(shí)庫 行業(yè)公開報(bào)告的交叉驗(yàn)證。關(guān)于混合研究的設(shè)計(jì)思路倉庫內(nèi)的官方博客文章《Hybrid Research》有更深入的背景說明見 docs/blog/2024-09-7-hybrid-research/index.md。五、參數(shù)速查與注意事項(xiàng)參數(shù)取值說明DOC_PATH本地目錄路徑如./my-docs文檔根目錄默認(rèn)./my-docs校驗(yàn)失敗時(shí)回退默認(rèn)值report_sourceweb/local/hybrid/azure等數(shù)據(jù)來源ReportSource枚舉定義于 utils/enum.pyvector_storeLangChain VectorStore 實(shí)例可選傳入后文檔會(huì)切塊1000/200并寫入向量庫前端選項(xiàng)My Documents對(duì)應(yīng)report_sourcelocal見 ResearchForm.tsx實(shí)踐中有幾點(diǎn)需要留意目錄遞歸DocumentLoader使用os.walk遞歸遍歷子目錄中的文檔也會(huì)被加載適合按主題組織文件夾。格式依賴CSV/Excel/Word/PPT 依賴unstructured相關(guān)加載器首次使用前請(qǐng)確認(rèn)已按 requirements.txt 安裝完整依賴。空目錄防護(hù)目錄內(nèi)沒有任何可解析文檔時(shí)加載階段會(huì)直接拋出異常終止任務(wù)務(wù)必先自檢DOC_PATH內(nèi)容。文件引用名加載后的每條文檔以basename文件名作為來源標(biāo)識(shí)報(bào)告中會(huì)以此作為本地來源的引用標(biāo)注document.py#L54-L57。六、小結(jié)通過本文你已掌握 gpt-researcher 本地文檔研究的完整路徑設(shè)置DOC_PATH→ 選擇report_sourcelocal前端選 My Documents即可讓 Agent 基于私有文檔生成報(bào)告切換為hybrid則疊加 Web 檢索實(shí)現(xiàn)本地為主、網(wǎng)絡(luò)為輔的混合研究。更進(jìn)一步從 DocumentLoader 的格式分發(fā)、ResearchConductor 的分支編排到asyncio.gather的并發(fā)合并你可以清楚地看到本地文檔是如何被解析、向量化、檢索并最終匯入上下文的——這為二次開發(fā)如接入新的文檔格式或自定義合并策略提供了明確的切入點(diǎn)?！久赓M(fèi)下載鏈接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers項(xiàng)目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 GPT Researcher 本地文檔研究指南：基于 DOC_PATH 的 Local 與 Hybrid 檢索模式實(shí)戰(zhàn)
GPT Researcher 本地文檔研究指南基于 DOC_PATH 的 Local 與 Hybrid 檢索模式實(shí)戰(zhàn)【免費(fèi)下載鏈接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers項(xiàng)目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher本篇技術(shù)指南聚焦 gpt-researcher 的「本地文檔研究」能力如何讓自主研究 Agent 以本地文件夾中的 PDF、Word、Excel、Markdown 等文檔為數(shù)據(jù)源執(zhí)行研究任務(wù)并通過report_source在 Local僅本地與 Hybrid本地 Web模式之間切換。讀完本文你將掌握DOC_PATH配置、前端 My Documents 選項(xiàng)、Python 包級(jí)調(diào)用方式以及本地文檔在源碼層的加載、向量化與檢索鏈路可直接落地到私有知識(shí)庫與聯(lián)網(wǎng)研究相結(jié)合的實(shí)戰(zhàn)場景。一、本地文檔研究概覽gpt-researcher 默認(rèn)以 Web 為研究來源但通過設(shè)置DOC_PATH并切換數(shù)據(jù)源可以讓 Agent 完全基于你的本地文檔執(zhí)行研究任務(wù)。官方文檔local-docs.md明確列出了當(dāng)前支持的文檔格式PDF純文本txtCSVExcelxls / xlsxMarkdownmdPowerPointpptxWorddoc / docx在源碼層這些格式的解析統(tǒng)一由 DocumentLoader 完成。它基于 LangChain 社區(qū)加載器通過擴(kuò)展名分發(fā)到對(duì)應(yīng)的解析器文件擴(kuò)展名加載器說明pdfPyMuPDFLoader基于 PyMuPDF 的 PDF 解析txtTextLoader純文本csvUnstructuredCSVLoadermodeelements結(jié)構(gòu)化行級(jí)加載xls/xlsxUnstructuredExcelLoadermodeelementsExcel 工作表mdUnstructuredMarkdownLoaderMarkdownpptxUnstructuredPowerPointLoaderPowerPointdoc/docxUnstructuredWordDocumentLoaderWord 文檔html/htmBSHTMLLoader額外支持的網(wǎng)頁文件DocumentLoader.load()會(huì)遞歸遍歷DOC_PATH指向的目錄os.walk對(duì)每個(gè)文件按擴(kuò)展名選擇加載器最后把非空的page_content組裝成{raw_content: ..., url: 文件名}結(jié)構(gòu)的文檔列表document.py#L32-L62。若目錄中沒有任何可解析內(nèi)容會(huì)拋出 Failed to load any documents!異常提示。二、快速上手僅本地文檔研究Local 模式原文檔給出兩步操作法下面結(jié)合倉庫現(xiàn)狀給出完整可運(yùn)行版本。Step 1設(shè)置 DOC_PATH 環(huán)境變量DOC_PATH指向存放文檔的文件夾是本地模式的唯一必配項(xiàng)。配置文件與默認(rèn)值定義在config/variables/default.py默認(rèn)值為./my-docsconfig/variables/base.py聲明DOC_PATH: str字段config/config.py#L148-L155_set_doc_path()讀取環(huán)境變量并在validate_doc_path()校驗(yàn)失敗時(shí)回退到默認(rèn)值export DOC_PATH./my-docs校驗(yàn)失敗的場景包括路徑不存在等情況此時(shí)會(huì)在終端打印Warning: Error validating doc_path ... Using default doc_path.并回退到./my-docs。因此建議在運(yùn)行前確認(rèn)目錄真實(shí)存在且包含受支持格式的文件。測試配置 config/variables/test_local.json 中給出的示例值為DOC_PATH: tests/docs可作為參照。Step 2a前端方式localhost:8000如果你運(yùn)行的是內(nèi)置前端應(yīng)用后端默認(rèn)localhost:8000在界面中找到Report Source下拉框選擇My Documents即可。該選項(xiàng)在前端組件 ResearchForm.tsx#L135-L145 中實(shí)現(xiàn)其 HTML 結(jié)構(gòu)為option valuelocalMy Documents/option選中的值會(huì)以report_source字段隨研究請(qǐng)求發(fā)送給后端見 app/page.tsx#L486最終傳入GPTResearcher實(shí)例。Step 2bPython 包方式pip / 源碼調(diào)用使用 Python 調(diào)用時(shí)實(shí)例化GPTResearcher類并傳入report_sourcelocal。構(gòu)造函數(shù)的完整簽名與參數(shù)說明見 agent.py#L53-L137from gpt_researcher import GPTResearcher from gpt_researcher.utils.enum import ReportSource query 根據(jù)我的產(chǎn)品文檔總結(jié) VLX500 的關(guān)鍵規(guī)格 researcher GPTResearcher( queryquery, report_sourceReportSource.Local.value, # 等價(jià)于 local ) await researcher.conduct_research() report await researcher.write_report()report_source的取值由 utils/enum.py#L30-L51 的ReportSource枚舉統(tǒng)一定義web、local、azure、langchain_documents、langchain_vectorstore、static、hybrid。若實(shí)例化時(shí)未傳report_source則會(huì)回退到配置中的report_sourceagent.py#L143。倉庫測試 tests/vector-store.py#L209 中即有report_sourcelocal的調(diào)用示例可參考其組合vector_store的寫法。三、本地模式的源碼執(zhí)行鏈路了解界面與參數(shù)后再看本地模式在后端如何被真正執(zhí)行。研究流程由 ResearchConductor.conduct_research() 編排其中report_source ReportSource.Local.value的分支實(shí)現(xiàn)為researcher.py#L164-L171elif self.researcher.report_source ReportSource.Local.value: self.logger.info(Using local search) document_data await DocumentLoader(self.researcher.cfg.doc_path).load() self.logger.info(fLoaded {len(document_data)} documents) if self.researcher.vector_store: self.researcher.vector_store.load(document_data) research_data await self._get_context_by_web_search( self.researcher.query, document_data, self.researcher.query_domains )整個(gè)鏈路可以拆解為三個(gè)階段加載DocumentLoader(cfg.doc_path).load()遞歸讀取目錄并解析全部文檔?？蛇x向量化若傳入了vector_store文檔會(huì)被包裝為 LangChain Document再按chunk_size1000、chunk_overlap200切塊后寫入向量庫見 vector_store/vector_store.py#L17-L57供后續(xù)相似度檢索復(fù)用。上下文構(gòu)建_get_context_by_web_search()先基于原始問題規(guī)劃子查詢plan_research再對(duì)每個(gè)子查詢調(diào)用_process_sub_query—— 此時(shí)傳入的scraped_data即本地文檔內(nèi)容Agent 不再執(zhí)行聯(lián)網(wǎng)搜索而是直接在這批文檔上做相關(guān)性檢索與壓縮researcher.py#L596-L602。值得注意的是在 Local 模式下Agent 規(guī)劃子查詢階段仍然可能調(diào)用檢索器進(jìn)行初步搜索以輔助規(guī)劃plan_research使用self.researcher.retrievers[0]但最終研究上下文完全來自本地文檔。若配置了curate_sources收集到的上下文還會(huì)經(jīng)過 source curator 去重整理researcher.py#L211-L227。四、Local WebHybrid 混合研究模式在僅本地文檔之外gpt-researcher 還支持將本地文檔與 Web 研究結(jié)合形成 Hybrid 混合模式即report_sourcehybrid。它同樣從DOC_PATH加載本地文檔但會(huì)同時(shí)執(zhí)行本地文檔檢索與 Web 搜索最后把兩路上下文合并交給 LLM 生成報(bào)告。對(duì)應(yīng)源碼分支見 researcher.py#L172-L186elif self.researcher.report_source ReportSource.Hybrid.value: if self.researcher.document_urls: document_data await OnlineDocumentLoader(self.researcher.document_urls).load() else: document_data await DocumentLoader(self.researcher.cfg.doc_path).load() if self.researcher.vector_store: self.researcher.vector_store.load(document_data) # 本地文檔通道與 Web 通道相互獨(dú)立并發(fā)執(zhí)行 # visited_urls 仍在兩路之間做去重。 docs_context, web_context await asyncio.gather( self._get_context_by_web_search(self.researcher.query, document_data, self.researcher.query_domains), self._get_context_by_web_search(self.researcher.query, [], self.researcher.query_domains), ) research_data self.researcher.prompt_family.join_local_web_documents(docs_context, web_context)從實(shí)現(xiàn)細(xì)節(jié)可以總結(jié)出 Hybrid 模式的幾個(gè)關(guān)鍵點(diǎn)數(shù)據(jù)源二選一優(yōu)先使用document_urls在線文檔未提供時(shí)回退到DOC_PATH本地文檔。因此即使文檔全部在本地也無需額外配置。并發(fā)執(zhí)行本地文檔通道與 Web 搜索通道通過asyncio.gather并發(fā)運(yùn)行互不阻塞同時(shí)visited_urls集合會(huì)在兩路之間共享去重避免對(duì)同一 URL 重復(fù)抓取。上下文合并兩路結(jié)果由prompt_family.join_local_web_documents()合并。默認(rèn) prompt 家族PromptFamily.Default負(fù)責(zé)組織合并后的上下文順序而不同模型家族的提示模板可能對(duì)合并方式有不同實(shí)現(xiàn)枚舉定義見 utils/enum.py#L94-L103。Hybrid 模式適合以私有文檔為主、以公開網(wǎng)絡(luò)資料為輔的場景例如企業(yè)內(nèi)部知識(shí)庫 行業(yè)公開報(bào)告的交叉驗(yàn)證。關(guān)于混合研究的設(shè)計(jì)思路倉庫內(nèi)的官方博客文章《Hybrid Research》有更深入的背景說明見 docs/blog/2024-09-7-hybrid-research/index.md。五、參數(shù)速查與注意事項(xiàng)參數(shù)取值說明DOC_PATH本地目錄路徑如./my-docs文檔根目錄默認(rèn)./my-docs校驗(yàn)失敗時(shí)回退默認(rèn)值report_sourceweb/local/hybrid/azure等數(shù)據(jù)來源ReportSource枚舉定義于 utils/enum.pyvector_storeLangChain VectorStore 實(shí)例可選傳入后文檔會(huì)切塊1000/200并寫入向量庫前端選項(xiàng)My Documents對(duì)應(yīng)report_sourcelocal見 ResearchForm.tsx實(shí)踐中有幾點(diǎn)需要留意目錄遞歸DocumentLoader使用os.walk遞歸遍歷子目錄中的文檔也會(huì)被加載適合按主題組織文件夾。格式依賴CSV/Excel/Word/PPT 依賴unstructured相關(guān)加載器首次使用前請(qǐng)確認(rèn)已按 requirements.txt 安裝完整依賴。空目錄防護(hù)目錄內(nèi)沒有任何可解析文檔時(shí)加載階段會(huì)直接拋出異常終止任務(wù)務(wù)必先自檢DOC_PATH內(nèi)容。文件引用名加載后的每條文檔以basename文件名作為來源標(biāo)識(shí)報(bào)告中會(huì)以此作為本地來源的引用標(biāo)注document.py#L54-L57。六、小結(jié)通過本文你已掌握 gpt-researcher 本地文檔研究的完整路徑設(shè)置DOC_PATH→ 選擇report_sourcelocal前端選 My Documents即可讓 Agent 基于私有文檔生成報(bào)告切換為hybrid則疊加 Web 檢索實(shí)現(xiàn)本地為主、網(wǎng)絡(luò)為輔的混合研究。更進(jìn)一步從 DocumentLoader 的格式分發(fā)、ResearchConductor 的分支編排到asyncio.gather的并發(fā)合并你可以清楚地看到本地文檔是如何被解析、向量化、檢索并最終匯入上下文的——這為二次開發(fā)如接入新的文檔格式或自定義合并策略提供了明確的切入點(diǎn)?！久赓M(fèi)下載鏈接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers項(xiàng)目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考