初學者如何在 Windows 上設置 LocalGPT

如果您不想支付 LLM 費用或想保證您的數據安全，您應該設置 LocalGPT。它允許您完全控制人工智能如何操作和處理數據。它還確保了隱私，因為所有數據都保留在本地系統上，而不是發送到外部服務器。

在 Windows PC 上設置本地 GPT

LocalGPT 是一個開源工具，其靈感來自私人GPT，旨在在用戶設備上本地運行大型語言模型（LLM）以供私人使用。與僅依賴於 CPU 執行的 privateGPT 不同，LocalGPT 支持通過 GPU 進行硬件加速，以實現更好的性能並減少延遲。 LocalGPT 使用 Vicuna-7B LLM 和 InstructorEmbeddings，而不是相當龐大的 GPT-4ALL 模型和 LlamaEmbeddings。它與 Blenderbot 和 WizardLM-7B 等模型配合使用，使我們能夠根據特定需求交換模型。整個管道在本地運行，確保數據隱私，同時提供先進的 NLP 功能，無需依賴外部 API，使其成為本地運行的 AI 模式的完美候選者。

在本指南中，我們將在 Windows 上設置本地 GPT。您可以按照下面提到的步驟操作。

下載並安裝 Miniconda
安裝 LocalGPT 存儲庫
安裝依賴項
運行本地GPT

讓我們詳細討論它們。

1]下載並安裝Miniconda

Miniconda 是 Conda 包管理器的輕量級發行版，旨在快速設置 Python 環境。它僅提供必需的功能，允許用戶根據需要添加特定的軟件包來自定義安裝。要下載它，請訪問 anaconda.com，向下滾動，轉到迷你康達安裝人員，然後下載 Windows 版，因為本指南適用於 Windows。

現在，運行安裝程序並按照屏幕上的說明完成安裝過程，但是，請確保當您在高級安裝選項，勾選所有框，最後完成安裝。

要檢查是否已安裝，請搜索“蟒蛇提示”在“開始”菜單中，然後打開 CLI。現在，您可以運行康達名單只是為了確認它已安裝。

2]安裝LocalGPT存儲庫

現在，我們需要安裝 Prompt Engineer 在 GitHub 上託管的 LocalGPT 存儲庫。我們可以從那裡得到它。為此，請導航至github.com。您可以瀏覽該頁面以了解有關 LocalGPT 的更多信息並安裝它，您需要單擊代碼 > 下載 ZIP。下載 ZIP 文件後，轉至下載文件夾，右鍵單擊 ZIP 文件，選擇“提取”，設置要提取文件的位置並完成該過程。打開解壓的文件夾，裡面有一個名為LocalGPT-主。為了簡單起見，我們將文件夾粘貼到桌面上並為其命名“LGPT”。

3]安裝依賴項

現在我們需要創建一個虛擬環境，在其中安裝所有依賴項。為此，請打開“蟒蛇提示”從開始菜單並運行以下命令。

conda create -n environment_name python=3.10

conda activate environment_name

注意：將變量“environment_name”替換為您選擇的任何名稱。

如果它要求您下載任何軟件包，請給予您同意並繼續。

現在，我們需要安裝之前下載的解壓包。為此，您需要首先使用以下命令導航到該目錄。

cd Desktop

cd LGPT

我們可以使用以下命令一次性安裝所有組件，而不是一一安裝所有組件。

pip install -r requirements.txt

您可能會遇到兩個錯誤。

導入火炬模塊未找到錯誤：跑步
pip 安裝 torch torchvision torchaudio然後運行上述命令。
需要 Microsoft C++：單擊提到的 URL，然後單擊下載 Visual Studio下載構建工具，Visual Studio 打開後，您需要檢查您沒有的工具並下載它們。

解決問題後，再次運行安裝程序命令，安裝完成後，繼續下一步。

4]運行本地GPT

首先，您需要運行 Python 攝取，這意味著從源文檔導入數據、處理文檔並將其嵌入存儲在矢量數據庫 (Chroma DB) 中。為此，您需要執行以下命令。

python ingest.py

我們建議您使用任務管理器關注 CPU 使用情況。

現在，一個訪問 LocalGPT 目錄中的 Constants.py 文件。通過向其行添加註釋來禁用 Llama 3 模型，並通過從其行中刪除註釋來激活 Llama 2 模型（7B 參數）。

完成後，您需要使用以下命令運行 LocalGPT。

python run_local_gpt.py

如果您遇到錯誤指出駱駝失踪了，跑pip 安裝 llama-cpp-python。

希望您能夠在本指南的幫助下在本地計算機上運行 LocalGPT。

讀：

如何在 Windows 上安裝 PrivateGPT？

要在 Windows 上安裝 PrivateGPT，首先安裝 Python 和 Conda 等包管理器。然後，克隆 PrivateGPT 存儲庫並設置虛擬環境。然後，您必須使用 Poetry 或 PIP 安裝依賴項。下載兼容的語言模型。最後，您必須配置環境變量、提取文檔並運行應用程序以開始在本地查詢數據。

讀：