如何在Windows上為初學者設置Localgpt

如果您不想為LLM付款或不想確保數據安全，那麼您應該設置Localgpt。它使您可以完全控制AI如何運行和處理數據。它還可以確保隱私，因為所有數據都保留在您的本地系統上，而不是發送到外部服務器。

在Windows PC上設置本地GPT

Localgpt是一種受啟發的開源工具Privategpt，旨在在用戶設備上本地運行大型語言模型（LLMS），以供私人使用。與僅依靠CPU執行的Privategpt不同，LocalGPT通過GPU支持硬件加速，以提高性能並減少延遲。 Localgpt使用Vicuna-7B LLM和教師培訓，而不是GPT-4 ALL模型和Llamaembeddings。它與Blenderbot和Wizardlm-7b這樣的模型配合使用，使我們可以根據特定需求進行交換模型。整個管道在本地運行，確保數據隱私在無需外部API依賴的情況下提供高級NLP功能，從而使其成為本地操作的AI模式的理想選擇。

在本指南中，我們將在Windows上設置本地GPT。您可以按照下面提到的步驟進行操作。

1. 下載並安裝Miniconda
2. 安裝Localgpt存儲庫
3. 安裝依賴項
4. 運行Localgpt

讓我們詳細討論它們。

1]下載並安裝Miniconda

Miniconda是Conda軟件包管理器的輕量級分發，旨在快速設置Python環境。它僅提供必需品，允許用戶根據需要添加特定軟件包來自定義安裝。要下載它，請轉到Anaconda.com，向下滾動，轉到Miniconda安裝程序，然後下載Windows，因為本指南適用於Windows。

現在，運行安裝程序並按照屏幕上的說明完成安裝過程，但是請確保在您在高級安裝選項，勾選所有盒子，最後完成安裝。

要檢查是否已安裝，請搜索“ Anaconda提示”在開始菜單中並打開CLI。現在，您可以運行康達列表只是為了確認已安裝。

2]安裝Localgpt存儲庫

現在，我們需要安裝Localgpt存儲庫由及時工程師在Github上託管。我們可以從那裡得到它。為此，導航到github.com。您可以瀏覽頁面以了解有關LocalGpt的更多信息並安裝它，您需要單擊代碼>下載zip。下載郵政編碼後，請轉到下載文件夾，右鍵單擊zip文件，選擇提取，設置要提取文件並完成過程的位置。打開提取的文件夾，在其中，您將一個叫稱為的文件夾Localgpt-Main。只是為了簡單起見，我們將文件夾粘貼在桌面上並命名“ LGPT”。

3]安裝依賴項

現在，我們需要創建一個虛擬環境，其中要安裝所有依賴項。為此，打開“ Anaconda提示”從開始菜單並運行以下命令。

conda create -n environment_name python=3.10

conda activate environment_name

注意：用您選擇的任何名稱替換變量“ vosing_name”。

如果它要求您下載任何軟件包，請給予您同意並繼續進行。

現在，我們需要安裝我們之前下載的軟件包。為此，您需要首先使用以下命令導航到目錄。

cd Desktop

cd LGPT

我們可以使用以下命令一次安裝所有組件，而不是一個一個一個一個組安裝所有組件。

pip install -r requirements.txt

您可能會遇到兩個錯誤。

• 導入火炬Modulenotfounderror：跑步

  PIP安裝火炬火炬火炬手然後運行上述命令。

• 需要Microsoft C ++：單擊上述URL，然後單擊下載Visual Studio下載構建工具，開放視覺工作室後，您需要瀏覽所沒有的工具並下載它們。

解決問題後，再次運行安裝程序命令，然後安裝後，轉到下一步。

4]運行Localgpt

首先，您需要運行Python攝入，這意味著從源文檔中導入數據，處理文檔並將其嵌入在矢量數據庫（Chroma DB）中。為此，您需要執行以下命令。

python ingest.py

我們建議您使用任務管理器密切關注CPU使用情況。

現在，ccess the localgpt目錄中的常數文件。通過在其行中添加評論來禁用Llama 3模型，並通過從其行中刪除評論來激活Llama 2模型（7b參數）。

完成後，您需要使用以下命令運行本地策略。

python run_local_gpt.py

如果您遇到一個錯誤，說明駱駝缺少，運行PIP安裝Llama-CPP-Python。

希望您能夠在本指南的幫助下在本地運行本地網絡。

讀：

如何在Windows上安裝Privategpt？