初学者如何在 Windows 上设置 LocalGPT

如果您不想支付 LLM 费用或想保证您的数据安全，您应该设置 LocalGPT。它允许您完全控制人工智能如何操作和处理数据。它还确保了隐私，因为所有数据都保留在本地系统上，而不是发送到外部服务器。

在 Windows PC 上设置本地 GPT

LocalGPT 是一个开源工具，其灵感来自私人GPT，旨在在用户设备上本地运行大型语言模型（LLM）以供私人使用。与仅依赖于 CPU 执行的 privateGPT 不同，LocalGPT 支持通过 GPU 进行硬件加速，以实现更好的性能并减少延迟。 LocalGPT 使用 Vicuna-7B LLM 和 InstructorEmbeddings，而不是相当庞大的 GPT-4ALL 模型和 LlamaEmbeddings。它与 Blenderbot 和 WizardLM-7B 等模型配合使用，使我们能够根据特定需求交换模型。整个管道在本地运行，确保数据隐私，同时提供先进的 NLP 功能，无需依赖外部 API，使其成为本地运行的 AI 模式的完美候选者。

在本指南中，我们将在 Windows 上设置本地 GPT。您可以按照下面提到的步骤操作。

下载并安装 Miniconda
安装 LocalGPT 存储库
安装依赖项
运行本地GPT

让我们详细讨论它们。

1]下载并安装Miniconda

Miniconda 是 Conda 包管理器的轻量级发行版，旨在快速设置 Python 环境。它仅提供必需的功能，允许用户根据需要添加特定的软件包来自定义安装。要下载它，请访问 anaconda.com，向下滚动，转到迷你康达安装人员，然后下载 Windows 版，因为本指南适用于 Windows。

现在，运行安装程序并按照屏幕上的说明完成安装过程，但是，请确保当您在高级安装选项，勾选所有框，最后完成安装。

要检查是否已安装，请搜索“蟒蛇提示”在“开始”菜单中，然后打开 CLI。现在，您可以运行康达名单只是为了确认它已安装。

2]安装LocalGPT存储库

现在，我们需要安装 Prompt Engineer 在 GitHub 上托管的 LocalGPT 存储库。我们可以从那里得到它。为此，请导航至github.com。您可以浏览该页面以了解有关 LocalGPT 的更多信息并安装它，您需要单击代码 > 下载 ZIP。下载 ZIP 文件后，转至下载文件夹，右键单击 ZIP 文件，选择“提取”，设置要提取文件的位置并完成该过程。打开解压的文件夹，里面有一个名为LocalGPT-主。为了简单起见，我们将文件夹粘贴到桌面上并为其命名“LGPT”。

3]安装依赖项

现在我们需要创建一个虚拟环境，在其中安装所有依赖项。为此，请打开“蟒蛇提示”从开始菜单并运行以下命令。

conda create -n environment_name python=3.10

conda activate environment_name

注意：将变量“environment_name”替换为您选择的任何名称。

如果它要求您下载任何软件包，请给予您同意并继续。

现在，我们需要安装之前下载的解压包。为此，您需要首先使用以下命令导航到该目录。

cd Desktop

cd LGPT

我们可以使用以下命令一次性安装所有组件，而不是一一安装所有组件。

pip install -r requirements.txt

您可能会遇到两个错误。

导入火炬模块未找到错误：跑步
pip 安装 torch torchvision torchaudio然后运行上述命令。
需要 Microsoft C++：单击提到的 URL，然后单击下载 Visual Studio下载构建工具，Visual Studio 打开后，您需要检查您没有的工具并下载它们。

解决问题后，再次运行安装程序命令，安装完成后，继续下一步。

4]运行本地GPT

首先，您需要运行 Python 摄取，这意味着从源文档导入数据、处理文档并将其嵌入存储在矢量数据库 (Chroma DB) 中。为此，您需要执行以下命令。

python ingest.py

我们建议您使用任务管理器关注 CPU 使用情况。

现在，一个访问 LocalGPT 目录中的 Constants.py 文件。通过向其行添加注释来禁用 Llama 3 模型，并通过从其行中删除注释来激活 Llama 2 模型（7B 参数）。

完成后，您需要使用以下命令运行 LocalGPT。

python run_local_gpt.py

如果您遇到错误指出骆驼失踪了，跑pip 安装 llama-cpp-python。

希望您能够在本指南的帮助下在本地计算机上运行 LocalGPT。

读：

如何在 Windows 上安装 PrivateGPT？

要在 Windows 上安装 PrivateGPT，首先安装 Python 和 Conda 等包管理器。然后，克隆 PrivateGPT 存储库并设置虚拟环境。然后，您必须使用 Poetry 或 PIP 安装依赖项。下载兼容的语言模型。最后，您必须配置环境变量、提取文档并运行应用程序以开始在本地查询数据。

读：