本地部署私有免费GPT-PrivateGPT

王哥哥 工作 1,779 次浏览 2条评论

项目地址:https://github.com/imartinez/privateGPT/tree/main

 

下载并安装所需软件

anaconda

https://www.anaconda.com/download/

anaconda避免Python版本混乱



VS2022

这是为了里面的C++编译器,否则后面会报错

https://c2rsetup.officeapps.live.com/c2r/downloadVS.aspx?sku=community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030:a866cb1891624541a3f9b092d2429dfd



创建虚拟环境

需要用管理员模式启动,否则后续启动了GPT机器人会报错


执行下面命令创建虚拟环境并按照python 3.11.0

 

conda create -n gpt python==3.11.0


进入虚拟环境

conda activate gpt

并且python环境也没问题


exit() 退出python 回到gpt虚拟环境下


下载并解压压缩包。



配置环境

进入项目路径,并安装依赖。


pip install poetry


poetry install –with ui,local


有个东西没安装成功,单独复制下命令安装


如果之前没有安装vs2022里的C++编译器就会出现报错信息,安装好C++编译器之后可以重新执行上面的命令,就可以成功安装



下载嵌入和LLM模型

poetry install

poetry run python scripts/setup

下的东西很多如果有失败记得用科学

启动服务

set PGPT_PROFILES=local

python -m private_gpt

 

又报错了 安装下需要的东西

pip install llama-cpp-python



报错修复了我们在执行下。



开始使用

浏览器中打开 http://localhost:8001/


启用GPU

默认使用CPU来运行,速度会很慢,如果你有显卡,可以启动显卡,否则可以跳过这步,直接进行下一步启动服务。

显存需要大于4G,显卡驱动版本需要大于500,并且需要安装cuda

cuda必须在安装完vs2022后再安装,如果之前已经安装重新装一次

安装cuda

显卡驱动就不说了,大家自己会装,我这里就说明下cuda的安装注意事项

https://developer.nvidia.com/cuda-toolkit

进入官网点击Download Now

点击历史版本

下载11.8版本

按照自己的系统选择对应版本

这里必须选自定义

这个vs必须要安装,否则后续会报错

安装完驱动和cuda后执行这条命令查看下

nvidia-smi

需要在anaconda powershell管理员模式中执行

执行下面命令

$env:CMAKE_ARGS=’-DLLAMA_CUBLAS=on’; poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python

启动服务

这次就继续要在powershell模式下执行了

set PGPT_PROFILES=local

python -m private_gpt

 

其他报错

在上传word文件时报了错误

pip install docx2txt


 

2 条评论

  1. Nashzosi 2024年1月26日 17:32

    这条命令应该是这样poetry install –with ui,local 少了一个减号

  2. Nashzosi 2024年1月26日 17:32

    好奇怪 两个减号发出来 变成一个了
    with前面是双减号

发表回复

Go