2023-07-24 15:06:28 站长之家
最近这段是时间ChatGPT是大家的关注焦点，不过ChatGPT虽然强大、好用，但存在不少限制，比如：访问麻烦、不支持私有化部署……这些问题也间接带动了大量的类ChatGPT服务，以及各种开源方案，基于PrivateGPT衍生的localGPT就是其中之一。
localGPT支持和本地文档内容进行交互，可实现对本地的文档进行检索问答。根据官方主页的介绍，localGPT主要使用Vicuna-7B模型替换了GPT4ALL模型，并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。而且，Embeddings和LLM都可在GPU上运行，支持CPU。
不过，由于localGPT采用的是私有化部署方式，在没有固定公网IP、不方便设置路由、网关的环境下，如何才能快速解决远程访问需求呢?
答案之一就是使用贝锐花生壳这样的内网穿透工具，实现localGPT这类私有化部署服务的远程访问，无需公网IP、无需搭建专线，甚至不需要设置路由、网关就能一键穿透。值得一提的是。另外，贝锐花生壳还提供了企业级的服务方案，除了测试用途，它还能满足实际多用户访问的使用场景。
以远程访问自带WebUI的localGPT服务(github项目：PromtEngineer/localGPT)为例：
1-1.安装Python 3.10以上环境后，将localGPT项目拉取到本地，运行pip install -r requirements.txt即可自动安装，如果遇到错误可参考项目主页下方的System Requirements部分进行解决。
1-2.随后，将需要使用的文档放置在SOURCE_DOCUMENTS目录，执行python ingest.py命令提取数据，完成后即可运行python run_localGPT_API.py，并进入/LOCALGPT/localGPTUI，使用python localGPTUI.py命令启动WebUI。
此时，localGPT只能通过本地局域网IP地址+端口号的形式访问，比如：127.0.0.1:5111，实现远程访问还需搭配贝锐花生壳内网穿透。
2-1.在贝锐官网下载对应系统的客户端，然后注册、登录。
2-2.在贝锐花生壳主界面根据引导新增映射，填入localGPT WebUI的局域网IP和端口等信息即可。
添加完映射后，贝锐花生壳会自动生成可以远程访问的域名地址，通过这一地址，远程手机、电脑就能直接访问在内网环境部署的localGPT WebUI。
总体来说，利用贝锐花生壳来实现localGPT Web UI的远程访问，是一种非常快速且高效的部署方案，在满足服务私有化部署的同时，可以不用任何复杂设置、在没有公网IP的情况下低成本实现远程访问，如果正好有类似需求不妨可以参考了。
