本地部署LLM大语言模型
LLM
大型语言模型（LLM，Large Language Model）是基于深度学习的一种算法，它使用海量的文本数据来进行训练，可以执行多种自然语言处理（NLP）任务。这些模型通常包含数十亿到数万亿的参数，使得它们能够学习语言的复杂模式并生成人类可读的文本。LLM的核心技术包括Transformer架构和自注意力机制，使模型能够理解文本中的单词和短语之间的关系。这些模型能够执行的任务包括但不限于文本生成、文本分类、问答、对话、翻译、摘要等
在线免费大语言模型
需要英伟达显卡,cude核心越多显存越大效果越好
没有显卡的小伙伴也不要紧,这里推荐几个开源免费的大语言模型
国内 (都有app版本,也可以直接下载)
- https://kimi.moonshot.cn/ kimi 月之暗面 国内初创AI公司
- https://www.doubao.com/chat/ 豆包 抖音旗下ai产品
- https://tongyi.aliyun.com/ 通义千问 阿里旗下
- https://chatglm.cn/main/alltoolsdetail 智普清言 智普公司和清华团队 模型开源可本地部署
需要魔法
- http://chat.openai.com/ chatGPT3.5 openAI公司 现在已经不需要注册了
- https://console.anthropic.com/ openAI公司主创离职 初创公司 Anthropic 需要注册
- https://build.nvidia.com/explore/discover 英伟达部署的开源模型网站
安装ollama
ollama是一个开源框架,简化了大模型部署步骤,现在已经支持各系统部署
https://ollama.com/ 下载地址,选择自己要部署的系统进行安装,安装完成以后进终端测试是否安装成功 ollama -v
下载模型
以llama3模型举例
ollama list 可以查看当前安装的的所有模型
默认只有本机可以访问,如果openwebUI配置在其他ip需要手动修改环境变量
win
- OLLAMA_ORIGINS=*
- OLLAMA_HOST=0.0.0.0
- 如果访问不到,检查防火墙和端口
linux
- OLLAMA_HOSR=0.0.0.0 ollama serve
升级ollama mac和win可以直接在任务栏更新,linux需要使用更新脚本进行更新
curl -fsSL https://ollama.com/install.sh | sh
win版本默认存储在c盘 C:\Users\<username>\.ollama\models`,可以设置环境变量,设置OLLAMA_MODELS为所选目录
其他问题可以详看官方文档 https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server
安装openwebUI
https://github.com/open-webui/open-webui 项目地址
openwebUI 是一个开源的可视化web应用,几乎就是为ollama量身定制的,安装之前需要先部署Docker,这里就不详细讲解docker的安装了 ,可以自行百度
- docker 安装命令
//修改 ollama请求地址 ip:端口号 ollama默认端口号是11434
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main下载的很慢,需要等一会 安装完成以后 docker ps 查看容器是否在运行
访问端使用 doker服务部署地址:3000 端口进行访问web界面
第一次会让你先注册,这个随便填就行
检查地址是否正常,测试连接
评论 (0)