本地部署LLM大语言模型 本地部署LLM大语言模型LLM大型语言模型（LLM，Large Language Model）是基于深度学习的一种算法，它使用海量的文本数据来进行训练，可以执行多种自然语言处理（NLP）任务。这些模型通常包含数十亿到数万亿的参数，使得它们能够学习语言的复杂模式并生成人类可读的文本。LLM的核心技术包括Transformer架构和自注意力机制，使模型能够理解文本中的单词和短语之间的关系。这些模型能够执行的任务包括但不限于文本生成、文本分类、问答、对话、翻译、摘要等在线免费大语言模型需要英伟达显卡,cude核心越多显存越大效果越好没有显卡的小伙伴也不要紧,这里推荐几个开源免费的大语言模型国内 (都有app版本,也可以直接下载)https://kimi.moonshot.cn/ kimi 月之暗面 国内初创AI公司https://www.doubao.com/chat/ 豆包 抖音旗下ai产品https://tongyi.aliyun.com/ 通义千问 阿里旗下https://chatglm.cn/main/alltoolsdetail 智普清言 智普公司和清华团队 模型开源可本地部署需要魔法http://chat.openai.com/ chatGPT3.5 openAI公司 现在已经不需要注册了https://console.anthropic.com/ openAI公司主创离职 初创公司 Anthropic 需要注册https://build.nvidia.com/explore/discover 英伟达部署的开源模型网站安装ollamaollama是一个开源框架,简化了大模型部署步骤,现在已经支持各系统部署https://ollama.com/ 下载地址,选择自己要部署的系统进行安装,安装完成以后进终端测试是否安装成功 ollama -v下载模型以llama3模型举例ollama list 可以查看当前安装的的所有模型默认只有本机可以访问,如果openwebUI配置在其他ip需要手动修改环境变量winOLLAMA_ORIGINS=*OLLAMA_HOST=0.0.0.0如果访问不到,检查防火墙和端口linuxOLLAMA_HOSR=0.0.0.0 ollama serve升级ollama mac和win可以直接在任务栏更新,linux需要使用更新脚本进行更新curl -fsSL https://ollama.com/install.sh | shwin版本默认存储在c盘 C:\Users\<username>\.ollama\models`,可以设置环境变量,设置OLLAMA_MODELS为所选目录其他问题可以详看官方文档 https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server安装openwebUIhttps://github.com/open-webui/open-webui 项目地址openwebUI 是一个开源的可视化web应用,几乎就是为ollama量身定制的,安装之前需要先部署Docker,这里就不详细讲解docker的安装了 ,可以自行百度docker 安装命令//修改 ollama请求地址 ip:端口号 ollama默认端口号是11434 docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main下载的很慢,需要等一会 安装完成以后 docker ps 查看容器是否在运行访问端使用 doker服务部署地址:3000 端口进行访问web界面第一次会让你先注册,这个随便填就行检查地址是否正常,测试连接

FRP端口映射 FRP端口映射1.frp概述1.1 Whatfrp 是一个专注于内网穿透的高性能的反向代理应用，支持 TCP、UDP、HTTP、HTTPS 等多种协议。可以将内网服务以安全、便捷的方式通过具有公网 IP 节点的中转暴露到公网1.2 Why通过在具有公网 IP 的节点上部署 frp 服务端，可以轻松地将内网服务穿透到公网，同时提供诸多专业的功能特性，这包括：客户端服务端通信支持 TCP、KCP 以及 Websocket 等多种协议。采用 TCP 连接流式复用，在单个连接间承载更多请求，节省连接建立时间。代理组间的负载均衡。端口复用，多个服务通过同一个服务端端口暴露。多个原生支持的客户端插件（静态文件查看，HTTP、SOCK5 代理等），便于独立使用 frp 客户端完成某些工作。高度扩展性的服务端插件系统，方便结合自身需求进行功能扩展。服务端和客户端 UI 页面。FRP的带宽取决于公网IP服务器的带宽,如果开启xftp可以实现p2p点对点穿透,但是成功开通概率低需要稳定的宽度1.3 How官方使用手册 github项目地址 下载地址frp 主要由 客户端(frpc) 和 服务端(frps) 组成，服务端server通常部署在具有公网 IP 的机器上，客户端Client通常部署在需要穿透的内网服务所在的机器上,先下载对应的版本,然后放到两端进行解压 tar -zxvf2.使用实例2.1 通过自定义域名访问内网的 Web 服务修改服务端 frps.ini 文件[common] #服务器端的监听端口 bind_port = 7000 #映射端口 vhost_http_port = 8081 检查端口是否开放firewall-cmd --query-port=8081/tcp #检查端口权限是否开启 宝塔面板 阿里云都要方型 监听端口和映射端口 netstat -anp #查询所有开启的端口 #如果没有放行,需要在服务器安全组和宝塔面板安全中放行使用的两个端口修改客户端 frpc.ini 文件[common] #服务器公网ip server_addr = 123.56.*.* #公网服务器监听端口 server_port = 7000 [web] #请求类型 type = http #内网客户端映射端口 local_port = 80 #服务器解析域名,需要提前把域名解析到该公网ip custom_domains = rjy.zlovej.top #可以配置多组映射 [web2] type = http local_port = 8080 custom_domains = www.zlovej.com启动服务端 ./frps -c ./frps.ini启动客服端 ./frpc -c ./frpc.ini先测试本地服务使用内网ip是否能正常访问,然后测试域名＋端口 (rjy.zlovej.top:8081)能否正常访问3.配置开机自启服务使用 systemd 控制 frps frpc 及配置开机自启先下载systemd# yum yum install systemd # apt apt install systemd使用文本编辑器，如 vim 创建并编辑 frps.service 文件。$ vim /etc/systemd/system/frps.service编辑内容[Unit] # 服务名称，可自定义 Description = frp server After = network.target syslog.target Wants = network.target [Service] Type = simple # 启动frps的命令，需修改为您的frps的安装路径 ExecStart = /path/to/frps -c /path/to/frps.ini [Install] WantedBy = multi-user.target使用 systemd 命令，管理 frps注意容器或nginx需要映射服务是也否配置开机自启,普通权限无法运行systemctl# 启动frp systemctl start frps # 停止frp systemctl stop frps # 重启frp systemctl restart frps # 查看frp状态 systemctl status frps #配置 frps 开机自启 systemctl enable frps

个人博客搭建 个人博客搭建一、建前准备已备案的域名(备案3天左右)已备案的服务器(香港服务器不需要备案,备案大约需要10天左右)二、域名解析 服务器绑定域名操作域名解析到你的服务器ip地址@ 通过域名直接访问www 通过www前缀访问其他自定义二级域名前缀访问服务器操作安装Centos 7或其他Liunx发行版安装BT面板宝塔官网https://www.bt.cn/安装指令yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh绑定域名三、下载typecho博客下载地址:http://typecho.org/把下载压缩包上传到服务器然后解压到绑定网站目录下访问域名,初始化博客提前建好mysql数据库四、安装主题以及插件主题下载地址:https://typecho.me/下载后解压到 /域名对应路径/usr/themes/路径下代码高亮插件https://www.xcnte.com/archives/523/下载后解压到 /域名对应路径/usr/plugins/路径下在博客后端界面启用并设置五、其他问题文件无法上传打开/var/Typecho/Common.php 这个文件，找到下面这段代码：public static function isAppEngine() { return !empty($_SERVER['HTTP_APPNAME']) // SAE || !!getenv('HTTP_BAE_ENV_APPID') // BAE || !!getenv('SERVER_SOFTWARE') // BAE 3.0 || (ini_get('acl.app_id') && class_exists('Alibaba')) // ACE || (isset($_SERVER['SERVER_SOFTWARE']) && strpos($_SERVER['SERVER_SOFTWARE'],'Google App Engine') !== false) // GAE ; }修改为： public static function isAppEngine() { return false; }找到usr/uploads这个文件夹，修改777权限