许昌 网站开发,北京猎梦网站建设,中文游戏制作软件,建网站要先建什么0. 部署前的准备
首先我们需要足够算力的机器#xff0c;这里我在vultr中租了有一张A16显卡一共16GB显存的服务器作为演示。部署的模型参数为14b的。如果需要部署满血版本671b的#xff0c;需要更大的算力支持#xff0c;这里由于是个人资金有限#xff0c;就演示14b的部署…0. 部署前的准备
首先我们需要足够算力的机器这里我在vultr中租了有一张A16显卡一共16GB显存的服务器作为演示。部署的模型参数为14b的。如果需要部署满血版本671b的需要更大的算力支持这里由于是个人资金有限就演示14b的部署过程671b的也一样的。更多内容请看我的博客。
准备服务配置如下点击可以访问
硬件软件1张英伟达A16显卡16GB显存Ubuntu22.0424核心CPU64GB运行内存350GB存储空间 这里需要注意在选择操作系统的时候一定要选择支持GPU的操作系统这里推荐使用Ubuntu。如下图所示。 如果不知道如何进入选择操作系统的页面可以看我B站中的演示视频搜索“编程分享录”用户名进入空间后搜索“DeepSeek-R1服务器部署详细教程”。
1. 安装依赖
进入系统后我们首先要执行下面命令。
apt-get update -y
apt-get upgrade -y然后是安装ollama。点击这里访问ollama官方网站。执行下面sh脚本即可安装ollama
curl -fsSL https://ollama.com/install.sh | sh系统默认安装好了显卡驱动。
nvidia-smi如下图所示
。 使用下面命令下载模型。
ollama run deepseek-r1:14b那么现在我们就完成了服务器的部署可以shell界面中进行问答但是这样很不方便我们可以借助chatbox的图形界面来对接我们部署的deepseek-r1大模型。
下载chatbox可以点击这里支持各种系统的客户端。不单电脑端可以用手机安卓和苹果端也可以用。
下载完成后直接双击安装就行。
等待安装好之后配置使用Ollama API方式对接deepseek大模型。
首先我们需要在服务器中安装ufw然后开启11434端口。
apt-get install ufw
ufw allow 11434/tcp然后修改Ollama配置文件。
vim /etc/systemd/system/ollama.service添加下面内容。
EnvironmentOLLAMA_HOST0.0.0.0
EnvironmentOLLAMA_ORIGINS*然后重新加载。
systemctl daemon-reload
systemctl restart ollama然后就可以在本地电脑或者手机端配置chatbox了如下图所示。 2. 测试
现在我们就部署完成了可以在本地访问我们自己的大模型了。
