1、本地部署DeepSeek-R1
需要DeepSeek-R1在本地运行,首先需要安装Ollama
,之后通过ollama run
命令来运行下载指定的模型,需要根据本地电脑的配置来选择模型的版本,可以参考如下表格,
模型 | 参数 (B) | 显存要求 (GB) (4-bit) | 推荐GPU |
DeepSeek-R1-Zero | 671B | ~336 GB | Multi-GPU setup (如, NVIDIA A100 80GB x6) |
DeepSeek-R1 | 671B | ~336 GB | Multi-GPU setup (如, NVIDIA A100 80GB x6) |
DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | ~1 GB | NVIDIA RTX 3050 8GB 或 更高 |
DeepSeek-R1-Distill-Qwen-7B | 7B | ~4 GB | NVIDIA RTX 3060 12GB 或 更高 |
DeepSeek-R1-Distill-Llama-8B | 8B | ~4.5 GB | NVIDIA RTX 3060 12GB 或 更高 |
DeepSeek-R1-Distill-Qwen-14B | 14B | ~8 GB | NVIDIA RTX 4080 16GB 或 更高 |
1)DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
2)DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
3)DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
4)DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
5)DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
6)DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
参考文档:DeepSeek 简介及本地部署
下载地址:https://ollama.com/download
2、安装VS Code插件
AI Toolkit for Visual Studio Code 是一个扩展,用于帮助开发者和 AI 工程师构建 AI 应用程序,集成了各种工具和模型。它支持大多数生成型 AI 模型,可以在本地和云端浏览、测试、微调和部署模型。
打开 VSCode 插件市场,在搜索框输入 “AI Toolkit for Visual Studio Code”,然后点击 “安装”,如下图,
安装完成后,会出现该功能图标,如下图,
3、配置 AI Toolkit 插件
Ollama安装之后,通过ollama run命令也运行下载完指定的模型,就可以配置成本地部署的模型,点该插件的图标,进入配置页面,如下图,
点击图中 “+” ,出现页面如下图,
选择图片中的 “Add an Ollama model”,出现如下图,
选择图片中的 “Select models from Ollama library”,然后选择上面下载的模型版本,点击 “确定” ,如下图,
配置完成后,就可以进行使用模型进行对话,如下图,