1、简介
DeepSeek 是一家致力于深度学习技术应用的公司,尤其在 图像搜索、推荐系统 和 相似度匹配 等领域有所建树。它通过深度神经网络模型,结合大数据技术,向企业和个人提供基于视觉信息的搜索和分析服务。DeepSeek 以其在深度学习领域的创新应用而知名,尤其是在图像和视频的相似度搜索方面。
1)DeepSeek-V3 模型
DeepSeek-V3 是 DeepSeek 开发的大型语言模型,拥有超过 6000 亿个参数。该模型在多个基准测试中表现出色,与国际顶尖模型相媲美。DeepSeek-V3 在理解、推理和生成文本方面表现出色,可应用于各种自然语言处理任务。
GitHub地址:https://github.com/deepseek-ai/DeepSeek-V3
2)DeepSeek-R1 模型
DeepSeek-R1 是一个通过大规模强化学习训练的模型,无需监督微调。该模型在推理能力方面表现出色,展示了强大的逻辑思维和问题解决能力。
GitHub地址:https://github.com/deepseek-ai/DeepSeek-R1
模型 | 参数 (B) | 显存要求 (GB) (4-bit) | 推荐GPU |
DeepSeek-R1-Zero | 671B | ~336 GB | Multi-GPU setup (如, NVIDIA A100 80GB x6) |
DeepSeek-R1 | 671B | ~336 GB | Multi-GPU setup (如, NVIDIA A100 80GB x6) |
DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | ~1 GB | NVIDIA RTX 3050 8GB 或 更高 |
DeepSeek-R1-Distill-Qwen-7B | 7B | ~4 GB | NVIDIA RTX 3060 12GB 或 更高 |
DeepSeek-R1-Distill-Llama-8B | 8B | ~4.5 GB | NVIDIA RTX 3060 12GB 或 更高 |
DeepSeek-R1-Distill-Qwen-14B | 14B | ~8 GB | NVIDIA RTX 4080 16GB 或 更高 |
3)DeepSeek AI 助手
DeepSeek 推出了 iOS 和安卓平台的 AI 助手应用程序,为用户提供便捷的问答、聊天等服务。该应用基于 DeepSeek 的大型语言模型,能够进行自然流畅的对话,并提供有用的信息和帮助。
2、本地部署
DeepSeek 的本地部署可以让用户在本地计算机上运行模型,提高响应速度和数据安全性。它支持多种模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。用户可以根据自己的需求和技术水平选择合适的部署方式,并按照相应的步骤进行操作。在部署过程中,需要注意硬件要求、存储空间、网络环境和软件依赖等问题。本地部署可以使用Ollama或Docker等方式。
1)使用 Ollama
Ollama 是一款开源的工具,可以帮助用户在本地轻松运行大型语言模型。DeepSeek 已经支持 Ollama,用户可以通过 Ollama 下载并运行 DeepSeek 模型。这种方式简单易用,适合初学者。
下载地址:https://ollama.com/download
模型地址:https://ollama.com/library/deepseek-r1
通过上面模型地址找到需要对硬件配置的模型,然后运行相应的命令进行下载。如没有安装过 Ollama,可以参考下面的内容。
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
2)使用Docker
Docker 是一种容器化技术,可以将应用程序及其依赖项打包在一个容器中,从而方便部署和管理。DeepSeek 也可以通过 Docker 进行本地部署,这种方式更加灵活,适合有一定经验的用户。
Docker文档:安装Docker
3、Ollama的安装
Ollama 是一个容器化平台,帮助简化部署深度学习模型,需要先确保机器上已安装 Ollama 以及配置了支持深度学习训练的相关依赖。Ollama 提供了简单的命令行工具来管理 AI 模型的部署。
1)安装 Ollama
在大多数 Linux 和 MacOS 系统中,可以通过以下命令安装。
# 下载 Ollama 安装脚本
curl -sSL https://ollama.com/download/ollama-linux > ollama-install.sh
bash ollama-install.sh
Windows 系统中,Ollama 提供了一个可执行安装包,可以从其官方网站下载并安装。
下载地址:https://ollama.com/download
2)验证安装
安装完成后,可以通过以下命令检查是否成功安装 Ollama。
ollama --version
4、使用客户端和模型互动
Open WebUI 仓库是一个用户友好的 AI 接口,支持多种模型,包括 Ollama 和 OpenAI API。可以高效地部署和管理 AI 模型,并提供易于使用的界面。可以使用 open-webui 实现和模型互动。
GitHub地址:https://github.com/open-webui/open-webui
Ollama的服务端口默认是11431,本地服务地址就是localhost:11434,使用对话客户端时,直接填上这个地址即可。
安装可以通过pip
:
pip install open-webui
运行Open WebUI:
open-webui serve
如果可以使用过docker,也可以通过docker方式来部署Open WebUI。