DeepSeek 简介及本地部署

DeepSeek 是一家中国的人工智能公司,致力于开发大型语言模型。该公司由中资对冲基金幻方量化创立,总部位于中国杭州。DeepSeek 致力于探索人工智能的潜力,并以“深度求索,揭开 AGI 的神秘面纱”为愿景。专注于深度学习、图像识别、视频内容分析等领域的创新应用。通过其高效的相似度搜索和推荐系统,DeepSeek 在各个行业中,尤其是在电商、社交媒体、安防监控等领域,具有广泛的应用潜力。

1、简介

DeepSeek 是一家致力于深度学习技术应用的公司,尤其在 图像搜索、推荐系统 和 相似度匹配 等领域有所建树。它通过深度神经网络模型,结合大数据技术,向企业和个人提供基于视觉信息的搜索和分析服务。DeepSeek 以其在深度学习领域的创新应用而知名,尤其是在图像和视频的相似度搜索方面。

1)DeepSeek-V3 模型

DeepSeek-V3 是 DeepSeek 开发的大型语言模型,拥有超过 6000 亿个参数。该模型在多个基准测试中表现出色,与国际顶尖模型相媲美。DeepSeek-V3 在理解、推理和生成文本方面表现出色,可应用于各种自然语言处理任务。

GitHub地址:https://github.com/deepseek-ai/DeepSeek-V3

2)DeepSeek-R1 模型

DeepSeek-R1 是一个通过大规模强化学习训练的模型,无需监督微调。该模型在推理能力方面表现出色,展示了强大的逻辑思维和问题解决能力。

GitHub地址:https://github.com/deepseek-ai/DeepSeek-R1

模型

参数 (B)

显存要求 (GB) (4-bit)

推荐GPU

DeepSeek-R1-Zero

671B

~336 GB

Multi-GPU setup

(如, NVIDIA A100 80GB x6)

DeepSeek-R1

671B

~336 GB

Multi-GPU setup

(如, NVIDIA A100 80GB x6)

DeepSeek-R1-Distill-Qwen-1.5B

1.5B

~1 GB

NVIDIA RTX 3050 8GB 或 更高

DeepSeek-R1-Distill-Qwen-7B

7B

~4 GB

NVIDIA RTX 3060 12GB 或 更高

DeepSeek-R1-Distill-Llama-8B

8B

~4.5 GB

NVIDIA RTX 3060 12GB 或 更高

DeepSeek-R1-Distill-Qwen-14B

14B

~8 GB

NVIDIA RTX 4080 16GB 或 更高

3)DeepSeek AI 助手

DeepSeek 推出了 iOS 和安卓平台的 AI 助手应用程序,为用户提供便捷的问答、聊天等服务。该应用基于 DeepSeek 的大型语言模型,能够进行自然流畅的对话,并提供有用的信息和帮助。

2、本地部署

DeepSeek 的本地部署可以让用户在本地计算机上运行模型,提高响应速度和数据安全性。它支持多种模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。用户可以根据自己的需求和技术水平选择合适的部署方式,并按照相应的步骤进行操作。在部署过程中,需要注意硬件要求、存储空间、网络环境和软件依赖等问题。本地部署可以使用Ollama或Docker等方式。

1)使用 Ollama

Ollama 是一款开源的工具,可以帮助用户在本地轻松运行大型语言模型。DeepSeek 已经支持 Ollama,用户可以通过 Ollama 下载并运行 DeepSeek 模型。这种方式简单易用,适合初学者。

下载地址https://ollama.com/download

模型地址:https://ollama.com/library/deepseek-r1

通过上面模型地址找到需要对硬件配置的模型,然后运行相应的命令进行下载。如没有安装过 Ollama,可以参考下面的内容。

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

2)使用Docker

Docker 是一种容器化技术,可以将应用程序及其依赖项打包在一个容器中,从而方便部署和管理。DeepSeek 也可以通过 Docker 进行本地部署,这种方式更加灵活,适合有一定经验的用户。

Docker文档安装Docker

3、Ollama的安装

Ollama 是一个容器化平台,帮助简化部署深度学习模型,需要先确保机器上已安装 Ollama 以及配置了支持深度学习训练的相关依赖。Ollama 提供了简单的命令行工具来管理 AI 模型的部署。

1)安装 Ollama

在大多数 Linux 和 MacOS 系统中,可以通过以下命令安装。

# 下载 Ollama 安装脚本
curl -sSL https://ollama.com/download/ollama-linux > ollama-install.sh
bash ollama-install.sh

Windows 系统中,Ollama 提供了一个可执行安装包,可以从其官方网站下载并安装。

下载地址:https://ollama.com/download

2)验证安装

安装完成后,可以通过以下命令检查是否成功安装 Ollama。

ollama --version

4、使用客户端和模型互动

Open WebUI 仓库是一个用户友好的 AI 接口,支持多种模型,包括 Ollama 和 OpenAI API。可以高效地部署和管理 AI 模型,并提供易于使用的界面。可以使用 open-webui 实现和模型互动。

GitHub地址:https://github.com/open-webui/open-webui

Ollama的服务端口默认是11431,本地服务地址就是localhost:11434,使用对话客户端时,直接填上这个地址即可。

安装可以通过pip

pip install open-webui

运行Open WebUI:

open-webui serve

如果可以使用过docker,也可以通过docker方式来部署Open WebUI。

推荐阅读
cjavapy编程之路首页