趁着 DeepSeek 风头无二,手头上正好有一块已经移植 Ubuntu 系统的 RK3588 开发板,于是也本地部署 DeepSeek-R1 尝尝鲜。

部署前准备

RK3588 由于有 NPU 资源,因此,可以选择 CPU 部署或 NPU 部署。当然,NPU 部署对 RK3588 NPU 驱动有一定要求。

由于前段时间电脑空间不足,将用于编译开发板 Kernel 的虚拟机删除了,但是又迫不及待地想要部署体验,于是选择了更为简单的 CPU 部署方案。

部署环境配置

这里选择 Ollama 部署运行大模型 DeepSeek。

1
https://ollama.com/

打开官网后,点击下载按钮并选择 Linux 系统,复制粘贴下述命令运行即可。

1
curl -fsSL https://ollama.com/install.sh | sh

curl 工具

curl 是一个非常实用的、用来与服务器之间传输数据的工具。

原生系统如果没有这个工具,需要首先安装。

1
2
sudo apt-get update
sudo apt-get install curl

运行大模型

点击 Ollama 官网的模型页面,目前排在首位的即是 deepseek-r1,点击进入后,选择合适参数规模的大模型执行运行就可以开始体验 DeepSeek 了。

需要注意的是,首次运行时,需要远程拉取镜像。

1
2
ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

那就继续本地测试下 DeepSeek 了,看看表现怎么样。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
>>> Xilinx FPGA GTX
<think>

</think>

The Xilinx FPGA GTX series refers to the Texas Instruments Xilinx Virtex family's FPGA IPs (intrinsic processors) that support GPU-like arithmetic
operations. These IP cores are designed for high-performance computing, machine learning, and image processing tasks. They can efficiently handle
data-parallel workloads and are widely used in AIaccelerators.

### Key Features of Xilinx FPGA GTX:
1. **High Performance**: The IPs run on Xilinx FPGA IP cores, providing high-speed execution for algorithms requiring massive parallelism.
2. **Memory Flexibility**: They support various memory configurations, including SRAM, Flash, and other sources.
3. **Deep Learning Support**: Ideal for neural network inference and training due to their GPU-like inference capabilities.
4. **Customizable Architecture**: They can be configured with different cores (e.g., 16-bit, 32-bit) and memory types.
5. **Energy Efficiency**: Often designed for low power consumption, suitable for battery-powered devices.

### Applications of Xilinx FPGA GTX:
- **Deep Learning**: Training, inference, and research.
- **Image Processing**: Vision tasks like object detection and segmentation.
- **Machine Learning**: Algorithms requiring parallel operations on large datasets.
- **Parallel Computing**: High-performance computing tasks with data-parallel nature.

### Example IP Types:
1. **V1**: 8-bit, 32-bit core (high-end).
2. **V2**: 4-bit, 32-bit core (mid-range).
3. **V5**: 2-bit core (low-end).

If you have a specific question or need more details about a particular IP core, feel free to ask!

看上去还不错,问问他会不会中文。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
>>> 你可以理解中文吗
<think>
嗯,我刚刚听到“你可以理解中文吗”这个词。这听起来像是在测试我的语言能力,或者是在提醒我学习中文。让我仔细想想这句话的含义。

首先,“你可以理解”这个短语通常用来表达“你对我有这种感觉”或“你的意思是……”。它是在问对方是否有能力理解或掌握某个话题、思想或行为。

比如,假设我问:“你可以理解英文吗?”我会回应说“当然可以,我对很多语言都有学习经验。” 这样,我的回答解释了这句话的含义,并展示了我能做什么。

现在,“你”提到“中文”,这可能是在询问对方是否能理解中文。如果是这样的话,我可以简单地回复:“是的,我能够理解汉语。”或者更详细地说:“当然可以,我对多
种语言都有学习经验。”

但是,也有可能这里的“你可以理解中文吗”指的是在讨论某个特定的领域或话题时,想知道对方是否有相关的了解或能力。“你能给我讲讲中国的情况吗?” 或者 “你认
为中国的发展如何?”

不管怎样,“你可以理解中文吗”是一个比较直接的问题,旨在测试对方的语言理解和学习能力。

如果要更深入地讨论,我可以进一步思考:
1. **学习中文的目的**:学习语言通常是为了提升信息表达和文化认知。
2. **语言的复杂性**:从初级词汇到高级句法结构都需要时间和努力。
3. **使用工具**:比如语法索引、在线课程或阅读书籍可以帮助提高水平。

总之,“你可以理解中文吗”是一个简单而直接的问题,旨在了解对方的语言能力和学习能力。希望我的思考对你有帮助!
</think>

“你可以理解中文吗?”这个问题主要是在询问你是否能够理解汉语。如果这句话让你感到困惑,说明你可能在尝试学习语言或解决语言相关的问题。

如果你已经对汉语有一定的了解,并想进一步探讨其他方面,可以告诉我更多内容,我可以为你提供更详细的解答。

在 RK3588 使用 Ollama 部署 DeepSeek 大模型就介绍到这里,该方法同样适用于在电脑端部署。