现有RK3588设备如何扩展AI算力？RK1828搭配YY3588部署指南

　　当系统、视频与AI任务同时运行时，主控与协处理器如何分工?

　　图1

　　如果你正在做一台边缘AI设备，可能已经遇到过这样的取舍：一块主控既要负责系统、视频和网络，又要同时承担模型推理。任务较轻时，这种集成方式简单直接;随着模型规模、视频路数或并发任务增加，资源争用、温度和响应延迟就可能一起成为瓶颈。此时，除了继续优化主控侧，还可以引入独立AI协处理器，让系统任务与推理任务分工运行。

　　YY3588本身已经具备RK3588的板载NPU，是否增加协处理器，取决于模型规模、输入规模、并发任务和持续运行条件。本文定位为官方资料核验型部署指南，重点梳理连接、供电、散热、软件版本和服务验证环节;性能数据引用Rockchip官方参考平台，YY3588+RK1828的具体表现仍需结合实际设备验证。

　　为什么YY3588还要搭配RK1828?

　　YY3588本身就是一块面向边缘AI的ARM计算平台。它采用Rockchip RK3588，CPU为4个Cortex-A76加4个Cortex-A55核心，最高频率2.4GHz;板载NPU峰值算力最高6 TOPS。官方Wiki目前列出的系统包括Android 14、Debian 12、Ubuntu 22.04、Buildroot和OpenHarmony。

　　这套配置已经可以承担设备控制、视频处理、网络通信和一部分RKNN模型推理。但在本地大语言模型、多模态模型或更高吞吐的视觉推理场景中，还会遇到两个实际问题：

　　1.AI任务会与主系统争用资源;

　　2. 模型推理、摄像头处理、业务程序和网络服务都放在一块SoC上，系统调度和散热设计会变得更复杂。

　　在这套组合中，YY3588继续负责Linux/Android系统、外设、网络和业务调度，RK1828作为独立AI协处理器，集中执行经RKNN3工具链处理后的神经网络推理。

　　可以把组合关系理解为：

　　开发电脑(配置、调试，可选)

　　|

　　ADB / SSH

　　|

　　YY3588(RK3588主控、系统与业务程序)

　　|

　　PCIe / 已适配的通信链路

　　|

　　RK1828(独立AI协处理器)

　　图2

　　需要注意的是，YY3588的6 TOPS与RK1828的20 TOPS分别来自不同NPU，不能直接相加后当作某个模型的实际性能。最终速度取决于具体模型、量化方式、软件版本、输入长度、任务调度和散热条件。

　　先认识RK1828：M.2形态的AI协处理器

　　根据Rockchip RM182XMC0 Datasheet V1.1，RK1828模组的主要特征包括：

　　项目

　　RK1828模组信息

　　产品角色

　　AI协处理器

　　NPU峰值算力

　　最高20 TOPS(INT8)

　　支持的数据类型

　　INT4、INT8、INT16、FP8、FP16、BF16

　　处理器

　　3个独立64位RISC-V核心

　　片上DRAM

　　5GB

　　模组尺寸

　　22mm x 80mm x 6mm(不含风扇版本)

　　连接器

　　M.2 Key B-M

　　高速通信

　　PCIe 2.1或USB 3.0，两者复用同一Multi-PHY

　　M.2描述的是机械形态和连接器类型。判断RK1828能否接入一块主控板，还要核对宿主端的PCIe模式、复位与时钟、驱动、系统镜像、独立供电和结构空间。

　　YY3588官方Wiki把板底M.2 M-key槽定义为PCIe 3.0 NVMe SSD接口;现有公开页面尚未提供RK1828直接插入该槽的完整接线和供电说明。因此，实际组合应使用youyeetoo确认过的YY3588+RK1828连接方案、配套镜像和套件清单，以已适配的M.2/PCIe扩展方案为准。

　　图3

　　上电前必须确认的四件事 1.确认系统镜像已经适配RK1828

　　Rockchip RKNN3 Quick Start V1.0.4中的协处理器示例使用Rockchip RK3588 EVB。RK3588芯片相同，并不代表所有第三方RK3588板卡镜像已经包含相同的PCIe端点支持、设备树和用户态组件。

　　在YY3588上部署时，应使用供应方明确标注支持RK1828的系统镜像或BSP，并按照对应版本的适配说明操作。Rockchip EVB示例可以帮助理解流程，但不直接代替YY3588的板级适配资料。

　　2. 锁定同一套RKNN3版本

　　本文的软件基线是RKNN3 SDK V1.0.4。以下组件应来自同一版本：

　　• RK1828固件;

　　• YY3588上的RKNN3 Runtime;

　　• rknn3_transfer_proxy;

　　• rkllm3-server;

　　• RKNN模型及配套的tokenizer、embedding文件。

　　部署时应统一使用同一版本的固件、Runtime、模型和服务程序。例如，V1.0.4模型应配套V1.0.4运行环境，以减少加载失败和兼容性问题。

　　3. 按模组与套件规格供电

　　RM182XMC0 Datasheet给出的模组推荐输入是12V典型值，允许范围为8V至14.4V，推荐输入电流范围为2A至4A。具体转接板和销售套件还可能有自己的电源要求，因此应使用套件指定的适配器和供电方式。

　　24V已经超过模组资料给出的输入范围，存在损坏硬件的风险;负载下出现通信异常时，应优先核对适配器、电流能力、线材压降和转接板要求。

　　所有安装、拆卸和转接板操作都应在断电状态下完成，避免热插拔。

　　4. 持续负载需要主动散热

　　Rockchip散热设计指南明确使用带风扇散热器进行大模型功耗和结温测试，并建议按不同工作模式设计散热能力。持续运行LLM或高吞吐视觉模型时，应安装与模组匹配的散热器和风扇，并保证机箱风道。

　　模型成功启动后，还应通过持续负载测试观察温度、频率和稳定性，确认散热能力能够覆盖实际工作时长。

　　图4

　　图5

　　软件验证：先确认两级设备，再启动模型

　　图6

　　下面命令限定在以下环境：

　　• 开发电脑为Ubuntu/Debian类Linux;

　　• YY3588运行已经适配RK1828的64位Linux镜像;

　　• RKNN3 Runtime和RK1828固件均为V1.0.4;

　　• YY3588与RK1828已经按配套方案完成断电安装和供电。

　　Android、Buildroot或自编译内核的目录和工具路径可能不同，需要按对应系统资料调整。

　　第一步：确认开发电脑能够访问YY3588

　　Rockchip Quick Start使用ADB连接RK3588主控。开发电脑尚未安装ADB时，可在Ubuntu/Debian中执行：

　　sudo apt install adb

　　adb devices

　　正常结果应至少出现一行设备序列号，状态为device：

　　List of devices attached

　　 device

　　设备序列号以adb devices的实际输出为准。

　　如果YY3588镜像没有启用ADB，但可以通过SSH或本地终端登录，也可以直接在板端继续后面的检查。RK1828是否正常工作，最终以板端设备识别结果为准。

　　第二步：确认YY3588为64位ARM系统

　　进入YY3588终端后执行：

　　uname -m

　　本文所用Linux安装包对应ARM64，预期输出为：

　　aarch64

　　若输出不是aarch64，需要改用与当前系统架构匹配的软件包。

　　第三步：确认RKNN3运行环境

　　与资料一同提供的Linux ARM64安装包名为：

　　rknn3_rk182x_m2_installer_arm64.tgz

　　该包的readme_install.txt要求以root身份或通过sudo运行install.sh。安装脚本会把运行库、固件、rknn3_transfer_proxy、rknn-smi和rkllm3-server写入系统目录，并配置启动服务。因此只能在确认“安装包版本与当前YY3588镜像匹配”后使用。

　　# 仅在安装包与YY3588镜像已经确认匹配时执行

　　sudo ./install.sh

　　如果系统已经由供应方预装V1.0.4环境，建议保留现有组件并先核对版本，避免重复安装造成覆盖。

　　第四步：让YY3588识别RK1828

　　先确认程序的实际安装路径，再在YY3588终端执行设备查询：

　　command -v rknn3_transfer_proxy

　　rknn3_transfer_proxy devices

　　V1.0.4 Quick Start手动部署示例使用/usr/bin，随资料提供的ARM64安装脚本则把程序安装到/bin。不同Linux系统还可能合并这两个目录，因此以command -v的实际输出为准。若第一条命令没有返回路径，说明运行环境尚未正确安装，不要继续启动模型。

　　PCIe连接正常时，官方文档给出的输出格式如下：

　　List of ntb devices attached

　　0000:01:00.0 <设备标识> PCIE

　　第一列Bus ID和第二列设备标识以实际输出为准，示例中的0000:01:00.0仅用于说明格式。

　　只有看到RK1828设备后，才进入模型服务阶段。如果只有List of ntb devices attached而没有设备行，应先检查套件连接、独立供电、散热风扇、适配镜像和rknn3_transfer_proxy服务，不要直接把问题归因于模型文件。

　　多设备场景可以使用下面的命令查询Bus ID：

　　rknn-smi info

　　rkllm3-server的--device-id参数应填写实际查询到的Bus ID。

　　启动一个OpenAI兼容的大模型服务

　　RKNN3 V1.0.4提供rkllm3-server，用于加载RKNN格式的大模型，并提供部分OpenAI兼容接口。

　　启动前，至少要准备同一模型、同一版本配套的三个文件：

　　• *.rknn模型;

　　• *.tokenizer.gguf词表;

　　• *.embed.bin嵌入文件。

　　下面使用Rockchip Quick Start中的Qwen2.5-3B文件名作为示例。实际文件名或目录不同，就必须替换成真实路径：

　　rkllm3-server \

　　-m qwen2.5-3b.rknn \

　　--vocab qwen2.5-3b.tokenizer.gguf \

　　--embed qwen2.5-3b.embed.bin \

　　--alias Qwen2.5-3B \

　　--host 127.0.0.1 \

　　--port 8080 \

　　-c 768 \

　　--n-predict 512 \

　　--repeat-penalty 1.1 \