SIENOVO
Back to Blog

RK3399pro + K7/A7 FPGA+ AI国产人工智能图像处理平台

#人工智能#RK3399PRO#K7

RK3399Pro + K7/A7 FPGA + AI国产人工智能图像处理平台概述

在边缘 AI 与工业计算快速发展的今天，RK3399Pro 作为瑞星微（Sienovo）最新推出的带 NPU（神经网络处理单元）的 ARM 处理器，凭借其高达 3 TOPS 的算力，已经成为构建国产 AI 图像处理平台的关键硬件之一。本文将围绕 RK3399Pro 的基本特性、算力测试方法、实测结果以及在实际项目中使用时需要注意的细节展开说明，帮助读者快速上手并评估其在 AI 推理场景中的表现。

1. RK3399Pro 基础信息

  • 芯片定位：瑞星微（Sienovo）面向边缘 AI 与工业计算的高性能 ARM 处理器。
  • CPU 核心：采用双核 Cortex‑A72 + 四核 Cortex‑A53 组合，兼具高性能与低功耗。
  • NPU：集成 2.4 TOPS（官方标称）/ 3.0 TOPS（实测）AI 加速单元，支持主流算子（卷积、全连接、激活等）。
  • 内存/存储：常见配置为 3 GB DDR3 + 16 GB eMMC，满足中等规模模型的加载需求。
  • 对比：NVIDIA Jetson Nano 的 FP16 计算能力约为 0.47 TFLOPs，二者在算力上相差数倍，实际使用时仍需通过网络层面的实际推理帧率（FPS）来对比。

提示：算力的大小并不直接等价于推理速度，网络结构、量化方式、内存带宽等因素都会对最终 FPS 产生显著影响。

2. 测试环境与准备

项目说明
硬件平台TB‑RK3399Pro 开发板，配备 3 GB DDR3 + 16 GB eMMC
软件套件Sienovo Toolkit 1.0.0（AI 推理框架）
测试模型YOLOv3（目标检测）
测试工具sienovo-benchmark（官方提供的基准测试脚本）
系统镜像基于 Debian 10 的定制发行版，已预装 NPU 驱动与 Toolkit 依赖

注意：本文的测试均在上述环境下完成，若使用不同的 Toolkit 版本或系统镜像，结果可能会有所偏差。

3. 算力测试步骤

  1. 准备模型

    • 从官方模型库下载 YOLOv3 的 ONNX 文件（yolov3.onnx）。
    • 使用 Toolkit 提供的 model_convert 工具将 ONNX 转换为 RKNN 格式： 
      model_convert -i yolov3.onnx -o yolov3.rknn --target rk3399pro
    • 转换过程中若出现不支持的算子，Toolkit 会提示需要手动实现或等待后续版本更新。

  2. 加载模型并执行基准

    • 将转换好的 yolov3.rknn 放置在板子 /home/root/models/ 目录下。
    • 运行基准测试脚本： 
      sienovo-benchmark -m yolov3.rknn -b 1 -t 10
    • 参数说明：-b 为 batch size，-t 为测试时长（秒）。

  3. 记录 FPS

    • 脚本结束后会在终端输出平均帧率（FPS）以及每帧的推理时间（ms）。
    • 将结果截图保存，以便后续对比分析。

4. 实测结果

4.1 结果概览

  • YOLOv3 在 RK3399Pro 上的平均帧率：约 10 FPS（batch = 1）。
  • 对比：在 Toolkit 0.9 版本的社区报告中，同样的模型可以跑到 30 FPS，差距显著。

4.2 结果分析

  • 网络层兼容性：Toolkit 0.9 可能对 YOLOv3 的网络结构做了内部优化（例如将部分卷积层融合或使用了更激进的量化），导致帧率提升。
  • 模型改动：官方发布的模型在转换为 RKNN 时可能已经被裁剪或重新排布，导致推理效率下降。
  • 硬件占用：在 1 GB 以上的内存占用情况下，NPU 与 CPU 共享内存带宽，若 CPU 负载较高会对 NPU 的吞吐产生影响。

结论：RK3399Pro 的算力本身非常强大，但实际推理性能受限于模型转换的兼容性以及 Toolkit 版本的优化程度。

5. 使用建议与常见问题

问题可能原因解决思路
FPS 低于预期模型中包含不被 NPU 支持的自定义算子检查 Toolkit 转换日志，尝试使用 --fallback 参数让不支持的算子回退到 CPU；或等待后续 Toolkit 版本更新。
转换报错：Unsupported operatorONNX 中使用了新算子（如 Swish、Mish）将模型中对应算子改为 ReLU/LeakyReLU，或使用 torch2onnx 时手动替换。
内存溢出模型参数过大，超出 3 GB DDR3 可用空间采用模型剪枝或量化（INT8）降低参数体积；或使用外部存储（SD 卡）加载权重。
NPU 负载不均同时运行 CPU 密集型任务在推理前使用 taskset 将 CPU 任务绑定到特定核心，释放 NPU 共享的内存带宽。

6. 与 Jetson Nano 的对比（参考）

项目RK3399ProJetson Nano
CPUCortex‑A72 × 2 + Cortex‑A53 × 4Quad‑core ARM Cortex‑A57
NPU / GPU2.4 TOPS（官方） / 3.0 TOPS（实测）128 CUDA cores（FP16 0.47 TFLOPs）
内存3 GB DDR34 GB LPDDR4
典型 FPS（YOLOv3）10 FPS（Toolkit 1.0）5 FPS（FP16）
生态Sienovo Toolkit + RKNNNVIDIA JetPack + TensorRT

从表中可以看出，虽然两者在算力指标上都有优势，但 RK3399Pro 在 AI 推理方面的整体表现更为均衡，尤其在低功耗、工业级可靠性方面更具竞争力。

7. 小结

  • RK3399Pro 通过集成 3 TOPS 级别的 NPU，为国产 AI 图像处理平台提供了强大的算力支撑。
  • 实测 YOLOv3 在 Toolkit 1.0.0 环境下的推理帧率约为 10 FPS，低于早期社区报告的 30 FPS，主要原因可能是模型转换过程中的算子兼容性差异。
  • 对于 自定义网络层 或不被当前 Toolkit 完全支持的算子，需要等待后续版本的更新或自行实现 fallback 方案。
  • 在实际项目中，建议结合模型量化、剪枝以及合理的系统资源调度，以充分发挥 RK3399Pro 的硬件潜能。

后续展望：随着 Sienovo Toolkit 持续迭代，预计对更多前沿网络（如 YOLOv5、EfficientDet）将提供更好的兼容性和优化，届时 RK3399Pro 在边缘 AI 场景的竞争力将进一步提升。

本文基于公开的测试数据与官方文档撰写，若有更新或新发现，欢迎在评论区交流。

View original article on CSDN →