@@ -8,16 +8,14 @@ description: 在 Linux 上配置树莓派 4B OpenCV 交叉编译,包含非 Deb
这两天大家都在火热地准备电赛,我也不例外。去年我使用的摄像头是 [MaixCam Pro ](https://wiki.sipeed.com/hardware/zh/maixcam/maixcam_pro.html ),编程语言我选择了 Python,使用了 [MaixPy ](https://github.com/sipeed/MaixPy ) 和 [Python OpenCV ](https://github.com/opencv/opencv-python ) 库。苦于性能瓶颈,今年我打算用 C++ 重写图像处理逻辑,目标平台是[树莓派 4B ](https://www.raspberrypi.com/products/raspberry-pi-4-model-b/ )。
这两天大家都在火热地准备电赛,我也不例外。去年我使用的摄像头是 [MaixCam Pro ](https://wiki.sipeed.com/hardware/zh/maixcam/maixcam_pro.html ),编程语言我选择了 Python,使用了 [MaixPy ](https://github.com/sipeed/MaixPy ) 和 [Python OpenCV ](https://github.com/opencv/opencv-python ) 库。苦于性能瓶颈,今年我打算用 C++ 重写图像处理逻辑,目标平台是[树莓派 4B ](https://www.raspberrypi.com/products/raspberry-pi-4-model-b/ )。
但问题来了:树莓派上编译 C++ 项目太慢了,尤其是链接 OpenCV 这种大家伙,改一行代码就要等上好几分钟。所以我决定在 PC 上搭建交叉编译环境——代码在 PC 上写、在 PC 上编译,二进制直接传到树莓派上跑。
## 为什么需要交叉编译
## 为什么需要交叉编译
树莓派 4B 用的是 ARM Cortex-A72,编译 C++ 本来就慢,加上 OpenCV 的头文件和模板展开量巨大,哪怕一个小项目也可能编译几十秒。开发过程中改一行代码就要等,太影响节奏 。交叉编译让我们在 x86 PC 上直接生成 ARM 二进制文件,编译速度能快一个数量级 。
树莓派 4B 用的是 ARM Cortex-A72,编译 C++ 本来就慢,加上 OpenCV 的头文件和模板展开量巨大,哪怕是 一个小项目也可能需要 编译几十秒。开发过程中改一行代码就要重新编译,十分影响开发效率 。交叉编译让我们在 x86 PC 上直接生成 ARM 二进制文件,编译速度能快不少 。
整个流程大致是:
整个流程大致是:
1. 在树莓派上安装 OpenCV 的开发包
1. 在树莓派上安装 OpenCV 的开发包
2. 将树莓派的根文件系统( sysroot) 同步到 PC,这样 PC 上的交叉编译器才能"看到" OpenCV 的 头文件和库
2. 将树莓派的根文件系统同步到 PC,这样 PC 上的交叉编译器就能够使用树莓派 ARM 架构的 OpenCV 头文件和库
3. 在 PC 上配置交叉编译工具链
3. 在 PC 上配置交叉编译工具链
4. 使用 CMake + 交叉工具链编译你自己的项目
4. 使用 CMake + 交叉工具链编译你自己的项目
5. 将编译好的二进制部署到树莓派
5. 将编译好的二进制部署到树莓派
@@ -26,7 +24,7 @@ description: 在 Linux 上配置树莓派 4B OpenCV 交叉编译,包含非 Deb
首先确保树莓派已开启 SSH,并能从你的 PC 连接。
首先确保树莓派已开启 SSH,并能从你的 PC 连接。
SSH 到树莓派,安装 OpenCV 开发包。注意这里不是从源码编译 OpenCV——直接用 apt 安装预编译的版本就行,省时省力 :
SSH 到树莓派,安装 OpenCV 开发包:
``` bash
``` bash
sudo apt update
sudo apt update
@@ -34,7 +32,7 @@ sudo apt install -y --no-install-recommends \
libopencv-dev
libopencv-dev
```
```
`libopencv-dev` 会自动拉入所有 OpenCV 模块( core、imgproc、highgui 等) 以及它们的头文件和 `.so` 链接。后续 `rsync` sysroot 时,这些头文件和库会被一起同步到 PC,交叉 编译器就能找到它们了。
`libopencv-dev` 会自动拉入所有 OpenCV 模块以及它们的头文件和 `.so` 链接。后续 `rsync` sysroot 时,这些头文件和库会被一起同步到 PC,编译器就能找到它们了。
## 获取树莓派 sysroot
## 获取树莓派 sysroot
@@ -52,11 +50,9 @@ rsync -avz --copy-unsafe-links \
> **注意**:将 `<树莓派IP>` 替换为你的树莓派 IP 地址。`--copy-unsafe-links` 会将绝对路径符号链接转换为相对路径的副本,避免链接指向宿主机路径。
> **注意**:将 `<树莓派IP>` 替换为你的树莓派 IP 地址。`--copy-unsafe-links` 会将绝对路径符号链接转换为相对路径的副本,避免链接指向宿主机路径。
如果你懒得自己折腾,也可以直接用我提取好的 sysroot:[rpi-4b-bookworm-sysroot.tar.zst ](https://github.com/BlackCyan/rpi-cross-compile-opencv/releases )。
## 配置宿主机交叉编译环境
## 配置宿主机交叉编译环境
这里出现了第一个 分水岭:**你的宿主机 用的是什么 Linux 发行版?**
这里出现了分水岭:**你的 PC 用的是什么 Linux 发行版?**
### Debian 系(Debian、Ubuntu、Mint 等)
### Debian 系(Debian、Ubuntu、Mint 等)
@@ -76,11 +72,11 @@ sudo apt install -y --no-install-recommends \
如果你用的是 Fedora、Arch Linux、openSUSE 等非 Debian 系发行版,问题就复杂了。这些发行版虽然也提供 `aarch64-linux-gnu-*` 交叉工具链包,但存在几个棘手的问题:
如果你用的是 Fedora、Arch Linux、openSUSE 等非 Debian 系发行版,问题就复杂了。这些发行版虽然也提供 `aarch64-linux-gnu-*` 交叉工具链包,但存在几个棘手的问题:
1. 工具链版本不一致,不同发行版提供的 binutils/gcc 版本可能与树莓派 Debian sysroot 中的库 ABI 不兼容。
1. 工具链版本不一致,不同发行版提供的 binutils/gcc 版本可能与树莓派 sysroot 中的库 ABI 不兼容。
2. 库路径布局差异,非 Debian 系的 aarch64 工具链默认搜索路径与 Debian 的 multiarch 布局 `/usr/lib/aarch64-linux-gnu/` 不同,导致链接器找不到库。
2. 库路径布局差异,非 Debian 系的 aarch64 工具链默认搜索路径与 Debian 的 multiarch 布局 `/usr/lib/aarch64-linux-gnu/` 不同,导致链接器找不到库。
3. glibc 版本不匹配,Fedora 等滚动发行版的 glibc 版本往往更新,链接到树莓派旧版 glibc 时可能出现符号未定义的问题。
3. glibc 版本不匹配,Arch 等滚动发行版的 glibc 版本往往更新,链接到树莓派旧版 glibc 时可能出现符号未定义的问题。
**解决方案是用容器 ** 。在 Docker/Podman 容器中运行一个完整的 Debian 环境,将树莓派 sysroot 挂载进去,所有编译操作都在容器内完成。这样工具链和 sysroot 同属 Debian 生态,自然兼容。
**使用容器是非常好的一种 解决方案 ** 。在 Docker/Podman 容器中运行一个完整的 Debian 环境,将树莓派 sysroot 挂载进去,所有编译操作都在容器内完成。这样工具链和 sysroot 同属 Debian 生态,自然兼容。
## 容器方案详解
## 容器方案详解
@@ -122,21 +118,21 @@ ENTRYPOINT ["/entrypoint.sh"]
### 各部分说明
### 各部分说明
**ENV 环境变量**定义了交叉编译的目标三元组 `aarch64-linux-gnu` ,以及工具链和 sysroot 的挂载路径。将这些路径抽取为变量,既 方便后续引用,也便于读 者替换为自己的目标平台 。
**ENV 环境变量**定义了交叉编译的目标三元组 `aarch64-linux-gnu` ,以及工具链和 sysroot 的挂载路径。将这些路径抽取为变量,方便使用 者替换为自己需要的版本 。
**apt 安装的包**分为几类:
**apt 安装的软件 包**分为几类:
- `build-essential` :编译基础设施
- `build-essential` :编译基础设施
- `gcc-aarch64-linux-gnu` :ARM64 交叉编译器、汇编器和链接器
- `gcc-aarch64-linux-gnu` :ARM64 交叉编译器、汇编器和链接器
- `cmake ninja-build` : Ninja 构建系统
- `cmake ninja-build` : Ninja 构建系统
- `rsync` :从树莓派同步文件
- `rsync` :从树莓派同步文件
- `pkg-config dpkg-dev` :用于查找依赖库和生成正确的 pkg-config 路径
- `pkg-config dpkg-dev` :用于查找依赖库和生成正确的 pkg-config 路径
**entrypoint 脚本 **是容器启动时自动执行的逻辑 。它的任务是建立符号链接,让交叉工具链的默认搜索路径指向我们挂载的树莓派 sysroot:
**entrypoint.sh **是容器启动时自动执行的脚本 。它的任务是建立符号链接,让交叉工具链的默认搜索路径指向我们挂载的树莓派 sysroot:
- 将 `${SYSROOT_MOUNT}/usr/include` 链接为工具链的 include 目录
- 将 `${SYSROOT_MOUNT}/usr/include` 链接为工具链的 include 目录
- 将 `${SYSROOT_MOUNT}/usr/lib/${TARGET_TRIPLE}` 链接为工具链的 lib 目录
- 将 `${SYSROOT_MOUNT}/usr/lib/${TARGET_TRIPLE}` 链接为工具链的 lib 目录
这样当你 `#include <opencv2/core.hpp>` 时,编译器实际上会从树莓派的 sysroot 中寻找这个头文件。
这样当你使用 `#include <opencv2/core.hpp>` 时,编译器实际上会从树莓派的 sysroot 中寻找这个头文件。
**CC/CXX 环境变量**指定了交叉编译器,并通过 `--sysroot` 参数将 sysroot 设置为编译的根目录。GCC 的 `--sysroot` 选项会改变所有标准搜索路径(`/usr/include` 、`/usr/lib` 等)的根前缀,效果等同于将 sysroot 模拟为 `/` 。
**CC/CXX 环境变量**指定了交叉编译器,并通过 `--sysroot` 参数将 sysroot 设置为编译的根目录。GCC 的 `--sysroot` 选项会改变所有标准搜索路径(`/usr/include` 、`/usr/lib` 等)的根前缀,效果等同于将 sysroot 模拟为 `/` 。
@@ -156,11 +152,11 @@ docker run --rm -it \
bash
bash
```
```
> **说明**: `/sysroot` 以只读 ( `:ro`) 方式挂载,防止编译过程意外修改树莓派系统文件。工作目录 `/workspace` 以读写方式挂载当前目录,用于存放源码和编译输出。
> **说明**: `/sysroot` 以只读 `:ro` 方式挂载,防止编译过程意外修改树莓派系统文件。工作目录 `/workspace` 以读写方式挂载当前目录,用于存放源码和编译输出。
## Sysroot 预处理:为什么需要这一步
## Sysroot 预处理:为什么需要这一步
从树莓派 `rsync` 下来的 sysroot 不能直接使用,需要经过预处理。这些处理并非多余——每一步都在解决一个具体的兼容性问题。
此前我在尝试交叉编译时,发现 从树莓派 `rsync` 下来的 sysroot 不能直接使用,需要经过预处理。
### 1. 修复 merged-usr 目录结构
### 1. 修复 merged-usr 目录结构
@@ -180,7 +176,7 @@ Debian 从 Buster 开始采用了 **merged-usr** 方案(即 `/bin`、`/sbin`
### 2. 修复 C++ 标准库的多架构符号链接
### 2. 修复 C++ 标准库的多架构符号链接
这是最隐蔽也最容易踩坑的问题。 GCC 的 C++ 标准库头文件按架构组织,结构如下:
GCC 的 C++ 标准库头文件按架构组织,结构如下:
```
```
/usr/include/c++/14/
/usr/include/c++/14/
@@ -188,21 +184,17 @@ Debian 从 Buster 开始采用了 **merged-usr** 方案(即 `/bin`、`/sbin`
└── aarch64-linux-gnu/ # 平台相关头文件 → 链接到 ../../aarch64-linux-gnu/c++/14
└── aarch64-linux-gnu/ # 平台相关头文件 → 链接到 ../../aarch64-linux-gnu/c++/14
```
```
树莓派上,`/usr/include/c++/14/aarch64-linux-gnu/` 是一个符号链接,指向 `/usr/include/aarch64-linux-gnu/c++/14/` —— 即 Debian multiarch 的 C++ 头文件存放位置。
在 树莓派上,`/usr/include/c++/14/aarch64-linux-gnu/` 应该 是一个符号链接,指向 `/usr/include/aarch64-linux-gnu/c++/14/` , 即 Debian multiarch 的 C++ 头文件存放位置。
这个符号链接使用的是** 绝对路径** 。当你用 rsync 拉取 sysroot 时,如果链接目标没有被完整保留,或者链接断掉了,编译 C++ 代码时就会找不到 `<bits/c++config.h>` 等平台相关头文件,报错:
这个符号链接使用的是绝对路径。当你用 rsync 拉取 sysroot 时,如果链接目标没有被完整保留,或者链接断掉了,编译 C++ 代码时就会找不到 `<bits/c++config.h>` 等平台相关头文件,报错:
```
```
fatal error: bits/c++config.h: No such file or directory
fatal error: bits/c++config.h: No such file or directory
```
```
预处理会检查这个链接,如果断裂就重新创建——关键是要理解链接路径的"跳转":
预处理会检查这个链接,如果断裂就重新创建。
```
> 我就是在这一步踩了坑。如果树莓派上没有 `/usr/include/c++/14/aarch64-linux-gnu` 也没关系,预处理会自动创建链接的。
/usr/include/c++/14/aarch64-linux-gnu → ../../aarch64-linux-gnu/c++/14
```
位于 `c++/14/` 目录下的链接,先向上两级到 `/usr/include/` ,再进入 `aarch64-linux-gnu/c++/14/` 。这个相对路径的作用在于:无论 sysroot 挂载在什么位置,链接都不会断——它只依赖 sysroot 内部的相对结构。
### 3. 修复 alternatives 机制的断裂符号链接
### 3. 修复 alternatives 机制的断裂符号链接
@@ -264,10 +256,10 @@ set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)
set ( CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY )
set ( CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY )
```
```
关键 配置说明:
配置说明:
- `CMAKE_SYSROOT` :告诉 CMake 所有搜索(头文件、库、pkg-config) 都以此为根
- `CMAKE_SYSROOT` :告诉 CMake 所有搜索都以此为根
- `CMAKE_C_COMPILER` / `CMAKE_CXX_COMPILER` :指定交叉编译器。由于容器的 ENV 已经设了 `CC` /`CXX` (带 `--sysroot` ),如果你想省略这两个变量,CMake 会自动从环境变量中获取
- `CMAKE_C_COMPILER` / `CMAKE_CXX_COMPILER` :指定交叉编译器。由于容器的 ENV 已经设了 `CC` /`CXX` (带 `--sysroot` ),如果你想省略这两个变量,CMake 会自动从环境变量中获取
- `CMAKE_FIND_ROOT_PATH_MODE` :控制 `find_*` 命令的查找策略。`PROGRAM NEVER` 表示不从 sysroot 中查找程序(如 `cmake` 本身) ,而 `LIBRARY ONLY` 、`INCLUDE ONLY` 、`PACKAGE ONLY` 表示库、头文件、包都只从 sysroot 中查找,避免污染宿主机的头文件
- `CMAKE_FIND_ROOT_PATH_MODE` :控制 `find_*` 命令的查找策略。`PROGRAM NEVER` 表示不从 sysroot 中查找程序,而 `LIBRARY ONLY` 、`INCLUDE ONLY` 、`PACKAGE ONLY` 表示库、头文件、包都只从 sysroot 中查找,避免污染宿主机的头文件
### 编译
### 编译
@@ -307,18 +299,6 @@ ssh pi@<树莓派IP> ./my_app
如果程序跑起来输出了预期结果,恭喜你,交叉编译成功了!
如果程序跑起来输出了预期结果,恭喜你,交叉编译成功了!
## 踩坑记录
这次交叉编译踩了不少坑,有些报错第一眼看上去完全不知道从何下手,记录在这里希望能帮你少走弯路。
最常见的一类问题是**头文件找不到**。编译器突然告诉你 `fatal error: bits/c++config.h: No such file or directory` ,你会下意识去 sysroot 里确认文件还在不在——通常它确实在,只是 C++ 标准库的多架构符号链接断了。这时候回头检查 `usr/include/c++/14/aarch64-linux-gnu` 这个链接是否正确指向了 `../../aarch64-linux-gnu/c++/14` 就行。同样的,如果 `<opencv2/core.hpp>` 报 not found,八成是 `usr/include` 目录的 merged-usr 结构有问题,翻回上文预处理那一节过一遍就好。
**链接阶段**也是重灾区。如果遇到 `cannot find -lblas` 或者 `cannot find -lxxx` 这种错误,说明链接器在 sysroot 的库目录里没找到对应的 `.so` 文件。多数情况下是 alternatives 管理的那几个库(blas、lapack)的符号链接断了,手动重建一下就行。但也有一种可能:你忘记在树莓派上装某个依赖了——交叉编译只能"看到" sysroot 里已有的库,树莓派上没装的东西,sysroot 里自然也不会有。
编译顺利通过了,**传到树莓派上跑不起来**?首先确认树莓派上是否装了 `libopencv-dev` ——交叉编译时链接的 OpenCV 符号在运行时必须能在树莓派上找到对应的 `.so` 。如果没有,`apt install libopencv-dev` 即可。另外,如果你链接了一些非系统路径下的自定义库,记得用 `-DCMAKE_INSTALL_RPATH` 把搜索路径写进 ELF 的 RPATH 段,或者运行时设一下 `LD_LIBRARY_PATH` 。
还有一个比较隐蔽的问题是 **glibc 版本差异 ** 。如果你宿主机的 glibc 比树莓派的新,链接时可能会引入新版 glibc 才有的符号,二进制传到树莓派上运行时会直接报 `GLIBC_2.xx not found` 。这也是我推荐用 Debian 容器的另一个原因:容器的 glibc 版本和树莓派保持一致,从根源上避免了这个问题。
## 总结
## 总结
整个方案的核心思路是统一编译环境:让交叉工具链和 sysroot 来自同一个生态,避免跨发行版的 ABI 不兼容。对于使用 Fedora、Arch 等非 Debian 系发行版的开发者,Docker 容器以极低的额外开销解决了这个问题。
整个方案的核心思路是统一编译环境:让交叉工具链和 sysroot 来自同一个生态,避免跨发行版的 ABI 不兼容。对于使用 Fedora、Arch 等非 Debian 系发行版的开发者,Docker 容器以极低的额外开销解决了这个问题。