当机器人从虚拟世界走向现实：机械臂如何看见球

想象一下，你在游戏里控制一个虚拟机器人抓球。在游戏中，你几乎像“上帝”一样，可以直接看到球在哪里，也能瞬间知道机器人的每一个关节角度、速度和位置。这就是仿真训练中的优势：环境完全透明，信息触手可得。

然而，当这个机器人走出屏幕，来到现实世界，它的眼睛不再是万能的，它只能通过摄像头观察、通过关节编码器测量自身状态、通过IMU感知姿态。这时，训练好的“上帝视角策略”该如何迁移？它如何找到球，并精准抓取呢？

这正是仿真到现实（Sim-to-Real）迁移中最核心的问题。

核心原理：把“上帝视角”换成相对观察

仿真训练中，智能体看到的是全局状态，例如球的绝对坐标。现实中，这些信息机器人无法直接获得。解决办法是把绝对信息换成相对信息——即机器人只需要知道球相对于末端的位置，而不关心它在整个房间的坐标。
举个例子：

• 仿真训练状态：球位置(2.5, 1.2, 0.3)，末端位置(1.0, 0.5, 0.0)
• 转换为相对状态：球相对末端 = (1.5, 0.7, 0.3)

这样，智能体学到的策略并不依赖任何固定坐标系，而是关注“我和球之间的关系”，这种信息在现实中同样可以通过传感器获取。

另一个关键原则是模块化状态设计。状态被拆成几个模块，每个模块都可以独立获取：

1. 空间关系：球相对末端的位置
2. 本体状态：关节角度和速度
3. 历史动作：上一步执行的动作
4. 末端速度

通过这种设计，训练策略与现实感知的状态格式保持一致，为迁移奠定基础。

现实中机械臂如何看见球

在现实部署中，机械臂主要依靠视觉感知系统来找到球的位置。其流程如下：

摄像头 → 图像处理 → 球目标检测 → 坐标转换 → 机械臂坐标系

关键步骤：

1. 相机标定
   将图像中的像素坐标转换为相机坐标系下的三维位置。

2. 手眼标定
   将相机坐标系下的目标位置映射到机械臂坐标系，使机器人以末端为参考定位球的位置。

3. 目标检测和深度估计
   检测球在图像中的位置，并结合深度信息得到真实三维坐标。

通过这些步骤，机器人可以计算出球相对于末端的相对向量，这与仿真训练中使用的状态完全一致。智能体可以直接使用训练好的策略，无需全局状态信息。

可视化示意

仿真中：
[上帝视角] --> 球全局坐标 --> 相对末端位置 --> 策略输出动作

现实中：
[摄像头] --> 图像处理 --> 球像素位置 --> 相机坐标 --> 机械臂坐标 --> 相对末端位置 --> 策略输出动作

可以看到，关键是把视觉感知得到的球位置，转换为训练时使用的相对末端状态，策略就能在现实中直接运行。

Python实现示意

class VisionSystem:
    def __init__(self):
        self.camera_matrix = calibrate_camera()
        self.hand_eye_matrix = calibrate_hand_eye()

    def detect_ball(self):
        image = self.camera.capture()
        pixel_coords = self.detect_ball_in_image(image)
        depth = self.estimate_depth(pixel_coords)
        camera_coords = self.pixel_to_camera(pixel_coords, depth)
        robot_coords = self.camera_to_robot(camera_coords)
        relative_pos = robot_coords - self.get_end_effector_position()
        return relative_pos

通过这个流程，机械臂可以感知外部球的位置，并将其转换为训练时策略可理解的相对状态，实现仿真到现实的平滑迁移。

即便仿真训练中使用的是“上帝视角”，现实中通过视觉系统、坐标转换和相对位置计算，机器人依然可以准确感知球的位置。核心思想是：训练策略使用的状态信息与现实传感器获取的状态保持一致，相对信息和模块化设计是实现这一目标的关键。

通过这种方法，训练好的强化学习策略可以直接应用于真实机械臂，实现从虚拟世界到现实世界的顺利迁移。