智能机械臂视觉抓取（学术分享基于视觉方式的机械臂大面积触觉感知）

随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。从去年以来，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，本期与大家分享《基于视觉方式的机械臂大面积触觉感知》。

随着人类和机器人之间的安全和智能交互需求的增加，促进了为机器人装备全身皮肤的研究，以感知多种形式，特别是触觉感知。为机器人配备合适的触觉反馈，可以促进他们通过触觉感知环境，就像人类的触觉感知和外界互动一样。迄今为止，很少有研究可以有效地为机器人提供大面积的触觉传感。而基于视觉的传感器利用相机记录人工皮肤的变形，转换为触觉信息，这为柔性触觉皮肤提供了优势，包括高空间分辨率和灵敏度。这种技术可以在没有传感器的情况下感知机器人皮肤大区域的变形，显著减少了布线、电子设备和损坏的风险。近期，来自日本高级科学技术研究所的Lac Van Duong和Van Anh Ho两位研究员提出了一种用于机器人的大型触觉传感系统——TacLINK，并发表在IEEE TRANSACTIONS ON ROBOTICS期刊上。

TacLINK—该系统可组装成一个完整的机器人手臂。该系统是一个细长的结构，包括一个刚性透明的骨骼，覆盖着连续的人造柔性皮肤。TacLINK柔软的表面不仅提供触觉力的反馈，还可以通过低压充气改变其形状和刚度。当与周围环境接触时，位于透明骨骼两端的立体摄像头会跟踪内壁上的标记阵列，从而使TacLINK通过皮肤的三维变形来获取触觉信息。通过建立了一个有限元模型(FEM)来描述作用力和标记点位移之间的关系，从而可以模拟推导出详细的触觉信息，包括接触分布的几何形状和作用力分布，而不用考虑接触的数量。TacLINK具有规模可扩展、操作耐用、成本低以及高性能的特点，可广泛应用于机械臂、假肢臂、类人机器人等的设计。本文通过系统的设计、建模、校准、实现和评估来展开介绍。

图1 (左)具有大规模触觉的机器人(即TacLINK)的配置。(右)配备了TacLINK的协作机器人UR5的草图，通过触觉实现安全智能的交互。

A. 结构设计

图1展示了TacLINK的整体视图和内部结构。它由一个连接两端的透明亚克力管组成，充当骨骼框架以保持其刚性。每端都有一个连接部分，可以容纳鱼眼镜头CMOS相机(ELP USBFHDO1M-L21：分辨率640 *480，帧率30 fps，视野为150°)和一系列用于照明的高强度LED。LED光源使用偏振滤光器产生均匀光并减少反射光。为了阻挡LED对着摄像头的直接光线，亚克力管的中间设置了一个黑色区域。TacLINK覆盖着柔软连续的人造皮肤，并染成黑色，使内部空间与环境光完全隔离。基于摄像机的可探测性，总共240个直径为2.8mm的白色标记点在人造皮肤的内壁上牢固地附着。

TacLINK的传感原理包括两端各一个的同轴摄像机，它们构成了一个立体摄像机。这些相机拍摄皮肤内壁标记点的连续照片，使计算所有标记点在全局坐标系中的三维位置成为可能。该方法利用有限元来计算基于结构刚度矩阵的作用力分布，并提取标记点的位移。接触力可以看作是有限元模型节点力产生的集中作用力。

图2 皮肤的制造。(a)3D打印部件。(b)用硅胶填充内壁的孔以浇注标记点。(c)带有分布标记的实际柔软皮肤的内部和俯视图。

B. 人造皮肤

TacLINK通过皮肤来感知触觉信息，皮肤的特性在触觉特性中起着重要的作用。采用弹性好、混合黏度较低的硅橡胶材料Ecoflex 00-50(Smooth-On Inc.， USA)制成厚度为3.5mm的人造皮肤。表皮是通过浇注的方法制作的，如图2所示。具体的制备过程和工艺请参考原论文。

基于视觉的系统的目标是通过跟踪标记物的位置来构建柔软皮肤的三维形状。图3(a)展示了由基线和光学轴沿模块中心线的两个同轴摄像机组成的立体摄像机。全局坐标系(WCS)的Z轴与基线重合，其原点位于第一端的中心(摄像机1)。立体模型用于描述标记点的三维位置。作者通过分析立体重建的不确定性（包括相机参数的影响），以对优化最佳的工作空间进行设计。分析发现：位于中间位置的标记，其测量精度往往比靠近两端的标记高；标记靠近两端，远离中心线可以获得局部精度较高的Z轴坐标。此外，调整镜头的焦距可以进一步提高精度。

图3 立体相机的配置。要求坐标系位于基线上，它的原点与第一端的中心重合，x轴平行于相机框架的坐标轴。

作者介绍了一种稳健的算法来实现跟踪与匹配相结合的立体标定。随后，在遮挡或视力有限的情况下，使用技术测量大变形下皮肤的三维表面，提供每个标记物的精确位置。首先，立体视觉被设计用来测量所有节点在24*11网格皮肤上的三维位置。为了克服之前方法在追踪精度、抗噪声干扰、识别效率的不足，作者提出了一种主动跟踪算法用于立体图像的非刚性点集的标定。图4(a)为立体图像中所有标记的分布情况，其中每条二维路径包含10个标记点，且有24条路径。在每一幅图像中，当接近中心时，标记看起来彼此很近，这使得很难检测到远处的标记。因此，标记应该从每幅图像的边界区域追踪到其中心，相应的减少了检测的可能性。通过相似性，每条路径都可以用有限的节点集合来建模;如果假设在变形条件下，路径沿直线受到强制约束，所构造的连接节点的路径是连续光滑的。该假设贯穿于配准算法的始终。归根结底，立体标定问题可以归结为为每条路径寻找最优节点集。

图4 验证所提出的立体实现的场景，在其中的TacLINK是在一个长圆柱面接触。(a)立体图像与提出的直观路径跟踪算法。(b)立体图像重建人造皮肤的三维变形。

考虑到在身体接触中，标记点检测的不确定性可能是由于缺乏视野和遮挡。作者提出三个步骤：第一，基于立体模型可以很容易地计算出这两种相机图像上所捕捉到的标记点的三维坐标；第二，错过的标记点或者标记点没能被一台相机完全捕捉到，其Z轴坐标可以估计为初始值，并且X和Y轴坐标可以由另一台相机计算得到。第三，通过同一路径下的相邻图像进行线性插值，可以估计出未检测到的标记点的坐标。针对标定过程中产生的误差，需要对相机参数估计和对焦距失真修正。

为了建立标记点位移与外力之间的关系，作者建立了皮肤的有限元模型。为了便于建模，皮肤被假定为线性且弹性。基于Reissner Mindlin理论，采用膜和弯曲相结合的平壳单元对皮肤进行建模。当只考虑静态模型，忽略了重力对皮肤的影响时，假设重力对皮肤的影响远远小于测量力的范围。其中，有限元建立主要包括网格和几何元素，有限元方程与模拟等。触觉力可以定义为作用于皮肤表面的外力，但不包括内部压力所产生的分布力。基于有限元模型，可以推导出位移与力的直接关系。

在建立的实验平台（图5）内，TacLINK固定在一个刚性垂直位置。内部压力使用气动节流阀进行调整，并使用了压力传感器(MPXV7007， NXP Inc.，美国)。为了提供与皮肤的精确外接触位移，设置了一个6自由度机器人手臂(VP-6242，DensoRobotics，日本)，它可以精确移动，具有高重复性，误差控制在0.02mm。通过一个三轴力传感器(USL06-H5-50 N，Tec Gihan，日本)，一个探头被连接到机器人末端执行器的中心。

图5 实验平台

主要的实验为三维重建精度的评估、杨氏模量校准、基于有限元模型的触觉力感知评估等。对于三维重建精度的评估，通过评估路径上自由节点径向位移的测量误差，验证了立体三维重建的性能。作者在内部气压为零的情况下进行了十次试验。由于皮肤上的几何约束，位于两端附近的两个节点只能被移动5毫米。实验结果表明，绝对误差在0.7 mm以下。

通过准静态条件下的压缩试验，可以估算了皮肤材料的弹性杨氏模量。作者又进行了共30个试验，在不同的压力水平下提供空气。在膨胀过程中，一个程序可以自动记录这些压力下的数据，通过最小化实验确定的变形与线性有限元模型预测的变形之间的差异，实现模量参数的估计。

图6 皮肤表面三维触觉力重建的实验结果。(a)在节点127处用单点接触进行测试。(b)多个触点下的感知性能。

作者最后分别在单点受力和多点受力状态下，对触觉力感知效果进行评估。单点受力下，在没有内部压力的情况下，在每一个受力处，合力都能很好地匹配。然而，当施加压力时，TacLINK节点处的触觉力呈线性增加，但显著低于测量力。除此之外，作者做了另一个实验，用两根手指随机触摸人造皮肤的不同区域。图6显示了单点区域和多点接触区域三维变形和外力的鲁棒性重构。一般来说，在任何位置的物理相互作用条件下，TacLINK记录了由外力引起的皮肤表面的详细三维变形，记录其位置和强度由触觉力的分布。此外，使用离散传感元件的触觉皮肤设计不能检测到这些元件未占用的区域的触觉，然而，使用FEM重构连续区域的力，传感系统可以同时感知整个皮肤表面的触觉力。

本文介绍了为具有大规模触觉皮肤的机器人所开发的触觉系统，展示了其设计的可行性和触觉重建的鲁棒性。该系统具有成本低、可扩展结构简单、实时性好等优点。特别是，TacLINK不仅装备了感应能力，而且可以在与环境交互时改变它的形式和刚度。部署具有高度变形能力的TacLINK和触觉力反馈，将使机器人能够安全、智能地交互。作者认为还存在一些局限性和技术问题需要进一步克服和改进。例如力重建可能不能很好地代表力强度，特别是在应用内部空气压力的过大接触区域。需要进一步的设计改进和研究来克服这些限制；亚克力管的尺寸及其所能承受的强度需要校核等。

本文参考来自L. Van Duong andV. A. Ho， "Large-Scale Vision-Based TactileSensing for Robot Links：Design，Modeling，and Evaluation，" in IEEE Transactions on Robotics， doi：10.1109/TRO.2020.3031251.

本文由CAAI认知系统与信息处理专委会供稿