我之前做过一个开源的小玩具，你可以参考一下

//

机械臂抓取

机械臂下棋

机械臂分拣

机械臂倒水

机械臂各个硬件

这是我新出的教程，相信大家看了这个就明白大致思路了，如果有时间，忽视下文，建议直接看看视频

正文:

第一步，准备深度摄像头与机械手臂

第二步，用程序实现机械臂某一个舵机的简单控制，然后能获取深度摄像头的RGB与深度图像，基本上你淘宝上买来这两个东西送的教程就可以完成这个事儿啦

第三步，学习机械臂运动学逆解，就是给你一个三维坐标，机械臂能到达那个位置，我代码里自己写的几何解析法做的，我这里有个博客有源代码的讲解，也可以用DH法来解，网上有很多现成代码，不过得先学习一下变换矩阵

第四步，给你一张图片，你能用鼠标点击图片里的物体获得物体的真实三维坐标，即像素坐标与真实坐标对应，这个一般都是有现成的库，与网上都有很多代码教程

第五步，学习物体追踪算法，就是能在图片里找到你要抓取的目标，这里推荐SSD，你可以用这本书给的示例完成

第六步，把它俩结合起来，如果之前的东西你都走过一遍的话，这一步就轻车熟路了，只需要一个机械臂坐标系跟相机坐标系的变换矩阵就可以得到物体的实际位姿了

最后，祝你顺利