欢迎光临中国机器人网站,我们致力于各行业应用研究

[对机器人有什么了解]机器人探索之路--感知与决策

作者:慕青      发布时间:2021-04-17      浏览量:0
一、学习经历高三的一个晚上,躲在遮光帘

一、学习经历

高三的一个晚上,躲在遮光帘里玩手机,看到了rethink的sawyer,那时候被他的示教功能震惊了,感觉如果能做到这个,那么就可以复现人们对机器人期望的所有动作,那么像人一样能够动作的机器人就能做出来了,这样子世界岂不是我的了?于是那时候开始果断放弃金融,选择了自动化,填志愿时果断进入成都清水寺。

刚进入大学时,并没有太想接触计算机,因此从底层硬件开始了解,NE555入门,到51单片机做个小闹钟,再到STM32做了个无(电)人(风)机(扇)。感谢这一段的底层经历,虽然目前早已经不再接触这些东西,但是因为这一段经历,认识了许多朋友,体会到了三个人埋头实验室的车库文化,也知道了自己所能够做的东西。而且通过这个理解了高中一直无法理解的无用之用这个词语,个人认为做机器人算法,如果不了解机械嵌入式电子,那么所做的算法很容易是亭台楼阁,而且动手能力会低好几个档次,只能无可奈何舔身边的小伙伴让他们帮忙把底层东西搭出来,或者只能进行(调)发(包)。

大一寒假时,在了解了OpenCV之后,开始逐步了解到了视觉的魅力,在大一暑假,自己窝在宿舍开始一点点接触TensorFlow,CS231N,算是接触了一点点的人工智能。随着大二开始,加入机器人班,让我开始对机器人有了更深一层的认识,也开始了解到了视觉虽仅仅只是机器人中比较重要的一部分,而绝不是全部。在这里需要再次重申我的观点:机械,环化材生其实也是非常非常有前景的行业,没有这些学科,算法啥的都是白瞎,至少现在的RoboMaster,我觉得始终是机械结构是最重要的,代码的迭代可以很快,一旦有了好的想法也可以快速地更新迭代,但是机械不好,这个比赛就是不用完了。

二、感知与决策

高中的时候就是希望能够做出一个许多科幻电影中的机器人的那个样子家居服务机器人,那时候只是希望能够做出来,但是并没有意识到这里面的涉及了多少技术,哪些技术是最关键的。进入大学,在焊板子的时候开始希望做出一个机械臂,成为第三只手帮助人类工作,之后开始确定了抓取方向,直观的想法就是只要能抓了,就像视觉能够识别物体了,那么就可以让人们敢想敢做了,于是按照这个思路,大一的时候就确定了研究机械臂,进而逐渐到了细分领域的机械臂抓取。

在大一的时候遇到了一个老师,看到了老师实验室的Baxter,就沟通交流了一段时间,他说机械臂的控制,归根到底就是告诉机械臂去哪里。基于这一点,从抓取任务再进行具体化,就是在一个非确定的环境中让机械臂知道去哪里,做什么。再接下来,用更专业一点的话语,就是先让机器人感知到了周围环境,接着决定让自己干什么。按照这个思路走下来,人工智能的的确确值得火,至少计算机视觉的坑是一个非常好的坑,没有感知,后面的所有决策都是白瞎,由此现在坚定了感知和决策的思路。

大二下学期和大二整个暑假,非常非常幸运认识了我的老师和指导我的博士,终于摸到了第一个机械臂AUBO,做了个苹果树(假树)摘苹果的任务,整一套东西主要是暑假的时候搭起来的,其实也非常简单,直接用了MaskRCNN识别苹果,然后realsense D435定位到苹果在机械臂基座标的空间位置,最后串口通信让一个步进电机收缩抓苹果。在构建完成之后,开始更为认真地思考抓取,感知,决策这几个词语之间的联系和区别,又把问题给继续地细化了:

其实在没进大学的时候,一直以为图像肯定也会融合上深度信息,或者至少说融合上了深度信息的图像分类比单纯的图像分类效果会好很多,但是真正用了realsense D435才知道数据融合没有想象中的那么简单,点云数据目前如PointNet这类的处理,我感觉也并不算是非常好的处理方式,这一块肯定也是大坑(毕竟今年听闻CVPR等的都在往3D视觉转?)。

沿着3D的思路,其实机械臂最不缺的就是精度,SLAM接触不多,但是个人理解就是定位+拼接完成建图,之后再进行导航。而定位在手眼系统的机械臂上面是最容易的事情,Realsense D435放到机械臂上,完成点云拼接会比不断地用特征点匹配然后ICP等的方法去做位姿回归好很多(ICP瞎说的,只是这类型方法)。那么这样子建图可能就不算是非常困难,既然能够完成建图,那么感知就可以促成2D到3D的提升,这样子也可以帮助机器人提高感知场景,特别是在我做的苹果树的项目中,很多苹果会被遮挡,这样子如果能够提前建立一个3D全局图,那么效果应该会好非常多?但是这一块由于需要去做RoboMaster暂且搁置了,等到大四毕设的时候肯定会重新捡起来看看效果。

到了大三,开始做RoboMaster之后,以前在实验室的做任何事情都先搜论文做细致的调研的方式变成了搜代码,同时神经网络等的东西,在机器人比赛中就感觉完完全全用不上了,这让我难受了非常长的一段时间,而且也产生了非常大的困惑。毕竟波士顿动力到目前为止还是在烧钱(至少续航上不来大狗就是白瞎,同理大疆如果续航上不来使用就是拍照的,当然了他们都做得非常非常不错了,只是再次证明环化材生很有前途)。那么神经网络+机器人的感知决策这一套又能放到哪里呢?在RoboMaster中,因为操作手的存在,就要求我们的算法需要比操作手更厉害。厉害,在机器人身上,真正好的体现还是速度快,精度高,但是更智能这一块,我觉得真的非常难继续下去了。同时,如同强化学习等,虽然打游戏是非常的厉害,但是还是完完全