【学术研究】谈谈你的论文

契机:
商汤的grid rcnn,框架做grid rcnn工程迁移时候,发现这篇论文有改进的空间。

1.首先它用heatmap做检测框的预测,也就是point-guided而不是offset-guided,又因为他是基于anchor的,所以会存在一个问题就是无论proposal是否包含目标都得出一个在proposal内部的预测框,所以grid-guided天然存在对高质量proposal的依赖。文中是采用映射机制来缩小gt从而优化点的预测。但存在一个问题就是,他对所有正样本proposal都会有一样的映射,这导致本来就在内部的gt学的比较不好.这就是point-guided方法anchor产出proposal和gt的对不齐一个问题,这类方法的另一个问题就是,point-guided是受9个点约束预测的,所以实际结果会更加精细,但这就进一步拉大了和分类分支的对不齐问题。因为分类得分实际对框的位置没有那么敏感,所以不能完全发挥出point-guided方法精细化预测的优势,导致限制了最终计算指标的上限。

了解grid rcnn吗?创新点基于grid rcnn基于anchor同时point guided方法存在的不对齐问题

所以我的工作就是主要针对point guided这类方法这两点缺点:

  1. 引入级联的思想,在每个阶段采取不同的iou过滤,并且给不同样本不一样的缩放比,因为后面阶段的proposal是前面修正的预测结果,所以缩放比可以更小一些。这样就能更加准确。
  2. 为了解决得分的misalignment,我加入了两个分类器,一个二分类用于预测框的前景IoU,一个多分类用来预测分类得分,这个多分类的样本是经过调整后的,将预测结果作为正样本然后加入rpn的负样本。最后用这两个分类器结果来加权。让point guided预测出来的精细框有更加适配的得分。
  3. loss,point-guided方法 l2 loss会更好

最终结果:
最终相比于Grid RCNN在R101上提升了1.5,到43
消融实验也表明这两点改进分别提供了一半的涨幅。
在速度这块,我们降低了roi的数量,实现了一下速度精度的trade off,不需要大量的框得出结果最后再nms,而是在进入head前降低数量。
级联速度怎么样

单把分类模块放到cascade上涨的不多

全部评论

相关推荐

06-12 16:00
天津大学 Java
牛客30236098...:腾讯坏事做尽,终面挂是最破防的 上次被挂了后我连简历都不刷了
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务