博客
关于我
动作识别0-03:mmaction2(SlowFast)-白话给你讲论文-翻译无死角(1)
阅读量:726 次
发布时间:2019-03-21

本文共 1158 字,大约阅读时间需要 3 分钟。

Sl owFast Networks for Video Recognition

本论文提出了一种新的基于时空分离的视频识别网络架构,称为 SlowFast Networks。本文将详细阐述该网络的设计思想、实现方式以及实验结果。对于动作识别问题,我们提出了一个结合了慢速路径和快速路径的双流架构,其中慢速路径负责捕获空间语义信息,快速路径则专注于时序动作特征。通过这种划分,我们能够在不同的时间维度上分别处理运动和空间信息,从而提升动作识别的效果。

3D卷积网络在视频识别任务中一直受到了广泛关注。然而,这类方法通常需要在时空维度上进行统一处理,这种做法可能无法充分利用视频的时空特性。视觉系统中,空间信息通常是缓慢变化的,而运动信息则往往以快速的时间频率出现。基于这一观点,我们提出了一个新的网络架构,即 SlowFast Networks。

在引言部分,我们讨论了传统的视频识别方法主要集中在时空卷积的统一处理上 ,但是这种方法可能无法有效利用视频的时空特性。我们提出,应该分别处理空间信息和时间信息,这种思路与生物视觉系统中的灰质细胞和黄色体细胞类似,其中灰质细胞对空间细节敏感但时间分辨率较低,而黄色体细胞则相反。

针对这一思想,我们设计了一个包含慢速路径和快速路径的双流架构。慢速路径输入低帧率的视频片段,主要负责捕获空间语义信息。相比之下,快速路径输入高帧率的视频片段,专注于捕获动作特征。尽管快速路径在通道数量上相对较少,但其计算复杂度却远低于传统的3D卷积网络,大约占整个网络的20%。这种轻量化设计使得快速路径能够高效地捕捉快速变化的运动信息。

在网络架构方面,我们采用了侧面连接的方式将慢速路径和快速路径的特征融合。这种设计不仅可以利用两者的优势,还能够有效减少计算量。此外,我们在每个卷积层中使用了特定的时态卷积核,确保不同路径在时空维度上的有效结合。

实验结果表明,SlowFast Networks在多个基准数据集(如Kinetics、Charades和AVA)上均能够取得较好的性能,动作分类精度显著优于传统的3D卷积网络。这些成果验证了我们的设计理念。

在相关工作部分,我们回顾了现有视频识别方法,包括基于光流的手工特征、双流架构以及3D卷积网络。我们指出了这些方法的局限性,并提出了 SlowFast Networks 的创新性。与传统方法相比, SlowFast Networks 的主要优势在于其能够更好地分别处理时空信息,避免了传统方法中在时空维度上的不平衡处理问题。

最终,通过实验验证和理论分析,我们证明了 SlowFast Networks 在视频动作识别任务中的有效性和优势。未来的工作将进一步探索如何利用这种架构进行更复杂的视频理解任务,如行为分析和高层次视觉理解。

转载地址:http://tvigz.baihongyu.com/

你可能感兴趣的文章
mysql - 视图
查看>>
MySQL - 解读MySQL事务与锁机制
查看>>
MTTR、MTBF、MTTF的大白话理解
查看>>
mt_rand
查看>>
mysql -存储过程
查看>>
mysql /*! 50100 ... */ 条件编译
查看>>
mudbox卸载/完美解决安装失败/如何彻底卸载清除干净mudbox各种残留注册表和文件的方法...
查看>>
mysql 1264_关于mysql 出现 1264 Out of range value for column 错误的解决办法
查看>>
mysql 1593_Linux高可用(HA)之MySQL主从复制中出现1593错误码的低级错误
查看>>
mysql 5.6 修改端口_mysql5.6.24怎么修改端口号
查看>>
MySQL 8.0 恢复孤立文件每表ibd文件
查看>>
MySQL 8.0开始Group by不再排序
查看>>
mysql ansi nulls_SET ANSI_NULLS ON SET QUOTED_IDENTIFIER ON 什么意思
查看>>
multi swiper bug solution
查看>>
MySQL Binlog 日志监听与 Spring 集成实战
查看>>
MySQL binlog三种模式
查看>>
multi-angle cosine and sines
查看>>
Mysql Can't connect to MySQL server
查看>>
mysql case when 乱码_Mysql CASE WHEN 用法
查看>>
Multicast1
查看>>