视频监控中俯视的摄像头可以获得更好的视野，能进行较广较全场景的检测。
全景鱼眼相机因为其更大的视场角（甚至超过180度），可以拍到更广阔的视野。
将鱼眼相机以俯视的方式进行安装而拍摄的视频，理解的场景更广，但因为此时场景中的人和物在摄像头下方，相关数据集和研究还不多，是一个值得关注的方向。
比如对封闭房间的人物活动进行监控，一个鱼眼摄像头可以覆盖整个房间而没有监控死角，是一种非常低成本又有效的部署方式。
今天出的一篇综述文章对这个方向进行了梳理，值得收藏。
论文基本信息：
▌Applications of Deep Learning for Top-View Omnidirectional Imaging: A Survey
论文作者：Jingrui Yu,Ana Cecilia Perez Grassi,Gangolf Hirtz
作者单位：Chemnitz University of Technology（德国开姆尼茨工业大学）
论文链接：http://arxiv.org/abs/2304.08193v1
全景鱼眼摄像头可以在高处朝下拍摄，用最少的摄像头捕捉大面积的场景，相比传统的多角度摄像头方案，这种俯视全景设置可以大大降低部署的工作量和成本。近年来，深度学习已经被广泛应用于视觉相关任务，包括在全景鱼眼摄像头中的应用。
下图是全景鱼眼相机安装设置和成像结果示意图：
因为鱼眼相机的数据在使用前需要进行校正，作者列出了常见的校正模型：
当然最重要的是，作者列出来的相关数据集资源：
上图中作者总结了俯视全景鱼眼相机相关的数据集汇总表，总计16个数据集，时间跨度从12年到23年，尤其明显可以看得出来的是20年之后的相关数据集突然多了起来，看来这一方向近些年越来越被重视。
表格中Type中的R代表是真实世界采集的图像或者视频数据，S则意为合成数据。
从数量上来看，最大的数据集超过10万帧。
标注类型则包括标准包围盒、带方向的包围盒，跟踪目标ID，人物动作分类，实例mask等。标注类别主要集中在person和人物动作。
下图作者列出了近些年深度学习用于俯视全景鱼眼数据上的Person detection方法汇总：
可见，除了涉及算法的选择，在上述设置下如何进行数据增广，如何更好的校正摄像头，如何利用前景和背景的关系，是通常大家讨论比较多的方向。
除了人体和物体检测，人体姿态估计、活动识别等任务也有学者研究，但整体上看，这个方向的研究工作并不丰富。
深度学习与全景鱼眼摄像头的结合可以大大降低部署的工作量和成本，提高效率，用于室内封闭场景、公共交通系统等的监控还大有可为，欢迎感兴趣的同学关注。也许对于在找学术方向的同学来说这是一个不错的选择。
想要下载相关数据的同学可以点击阅读原文，找到数据集的地址。
