卓越集体行为集群的研究人员开发了一种用于姿势估计和身份跟踪的计算机视觉框架，可用于室内环境和野外。因此，他们朝着使用计算机视觉和机器学习对野生动物进行无标记跟踪迈出了重要的一步。
康斯坦茨的一个公园里，两只鸽子正在啄食谷物。第三只鸽子飞了进来。附近有四台摄像机。康斯坦茨大学卓越集体行为集群的博士生 Alex Chan 和 Urs Waldmann 正在拍摄这一场景。一小时后，他们带着录像回到办公室，用计算机视觉框架对其进行分析，以进行姿势估计和身份跟踪。该框架会检测并在所有鸽子周围画一个框。它记录下中心身体部位，并确定它们的姿势、位置以及它们与周围其他鸽子的互动。所有这些都是在鸽子身上没有贴任何标记或不需要人类帮忙的情况下发生的。几年前这是不可能的。
3D-MuPPET，一个用于估计和跟踪最多 10 只鸽子的 3D 姿势的框架
近来，无标记动物姿势跟踪方法发展迅速，但用于跟踪大型动物群体的 3D 框架和基准仍然缺乏。为了弥补这一差距，康斯坦茨大学卓越集体行为集群和马克斯普朗克动物行为研究所的研究人员提出了 3D-MuPPET，这是一个使用多个摄像头视图以交互速度估计和跟踪多达 10 只鸽子的 3D 姿势的框架。相关出版物最近发表在《国际计算机视觉杂志》（IJCV）上。
动物姿势追踪和自动行为分析的重要里程碑
Urs Waldmann 和 Alex Chan 最近完成了一种新方法，称为 3D-MuPPET，即 3D 多鸽姿势估计和跟踪。3D-MuPPET 是一种计算机视觉框架，用于从 4 个摄像机视图对多达 10 只鸽子进行姿势估计和身份跟踪，基于在圈养环境甚至野外收集的数据。“我们将 2D 关键点检测器和三角测量点训练成 3D，同时还表明，在单鸽数据上训练的模型可以很好地处理多鸽数据，”Urs Waldmann 解释说。这是对多达 10 只鸽子的整个群体进行 3D 动物姿势跟踪的第一个例子。因此，新框架为生物学家提供了一种具体的方法来创建实验并测量动物姿势以进行自动行为分析。“这个框架是动物姿势跟踪和自动行为分析的一个重要里程碑，”Alex Chan 和 Urs Waldmann 说。
框架可以在野外使用
除了在室内追踪鸽子，该框架还扩展到野外追踪鸽子。“使用一种可以识别图像中任何物体轮廓的模型，称为“任何物体分割模型”，我们进一步用圈养数据中的蒙版鸽子训练了一个 2D 关键点检测器，然后将该模型应用于户外鸽子视频，而无需任何额外的模型微调，”Alex Chan 说道。3D-MuPPET 展示了首批案例研究之一，介绍了如何从圈养动物追踪过渡到野外追踪动物，从而可以在动物的自然栖息地测量其精细行为。所开发的方法可能在未来的工作中应用于其他物种，并有可能应用于大规模集体行为研究和以非侵入性方式监测物种。
3D-MuPPET 为想要使用 3D 姿势重建来研究多个个体在任何环境或物种中的集体行为的研究人员展示了一个强大而灵活的框架。只要有多台摄像机设置和 2D 姿势估计器可用，该框架就可以用于跟踪任何动物的 3D 姿势。
资讯来源：由a0资讯编译自THECOINREPUBLIC。版权归作者A0资讯所有，未经许可，不得转载
