UC伯克利大学&Meta AI应用型研究：学习和验证教学视频中的任务结构

​

本论文介绍了一种新的方法来学习并验证教学视频中的任务结构。作者提出了一个双步骤框架，首先采用半监督方法学习任务结构，然后使用验证算法对学习结果进行验证。

第一步骤：从大量未标记的教学视频中学习任务结构。作者采用了一种基于深度神经网络的方法，利用半监督学习的技术来从未标记的视频序列中提取出任务结构。作者首先对视频数据进行分割，然后使用作者提出的方法来进行任务结构学习。作者的方法不仅可以学习出任务结构，还可以自动识别视频中的关键帧。

第二步骤：使用一种验证算法来验证作者学习到的任务结构。作者采用了一种基于自动机理论的验证算法，用于验证任务结构的正确性。作者将学习到的任务结构表示为一个自动机，并使用验证算法来验证自动机是否能够正确地描述任务结构。

实验结果表明，本文提出的方法可以准确地学习出任务结构，并且能够在验证算法的帮助下验证任务结构的正确性，不仅可以用于教学视频，还可以应用于其他类型的视频数据分析。

标题：Learning and Verification of Task Structure in Instructional Videos

论文：https://arxiv.org/abs/2303.13519.pdf

作者：Medhini Narasimhan ，Licheng Yu，Sean Bell，Ning Zhang，Trevor Darrell

平台：https://medhini.github.io/task_structure/

​Read More