加州大学等提出NVM:用于视觉运动控制的神经体积记忆

1,574次阅读
没有评论

标题:Neural Volumetric Memory for Visual Locomotion Control

作者:Ruihan Yang, Ge Yang, Xiaolong Wang,

[UC San Diego, Institute of AI and Fundamental Interactions MIT CSAIL]

简介:

有腿机器人有可能将自治范围扩大到铺设道路之外。然而,困难的运动任务需要感知,并且通常是部分可观察的。在最先进的视觉运动方法中解决部分可观察性问题的标准方法是通过帧堆叠逐通道连接图像。这种朴素的方法与计算机视觉中的现代范例形成对比,后者明确地模拟光流和感兴趣的 3D 几何形状。

受此差距的启发,我们提出了一种神经体积记忆架构 (NVM),它明确说明了 3D 世界的 SE(3) 等变性。与之前的方法不同,NVM 是一种体积格式,它通过首先应用 3D 平移和旋转将来自多个摄像机视图的特征体积聚合到机器人的以自我为中心的框架中。我们在物理机器人上测试了学习到的视觉运动策略,并表明我们的方法,通过神经体积记忆学习腿部运动,在具有挑战性的地形上比之前的工作产生了性能提升。我们还包括消融研究,并表明存储在神经体积记忆中的表示捕获了足够的几何信息来重建场景。

https://rchalyang.github.io/NVM/

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

腿部运动的体积记忆

使用以自我为中心的相机视图的腿部运动本质上是一个部分观察到的问题。为了使控制问题切实存在,我们的机器人需要聚合来自先前帧的信息并正确推断其下方的遮挡地形。在运动过程中,直接安装在机器人底盘上的摄像头会发生大而虚假的姿态变化,这使得将各个帧集成到一个连贯的表示中变得非常重要。为了解释这些相机姿势变化,我们提出了神经体积记忆 (NVM) — 场景特征的 3D 表示格式。它以一系列视觉观察作为输入,并输出表示周围 3D 结构的单个 3D 特征体积。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

通过自我监督学习 NVM

虽然行为克隆目标足以产生一个好的策略,但与平移和旋转等变会自动为神经体积记忆提供一个独立的、自我监督的学习目标。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

现实世界中的可视化

我们对所有不同的场景使用相同的策略。

为了在模拟之外的不同真实世界场景中验证我们的方法,我们在有垫脚石的室内场景和野外场景中进行了真实世界的实验。

我们在不同现实场景中的 NVM 代理

有障碍的楼梯

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

学习解码器的视觉重建

我们在自我监督任务中可视化合成的视觉观察。对于每个元组,第一个图像显示机器人在环境中移动,第二个图像是输入视觉观察,第三个图像是使用 3D 特征量和估计的相对相机的合成视觉观察。对于输入视觉观察,我们对图像应用大量数据增强以提高模型的鲁棒性。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

模拟中的可视化

为了了解通过我们的方法学习的策略在模拟环境中的行为方式,我们将一组具有代表性的事件和通过我们的方法学习的策略做出的相应决策可视化。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

 

 

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)

文心AIGC

2023 年 4 月
 12
3456789
10111213141516
17181920212223
24252627282930
文心AIGC
文心AIGC
人工智能ChatGPT,AIGC指利用人工智能技术来生成内容,其中包括文字、语音、代码、图像、视频、机器人动作等等。被认为是继PGC、UGC之后的新型内容创作方式。AIGC作为元宇宙的新方向,近几年迭代速度呈现指数级爆发,谷歌、Meta、百度等平台型巨头持续布局
文章搜索
热门文章
潞晨尤洋:日常办公没必要上私有模型,这三类企业才需要 | MEET2026

潞晨尤洋:日常办公没必要上私有模型,这三类企业才需要 | MEET2026

潞晨尤洋:日常办公没必要上私有模型,这三类企业才需要 | MEET2026 Jay 2025-12-22 09...
“昆山杯”第二十七届清华大学创业大赛决赛举行

“昆山杯”第二十七届清华大学创业大赛决赛举行

“昆山杯”第二十七届清华大学创业大赛决赛举行 一水 2025-12-22 17:04:24 来源:量子位 本届...
MiniMax海螺视频团队首次开源:Tokenizer也具备明确的Scaling Law

MiniMax海螺视频团队首次开源:Tokenizer也具备明确的Scaling Law

MiniMax海螺视频团队首次开源:Tokenizer也具备明确的Scaling Law 一水 2025-12...
清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开 Jay 2026-01-08 20:18:...
最新评论
ufabet ufabet มีเกมให้เลือกเล่นมากมาย: เกมเดิมพันหลากหลาย ครบทุกค่ายดัง
tornado crypto mixer tornado crypto mixer Discover the power of privacy with TornadoCash! Learn how this decentralized mixer ensures your transactions remain confidential.
ดูบอลสด ดูบอลสด Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
Obrazy Sztuka Nowoczesna Obrazy Sztuka Nowoczesna Thank you for this wonderful contribution to the topic. Your ability to explain complex ideas simply is admirable.
ufabet ufabet Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
ufabet ufabet You’re so awesome! I don’t believe I have read a single thing like that before. So great to find someone with some original thoughts on this topic. Really.. thank you for starting this up. This website is something that is needed on the internet, someone with a little originality!
ufabet ufabet Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
热评文章
摩尔线程的野心,不藏了

摩尔线程的野心,不藏了

摩尔线程的野心,不藏了 量子位的朋友们 2025-12-22 10:11:58 来源:量子位 上市后的仅15天...
摩尔线程的野心,不藏了

摩尔线程的野心,不藏了

摩尔线程的野心,不藏了 量子位的朋友们 2025-12-22 10:11:58 来源:量子位 上市后的仅15天...
AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身

AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身

AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身 量子位的朋友们 2025...
AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身

AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身

AI体育教练来了!中国团队打造SportsGPT,完成从数值评估到专业指导的智能转身 量子位的朋友们 2025...
真正面向大模型的AI Infra,必须同时懂模型、系统、产业|商汤大装置宣善明@MEET2026

真正面向大模型的AI Infra,必须同时懂模型、系统、产业|商汤大装置宣善明@MEET2026

真正面向大模型的AI Infra,必须同时懂模型、系统、产业|商汤大装置宣善明@MEET2026 量子位的朋友...