从一个world bench 开始研究了,它有一个估计物理参数。然后我仔细看了像素的位置和相机参数,相机在三维世界的位置和旋转,深度,这些可以唯一确定一个三维世界的点。
发现这还挺巧妙的,然后李飞飞的Atlas专门把相机位姿作为一种原生输入模态训进了模型,以前是用prompt描述相机位资的,我感觉这个非常make sense啊,这样相机的像素移动就可以对标真实世界的运动了。机器人atlas 世界模型世界模型李飞飞

从一个world bench 开始研究了,它有一个估计物理参数。然后我仔细看了像素的位置和相机参数,相机在三维世界的位置和旋转,深度,这些可以唯一确定一个三维世界的点。
发现这还挺巧妙的,然后李飞飞的Atlas专门把相机位姿作为一种原生输入模态训进了模型,以前是用prompt描述相机位资的,我感觉这个非常make sense啊,这样相机的像素移动就可以对标真实世界的运动了。机器人atlas 世界模型世界模型李飞飞
