给现实世界按下复制键,禾赛做了一台「AI 空间相机」
很多人在准备做旧房改造时,总会想先看看换个布局是什么样子。沙发挪到另一面墙,餐桌转个方向,或者把书桌搬到窗边,房间会不会舒服一点?
可这些家具真搬起来,费力不说,折腾完还可能发现,原来的位置更合适。
让 AI 先画张效果图倒是方便,但图里的空间比例、家具大小,又未必对得上自己的家。
这个时候就有人会想,要是能把已经布置好的家扫描进电脑,在虚拟世界里挪动沙发、调整餐桌,从不同角度看看效果,满意了再动手,就省事多了。
10 月 14 日,这家以车载激光雷达为人熟知的公司发布了 Kosmo 三维世界数据引擎,包括负责采集的手持 AI 空间相机 Kosmo One,以及负责重建、编辑和管理三维资产的云平台 Kosmo World。
而禾赛也将开始扩大自己的版图,从一个深耕汽车行业的头部供应商,向具身智能领域进军。
简单来说,Kosmo One 是一个看起来像大了一号的,带着激光雷达的大疆 Pocket。
它把激光雷达与摄像头集成在一起:激光雷达测出物体的形状、距离和位置,CMOS 影像系统记录颜色、纹理与光影,再把两部分信息对齐,重建真实空间。
禾赛将激光雷达的几何精度推向了毫米级,能清晰辨识网球拍上约 5mm 间距的网孔,而这种细小结构的还原能力,直接关乎三维空间副本的细节精度。
影像部分采用一英寸 CMOS,最高支持 8K 采集,用户最终导出文件的最高分辨率为 6K。
不过这个 CMOS 的目标与常规相机并不相同,向少卿举了地板的例子,同一块地板,从不同高度、不同位置拍摄,经过相机的白平衡、曝光等处理,可能呈现出不同颜色。
影像行业常常念叨的「影调」「风格化」,到了 Kosmo 这里都是需要尽力避免的东西。
对于 Kosmo 来说,重点是保留现场原有的颜色与光影,并减少不同摄像头、不同采集时刻的处理差异,让多个视角能够组成连贯的三维场景。
Kosmo 因此为三维重建专门调教了 ISP 图像处理系统,处理跨摄像头、跨时间的画面一致性。
采集时,激光雷达、影像系统与高精度 IMU 进行微秒级同步,让画面与设备当时的位置、姿态对应起来,为重建房间提供准确的空间参照。
按照禾赛公布的数据,普通室内场景下,Kosmo One 扫描约 100 平方米的空间,只需要大约 15 分钟。同时,Kosmo One 支持即开即扫、智能指引和一键续扫,即便扫描到一半暂停,后续也可以从不同位置接续。
在高精度的加持下,Kosmo 能够做到许多当前通用 AI 很难做到的事情。
禾赛在现场用 GPT-6 Astra 做了一组对比,先从不同角度拍下同一个房间的 20 张照片,再交给模型重建环境。
GPT-6 Astra 生成场景里出现了沙发位置和形状不对、材质与光影有偏差的问题,在缺失高精数据的条件下,GPT-6 Astra 很难完整还原实际场景。
而即便将 Kosmo 采集的 3DGS 数据交给 GPT-6 Astra,物体的位置关系有所改善,但椅子的外形、花的材质等细节仍有偏差。
向少卿把不断进步的通用模型比作「大脑」,而 Kosmo One 负责提供更准确的「眼睛」。模型越来越聪明,也需要真实、可靠的空间信息作为输入。
Kosmo 将高精度采集与 AI 重建结合起来,让「眼睛」和「大脑」更好地配合,通用模型的进步,也可以继续改善 Kosmo World 的重建与生成能力。
此外,在 Kosmo World 里,AI 还会继续处理场景中的物体。
发布会演示中,系统可以根据语言提示识别沙发,将它从整个场景中分割、提取出来。沙发移走之后,原本被挡住的地毯露出了空缺,AI 再根据周围的信息补全纹理,进一步建构一个完整的世界。
如果说手持云台相机改变了不少人记录生活的方式,那么加上了空间数据的 Kosmo,也有可能改变许多人的工作方式。
皮克斯旗下工业级渲染器 RenderMan,是《玩具总动员》《曼达洛人》《侏罗纪公园》等一系列全球顶级作品的幕后渲染工具。
RenderMan 创意负责人 Dylan Sisson 将皮克斯园区的广场上标志性的台灯和彩色小球雕塑扫描进了 Kosmo。
扫描保留了现场的外观,随后可以在软件里调整数据的位置、大小和透明度,继续决定画面该呈现什么风格。
这意味着采集后留下来的场景,能够在不同制作环节被反复调用,专业工作者们能够快速在 Kosmo 构建的虚拟场景中快速迭代,尝试不同的表现方式。
扫描得到的空间,也可以成为机器人的训练场。开发者可以在仿真环境中改变物品摆放和观察视角,反复训练、测试机器人。