该模型即使只在27小时的行走数据上训练，也能转移到现实世界，并且能够泛化到训练期间未见过的命令，比如向后行走。这些发现为通过生成模型学习具有挑战性的现实世界控制任务提供了一个有希望的路径。
谷歌发布具身智能机器人RT-H
3月4日，谷歌DeepMind团队发布论文，发布了最新版的 RT 机器人——RT-H，它能通过将复杂任务分解成简单的语言指令，再将这些指令转化为机器人行动，来提高任务执行的准确性和学习效率。
举例来说，给定一项任务，如「盖上开心果罐的盖子」和场景图像，RT-H会利用视觉语言模型（VLM）预测语言动作（motion），如「向前移动手臂」和「向右旋转手臂」，然后根据这些语言动作，预测机器人的行动（action）。
这个行动层级（action hierarchy）对于提高机器人完成任务的准确性和学习效率非常有帮助，使得RT-H在一系列机器人任务中的表现都优于RT-2。
AI+应用
Perplexity接近敲定新融资，估值或翻番至10亿美元
3月5日消息，知情人士透露，旨在挑战谷歌网络搜索主导地位的AI初创公司Perplexity即将敲定一笔新的融资交易，公司估值有望达到近10亿美元，较几个月前的最新融资估值大约翻番。
Perplexity利用先进的AI模型为搜索查询提供直接答案，而不是提供网站链接列表，这也是谷歌正在研究的。知情人士称，Perplexity最近的年收入超过1000万美元。根据数据服务公司Similarweb的初步估计，该公司移动和桌面应用程序的访问量在2月增长8.6%，达到约5000万用户。
两个月前，Perplexity刚刚宣布已筹集到7400万美元资金，得到亚马逊前CEO贝索斯和风险投资公司Institutional Venture Partners的支持。这笔交易对这家初创公司的估值为5.2亿美元。
华人团队打造第一个AI软件工程师Devin
3月13日，Cognition AI在X上推出了全球首个AI软件工程师Devin。
Devin是一个自主代理（Autonomous Agent），掌握全栈技能，能自主学习不熟悉的技术，端到端地构建和部署应用程序，自己改bug，甚至还能训练和微调自己的AI模型。
在SWE-bench基准测试中，它无需人类帮助，可解决13.86%的问题。相比之下，GPT-4只能处理1.74%的问题，且都需要人类提示告知处理哪些文件。据介绍，Devin已经成功通过一家AI公司的面试，并在Upwork上完成了实际工作。
此前，Cognition AI已经获得了彼得·蒂尔的Founders Fund基金领投的2100万美元A轮融资。
DeepMind发布3D通用智能体SIMA
3月13日，Google DeepMind发布了适用于3D虚拟环境的通用智能体（A generalist AI agent for 3D virtual environments），名字命名为“SIMA”。
SIMA是一个针对游戏和3D虚拟环境的通用智能体。这标志着首次有一个智能体能够证明它可以遵循自然语言指令，在大量游戏世界中执行广泛任务，类似于人类的游玩方式。
SIMA仅依赖于3D环境提供的图像和用户给出的自然语言指令。通过鼠标和键盘的输出，它在600项技能上进行评估，这些技能涵盖了导航和对象交互等领域——例如“向左转”或“砍倒树”。
A16z发布消费级AI应用Top 100
3月13日，A16z发布了最新的全球AI产品的 Top100 榜单，分为网络产品与移动产品。16z发现，与2023年9月发布的报告相比，榜单上超过40%的公司都是新公司。
AI融资
传月之暗面获得8亿美元融资
据知情人士对外透露，月之暗面近期获得了8亿美元新融资，其中阿里投资了7.9亿美元，砺思资本投资1000万美元。
