Pi0.5¶

简介 ¶

近期研究表明，将机器人操作策略的训练数据分布从狭窄的单任务数据集拓展到涵盖众多场景和任务的多样化数据集，不仅可以使生成的策略开箱即用地解决更广泛的任务，还能提升其泛化到新场景和任务的能力。

架构 ¶

分为 Pre-Train 和 Post-Train 两部分

解决的问题：

• VLA 的泛化问题——到一个没见过的环境，VLA 的表现不好
• 对于简单的语义任务，比如拿枕头表现优秀，但是对于 High-Level 的任务，比如清理房间，效果就表现不好

训练流程 ¶

这里需要注意一下，这里用的Autoregressive是standard autoregressive next-token prediction，也就是说，真实的 FastToken 是要作为 Transformer 的输入的，因为预测的时候，比如真实为 \([Z_1,Z_2,Z_3,Z_4]\)，预测 \([\hat{Z}_1,\hat{Z}_2,\hat{Z}_3,\hat{Z}_4]\)。常规的 Autoregressive 是拿 \(\hat{Z}_1\) 去当作预测 \(\hat{Z}_2\) 的条件，但是这里是用 \(Z_1\) 去当预测 \(\hat{Z}_2\) 的条件。

Pre-train¶

和 pi0 一样，起始都是采用 PaliGemma，也就是说，一开始已经有一个会：看图片；理解语言；图像描述；VQA；的 VLM。 但它此时还不能算真正的机器人 VLA，因为它还没有系统学会：$ text{Observation}rightarrowtext{Robot Action} $ π0.5 的 Pre-training 就是在把这个 VLM“改造成 VLA”。

每次抽到什么数据，就做对应的任务。可以这样看：

统一通过：

\(\boxed{\text{Autoregressive Cross-Entropy}}\)

训练原来的 PaliGemma VLM，使其成为 VLA。

它表示的是：

pre-training 阶段把这些机器人数据、High-Level 预测和 Web 多模态任务放在一起训练，并统一做成 standard autoregressive next-token prediction。

CE-Loss 计算 ¶

这里输入的种类、训练样本很多，但无论是一个 tets( 经过 tokenize)、一个动作 ( 利用 FAST) 都最终转化为 Token 来进行 loss 计算 Cross-Entory( 交叉熵 )。​

loss 计算公式是：

这里：

• \(c_b\)：这一条样本的条件输入，比如 Image、Robot State、Prompt；
• \(y_{b,1:M_b}\)：这一条样本真正要模型预测的 token

​

Post-train¶

和 pi0 一样，这里引入了一个 Action expert，专门负责 FlowMatching 的连续动作生成

Pre-training 你已经知道，大概是：

而 Post-training 变成：

MM 和 ME 的数据还进行了一次筛选

post-training action dataset consists of the MM and ME robot data, filtered down to successful episodes that are below a fixed length threshold. ​

也就是：

筛选条件至少有两个：

$ boxed{text{episode 成功 }} $ 以及：episode 长度低于某个固定阈值 ​