机器东说念主模子仍是能根据"把杯子放进篮子"这类指示完成任务杭州钢绞线价格表，但用哪只手？
从哪个向执？执杯身照旧杯柄？——这些决定实验果的关节细节，现存机器东说念主数据集较少标注。
近日，来自香港大学 XLANG Lab 和阿里巴巴 Qwen 团队的不息东说念主员忽视了FineVLA，个面向可控 VLA 计谋的开源框架。
该框架让 VLA 模子不仅能完成任务，还能按照东说念主类指定的式完成任务——
用哪只手、从哪个角度接近、斗殴物体的哪个部位，都不错通过话语进行示寂。
其佳混计谋设立在 RoboTwin 仿真中达到86.8/82.5的见服从（比基线培植 +15.0/+11.1），在实在双臂机器东说念主上达到62.7/100（Raw-only 为 49.9），姿态（+23）、颜（+18）、接近向（+18）等可控身分均有培植。代码、模子和评测基准均已开源。
布景：VLA 模子为什么还不够"听话"？
VLA（Vision-Language-Action）模子已能根据当然话语完成执取、放弃等操作，但个恒久痛点仍然存在：话语监督粒度太粗。
在图像生成和生成中，翰墨描摹的细节会凯旋影响效果可控；机器东说念主计谋学习也雷同，仅仅话语需要箝制实在动作过程。
相似是把勺子提起来，不同轨迹可能用左臂或右臂、绕过袭击物或直线迁徙，但在数据齐集通常分享同条方向指示。
这会带来监督歧义：模子能学到"终要见效"，却难以从话语中学到使用哪只手、从哪个向接近、斗殴物体哪个部位等实验箝制。
当今多量机器东说念主数据集仍短少这种细粒度标注。
构建可控 VLA 系统濒临三个中枢挑战：
不毛从异构数据到细粒度标注的基础设施；
不毛评测机器东说念主细粒度合资的基准和可扩张低本钱标注器；
不毛细粒度话语是否确切培植计谋学习的系统左证。FineVLA 框架逐解决这三个问题。
本领案
FineVLA 构建了个动作 - 指示对王人的好意思满闭环，献媚细粒度数据构建、机器东说念主合资、可扩张标注和可控 VLA 计谋学习。
左侧：FineVLA-Tool 从 10 个开源数据集统异构机器东说念主轨迹，通过聚类采样去除冗余演示，并沿十个细粒度维度为代表轨迹标注动作对王人描摹。
生成的 FineVLA-Data 赈济 RoboFine-Bench（通过 Grounding VQA、ReasoningVQA 和 Caption 评测规划细粒度机器东说念主合资）和 RoboFine-VLM（面向机器东说念主的用 VLM 标注器）。
右侧：FineVLA-Policy 使用原始方向指示与细粒渡过程指示的混数据，在两种动作解码架构下熟练，并在 RoboTwin 仿真和实在双臂操作中评测。
可控示寂示例展示了细粒度话语如何指定斗殴区域、方向物体、实验臂、轨迹向和失败归附等实验敏锐身分。
FineVLA 由四个中枢组件组成，变成"数据—模子—评测—计谋"的好意思满闭环。
FineVLA-Tool：97 万条轨迹到细粒度数据
FineVLA-Tool 通过四个阶段将异构机器东说念主数据振荡为质料细粒度监督：杭州钢绞线价格表
阶段，神情统：从 Bridge V2、BC-Z、RT-1、RoboMIND 等 10 个开源数据集汇总972247 条轨迹，统调度为 LeRobot2.1 神情。
阶段二，动作步调化：将不同数据集各别的时候参考和通顺学示意统为对坐标 + 归化四元数旋转，移除动作和气象差距过大的损坏轨迹。
阶段三，DTW 聚类去重：基于动态时候规整（DTW）经营动作轨迹相似度并线索聚类，从 97 万条中筛选出47159 条代表样本，保留操作计谋千般。
阶段四，十维细粒度标注：按动作序列、实验体（左 / 右臂）、方向物体、斗殴与接近式、轨迹向、失败归附等 10 个维度标注。先由 Qwen3.5-Plus 生成，再经东说念主工审核考证。标注后平均词数从 9.3 增至 96.8（10.4 倍）。
RoboFine-VLM：让 VLM 学会描摹机器东说念主"怎样动"
通用 VLM 常漏掉物体歧义分辨、斗殴区域、通顺道径等实验细节。不息东说念主员卓越对 Qwen3.5-VL-397B-A17B 进行全参数监督微调，并基于前述东说念主工考证的细粒度指示得到RoboFine-VLM，能输出秘籍 10 个示寂维度的方法动作描摹，行为异日数据扩张的可扩张标注器。
RoboFine-Bench：评测细粒度动作合资
RoboFine-Bench包含 500 段、32 种机器东说念主时势和 11631 个原子事实，与熟练集严格不重迭，设有两个轨说念：
VQA 轨说念：包含 1030 说念问题，沿标注的十个细粒度维度分散，集聚为三个评测轴——实体与场景定位（Grounding）、动作与通顺合资（Action）、交互与气象理（State）。模子剿袭帧和一说念问题，谜底通过确定匹配评分。
Caption 轨说念：条款模子生成动作对王人的方法细粒度描摹，锚索由 LLM 评判模子输出与预索求的 11631 个原子事实的对王人进度，产出致（Consistency）、秘籍率（Coverage）和反幻觉（Anti-Hallucination）三项主意。设有两种模式：easy模式提供原始任务指示行为辅导，hard模式则条款模子仅从视觉不雅察断操作过程，不提供任何话语痕迹。
FineVLA-Policy：考证细粒度话语的计谋收益
保持视觉不雅察和动作标签不变，仅变嫌配对话语（Raw-only vs FG-only vs Mixed），严格停止话语监督果。
为系统考证细粒度标注的有，实验联想了三种计谋建设以分离架构与数据畛域的影响：RDT-OFT与RDT-GR00T使用疏通预熟练数据、不同动作解码架构（OFTvsGR00T），RDT-OFT与AlohaMix-OFT使用疏通架构、不同畛域预熟练数据（AlohaMix 约为 RDT 的 13 倍）。
每种建设均在七种 FG:Raw 指示比例下评估，确保论断不受特定架构或数据畛域的影响。
实验效果模子合资才气
RoboFine-VLM 在 VQA 轨说念获取68.2准确率，过强通用基线 GPT-5.4（60.2）+8.0个百分点；
Caption hard 设立下得到82.2，过 GPT-5.4（78.0）。自动评分与东说念主工排行度致（Spearman 0.943）。
仿实在验 RoboTwin
在 RoboTwin 上评估七种 FG:Raw 比例，揭示两个关节发现：
发现：FG-only 在扫数设立中均于 Raw-only（增益 +1.4 到 +8.1）。细粒度监督不毁伤任务见服从。
发现二：见服从呈倒 U 型趋势，峰值在 FG:Raw=1:2 到 1:1。
佳设立达86.8/82.5，比基线 +15.0/+11.1。Raw 告诉模子"作念什么"，FG 告诉模子"怎样作念"，两者互补。
实在机器东说念主实验
在 CobotMagic 双臂平台上，不息团队联想了"配对评测"：同视觉场景下，仅变嫌个话语示寂身分，不雅察计谋是否按指示变嫌实验式。下表为论文原文中的实在天下评分效果，扫数分数均归化到 100 分。
表中 Avg ( ID ) 示意 7 个 in-distribution 任务的平中分，Avg ( All ) 卓越计入 OOD L → R 组探针。FG:Raw=1:1 在 Avg ( ID ) 上达到 62.7/100（Raw-only 为 49.9，FG-only 为 54.4）；计入 OOD 后，Avg ( All ) 为 56.1（Raw-only 为 43.6）。
在具体示寂身分上，FG:Raw=1:1 比拟 Raw-only 在颜（22 → 40）、姿态（24 → 47）、接近向（60 → 78）、旋转向（76 → 86）和实验臂（60 → 64）上均有培植。较大增益齐集在方向指示未指定的身分上：姿态（+23）、颜和接近向（各 +18）。OOD L → R 条款机器东说念主使用左手将物体放入右侧碗中，是熟练中未见过的 actor-target 组；该项从 0 培植到 10/100，辅导混细粒度监督带来定的因子泛化，但好意思满的组式指示仍然具有挑战。
此外，细粒度监督还展现出 scaling 趋势：平缓架构差距（OFT vs GR00T 的 Easy/Hard 差距从 6.4/6.6 降至 0.8/0.5），且在大数据畛域下获益多。
表情价值
FineVLA 的中枢孝顺不是给数据加长描摹，而是再行界说了 VLA 学习中的话语监督粒度，并给出了明确论断：细粒度话语应当增强而非替代方向指示。
该框架为社区提供了四个可复用向：
数据层：从异构数据到细粒度标注的好意思满构建经过
模子层：用于可扩张机器东说念主细粒度标注的 RoboFine-VLM
评测层：用 VQA 和 Caption 规划 VLM 对机器东说念主合资与标注的 RoboFine-Bench
计谋层：考证混熟练培植可控的熟练
机器东说念主若要干涉怒放环境，仅听懂方向不够——它还须听懂东说念主类对"怎样作念"的条款。
有关流通论文地址：https://arxiv.org/abs/2605.27284
表情主页：https://finevla.xlang.ai/
GitHub 仓库：https://github.com/xlang-ai/FineVLA
评测基准：https://huggingface.co/datasets/xlangai/RoboFine-bench
标注模子：https://huggingface.co/xlangai/RoboFine-VLM-397B-A17B
作家团队：Xintong Hu、Xuhong Huang、Jinyu Zhang、Yutong Yao、Yuchong Sun、Qiuyue Wang、Mingsheng Li、Sicheng Xie、Yitao Liu、Junhao Chen、Yixuan Chen、Yingming Zheng、Shuai Bai、Tao Yu †。* 共同作家；† 通信作家。来自香港大学 XLANG Lab、阿里巴巴 Qwen 团队两机构。
键三连「点赞」「转发」「留心心」
迎接在挑剔区留住你的念念法！
— 完 —
咱们正在招聘名眼疾手快、表情 AI 的学术裁剪实习生 � �
感好奇艳羡的小伙伴迎接表情 � � 了解确定
� � 点亮星标 � �
科技前沿施展逐日见天津市瑞通预应力钢绞线有限公司相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》杭州钢绞线价格表，以此来变相勒索商家索要赔偿的违法恶意行为。
