Cogact Base
模型简介
CogACT是一种源自视觉语言模型(VLM)的高级视觉语言动作(VLA)架构,通过组件化设计实现语言指令和视觉输入到机器人动作的转换。
模型特点
组件化架构
采用分离的视觉、语言和动作模块设计,而非简单量化改造VLM
多模态融合
整合视觉、语言和动作模态,实现复杂机器人操作任务
零样本迁移能力
可零样本应用于Open-X预训练混合数据集中的机器人配置
快速适应新任务
通过少量演示样本即可对新任务和机器人配置进行微调
模型能力
视觉语言理解
机器人动作预测
多模态融合
零样本迁移学习
使用案例
机器人操作
物体抓取与放置
根据语言指令和视觉输入预测抓取和放置物体的动作序列
可生成16步7自由度的标准化机器人动作
任务导向操作
执行复杂任务如"将海绵移到苹果附近"等指令
通过条件化扩散模型生成精确动作序列
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98