COBOT Magic – Sistema Mobile ALOHA para Embodied AI e Manipulação Móvel Bimanual
O COBOT Magic é um sistema robótico open source desenvolvido pela AgileX Robotics para teleoperação, coleta de dados, Embodied AI, treinamento de modelos e pesquisa em manipulação móvel bimanual.
Baseado no conceito Mobile ALOHA, o sistema combina uma plataforma robótica móvel com braços robóticos, câmeras e computação para permitir que pesquisadores coletem demonstrações humanas e utilizem esses dados no desenvolvimento de sistemas robóticos capazes de executar tarefas complexas.
Sua configuração de hardware utiliza quatro braços robóticos, duas câmeras posicionadas nos punhos, uma câmera superior e uma base móvel TRACER da AgileX Robotics, criando uma plataforma completa para pesquisa em mobilidade, percepção e manipulação.
Principais benefícios
- Sistema robótico open source baseado no Mobile ALOHA
- Desenvolvido para coleta de dados robóticos
- Teleoperação de corpo inteiro
- Manipulação móvel bimanual
- Configuração com quatro braços robóticos
- Duas câmeras instaladas nos punhos
- Uma câmera superior para percepção do ambiente
- Base móvel AgileX TRACER
- Coleta de demonstrações para treinamento de modelos
- Treinamento em ambientes simulados e reais
- Desenvolvimento de tarefas de pick-and-place
- Manipulação de objetos delicados
- Pesquisa em tarefas cotidianas complexas
- Aplicações em Embodied AI
- Indicado para universidades, laboratórios e centros de P&D
Aplicações
O COBOT Magic foi desenvolvido para pesquisas nas quais mobilidade, percepção, manipulação e Inteligência Artificial precisam funcionar de maneira integrada.
- Embodied AI
- Inteligência Artificial Incorporada
- Mobile ALOHA
- Coleta de dados robóticos
- Teleoperação robótica
- Manipulação móvel bimanual
- Aprendizado por demonstração
- Imitation Learning
- Treinamento de modelos robóticos
- Pick-and-place
- Manipulação de objetos
- Pesquisa em visão computacional
- Pesquisa em robótica móvel
- Automação de tarefas complexas
- Desenvolvimento de políticas de controle robótico
Recursos e diferenciais
Baseado no Mobile ALOHA
O COBOT Magic utiliza como referência o Mobile ALOHA, sistema de teleoperação de corpo inteiro desenvolvido para coleta de dados destinados à pesquisa em manipulação robótica.
A AgileX integra o código Mobile ALOHA a uma configuração de hardware preparada para pesquisa, permitindo trabalhar com coleta de demonstrações, treinamento de modelos e execução de tarefas em ambientes reais.
Manipulação móvel bimanual
Um dos principais diferenciais do COBOT Magic é a possibilidade de estudar manipulação bimanual combinada à mobilidade.
Em vez de permanecer limitado a uma bancada fixa, o sistema pode deslocar-se pelo ambiente e utilizar dois braços de manipulação para executar tarefas que exigem coordenação entre diferentes movimentos.
Quatro braços robóticos
A arquitetura de hardware é baseada em quatro braços robóticos, permitindo estruturar um sistema no qual braços de ensino são utilizados durante a teleoperação e braços executores reproduzem as ações.
Essa configuração cria uma interface física intuitiva para geração de demonstrações utilizadas em pesquisa e treinamento de sistemas inteligentes.
Visão através de múltiplas câmeras
O COBOT Magic utiliza duas câmeras instaladas nos punhos e uma câmera superior, proporcionando diferentes perspectivas durante a execução das tarefas.
As câmeras posicionadas próximas aos efetuadores fornecem informações importantes durante a interação com objetos, enquanto a câmera superior oferece uma visão mais ampla da área de trabalho.
Base móvel TRACER
A mobilidade do sistema é proporcionada pela plataforma TRACER da AgileX Robotics, um robô móvel com movimentação diferencial.
A utilização de uma base móvel permite desenvolver aplicações nas quais o robô precisa navegar pelo ambiente antes ou durante a execução de tarefas de manipulação.
Coleta de dados por demonstração
Durante a coleta de dados, o operador controla os braços de ensino para demonstrar como uma determinada tarefa deve ser executada.
Esse processo permite registrar demonstrações que posteriormente podem ser utilizadas no treinamento de modelos capazes de reproduzir comportamentos e estratégias de manipulação.
Treinamento em simulação e ambiente real
O ambiente Mobile ALOHA pode ser utilizado para coleta de dados e treinamento de modelos tanto em cenários simulados quanto em situações reais.
Essa abordagem permite desenvolver, testar e aperfeiçoar modelos antes de ampliar sua utilização em experimentos físicos.
De pick-and-place a tarefas complexas
O COBOT Magic pode ser utilizado para tarefas relativamente simples, como pegar e posicionar objetos, e também para pesquisas envolvendo sequências de manipulação mais sofisticadas.
A AgileX demonstra aplicações envolvendo navegação em espaços com obstáculos, abertura de caixas, manipulação de objetos delicados, rega de plantas, organização de objetos e até tarefas relacionadas ao preparo de alimentos.
Configuração do Sistema
| Tipo | Sistema robótico open source para teleoperação e coleta de dados |
|---|---|
| Arquitetura | Mobile ALOHA |
| Braços robóticos | 4 braços robóticos |
| Câmeras nos punhos | 2 câmeras |
| Câmera superior | 1 câmera |
| Base móvel | AgileX TRACER com movimentação diferencial |
| Operação | Teleoperação de corpo inteiro |
| Manipulação | Manipulação móvel bimanual |
| Coleta de dados | Demonstrações de tarefas através dos braços de ensino |
| Treinamento | Ambientes simulados e reais |
| Arquitetura de software | Open source com integração do Mobile ALOHA |
| Aplicações principais | Embodied AI, coleta de dados, manipulação bimanual, teleoperação e pesquisa em robótica |
Coleta de dados para Embodied AI
O treinamento de sistemas de Inteligência Artificial Incorporada depende de dados capazes de representar como ações físicas são executadas no mundo real.
O COBOT Magic permite gerar esses dados através de teleoperação, registrando demonstrações de tarefas realizadas pelo operador para posterior utilização no desenvolvimento e treinamento de modelos robóticos.
Aprendizado por demonstração
Em vez de programar manualmente cada movimento necessário para completar uma tarefa, pesquisadores podem demonstrar fisicamente a sequência desejada utilizando os braços de ensino.
Os dados dessas demonstrações podem alimentar técnicas de aprendizado por demonstração e imitation learning, permitindo investigar sistemas capazes de aprender comportamentos a partir de exemplos.
Manipulação bimanual em movimento
A combinação entre dois braços executores e uma base móvel amplia significativamente o espaço de trabalho do sistema.
O robô pode se deslocar até diferentes áreas e posteriormente utilizar os braços de forma coordenada para interagir com objetos, permitindo pesquisar tarefas que seriam difíceis de realizar utilizando apenas um manipulador fixo.
Pesquisa de tarefas cotidianas complexas
O COBOT Magic permite ir além dos experimentos tradicionais de manipulação realizados sobre uma bancada.
A AgileX demonstra o sistema realizando atividades como navegar em ambientes com objetos, regar plantas, abrir caixas, manipular itens delicados e executar sequências relacionadas ao preparo de alimentos.
Esses cenários tornam a plataforma especialmente interessante para pesquisa sobre robôs capazes de compreender e executar tarefas do cotidiano.
Da coleta de dados à execução autônoma
O COBOT Magic permite estruturar um fluxo completo de pesquisa no qual demonstrações são coletadas, os dados são utilizados para treinamento e os modelos resultantes são posteriormente avaliados no sistema robótico.
Essa integração reduz a distância entre coleta de dados, desenvolvimento de algoritmos e experimentação física, criando uma plataforma adequada para pesquisa avançada em Inteligência Artificial e robótica.
Ideal para
- Universidades
- Laboratórios de robótica
- Centros de P&D
- Instituições de pesquisa
- Pesquisa em Embodied AI
- Inteligência Artificial Incorporada
- Pesquisa em Mobile ALOHA
- Coleta de dados robóticos
- Teleoperação
- Manipulação bimanual
- Manipulação móvel
- Aprendizado por demonstração
- Imitation Learning
- Treinamento de modelos robóticos
- Pesquisa em tarefas autônomas complexas
