- Impulsado por IA y Compatible con ROS: JetArm Pro es un brazo robótico de alto rendimiento impulsado por módulos Jetson, totalmente compatible con ROS1/ROS2 e ideal para desarrollo avanzado de IA y b
- Potente Visión 3D y Hardware: Cuenta con seis servos inteligentes de alto torque, una cámara de profundidad 3D, una pantalla táctil de 7 pulgadas y una matriz de micrófonos para agarre preciso, segui
- Interacción Natural Humano-Robot: Combina visión 3D con IA impulsada por ChatGPT para una interacción intuitiva, multimodal e inteligencia incorporada.
- Expansión Multimodal Versátil: Se integra fácilmente con ruedas Mecanum, rieles deslizantes y transportadores para construir sistemas de transporte inteligentes y flujos de trabajo de automatización
- Tecnología de Vanguardia con Soporte Completo de Aprendizaje: Cubre ROS, visión, aprendizaje profundo y simulación con tutoriales completos, empoderando a los usuarios para dominar la robótica impuls
Descripción del Producto
JetArm Pro es un robot multimodal impulsado por IA diseñado para la educación basada en ROS. Mejorado a partir del brazo robótico JetArm, admite complementos modulares como chasis mecanum/tanque, riel deslizante y cinta transportadora, lo que permite aplicaciones como transporte inteligente, seguimiento de línea de visión e incluso sistemas automatizados de clasificación de IA. Con soporte integrado para modelos grandes multimodales e integración con plataformas como ChatGPT, JetArm Pro puede percibir, planificar y ejecutar tareas complejas de IA incorporada. Hiwonder proporciona código abierto, recursos de aprendizaje y experimentos prácticos para ayudar a los usuarios a construir y explorar fácilmente sus propios proyectos de IA.
1) Visión de Profundidad, Agarre Flexible en Escena 3D
El extremo del brazo robótico JetArm Pro está equipado con una cámara de profundidad 3D de alto rendimiento, que puede realizar reconocimiento de objetivos, seguimiento y agarre. A través de la detección de fusión RGB+D, JetArm Pro también puede realizar agarre flexible en escena 3D.
2) Estructura Metálica Completa, Base de Rodamiento
El cuerpo del brazo robótico adopta una estructura completamente metálica, y la superficie está anodizada, haciéndola exquisita y hermosa. La base utiliza rodamientos de grado industrial para cumplir con proyectos de agarre de alta demanda.
3) Diseño de Estructura Envolvente, Cableado Hermoso
JetArm Pro adopta un diseño de estructura envolvente, y el cableado del servo puede ocultarse dentro del fuselaje, haciendo que el exterior del fuselaje esté limpio y ordenado.
4) Matriz Circular de Micrófonos
JetArm Pro viene con una matriz circular de 6 micrófonos que ofrece una excelente reducción de ruido y captura de audio clara. Admite funciones avanzadas como localización de fuentes de sonido, reconocimiento de voz, anuncios de voz y control por voz.
1. Diseño de Doble Controlador para Colaboración Eficiente
1) Controlador Principal
● Controlador ROS (JETSON Orin Nano)
● Procesamiento de Imágenes de Profundidad
● Interacción de Voz Hombre-Máquina
● Algoritmos Avanzados de IA
● Redes Neuronales Profundas
● Procesamiento de Imágenes Visuales de IA
2) Subcontrolador
● Controlador de Robot STM32
● Control y Retroalimentación de Servos
● Monitoreo del Estado de Energía
2. Expansión Multimodal
JetArmPro está construido sobre una arquitectura modular que admite una variedad de extensiones multimodales, incluyendo chasis de ruedas Mecanum, chasis de tanque, riel deslizante y cinta transportadora. Estas mejoras permiten una amplia gama de aplicaciones creativas como transporte móvil, manejo inteligente y seguimiento de línea. Además, proporciona una base sólida para desarrollar escenarios avanzados de IA como sistemas de clasificación automatizados. (Compatible solo con ROS2)
1) Complemento de Chasis de Ruedas Mecanum
El chasis de ruedas Mecanum adopta un diseño de suspensión de péndulo, asegurando que las cuatro ruedas permanezcan en contacto con el suelo, incluso en superficies irregulares. Esto permite que JetArm Pro realice movimientos omnidireccionales de 360 grados y rotación en el lugar, proporcionando movilidad flexible y estable en diversos entornos de operación.
2) Complemento de Chasis de Tanque
El chasis con orugas cuenta con pistas antideslizantes de alta calidad, motores de codificador de precisión y un sistema de tracción de múltiples ruedas, permitiendo que JetArm Pro logre movimientos precisos y giros en cualquier dirección.
3) Complemento de Riel Deslizante
Impulsado por un motor paso a paso, el riel deslizante proporciona hasta 500 mm de recorrido efectivo, ampliando en gran medida el rango de movimiento del brazo robótico en el escritorio. Esto permite una gama más amplia de aplicaciones creativas impulsadas por IA avanzada.
4) Complemento de Cinta Transportadora
Diseñada para el transporte suave y confiable de varios objetos, la cinta transportadora cuenta con velocidad y dirección ajustables, lo que la hace perfecta para crear soluciones de manejo y logística automatizadas impulsadas por IA.
3. Función de Chasis Móvil
JetArm Pro admite complementos de chasis de ruedas mecanum y tanque, permitiendo capacidades de transporte inteligente, movilidad y seguimiento de línea. Su diseño desmontable permite cambiar fácilmente entre un brazo robótico de escritorio y un robot móvil, adaptándose sin problemas a diferentes casos de uso y entornos.
1) Control de Aplicación
La aplicación le permite recibir la transmisión de cámara en vivo FPV desde la cámara de JetArm Pro y controlar remotamente los movimientos del robot.
2) Controlador Inalámbrico
Usando un controlador inalámbrico, puede controlar remotamente los movimientos de JetArm Pro. A través de la programación, puede realizar una variedad de acciones.
3) Seguimiento de Objetivos
JetArm Pro puede identificar objetivos dentro de su campo de visión y bloquear y seguir continuamente sus movimientos en tiempo real.
4) Seguimiento de Línea de Visión
JetArm Pro admite la selección de color personalizada, y el robot puede identificar líneas de color y seguirlas.
4. Función de Riel Deslizante
JetArm Pro admite la expansión de riel deslizante. El controlador se comunica a través de I2C para controlar directamente el motor paso a paso en el riel deslizante, extendiendo su alcance para tareas de agarre y manejo. Puede calcular con precisión la distancia de movimiento del riel, permitiendo operaciones precisas de transporte, clasificación y apilamiento.
1) Controlador Inalámbrico
Usando un controlador inalámbrico, puede controlar de manera precisa e instantánea el movimiento de JetArm Pro a lo largo del riel deslizante, permitiendo tareas de agarre y clasificación eficientes y precisas.
2) Clasificación de Colores
Aprovechando los algoritmos de OpenCV, JetArm Pro puede identificar y rastrear con precisión objetivos dentro de su campo de visión. Combinado con cinemática inversa avanzada, realiza tareas de clasificación con agilidad y precisión.
3) Clasificación de Residuos
Impulsado por el entrenamiento del modelo YOLOv8, JetArm Pro detecta rápidamente varios tipos de "residuos" y utiliza cinemática inversa para clasificarlos y colocarlos con precisión en categorías designadas.
4) Clasificación de Etiquetas
JetArm Pro detecta con precisión varios marcadores AprilTag y determina autónomamente sus coordenadas. Luego recoge y clasifica los objetos etiquetados en ubicaciones especificadas.
5. Función de Cinta Transportadora Motorizada
Al combinar la cinta transportadora motorizada con un sistema de visión, JetArm Pro puede rastrear y recoger con precisión objetos que se mueven en la cinta en tiempo real, clasificándolos en zonas especificadas. Esto permite la simulación de una línea de producción industrial de lazo cerrado, lo que la convierte en una opción ideal para escenarios de clasificación automatizada impulsados por IA.
1) Controlador Inalámbrico
El controlador inalámbrico permite el control en tiempo real de la dirección de la cinta transportadora, trabajando sin problemas con JetArm Pro para habilitar escenarios de clasificación eficientes e inteligentes.
2) Control de Velocidad
La cinta transportadora ofrece control de velocidad ajustable, alcanzando hasta 50 mm/s, y admite una carga máxima de alrededor de 3 kg, perfecta para una variedad de tareas de manejo y clasificación.
3) Control de Dirección
Programe fácilmente la cinta transportadora para moverse en cualquier dirección.
4) Clasificación de Colores
JetArm Pro puede identificar automáticamente objetos en la cinta transportadora y, a través del control programable, recogerlos y clasificarlos en áreas especificadas con precisión.
6. Aplicaciones de IA Incorporada Impulsadas por Modelos de IA Grandes
El Kit Ultimate de JetArm Pro está equipado con una matriz circular de 6 micrófonos. Más allá del patrón de comando-respuesta unidireccional de los modelos de IA tradicionales, JetArm Pro, impulsado por ChatGPT, permite un salto cognitivo desde la comprensión semántica hasta la ejecución física, mejorando significativamente la naturalidad y fluidez de la interacción hombre-máquina. Combinado con visión por máquina avanzada, JetArm Pro ofrece capacidades sobresalientes en percepción, razonamiento y acción, lo que lo hace ideal para desarrollar aplicaciones sofisticadas de IA incorporada.
1) Control por Voz
Con la integración de ChatGPT, JetArm Pro puede comprender comandos hablados y llevar a cabo acciones correspondientes, permitiendo una interacción intuitiva y fluida controlada por voz.
2) Clasificación de Colores
Con el apoyo de ChatGPT, JetArm Pro puede comprender los comandos del usuario y, cuando se combina con visión por IA, identificar y clasificar con precisión objetos basados en sus colores dentro de su campo de visión.
3) Clasificación de Residuos
JetArm Pro aprovecha el modelo de aprendizaje profundo YOLOv8 incorporado en su sistema para reconocer diferentes tipos de objetos en la escena. Con el poder de ChatGPT, puede interpretar comandos del usuario y realizar acciones correspondientes, como la clasificación de residuos.
4) Clasificación de Objetos 3D
Equipado con una cámara de profundidad 3D, JetArm Pro puede detectar objetos de varias formas dentro de su campo de visión. Cuando se combina con ChatGPT, comprende las instrucciones del usuario y lleva a cabo las acciones requeridas.
5) Detección en Tiempo Real
JetArm Pro, impulsado por ChatGPT de OpenAI, puede comprender comandos del usuario y analizar inteligentemente escenas. Proporciona retroalimentación en tiempo real sobre el contenido de la imagen y las características del objeto tanto a través de texto como de voz.
6) Seguimiento de Visión
Al integrar ChatGPT con el modelo visual grande de OpenRouter, JetArm Pro puede interpretar con precisión los comandos del usuario para identificar y localizar objetos dentro de su campo de visión. Combinado con algoritmos de cinemática inversa, permite un seguimiento de objetivos preciso y receptivo.
7) Transporte Inteligente
Utilizando el modelo visual grande de OpenRouter, JetArm Pro puede identificar objetos objetivo, recuperar sus datos de posición y, con la ayuda de ChatGPT, analizar comandos del usuario para mover objetos a ubicaciones especificadas.
8) Asistente Inteligente para el Hogar
Gracias a su modelo grande multimodal integrado, JetArm Pro es capaz de reconocer y analizar objetos dentro de su vista. Combinado con ChatGPT, comprende comandos del usuario y ofrece respuestas verbales y físicas apropiadas.
7. Despliegue de Modelos Multimodales
JetArm integra un Modelo de IA Grande Multimodal y admite el despliegue en línea a través de la API de OpenAI, permitiendo el acceso en tiempo real a capacidades avanzadas de IA. También permite cambiar sin problemas a modelos alternativos, como los disponibles a través de OpenRouter, para admitir aplicaciones del Modelo de Lenguaje Visual. En su núcleo, JetArm está diseñado como un centro de interacción todo en uno construido alrededor de ChatGPT, permitiendo casos de uso sofisticados de IA incorporada y creando una experiencia de interacción hombre-máquina suave e intuitiva.
1) Modelo de Lenguaje Grande
Con la integración del Modelo Grande de ChatGPT, JetArm opera como un "supercerebro", capaz de comprender diversos comandos del usuario y responder de manera inteligente y contextual.
2) Modelo de Voz Grande
Impulsado por una matriz de 6 micrófonos, JetArm ahora tiene "oídos" y "voz", permitiéndole escuchar su voz y responder en tiempo real. Impulsado por un modelado de lenguaje de voz de transmisión de extremo a extremo avanzado y procesamiento de lenguaje natural, ofrece una interacción de voz suave y natural.
3) Modelo de Lenguaje Visual
JetArm se integra con el Modelo Visual Grande de OpenRouter, permitiendo una comprensión y análisis avanzados de imágenes. Puede identificar y localizar con precisión objetos dentro de escenas visuales complejas, al tiempo que ofrece descripciones detalladas que cubren nombres de objetos, características y otros atributos relevantes.
8. Interacción Mejorada de IA con Visión de Profundidad 3D
Equipado con una cámara de profundidad 3D Gemini plus, JetArm puede percibir eficazmente los cambios ambientales, permitiendo una interacción inteligente de IA con humanos.
1) Reconocimiento de Nube de Puntos de Profundidad 3D
A través de la API correspondiente de la cámara de profundidad, JetArm puede obtener el mapa de profundidad, el mapa de color y el mapa de nube de puntos del entorno de detección, y luego obtener los datos RGB, las coordenadas de posición y la información de profundidad del objeto objetivo para lograr reconocimiento de formas, clasificación de colores, medición de altura, detección de materiales, etc.
2) Medición de Distancia de Cámara de Profundidad
Al capturar datos de nube de puntos de profundidad de un objeto, la cámara de profundidad puede determinar la distancia entre el objeto y la cámara. Esto permite la localización precisa de objetos, clasificación y seguimiento.
3) Medición de Altura de Objetivo Regional
Al obtener los datos de nube de puntos de profundidad del objeto, se puede identificar la altura del objeto, realizando así el juego de eliminar objetos altamente anormales.
4) Medición de Volumen de Objetivo Regional
Al capturar datos de nube de puntos de profundidad, la cámara de profundidad puede medir el volumen de un objeto después de reconocer su forma y altura.
9. Reconocimiento de Visión de IA Seguimiento de Objetivos
La cámara de profundidad 3D de JetArm está equipada con una lente RGB. El brazo robótico utiliza OpenCV como la biblioteca de procesamiento de imágenes, admite reconocimiento de imágenes inteligente de IA y puede realizar una variedad de juegos de visión inteligente como reconocimiento de colores y reconocimiento de etiquetas.
1) Clasificación de Colores
JetArm puede reconocer y clasificar bloques de colores de diferentes colores. Además de los colores estándar, JetArm también puede reconocer una variedad de colores personalizados.
2) Reconocimiento de Etiquetas, Apilamiento Inteligente
JetArm puede reconocer diferentes AprilTags y determinar la posición del bloque de etiquetas para lograr un apilamiento inteligente.
3) Seguimiento de Objetivos
JetArm puede localizar y rastrear objetivos, y también podemos usar aprendizaje automático para que JetArm rastree más elementos objetivo entrenados.
10. Integración RGB+D para Agarre Aleatorio Espacial 3D
La cámara de profundidad 3D de JetArm combina datos RGB y de profundidad para capturar tanto el color del objeto como la información de la nube de puntos de profundidad, mejorando la representación espacial. Usando el algoritmo de cinemática inversa, JetArm puede realizar tareas avanzadas de IA como agarre aleatorio de objetos espaciales 3D, clasificación y transporte, permitiendo proyectos más complejos y dinámicos.
1) Agarre Aleatorio Espacial 3D RGB+D
2) Agarre y Clasificación Espacial 3D Controlados por Voz
11. Algoritmo de Cinemática Inversa Mejorado
JetArm tiene un algoritmo de cinemática inversa de alto nivel, que puede moverse a cualquier coordenada en escena 3D, y la planificación de la trayectoria del brazo robótico también se puede realizar mediante programación en Python.
1) Detección de Objetivos, Ajuste Adaptativo de Juntas
JetArm puede detectar elementos objetivo dentro del área de reconocimiento y calcular las coordenadas de posición y el ángulo de colocación del elemento objetivo. Combinado con el algoritmo de cinemática inversa del brazo robótico, cada ángulo de junta se ajusta adaptativamente para lograr un agarre libre.
2) Control de Movimiento en Escena 3D
JetArm puede usar algoritmos de cinemática inversa para lograr movimiento lineal y planificación de trayectoria en escena 3D.
3) Proporciona Código Fuente para Modelo DH y Cinemática Inversa
Proporciona el análisis de cinemática inversa, modelo DH de coordenadas y código fuente de función de cinemática inversa del brazo robótico JetArm, e ingresa las coordenadas finales del brazo robótico acortando en gran medida el tiempo de desarrollo del proyecto.
12. Entrenamiento de Modelos de Aprendizaje Profundo
JetArm integra tecnologías avanzadas de redes neuronales, aprovechando YOLOv8 para la detección de múltiples objetos en tiempo real. Permite el entrenamiento de modelos de aprendizaje profundo personalizados para objetos específicos, produciendo modelos livianos optimizados para aceleración TensorRT, desbloqueando una amplia gama de posibilidades creativas impulsadas por IA.
1) Clasificación de Residuos - El kit de JetArm está equipado con bloques de patrones de basura. Al cargar el modelo correspondiente, JetArm puede reconocer rápidamente diferentes tipos de basura y colocarlos en el área de clasificación correspondiente.
2) Clasificación de Artículos - Al entrenar modelos de artículos diarios y generar modelos correspondientes, con el apoyo de cámaras de profundidad, JetArm puede reconocer y agarrar rápidamente artículos correspondientes al obtener la información de profundidad de los artículos.
13. Desarrollo de MediaPipe, Interacción de IA Mejorada
Aprovechando el marco de desarrollo de MediaPipe, JetArm habilita funciones como reconocimiento de gestos, control de movimiento y seguimiento facial.
1) Reconocimiento de Gestos
JetArm puede reconocer varios gestos, permitiendo controles interactivos y atractivos basados en gestos.
2) Seguimiento Facial
JetArm puede reconocer rostros humanos y recuperar sus coordenadas, permitiendo un seguimiento facial preciso al integrar cinemática inversa y algoritmos PID.
3) Control de Trayectoria de Puntas de Dedos
Basado en la detección de la distancia entre las puntas de los dedos, JetArm puede realizar acciones correspondientes.
14. Simulación Gazebo
El brazo robótico JetArm se desarrolla utilizando el marco ROS y admite simulación GAZEBO. El brazo robótico se controla y verifica el algoritmo en un entorno virtual, lo que reduce los requisitos para el entorno experimental y mejora la eficiencia experimental.
15. Cinemática Movelt
JetArm Pro integra simulación Movelt, permitiéndole controlar el brazo robótico y validar algoritmos en un entorno virtual. Esto minimiza la dependencia de laboratorios físicos y acelera el proceso de desarrollo.
1) Modelo de Simulación de Cinemática URDF
Una réplica virtual a escala precisa del robot físico. La herramienta Movelt ofrece una interfaz visual con características como operación de arrastrar y soltar, control de posición preestablecido y evitación de obstáculos en el movimiento del brazo robótico.
2) Control de Simulación / Planificación de Movimiento
Controle los movimientos del brazo robótico en tiempo real a través de una interfaz de simulación visual, ejecutando acciones que coinciden precisamente con el modelo.
3) Detección de Colisiones
Cree obstáculos dentro del entorno de simulación y opere el brazo robótico, que evitará autónomamente colisiones durante el movimiento.
4) Agarre Espacial
Personalice la escena de planificación para conducir el brazo robótico en la realización de tareas como agarre, colocación y clasificación, con detección de colisiones integrada para el entorno.
16. Varios Métodos de Control
1) Aplicación WonderAi
2) Software para PC
3) Mango Inalámbrico
17. Guía de Selección de Configuración de JetArm Pro
El Jetson Nano proporciona capacidades esenciales de inferencia de IA, perfecto para redes neuronales simples y modelos de aprendizaje profundo, lo que lo hace ideal para aplicaciones de IA de nivel de entrada. El Jetson Orin Nano ofrece 80 veces el rendimiento y la potencia de cálculo del Jetson Nano, admitiendo modelos de aprendizaje profundo más complejos e inferencia acelerada, lo que lo hace adecuado para aplicaciones avanzadas de IA en el borde. El Jetson Orin NX aumenta la potencia de cálculo 2.5 veces sobre el Jetson Orin Nano, ofreciendo un rendimiento de inferencia de IA de primer nivel para redes neuronales más grandes y tareas de aprendizaje profundo en tiempo real. Esta mejora de rendimiento mejora JetArm Pro, desbloqueando capacidades excepcionales en control de servos, tareas de visión y aprendizaje profundo en una amplia gama de aplicaciones.
