- Desarrollado para educación ROS, incluye soporte para Python y aprendizaje profundo con MediaPipe para proyectos AI como reconocimiento de objetos e interacción por voz
- Con un diseño 6DOF y servos de 35KG de par, JetArm incluye una cámara HD para agarre de objetos en primera persona
- Equipado con una cámara de profundidad 3D, JetArm utiliza fusión RGB+D para agarre flexible 3D y aplicaciones AI
- El kit ultimate JetArm incluye una matriz de micrófonos y altavoz para tareas controladas por voz, incluyendo navegación y agarre
- Proporciona múltiples métodos de control, como la aplicación WonderAi (compatible con sistemas iOS y Android), mango inalámbrico, Sistema Operativo de Robots (ROS) y teclado
Descripción del Producto
JetArm es un brazo robótico de visión AI a nivel de escritorio desarrollado por Hiwonder para escenarios educativos de ROS. Está equipado con una cámara de profundidad 3D, combina tecnología de visión 3D con control de brazo robótico, y está equipado con servos de bus inteligente de alto par, control maestro NVIDIA Jetson Nano, hardware de alto rendimiento como una pantalla táctil de 18 cm, matriz de micrófonos de campo lejano y altavoces que no solo pueden realizar control de movimiento tridimensional del robot, sino también identificar, rastrear y agarrar objetos objetivo en el espacio tridimensional.
1) Visión de Profundidad, Agarre Flexible en Escena 3D
El extremo del brazo robótico JetArm está equipado con una cámara de profundidad 3D de alto rendimiento, que puede realizar reconocimiento, seguimiento y agarre de objetivos. A través de la detección de fusión RGB+D, JetArm también puede realizar agarre flexible en escena 3D.
2) Estructura de Metal Completo, Base de Rodamiento
El cuerpo del brazo robótico adopta una estructura de metal completo, y la superficie está anodizada, haciéndolo exquisito y hermoso. La base utiliza rodamientos de grado industrial para cumplir con proyectos de agarre de alta demanda.
3) Diseño de Estructura Envolvente, Cableado Hermoso
JetArm adopta un diseño de estructura envolvente, y el cableado del servo puede ocultarse dentro del fuselaje, haciendo que el exterior del fuselaje esté limpio y ordenado.
4) Matriz de Micrófonos Circular
La matriz de micrófonos circular se divide en una matriz de micrófonos y una placa base de módulo. Tiene un rendimiento general más fuerte y un rango de captación de sonido de hasta 10 m.
1. Visión de Profundidad 3D Al Interacción Mejorada
Equipado con una cámara de profundidad 3D Gemini plus, JetArm puede percibir eficazmente los cambios ambientales, permitiendo una interacción Al inteligente con los humanos.
1) Reconocimiento de Nube de Puntos de Profundidad 3D
A través del APl correspondiente de la cámara de profundidad, JetArm puede obtener el mapa de profundidad, mapa de color y mapa de nube de puntos del entorno de detección, y luego obtener los datos RGB, coordenadas de posición e información de profundidad del objeto objetivo para lograr reconocimiento de forma, clasificación de color, medición de altura, detección de material, etc.
2) Medición de Distancia de Cámara de Profundidad
Al capturar datos de nube de puntos de profundidad de un objeto, la cámara de profundidad puede determinar la distancia entre el objeto y la cámara. Esto permite una localización precisa del objeto, clasificación y seguimiento.
3) Medición de Altura de Objetivo Regional
Al obtener los datos de nube de puntos de profundidad del objeto, se puede identificar la altura del objeto, realizando así el juego de eliminar objetos altamente anormales.
4) Medición de Volumen de Objetivo Regional
Al capturar datos de nube de puntos de profundidad, la cámara de profundidad puede medir el volumen de un objeto después de reconocer su forma y altura.
2. Reconocimiento de Visión Al Seguimiento de Objetivos
La cámara de profundidad 3D de JetArm está equipada con una lente RGB. El brazo robótico utiliza OpencV como la biblioteca de procesamiento de imágenes, soporta reconocimiento de imagen inteligente Al, y puede realizar una variedad de juegos de visión inteligente como reconocimiento de color y reconocimiento de etiquetas.
1) Clasificación de Color
JetArm puede reconocer y clasificar bloques de color de diferentes colores. Además de los colores estándar, JetArm también puede reconocer una variedad de colores personalizados.
2) Reconocimiento de Etiquetas, Apilamiento Inteligente
JetArm puede reconocer diferentes AprilTags y determinar la posición del bloque de etiquetas para lograr un apilamiento inteligente.
3) Seguimiento de Objetivos
JetArm puede localizar y rastrear objetivos, y también podemos usar aprendizaje automático para que JetArm rastree más elementos objetivo entrenados.
3. Integración RGB+D para Agarre Aleatorio Espacial 3D
La cámara de profundidad 3D de JetArm combina datos RGB y de profundidad para capturar tanto el color del objeto como la información de nube de puntos de profundidad, mejorando la representación espacial. Usando el algoritmo de cinemática inversa, JetArm puede realizar tareas avanzadas de Al como agarre aleatorio de objetos espaciales 3D, clasificación y transporte, permitiendo proyectos más complejos y dinámicos.
1) Agarre Aleatorio Espacial 3D RGB+D
2) Agarre y Clasificación Espacial 3D Controlado por Voz
4. Algoritmo de Cinemática Inversa Mejorado
JetArm tiene un algoritmo de cinemática inversa de alto nivel, que puede moverse a cualquier coordenada en escena 3D, y la planificación de la trayectoria del brazo robótico también puede realizarse mediante programación en Python.
1) Detección de Objetivos, Ajuste Adaptativo de Juntas
JetArm puede detectar elementos objetivo dentro del área de reconocimiento y calcular las coordenadas de posición y el ángulo de colocación del elemento objetivo. Combinado con el algoritmo de cinemática inversa del brazo robótico, cada ángulo de junta se ajusta adaptativamente para lograr un agarre libre.
2) Control de Movimiento en Escena 3D
JetArm puede usar algoritmos de cinemática inversa para lograr movimiento lineal y planificación de trayectoria en escena 3D.
3) Proporciona Código Fuente para Modelo DH y Cinemática Inversa
Proporciona el análisis de cinemática inversa, modelo de coordenadas DH y código fuente de función de cinemática inversa del brazo robótico JetArm, e ingresa las coordenadas finales del brazo robótico acortando en gran medida el tiempo de desarrollo del proyecto.
5. Entrenamiento de Modelo de Aprendizaje Profundo
JetArm utiliza redes neuronales como GoogLeNet, Yolo y mtcnn, que pueden realizar aprendizaje profundo sobre el objetivo para generar un modelo entrenado.
1) Desarrollo MediaPipe, Interacción Al Mejorada
JetArm utiliza el marco de desarrollo MediaPipe para lograr varias funciones, como reconocimiento de cuerpo humano, reconocimiento de punta de dedo, detección de rostro y detección 3D.
2) Control de Trayectoria de Punta de Dedo
Basado en la detección de la distancia entre las puntas de los dedos, JetAmm puede realizar acciones correspondientes.
3) Clasificación de Residuos
El kit de JetArm está equipado con bloques de patrón de basura. Al cargar el modelo correspondiente, JetArm puede reconocer rápidamente diferentes tipos de basura y colocarlos en el área de clasificación correspondiente.
4) Clasificación de Artículos
Al entrenar modelos de artículos diarios y generar modelos correspondientes, con el soporte de la cámara de profundidad, JetArm puede reconocer y agarrar rápidamente artículos correspondientes al obtener la información de profundidad de los artículos.
5. Simulación Gazebo
El brazo robótico JetArm se desarrolla utilizando el marco ROS y soporta simulación GAZEBO. El brazo robótico se controla y verifica el algoritmo en un entorno virtual, lo que reduce los requisitos para el entorno experimental y mejora la eficiencia experimental.
6. Varios Métodos de Control
1) Aplicación WonderAi
2) Software para PC
3) Mango Inalámbrico
7. Guía de Selección de Configuración de JetArm
El Jetson Nano proporciona capacidades esenciales de inferencia AI, perfecto para redes neuronales simples y modelos de aprendizaje profundo, lo que lo hace ideal para aplicaciones AI de nivel de entrada. El Jetson Orin Nano ofrece 80 veces el rendimiento y la potencia de cálculo del Jetson Nano, soportando modelos de aprendizaje profundo más complejos e inferencia acelerada, lo que lo hace adecuado para aplicaciones AI avanzadas en el borde. El Jetson Orin NX aumenta la potencia de cálculo 2,5 veces sobre el Jetson Orin Nano, ofreciendo un rendimiento de inferencia AI de primer nivel para redes neuronales más grandes y tareas de aprendizaje profundo en tiempo real. ¡Esta mejora de rendimiento mejora JetArm, desbloqueando capacidades excepcionales en control de servos, tareas de visión y aprendizaje profundo en una amplia gama de aplicaciones!
