- Desarrollado por NVIDIA Jetson Nano y basado en ROS
- Soporte de cámara de profundidad y Lidar para mapeo y navegación.
- Algoritmo de cinemática inversa actualizado
- Capaz de aprendizaje profundo y entrenamiento de modelos
- Nota: Este es el kit avanzado JetHexa y hay dos versiones disponibles. El kit estándar JetHexa está equipado con una cámara HD monocular, mientras que el kit avanzado JetHexa está cargado con Lidar y cámara de profundidad.
Enlace tutorial para JetHexa: https://drive.google.com/drive/folders/1YY5vy4sfUiNDoEkvPir-d634UZdzCQuT?usp=sharing
Recordatorio: las funciones de mapeo y navegación solo se aplican al kit avanzado JetHexa.
Este enlace es para JetHexa Advanced Kit: https://www.robotshop.com/en/hiwonder-jethexa-ros-hexapod-robot-kit-powered-by-jetson-nano-with-lidar- depth-camera-support- slam-mapping-navegación-kit-avanzado.html
JetHexa es un robot hexápodo de código abierto basado en Robot Operating System (ROS). Está armado con hardware de alto rendimiento, como NVIDIA Jetson Nano, servos de bus serie inteligentes, Lidar y cámara HD/cámara de profundidad 3D, que puede implementar control de movimiento de robots, mapeo y navegación, seguimiento y evitación de obstáculos, merodeo personalizado, función humana reconocimiento, interacción somatosensorial y otras funciones.
Adoptado un novedoso algoritmo de cinemática inversa, compatible con trípode y marchas onduladas y con una postura corporal, altura y velocidad altamente configurables, JetHexa brindará al usuario la mejor experiencia de uso.
JetHexa no solo sirve como una plataforma avanzada para que el usuario aprenda y verifique el movimiento del hexápodo, sino que también proporciona soluciones para el desarrollo de ROS. Para ayudar al usuario a embarcarse en un nuevo viaje del mundo robótico hexápodo de ROS, se proporcionan amplios materiales de aprendizaje y tutoriales de ROS y robots.
1. Sistema de control Jetson Nano
NVIDIA Jetson Nano es capaz de ejecutar marcos de aprendizaje profundo convencionales, como TensorFlow, PyTorch, Caffe/ Caffe2, Keras, MXNet, y proporciona una potente potencia informática para proyectos masivos de IA. Impulsado por Jetson Nano, JetHexa puede lograr reconocimiento de imágenes, detección y posicionamiento de objetos, estimación de poses, segmentación semántica, análisis inteligente y otras funciones todopoderosas.
2. Cámara monocular (con 2DOF Pan-tilt)
La cámara monocular puede girar hacia arriba, hacia abajo, hacia la derecha y hacia la izquierda, así como realizar seguimiento de color, conducción autónoma, etc.
3. Cámara de profundidad 3D
La cámara de profundidad puede procesar datos de mapas de profundidad y realizar navegación de mapas de visión 3D.
4. Aspectos destacados de ROS
1) Mapeo Lidar 2D, Navegación y Evitación de Obstáculos:
JetHexa está cargado con EAI G4 Lidar de alto rendimiento que admite el mapeo con diversos algoritmos, incluidos Cartographer, Hector, Karto y Gmapping, planificación de rutas, navegación de punto fijo y evitación de obstáculos en la navegación.
2) Mapeo y navegación de visión 3D RTAB-VSLAM:
Al admitir el mapeo de color 3D de dos maneras, visión RTAB pura y fusión de visión y Lidar, JetHexa puede navegar y evitar obstáculos en el mapa 3D y ejecutar la reubicación global.
3) Navegación multipunto y evitación de obstáculos:
Lidar puede detectar el entorno en tiempo real y permitir que JetHexa evite los obstáculos durante la navegación multipunto.
4) Datos de imagen de profundidad, imagen de nube de puntos:
Mediante la correspondiente API, JetHexa puede obtener imagen de profundidad, imagen a color e imagen de nube de puntos de la cámara.
5) Seguimiento de objetivos KCF:
Basado en el algoritmo de filtrado KCF, el robot puede rastrear el objetivo seleccionado.
6) Reconocimiento de Obstáculos con Cámara de Profundidad:
Con la ayuda de la cámara de profundidad, puede detectar el obstáculo por delante y pasar a través del obstáculo.
7) Ruta personalizada de merodeo:
El usuario puede personalizar la ruta y ordenar al robot que merodee por la ruta diseñada.
8) Seguimiento Lidar:
Al escanear el objeto en movimiento frontal, Lidar hace que el robot sea capaz de rastrear objetivos.
9) Protección Lidar:
Lidar representa el papel de proteger los alrededores y hacer sonar la alarma al detectar un intruso.
10) Reconocimiento y seguimiento de color:
Experto en reconocimiento y seguimiento de colores, el robot se puede configurar para ejecutar diferentes acciones según los colores.
11) Control de grupo:
Un grupo de JetHexa puede ser controlado por una sola manija inalámbrica para realizar acciones de manera uniforme y simultánea.
12) Formación inteligente:
Se puede controlar un lote de robots para patrullar en diferentes formaciones.
13) Cruce de cañones:
Cuando Lidar escanea el cañón por delante, el robot ajustará su postura y dirección para atravesarlo.
14) Seguimiento automático de línea:
El robot tiene la capacidad de reconocer la línea en color designada por el usuario y merodear siguiendo la línea.
15) Reconocimiento y seguimiento de etiquetas:
JetHexat es un experto en reconocer y posicionar algunas etiquetas AR al mismo tiempo.
16) Detección de postura:
El sensor IMU incorporado puede detectar la postura del cuerpo en tiempo real.
5. Algoritmo de cinemática inversa actualizado (marcha de trípode/marcha ondulada):
Cambio de marcha con un clic:
JetHexa admite el cambio entre la marcha de trípode y la marcha ondulada a voluntad.
1) "Moonwalk" en velocidad y altura fijas:
A través del algoritmo de cinemática inversa, JetHexa puede mantenerse estable durante el mapeo SLAM y el moonwalk a una velocidad constante.
2) Ajuste del ángulo de cabeceo y del ángulo de balanceo:
La postura del cuerpo, el centro de gravedad, el ángulo de cabeceo y el ángulo de balanceo altamente configurables permiten que el robot hexápodo supere todo tipo de terrenos complicados.
3) Ajuste de dirección, velocidad, altura y zancada:
JetHexa puede hacer giros y cambios de carril mientras se mueve, y admite el ajuste continuo de la velocidad lineal, la velocidad angular, la postura, la altura y la zancada.
4) Autoequilibrio corporal:
El sensor IMU incorporado se encarga de detectar la postura del cuerpo en tiempo real para disponer que el robot ajuste sus articulaciones para equilibrar el cuerpo.
6. Aprendizaje profundo y entrenamiento de modelos para la creatividad de IA
Al adoptar GoogLeNet, Yolo, mtcnn y otras redes neuronales, JetHexa domina el aprendizaje profundo para entrenar modelos. Al cargar varios modelos, puede reconocer los objetivos rápidamente para implementar proyectos complejos de IA, incluida la clasificación de desechos, la identificación de máscaras, el reconocimiento de emociones, etc.
1) Identificación de la máscara:
Con un fuerte poder de cómputo, la función de IA de JetHexa se puede expandir a través del aprendizaje profundo.
2) Clasificación de residuos:
Rápido para reconocer diferentes tarjetas de residuos, y ubicarlas en el área correspondiente en función de la categoría.
3) Reconocimiento de emociones:
JetHexa es capaz de reconocer rasgos faciales con precisión para captar cada matiz de expresión.
6. Desarrollo de MediaPipe, interacción de IA mejorada
Basado en el marco MediaPipe, JetHexa puede llevar a cabo el seguimiento del cuerpo humano, detección de manos, detección de postura, detección general, detección de rostros, detección 3D y más.
1) Control de trayectoria de la punta de los dedos
2) Control de la postura humana
3) Reconocimiento de gestos
4) Detección de rostros en 3D
7. Simulación de cenador
JetHexa emplea el marco ROS y es compatible con la simulación Gazebo. Gazebo le ofrece un nuevo enfoque para controlar JetHexa y verificar el algoritmo en un entorno simulado, lo que reduce los requisitos experimentales y mejora la eficiencia.
1) Simulación de control corporal:
Verifique el algoritmo cinemático en la simulación para evitar daños al robot debido al error del algoritmo.
2) Datos visuales:
Se proporcionan datos visuales para la observación del extremo del robot y la trayectoria del centro de gravedad para optimizar el algoritmo.
8. Varios métodos de control:
1) APLICACIÓN WonderAi
2) Aplicación Map Nav (solo Android)
3) Programas informáticos
4) Mango inalámbrico
-Varios métodos de control:
-Aplicación WonderAi
-Aplicación Map Nav (solo Android)
-Software para PC
-Mango inalámbrico
