- Desarrollado por NVIDIA Jetson Nano y basado en el sistema operativo de robot (ROS)
- Algoritmo de cinemática inversa actualizado para un rendimiento mejorado
- Capaz de aprendizaje profundo y entrenamiento de modelos
- Hay dos versiones del kit estándar JexHexa disponibles; el kit estándar está equipado con una cámara HD monocular, mientras que el kit avanzado está cargado con una cámara Lidar y de profundidad
- Nota: las funciones de mapeo y navegación solo se aplican al kit avanzado JexHexa
El Hiwonder Jethexa ROS Hexapod Robot Kit w/ Jetson Nano & Monocular HD Camera (Standard Kit) ha adoptado un novedoso algoritmo de cinemática inversa, compatible con marchas de trípode y onduladas, y con una postura corporal, altura y velocidad altamente configurables, brindará a los usuarios una experiencia definitiva.
Jehexa no solo sirve como una plataforma avanzada para que los usuarios aprendan y verifiquen el movimiento de los hexápodos, sino que también proporciona soluciones para el desarrollo de ROS. Para ayudar a los usuarios a embarcarse en un nuevo viaje del mundo robótico hexápodo de ROS, se proporcionan amplios materiales de aprendizaje y tutoriales de ROS y robots.
1. Sistema de control Jetson Nano
NVIDIA Jetson Nano es capaz de ejecutar marcos de aprendizaje profundo convencionales, como TensorFlow, PyTorch, Caffe/ Caffe2, Keras, MXNet, y proporciona una potente potencia informática para proyectos masivos de IA. Impulsado por Jetson Nano, Jehexa puede lograr reconocimiento de imágenes, detección y posicionamiento de objetos, estimación de poses, segmentación semántica y otras funciones todopoderosas.
2. Cámara monocular (con inclinación panorámica 2DOF)
La cámara monocular puede girar hacia arriba, abajo, derecha e izquierda, así como realizar seguimiento de color, conducción autónoma, etc.
3. Cámara de profundidad 3D
La cámara de profundidad puede procesar datos de mapas de profundidad y realizar navegación de mapas de visión 3D.
4. Aspectos destacados de ROS
1) Mapeo Lidar 2D, Navegación y Evitación de Obstáculos:
Jehexa está cargado con EAI G4 Lidar de alto rendimiento que admite el mapeo con diversos algoritmos, incluidos Cartographer, Hector, Karto y Gmapping, planificación de rutas, navegación de punto fijo y evitación de obstáculos en la navegación.
2) Mapeo y navegación de visión 3D RTAB VSLAM:
Al admitir el mapeo de color 3D de dos maneras, visión RTAB pura y fusión de visión y Lidar, Jehexa puede navegar y evitar obstáculos en mapas 3D y ejecutar la reubicación global.
3) Navegación multipunto y evitación de obstáculos:
Lidar puede detectar el entorno en tiempo real y dejar que Jehexa evite los obstáculos durante la navegación multipunto.
4) Datos de imagen de profundidad, imagen de nube de puntos:
Mediante la API correspondiente, Jehexa puede obtener imagen de profundidad, imagen a color e imagen de nube de puntos de la cámara.
5) Seguimiento de objetivos KCF:
Basado en el algoritmo de filtrado KCF, el robot puede rastrear el objetivo seleccionado.
6) Reconocimiento de Obstáculos con Cámara de Profundidad:
Con la ayuda de la cámara de profundidad, puede detectar el obstáculo por delante y pasar a través del obstáculo.
7) Ruta personalizada de merodeo:
Los usuarios pueden personalizar la ruta y ordenar al robot que merodee por la ruta diseñada.
8) Seguimiento Lidar:
Al escanear el objeto en movimiento frontal, Lidar hace que el robot sea capaz de rastrear objetivos.
9) Protección Lidar:
Lidar representa el papel de proteger los alrededores y hacer sonar la alarma cuando detecta un intruso.
10) Reconocimiento y seguimiento de color:
Experto en reconocimiento y seguimiento de colores, el robot se puede configurar para ejecutar diferentes acciones según los colores.
11) Control de grupo:
Un grupo de Jehexa puede controlarse con una sola manija inalámbrica para realizar acciones de manera uniforme y simultánea.
12) Formación inteligente:
Se puede controlar un lote de robots para patrullar en diferentes formaciones.
13) Cruce de cañones:
Cuando Lidar escanea el cañón por delante, el robot ajustará su postura y dirección para atravesarlo.
14) Seguimiento automático de línea:
El robot tiene la capacidad de reconocer la línea en el color designado por el usuario y merodear siguiendo la línea.
15) Reconocimiento y seguimiento de etiquetas:
Jehexa es un experto en reconocer y posicionar algunas etiquetas AR al mismo tiempo.
16) Detección de postura:
El sensor IMU incorporado puede detectar la postura del cuerpo en tiempo real.
5. Algoritmo de cinemática inversa actualizado (marcha de trípode/marcha ondulada):
Cambio de marcha con un clic:
Jehexa admite el cambio entre la marcha de trípode y la marcha ondulada a voluntad.
1) "Moonwalk" en velocidad y altura fijas:
A través del algoritmo de cinemática inversa, Jehexa puede mantener la estabilidad durante el mapeo SLAM y el moonwalk a una velocidad constante.
2) Ajuste del ángulo de cabeceo y del ángulo de balanceo:
La postura del cuerpo, el centro de gravedad, el ángulo de cabeceo y el ángulo de balanceo altamente configurables permiten que el robot hexápodo supere todo tipo de terrenos complicados.
3) Ajuste de dirección, velocidad, altura y zancada:
Jehexa puede hacer giros y cambiar de carril mientras se mueve, y admite el ajuste continuo de la velocidad lineal, la velocidad angular, la postura, la altura y la zancada.
4) Autoequilibrio corporal:
El sensor IMU incorporado se encarga de detectar la postura del cuerpo en tiempo real para disponer que el robot ajuste sus articulaciones para equilibrar el cuerpo.
6. Aprendizaje profundo y entrenamiento de modelos para la creatividad de IA
Al adoptar GoogLeNet, Yolo, mtcnn y otras redes neuronales, Jehexa domina el aprendizaje profundo para entrenar modelos. Al cargar varios modelos, puede reconocer objetivos rápidamente para implementar proyectos complejos de IA, incluida la clasificación de desechos, la identificación de máscaras, el reconocimiento de emociones, etc.
1) Identificación de la máscara:
Con un fuerte poder de cómputo, la función de IA de Jethexas se puede expandir a través del aprendizaje profundo.
2) Clasificación de residuos:
Rápido para reconocer diferentes tarjetas de residuos, y ubicarlas en el área correspondiente en función de la categoría.
3) Reconocimiento de emociones:
Jehexa es capaz de reconocer los rasgos faciales con precisión para captar cada matiz de expresión.
6. Desarrollo de MediaPipe, interacción de IA mejorada
Basado en el marco MediaPipe, Jehexa puede llevar a cabo el seguimiento del cuerpo humano, detección de manos, detección de postura, detección general, detección de rostros, detección 3D y más.
1) Control de trayectoria de la punta de los dedos
2) Control de la postura humana
3) Reconocimiento de gestos
4) Detección de rostros en 3D
7. Simulación de cenador
Jehexa emplea el marco ROS y es compatible con la simulación Gazebo. Gazebo ofrece un nuevo enfoque para que los usuarios controlen Jehexa y verifiquen el algoritmo en un entorno simulado, lo que reduce los requisitos experimentales y mejora la eficiencia.
1) Simulación de control corporal:
Verifique el algoritmo cinemático en la simulación para evitar daños al robot debido al error del algoritmo.
2) Datos visuales:
Se proporcionan datos visuales para la observación del extremo del robot y la trayectoria del centro de gravedad para optimizar el algoritmo.
8. Varios métodos de control
1) APLICACIÓN WonderAi
2) Aplicación Map Nav (solo Android)
3) Programas informáticos
4) Mango inalámbrico.
