La cámara Sentry2 de Keyestudio es un sensor de visión artificial diseñado para proyectos de robótica y aplicaciones de inteligencia artificial. Es compatible con plataformas como Arduino, microbit y Raspberry Pi, facilitando su integración en diversos proyectos de desarrollo.
Proporciona una captura de imágenes de alta calidad, esencial para aplicaciones que requieren precisión en el reconocimiento visual. Incluye capacidades para el reconocimiento de objetos, seguimiento de colores y detección de formas, entre otras.
El kit incluye seis tarjetas con señales para que la cámara las reconozca.
De esta manera podemos indicarle en donde se encuentra la carpeta comprimida que contiene la nueva librería para que la incorpore.
Si se utiliza el IDE de Arduino instalado en el ordenador se han de seleccionar las opciones resaltadas con el punto rojo en la imagen siguiente.
#include <Arduino.h> #include <Sentry.h> #include <Wire.h> typedef Sentry2 Sentry; Sentry sentry(0x60); void setup() { Wire.begin(); sentry_err_t err = sentry.begin(&Wire); }
void loop(){ }
Algoritmos de visión
Interface de configuración
Se pueden activar varios algoritmos de visión a la vez, pero la velocidad de procesamiento se reducirá.
El usuario puede configurar una o hasta 25 regiones para el reconocimiento del color y devolver el valor R (rojo), G (verde), B (azul) y su etiqueta para cada región.Se pueden configurar las coordenadas y el tamaño de cada región.Etiqueta de color
Es un número que representa un color:
0 → Desconocido1 → Negro2 → Blanco3 → Rojo4 → Verde5 → Azul6 → Amarillo
Parámetros
El usuario puede configurar regiones para el reconocimiento:
1 Coordenada X del centro de la región
2 Coordenada Y del centre de la región
3 Anchura de la región
4 Altura de la región
5 Nada
Se ofrecen varios parámetros preestablecidos en la página de configuración de la interface de usuario:
Grid/cuadrícula (X x Y): 1x1, 2x2, 3x3, 4x4, 5x5, 1x10, 2x10, 6x1, 6x2
Size/medidas (Ancho x Alto): 2x2, 4x4, 8x8, 16x16, 32x32
Para representar un cuadrado en el sistema de coordenadas porcentuales, el ancho y la altura no son iguales, pero conforme a la relación 3:4. Por ejemplo, si el ancho de un cuadrado es del 12%, su altura h debería ser 12/3×4 = 16%. En el sistema de coordenadas absolutas, el tamaño del área de reconocimiento preestablecido es: 1x1, 2x3, 3x4, 6x8, 9x12.
Resultados
Habrá un cuadro rectangular en la pantalla que identifica el color y un cuadro de 4 esquinas identifica el color desconocido.
Resultado
1 R, valor del canal rojo, rango 0～255
2 G, valor del canal verde, rango 0～255
3 B, valor del canal azul, rango 0～255
4 Nada
5 Etiqueta de color
ID: 2 →Blob (bloques de color)
Encuentra un determinado bloque de color de una imagen y devuelve sus coordenadas y su tamaño. La etiqueta de color tiene los mismos valores que en el algoritmo de identificación de color.
Parámetros
El usuario debe primero decidir qué color se detectará. La anchura y altura mínimas de la zona de color se pueden configurar para reducir las falsas detecciones.
1 Nada
2 Nada
3 Anchura mínima
4 Altura mínima
5 La etiqueta de color a detectar
Se ofrecen varios parámetros preestablecidos en la página de configuración de la interface de usuario:
Performance / Nivel de rendimiento del algoritmo → para seleccionar el rendimiento de la visión según diferentes requisitos de aplicación: "Sensitive / sensitivo", "Balance / equilibrio" y "Accurate / preciso".
Maximum Blobs / Número máximo de bloques → admite entre 1 y 5 bloques para cada color.
Minimum Filter Size / Medida mínima del bloque ↓
Sistema de coordenadas absolutas: 2x2, 4x4, 8x8, 16x16, 32x32, 64x64, 128x128 píxeles
Sistema de coordenadas porcentuales: 1x1, 2x3, 3x4, 6x8, 9x12, 21x28, 42x56%
Color Label / Color a detectar → se muestra un icono de ojo abierto si la etiqueta de color está activada.
Resultados
1 Coordenada X del centro del bloque2 Coordenada Y del centro del bloque3 Ancho del bloque4 Altura del bloque5 Etiqueta de color
ID: 3 →Apriltag (etiquetas)
Encuentra etiquetas April en una imagen. Admite las familias de codificación 16H5, 25H9, 36H11 y hasta 25 resultados.
Este algoritmo no puede funcionar al mismo tiempo que otro de los marcados con asteriscos.
Las etiquetas April están formadas por un conjunto de cuadrados blancos y negros definiendo una imagen. Los diferentes códigos utilizan diferentes números de cuadrados.
Se pueden descargar las imágenes de etiquetas April → https://github.com/AprilRobotics/apriltag-imgs/tree/master
Parámetros
Se proporcionan varios parámetros preestablecidos en la página de configuración de la interface de usuario:
Performance / nivel de rendimiento del algoritmo → para seleccionar el rendimiento de la visión según diferentes requisitos de aplicación: "Sensitive / sensitivo", "Balance / equilibrio" y "Accurate / preciso".
Encode Family / familia de codificación → admite 16H5, 25H9, 36H11
Resultados
Resultado
1 Coordenada X del centro de la etiqueta
2 Coordenada Y del centro de la etiqueta
3 Anchura de la etiqueta
4 Altura de la etiqueta
5 Etiqueta
ID: 4 →Líne (líneas)
Busca una o hasta 5 líneas en una imagen y devuelve las coordenadas y la inclinación en grados, considerando sus dos puntos extremos. Si es una curva, detecta un segmento de esa línea.
Parámetros
Se pueden configurar varios parámetros en la página de configuración:
Performance / nivel de rendimiento del algoritmo → para seleccionar el rendimiento de la visión según diferentes requisitos de aplicación: "Sensitive / sensitivo", "Balance / equilibrio" y "Accurate / preciso".
Maximum Lines / número máximo de líneas → intervalo de 1 a 5.
Resultados
La horizontal a la derecha es de 0 grados. El valor se incrementa en sentido contrario a las agujas del reloj. Hacia arriba es de 90 grados, y la horizontal a la izquierda es de 180 grados.
ID: 5 →Learning (aprendizaje)Se utilizan 5 colores distintos (rojo, amarillo, verde, azul y morado) para distinguir las líneas múltiples.Resultados1 Coordenada X del punto final de la línea (superior)2 Coordenada Y del punto final de la línea (superior)3 Coordenada X del punto inicial de la línea (inferior)4 Coordenada Y del punto inicial de la línea (inferior)5 Inclinación de la línea en grados
Las imágenes de objetos pueden registrarse y reconocerse mediante este algoritmo. Se pueden guardar hasta 15 modelos.
Parámetros
Se puede introducir un nuevo objeto desde la página de ejecución (running):
Se asignará automáticamente una etiqueta al nuevo objeto. Para ello se selecciona el menor número del identificador disponible.
Para eliminar todos los objetos se ha de pulsar el joystick verticalmente durante más de 2 segundos en la página en curso.
Parámetro
1 Nada
2 Nada
3 Nada
4 Nada
5 Escribe 0 para eliminar este objeto o escribe 100 para registrarlo
Se puede cambiar el nombre o eliminar el modelo registrado en la página de configuración de la interface de usuario.
Rename / cambiar el nombre:
No se han de utilizar más de 32 caracteres.
Delete / suprimir:
Resultados
Este algoritmo sólo puede detectar la existencia del objeto registrado, pero no sus coordenadas y tamaño, por lo que el cuadro de reconocimiento es un valor de salida fijo.
1 Fijo, 160
2 Fijo, 120
3 Fijo, 224
4 Fijo, 224
5 Etiqueta
ID: 6 →Card (tarjetas)
Reconoce la imagen de una de las tarjetas registradas y devuelve sus coordenadas, tamaño, etiqueta y otra información. Incluye tarjetas de tráfico (en la versión básica) y tarjetas de formas y de números (en la versión Enterprise).
Las etiquetas se muestran a continuación:
Tráfico
Etiqueta, Nombre
1 Forward, Adelante
2 Left. Izquierda
3 Right, Derecha
4 Turn Around. Dar la vuelta
5 Park, Aparcar
6 Green, Verd
7 Red, Rojo
8 Speed 40, Velocidad 40
9 Speed 60, Velocidad 60
10 Speed 80, Velocidad 80
Formas
Etiqueta, Nombre
11 Check, Comprueba
12 Cross, Cruz
13 Círcle, Círculo
14 Square, Cuadrado
15 Triangle, Triángulo
16 Plus, Más
17 Minus, Menos
18 Divide, Dividir
19 Equal, Igual
Formas
Etiqueta, Nombre
20 Número 0
21 Número 1
22 Número 2
23 Número 3
24 Número 4
25 Número 5
26 Número 6
27 Número 7
28 Número 8
29 Número 9
Resultados
Este algoritmo puede reconocer varias tarjetas a la vez, y las tarjetas giradas hasta 30 grados todavía se pueden reconocer, pero no con un giro mucho mayor.
ID: 7 →Face (caras)1 Coordenada X del centro de la tarjeta
2 Coordenada Y del centro de la tarjeta
3 Anchura de la tarjeta
4 Altura de la tarjeta
5 Etiqueta de la tarjeta
Este algoritmo puede registrar y reconocer hasta 15 caras. También admite la detección de máscaras.
Parámetros
Registrar nueva cara:
La nueva cara se puede registrar en la página de ejecución:
Se asignará automáticamente una etiqueta en la cara nueva. Para ello se selecciona el menor número del identificador disponible.
Eliminar todas las caras:
Para ello se ha de pulsar verticalmente el joystick más de 2 segundos en la página de ejecución.
Parámetro
1 Nada
2 Nada
3 Nada
4 Nada
5 Escribe 0 para eliminar este objeto o escribe 100 para registrarlo
Se puede cambiar el nombre o eliminar el modelo entrenado en la página de configuración de la interface de usuario. Se hace exactamente igual que en Learning.
Resultados
Este algoritmo admite la detección facial (cara nueva) y el reconocimiento facial (cara ya registrada) que se ejecutan a la vez. En la cara nueva se asignará la etiqueta 0. Especialmente, si se detecta una cara nueva que lleva una máscara, se mostrará "New face (mask) / cara nueva (máscara)" y la etiqueta se fija a 200.
ID: 8 → 20Class (objetos)1 Coordenada X del centro de la cara
2 Coordenada Y del centro de la cara
3 Anchura de la cara
4 Altura de la cara
5 Etiqueta de la cara 0 → nueva cara 200 → nueva cara con máscara
Identifica 20 tipos de objetos comunes y devuelve sus coordenadas, tamaño y etiquetas, tal y como se muestra en la siguiente tabla:
1 Airplane, Avión
2 Bicycle, Bicicleta
3 Bird, Pájaro
4 Boat, Barco
5 Bottle, Botella
6 Bus, Autobús
7 Car, Coche
8 Cat, Gato
9 Chair, Silla
10 Cow, Vaca
11 DiningTable, Mesa de comedor
12 Dog, Perro
13 Horse, Caballo
14 Motorbike, Moto
15 Person, Persona
16 PottedPlant, Planta en test
17 Sheep, Oveja
18 Sofa, Sofá
19 Train, Tren
20 Tvmonitor, Monitor de televisión
Parámetros
Performance / nivel de rendimiento del algoritmo → para seleccionar el rendimiento de la visión según diferentes requisitos de aplicación: "Sensitive / sensitivo", "Balance / equilibrio" y "Accurate / preciso".Resultados
ID: 9 → QrCode (Código QR)1 Coordenada X del centro del objeto
2 Coordenada Y del centro del objeto
3 Anchura del objeto
4 Altura del objeto
5 Etiqueta del objeto
SOLO EN LA VERSIÓN ENTERPRISE!
Este algoritmo puede reconocer un código QR estándar (menos de 25 caracteres ASCII).
Resultados
A diferencia de otros algoritmos, éste devuelve 2 tipos de información: paquetes de atributos y datos de caracteres.
Attribute Packet
1 Coordenada X del centro del código QR
2 Coordenada Y del centre del código QR
3 Anchura del código QR
4 Altura del código QR
5 Número de caracteres
Character Data
ID: 10 → Custom (personalizada)1 datos de carácter
2 datos de carácter
3 datos de carácter
4 datos de carácter
5 datos de carácter
ID: 11 → Motion (movimiento)Si está habilitado este algoritmo, se necesita la comunicación WiFi de la cámara. Para ello se ha de cargar el firmware Wifi en la cámara. Más detalles en Guía del usuario para el desarrollo del firmware WiFi Sentry2_V1.1.pdf
SOLO EN LA VERSIÓN ENTERPRISE!
Este algoritmo compara la diferencia de píxeles de los fotogramas adyacentes para determinar si existe alguna zona en la que se produzca un movimiento en la imagen. Devuelve las coordenadas y el tamaño del objeto en movimiento.
Resultados
Interface de ejecución (Running)1 Coordenada X del centro de la zona en movimiento
2 Coordenada Y del centre de la zona en movimiento
3 Anchura de la zona en movimiento
4 Altura de la zona en movimiento
5 Nada
Hay varias formas de habilitar/desactivar el algoritmo:
· Desde la página de la interface de usuario
· Con el joystick
· Mediante las instrucciones de programación del microcontrolador
Desde la página de la interface de usuario
1. Selecciona el algoritmo en los menús de la izquierda de la página de configuración de los algoritmos.
2. Algunos algoritmos se pueden configurar. Pulsa en "Setting / configuración" para entrar.
3. Si se muestra el botón rojo "STOP / detener" en la parte inferior izquierda del área de control derecha, significa que el algoritmo está cerrado actualmente. Después de clicar en él, cambiará a un botón verde "RUN / ejecuta", lo que significa que el algoritmo se inicia. Pulsa de nuevo y volverá a cambiar al botón rojo "STOP / detener".
Con el joystick
1. Pulsa brevemente en el joystick hacia arriba y hacia abajo para activar o desactivar un algoritmo. El algoritmo anterior se cerrará si se está ejecutando un algoritmo nuevo.
2. La secuencia de cambio de algoritmo se muestra por Vision-ID.
Mediante las instrucciones de programación del microcontrolador
De esta forma, el microcontrolador necesita leer y escribir registros para habilitar o desactivar el algoritmo. Se ofrecen las bibliotecas de controladores para distintas plataformas de programación.
En el modo UART, la lectura o la escritura de registros se realiza de acuerdo con el protocolo estándar o el protocolo simple. Para obtener más información, se han de consultar las secciones correspondientes.
El modo I2C puede leer o escribir registros directamente. para activar el algoritmo:
Escribe Vision ID en el registro 0x20-VISION_IDEscribe 0x01 en el registro 0x21-VISIO_CONF1 para habilitar el algoritmo. De lo contrario, escribe 0x00 para desactivarlo.
Para tener más información se han de consultar los registros.
En la pantalla
El objeto objetivo se marcará en la pantalla cuando se detecte. El significado de las marcas podría ser este:
Por instrucciones de programación
El controlador puede leer los resultados:
1. Escribe Vision ID en el registro 0x20-VISION_ID.
2. Lee el registro 0x34-RESULT_NUM para saber cuántos objetos se han detectado.
3. Escribe el identificador del resultado, que desea leer, en el registro 0x24-RESULT_ID.
4. Lee los resultados en los registros del 0x80 al 0x89.
Dirección, Nombre, Significado
0x80 RESULT_DATA1_H8 Resultado 1, 8 bits altos
0x81 RESULT_DATA1_L8 Resultado 1, 8 bits bajos
0x82 RESULT_DATA2_H8 Resultado 2, 8 bits altos0x83 RESULT_DATA2_L8 Resultado 2, 8 bits bajos0x84 RESULT_DATA3_H8 Resultado 3, 8 bits altos0x85 RESULT_DATA3_L8 Resultado 3, 8 bits bajos0x86 RESULT_DATA4_H8 Resultado 4, 8 bits altos0x87 RESULT_DATA4_L8 Resultado 4, 8 bits bajos0x88 RESULT_DATA5_H8 Resultado 5, 8 bits altos0x89 RESULT_DATA5_L8 Resultado 5, 8 bits bajos
Ideas para Sentry 2Sentry 2 integra variedad de algoritmos de visión sin conexión a red para reconocer objetos, y mediante el chip WiFi ESP8285 integrado puede realizar la función de reconocimiento de imágenes basada en la nube.
Reconocimiento de color (ID: 1)
Esta función se podría utilizar en un robot de clasificación para identificar objetos de diferentes colores y separarlos según su etiqueta de color. Por ejemplo, podríamos configurar regiones de interés y el sensor devolvería la etiqueta de color (rojo, azul, etc.) para cada región, permitiendo al robot tomar decisiones basadas en la información de color.
Detección de bloques de color (ID: 2)
Un ejemplo de uso podría ser en un sistema de seguimiento de objetos donde un robot sigue una pelota de un color específico (como el rojo). El sensor detectaría el blob de color rojo y proporcionaría su posición, permitiendo al robot ajustar su movimiento para mantener la pelota dentro de su campo de visión.
Reconocimiento de Apriltag (ID: 3)
Esta tecnología podría aplicarse en la navegación robótica donde un robot utiliza etiquetas Apriltag colocadas en diferentes ubicaciones para orientarse y determinar su posición en un entorno. El sensor identificaría la etiqueta y devolvería su ID y coordenadas.
Detección de líneas (ID: 4)
Un uso común sería en robots seguidores de líneas para competiciones o en sistemas automatizados de transporte. El sensor detectaría la línea y proporcionaría los puntos finales y el ángulo, permitiendo al robot seguir el trazado.
Aprendizaje profundo (ID: 5)
Este algoritmo permitiría a la Sentry2 reconocer objetos personalizados después de un entrenamiento. Un ejemplo podría ser en un control de calidad industrial donde el sensor aprende a identificar piezas defectuosas específicas.
Reconocimiento de tarjetas (ID: 6)
Se podría utilizar en aplicaciones educativas para interactuar con tarjetas que contienen símbolos, números o señales de tráfico. Por ejemplo, un niño podría mostrar una tarjeta con el número "5" y el sensor la identificaría, devolviendo la etiqueta correspondiente.
Reconocimiento facial (ID: 7)
Un ejemplo de aplicación sería en un sistema básico de control de acceso donde el sensor puede detectar si hay una cara y, si se ha entrenado, identificar de quién se trata. También puede detectar si una "cara nueva" lleva máscarilla.
Reconocimiento de 20 clases de objetos (ID: 8)
Esta función se podría utilizar en proyectos de visión por ordenador básicos para identificar objetos comunes como gatos, coches o personas. Por ejemplo, un robot podría utilizar esta capacidad para "ver" y reaccionar a la presencia de determinados objetos en su entorno.
Vídeos de la Sentry 2
https://search.bilibili.com/all?keyword=sentry2
Funciones
Sentry2 es un sensor visual altamente integrado desarrollado por Tongxin Intelligent para las necesidades de la escuela primaria y estudiantes universitarios en la realización de educación en inteligencia artificial, participación en concursos de robots y proyectos de graduación. Sentry2 admite dos modos de trabajo: reconocimiento fuera de línea y reconocimiento en línea.
Guía de operación del joystick
Instrucciones y ejemplos de protocolo sencillos
Programa de muestra Makecode: https://makecode.microbit.org/_9akJuiCAg5xj
Los sensores de la serie Sentry contienen una función muy práctica: instrucciones de protocolo sencillas. Con este equipo puede deshacerse de la dependencia de la biblioteca oficial y utilizar esta serie de sensores a través de plataformas que se pueden ampliar para conectarse al mismo sistema.
Configuración del modo de comunicación
El sensor de visión Sentry2 admite varios métodos de comunicación. ¿Cómo configurar rápidamente el método de comunicación necesario?
Reconocimiento de colores
¿Qué tiene de diferente el algoritmo de reconocimiento de colores de Sentry2?, ¿cómo se debe configurar la selección del algoritmo?
Detección de bloques de color
¿Qué diferencias existen entre el algoritmo de detección de bloques de Sentry2 y el algoritmo de reconocimiento de colores?, ¿Qué diferencias hay en comparación con productos similares?
Detección de bloques de colores - Programa de muestra con Mixly
https://www.bilibili.com/video/BV1ZW4y1Z7D5
Reproduce los tutoriales de la serie Mixly de Sentry 2 producidos por Seven Star Insect Makers (https://www.bilibili.com/video/BV1ch411K79B?p=4)
Detección de bloques de colores -Tutorial con Mind+
Reproduce los tutoriales de la serie Mind+ de Sentry 2 producidos por Seven Star Insect Makers (https://www.bilibili.com/video/BV1Jj411D75U?p=4)
Reconocimiento facial
¿Cómo funciona el algoritmo de reconocimiento facial de Sentry2? ¿Qué diferencias existen en comparación con productos similares y cuáles son las configuraciones más fáciles de utilizar?
Aprendizaje profundo
El sensor visual Sentry2 integra un algoritmo de aprendizaje profundo en chip y puede aprender rápidamente nuevos objetos, a la vez que garantiza una tasa de reconocimiento relativamente alta.
Aprendizaje profundo - Programa de muestra con Mixly
Reproduce los tutoriales de la serie Mixly de Sentry2 producidos por Seven Star Insect Makers (https://www.bilibili.com/video/BV1ch411K79B?p=6)
Aprendizaje profundo - Tutorial con Mind+
https://www.bilibili.com/video/BV1Ej411B7Up
Reproduce los tutoriales de la serie Mind+ de Sentry 2 producidos por Seven Star Insect Makers (https://www.bilibili.com/video/BV1Jj411D75U?p=6)
Reconocimiento de etiquetas Apriltag
Apriltag es un objetivo de identificación de uso habitual en competiciones de robots, utilizado para indicar la distancia y la dirección del movimiento. ¿Cómo utilizar el algoritmo de reconocimiento Apriltag de Sentry2 y qué diferencias existen en comparación con productos similares?
Detección de líneas
El seguimiento de la línea es un contenido clásico del curso de robot. En comparación con los sensores de seguimiento de línea tradicionales, el sensor visual Sentry2 permite a los usuarios conseguir un juego de seguimiento de línea más responsable mediante el reconocimiento de colores, la detección de bloques de color y los algoritmos de detección de líneas.
Detección de segmento de línea - Programa de muestra con Mixly
Reproduce los tutoriales de la serie Mixly de Sentry 2 producidos por Seven Star Insect Makers (https://www.bilibili.com/video/BV1ch411K79B?p=5)
Detección de líneas y aplicación de ejemplo de reconocimiento
El coche es el dispositivo más común en la educación de robots o makers. Cómo identificar diferentes objetos mientras sigue la línea.
Conducción autónoma con IA
Instrucciones de cableado de la fuente de alimentación del puerto USB de Sentry2
¿Se han suministrado 5V a Sentry2 ¿Por qué Sentry2 se reinicia con una pantalla negra o no funciona?
Wi-Fi ESP8285
Uno de los aspectos más destacados de Sentry2 es que tiene un chip WiFi ESP8285 a bordo que está abierto a la programación de los usuarios, ya sea para escribir programas de control o para desarrollar funciones relacionadas con WiFi, como la identificación en la nube y el acceso a Internet de las cosas.
Reconocimiento de imágenes en la nube
Uno de los aspectos más destacados de Sentry2 es que tiene un chip WiFi ESP8285 a bordo que está abierto a la programación de los usuarios, ya sea para escribir programas de control o para desarrollar funciones relacionadas con WiFi, tales como la identificación en la nube y el acceso a Internet de las cosas Entonces, ¿cómo llamar al algoritmo de reconocimiento de la nube?
Control remoto de coche con transmisión de imágenes vía WiFi
Sentry2 tiene un ESP8285 a bordo. Mediante la programación de Sentry2 se pueden realizar muchas funciones relacionadas con WiFi.
Curso básico de Sentry 2 - Scratch
Reconocimiento facial
Reconocimiento de colores
Reconocimiento de tarjetas
Detección de bloques de colores
Detección de líneas
Aprendizaje profundo
Reconocimiento de etiquetas
Curso básico de Sentry 2 - Mixly
Reconocimiento facial
Reconocimiento de colores
Reconocimiento de tarjetas
Detección de bloques de colores
Detección de líneas
Aprendizaje profundo
Reconocimiento de etiquetas
Curso básico de Sentry 2 - Mind+
Reconocimiento facial
Reconocimiento de colores
Reconocimiento de tarjetas
Detección de bloques de colores
Detección de líneas
Aprendizaje profundo
Reconocimiento de etiquetas
3DBot + Sentry 2
No hay comentarios:
Publicar un comentario