Configuración de la cámara Sentry 2

Sentry 2 es un sensor de visión gestionado por el K210, un avanzado procesador con red neuronal RISC-V de 64 bits. Este dispositivo integra una variedad de algoritmos de visión avanzados que pueden satisfacer las necesidades básicas de procesamiento de la visión. El chip WiFi ESP8285 integrado se puede programar para realizar reconocimiento online, transmisión de imágenes, IAoT (Inteligencia Artificial de las Cosas - Inteligencia artificial de las cosas) y otras aplicaciones. El ESP8285 se puede utilizar como controlador para K210, que es una ayuda para la programación de IA sin controlador externo.

COMPONENTES

HARDWARE

Procesador K210, 400 MHz

resolución de la cámara 200 píxeles

Voltaje de funcionamiento 3,3 - 5 V

Dimensiones 42 x 36 x 12 mm

Pantalla TFT-IPS de 1,3”

Resolución de la pantalla 240 x 240 píxeles

FUNCIONALIDADES

Reconocimiento de colores

Detección de bloques de color

Reconocimiento de etiquetas

Aprendizaje profundo

Detección de líneas

Reconocimiento de tarjetas

Reconocimiento de caras

LED  

Representa distintos estados de detección.

Cámara 

Captura datos de imágenes. El usuario puede ajustar el zoom, balance de blanco, brillo, saturación y otros parámetros de la cámara. 

 

Wi-Fi

El chip WiFi ESP8285 puede hacer reconocimiento online, transmisión de imágenes, aplicaciones AIoT…` 

 

K210

Potente microcontrolador con una unidad de procesamiento de red neuronal y procesador RISC-V de 64 bits de doble núcleo. 

 

Ranura para tarjeta de memoria microSD

Permite insertar una tarjeta microSD para almacenar imágenes. (Nota: no todos los tipos de tarjeta microSD son compatibles, sólo los que permitan comunicación SPI) 

 

USB

El chip USB-UART integrado se puede comunicar y controlar directamente con el ordenador, e incluso actualizar su firmware. (ATENCIÓN: la alimentación proveniente del USB saldrá a través del puerto de comunicación de 4 pines, ¡NO se deben alimentar a la vez!) 

 

Pantalla LCD

La pantalla en color TFT-IPS con alta definición y visión amplia ofrece un buen efecto de visualización.

Joystick

Para la interacción del usuario con el dispositivo se utiliza el pequeño joystick, que admite 5 movimientos (arriba, abajo, izquierda, derecha, apretado).

Botón de Reset 

Reinicia el dispositivo.

Puerto de salida

Puerto de 4 pines para comunicación, compatible con UART (TX/RX) e I2C.

PARÁMETROS DEL HARDWARE

Voltaje, 3,3 ～ 5 voltios. ¡NO alimentes vía USB y puerto de salida a la vez!

Intensidad, 150 mA (Para 5 V y reconocimiento de caras)

Medidas, 40x32x12,5 mm (Sin carcasa protectora)

Peso, 15 gramos (Sin carcasa protectora)

Espacio entre los centros de los agujeros de montaje, 32 mm

Diámetro del agujero de montaje, 3 mm

Tipo de cámara, CMOS

Resolución de la cámara, 200 W píxel 

FPS de la cámara, 25 fps

FOV de la cámara, 68 grados

Tipo de pantalla, Pantalla LCD TFT-ISP

Dimensiones de la pantalla, 1,3 pulgadas

Resolución de la pantalla, 240x240 píxeles 

ALGORITMOS DE VISIÓN

Sentry 2 integra una variedad de algoritmos de visión sin conexión para reconocer objetos sin conexión a red, aunque el chip WiFi ESP8285 integrado puede realizar la función de reconocimiento de imágenes basada en la nube.

ID1, Color, identifica colores y devuelve el valor R (rojo), G (verde), B (azul) y su etiqueta para cada zona, en un total de hasta 25 zonas.

ID2, Blob, identifica bloques de un color especificado. Admite la selección de bloques de color negro, blanco, rojo, verde, azul y amarillo a la vez.

ID3, Apriltag, identifica etiquetas April de las familias Apriltag 16H5, 25H9, 36H11. Identifica hasta 25 etiquetas.

ID4, Line, Encuentra líneas y devuelve sus puntos finales y ángulos de inclinación en grados. Admite de 1 a 5 líneas.

ID5, Learning, Este algoritmo se conoce como Aprendizaje profundo y permite registrar y reconocer objetos. Permite registrar y reconocer hasta 15 modelos.

ID6, Card, Identifica patrones de tarjetas especiales, incluidas 10 tarjetas con señales de tráfico. La versión Enterprise incluye también 9 tarjetas de forma y 10 tarjetas de números.

ID7, Face, Permite registrar caras y hacer reconocimiento facial. también admite la detección de rostros con máscaras. Puede reconocer hasta 15 caras.

ID8, 20Class, Permite reconocer hasta 20 objetos comunes. Reconoce gatos, coches, aviones, etc.

ID9, QrCode, Identifica los códigos QR. Solo se encuentra en la versión Enterprise.

ID10, Custom, Es un algoritmo personalizados que se ejecuta en el chip WiFi ESP8285 incorporado.

ID11, Motion, Determina si existen zonas en movimiento en la imagen. Compatible sólo con versión Empresa. Solo se encuentra en la versión Enterprise.

Los algoritmos Color, Blob y Line se pueden abrir simultáneamente con el resto de algoritmos, mientras que el resto NO se pueden abrir a la vez entre sí, pero SÍ que se pueden abrir a la vez que los 3 citados.

Por ejemplo, podríamos abrir simultáneamente Color, Line y Face, pero NO Color, Card y Face.

CÓMO SE UTILIZA

Sentry 2 puede conectarse a un  microcontrolador mediante el puerto de salida o conectarse al ordenador mediante un cable USB. El puerto de salida puede configurarse en modo UART o en modo I2C. También se puede modificar la dirección y la velocidad del dispositivo.

ATENCIÓN: el USB y el puerto de comunicación NO se pueden alimentar a la vez!!!!

ATENCIÓN: cuando se inserta el USB, el terminal V/+ del puerto de comunicación puede suministrar energía a dispositivos externos. Este puerto no puede conectarse directamente a una fuente de alimentación.

Modo UART(Transmisión/recepción)

ADVERTENCIAS: En el modo UART, se ha de asegurar que la conexión es correcta:

RX de Sentry 2  conectado a TX de Arduino UNO / ESP32

TX de Sentry 2  conectado a RX de Arduino UNO / ESP32

Si se quiere utilizar el puerto serie para cargar el software se pueden especificar otros puertos de entrada/salida. Para más detalles, se puede consultar el programa SoftSerialExample en el IDE de Arduino.

como los pinos RX y TX del Arduino UNO / ESP32 comparten puertos con la carga del firmware, es necesario desconectar las conexiones RX y TX durante la carga del programa. Por ello también se puede utilizar el modo I2C o los puertos de serie por software para Arduino UNO / ESP32.

Modo I2C

PLATAFORMAS Y LIBRERÍAS

Plataforma, Lenguaje, Controlador, Driver y librería 

Arduino, C/C++, Arduino, https://github.com/AITosee/Sentry-Arduino/releases

MakeCode, Bloques, micro:bit, https://github.com/AITosee/pxt-sentry/releases

Mind+, Bloques, C/C++, MicroPython, Arduino, micro:bit, https://github.com/AITosee/ext-sentry/releases

Mixly, Bloques, Arduino, https://github.com/AITosee/Sentry-Mixly/releases

BXY, MicroPython, micro:bit, https://github.com/AITosee/Sentry-microPython/releases

PC ARM, C/C++, Raspberry Pi, Linux, Sentry-Arduino-1.2.4_para_linux.zip

Interface de usuario (UI - user interface)

Sentry 2 dispone de dos interfaces de usuario: Ejecución (Running) y Configuración (Setting).

Ejecución (Running)

Vision Status. Este área muestra el nombre del algoritmo de la visión actual.

Image. Muestra imágenes de la cámara.

Marks. marca los objetos detectados, con la caja de detección, coordenadas e información.

System Status. Muestra la velocidad en fotogramas por segundo de la cámara, el nivel de zoom y el estado del Wifi. 

 

Configuración (Setting) 

 

Menus. Se ha de mover el joystick arriba o abajo para seleccionar menús, y pulsa verticalmente para validar la opción.

Version. Muestra la versión del firmwarey.

Brief. Describe el menú actual.

Buttons. Botones interactivos. El botón activo se resaltará con bordes azules si se ha seleccionado.

Tips. Muestra algunos consejos para el funcionamiento.

Interface de configuración (Setting)

Desde la pantalla de ejecución se puede mover el joystick a la derecha para entrar en una de las 3 pantallas de configuración: vision, camera y hardware.

Vision. Activa o desactiva la configuración de algoritmos y parámetros de los mismos.

Camera. Desde aquí se configura el zoom de la cámara, el balance de blancos, la saturación u otros parámetros de la cámara.

Hardware. Desde aquí se establece el modo de salida, la velocidad de transmisión, la dirección del dispositivo, el color de la luz, el idioma y otras configuraciones de hardware. Si se mueve el joystick a la izquierda, se saldrá de la página actual una a una hasta volver a la página (pantalla) de ejecución.

Página actual, Operación en el joystick, Información

Running, Arriba, Cambia al anterior algoritmo.

Running, Abajo, Cambia al siguiente algoritmo de visión.

Running, Izquierda, Instantánea (cuando se inserta la tarjeta microSD).

Running, Derecha, Entra en la primera página de configuración.

Running, Presionado en vertical, Entrenamiento de modelos (para visiones especiales).

Running, Pulsa largo hacia arriba, Acerca la imagen (aumenta un nivel de zoom).

Running, Pulsa largo hacia abajo, Aleja la imagen (disminuye un nivel de zoom).

Running, Pulsa largo hacia la izquierda, Activa/desactiva la pantalla LCD.

Running, Pulsa largo en vertical, Elimina todos los modelos (para visiones especiales).

…

Setting, Arriba, Cambia el menú o el botón por los anteriores.

Setting, Abajo, Cambia al siguiente menú o botón.

Setting, Izquierda, Cambia a la página de configuración anterior / vuelve a la página en curso.

Setting, Derecha, Cambia a la página de configuración siguiente.

Setting, Vertical, Selecciona esa opción.

…

Startup, Pulsa arriba más de 10 segundos, Restaura la configuración predeterminada del hardware.

Startup, Vertical, Entra en el modo de actualización del firmware del K210.

Startup, Pulsa largo abajo, Entra en el modo de actualización del firmware del ESP8285.

HARDWARE

Modo de comunicación

Desde la página/pantalla de ejecución, se mueve hacia la derecha el joystick 3 veces para entrar en la página de configuración del hardware.

En la opción "Output", se pulsa verticalmente el joystick para entrar en las configuraciones.

Se selecciona el modo "UART" o el "I2C". En general, el modo I2C es más rápido, lo que ayuda a mejorar la velocidad de los fotogramas del procesamiento de imágenes si el controlador no admite el modo UART de alta velocidad en baudios.

Se puede elegir entre el "Standard Protocol" o el "Simple Protocol" para el modo UART. En general, conviene seleccionar el "Standard Protocol" si se desea utilizar la biblioteca de controladores. A continuación se valida la opción clicando sobre la opción "YES" y se vuelve.

A continuación se selecciona la opción "Address" en los menús de la izquierda. Aquí se establece la dirección del hardware Sentry2, "0x60 a 0x63", clicando en "YES" y volviendo. El valor por defecto es: 0x60.

Se puede entras en la página de configuración "UART" si se quiere seleccionar el modo UART. Moviendo el control deslizante hacia la izquierda o hacia la derecha se establece la velocidad de transmisión UART: "9600, 19200, 38400, 57600, 115200, 921600, 1152000, 2000000". La mayor velocidad de transmisión de datos puede tardar menos tiempo con la transferencia de datos, lo que puede mejorar la velocidad de los fotogramas de la imagen. Hay que comprobar la velocidad máxima en baudios del microcontrolador con el que se use la Sentry 2. Cuando la comunicación es anormal se debería reducir la velocidad de transmisión.

Para finalizar se mueve a la izquierda el joystick 3 veces para volver a la página de ejecución.

USB

Sentry 2 puede comunicarse con el ordenador mediante un cable USB-C. Su velocidad en baudios se puede configurar por separado. El modo USB también se basa en "Standard Protocol" o "Simple Protocol". La velocidad de transmisión admite valores de "9600, 19200, 38400, 57600, 115200, 921600, 1152000, 2000000". El USB puede desactivarse si el control deslizante se encuentra a la izquierda. En To UART se activa o desactiva la transmisión de datos entre USB y UART.

Display

Los resultados de la detección pueden indicarse cuando el algoritmo está en marcha. Hay 3 marcas: 

 

Caja de detección.

Coordenadas X-Y.

Información.

Box. Es un recuadro rectangular que muestra los objetos detectados.

X-Y. Dibuja las líneas de coordenadas horizontales y verticales del objeto detectado y muestra los valores de:

X: Coordenada horizontal de esa zona de la pantalla. 

Y: Coordenada vertical.

W: Anchura del objeto.

H: Altura del objeto.

Info. Se muestra información sobre el objeto identificado, su etiqueta de clasificación y su nombre. Cuando se haga una detección de resultados múltiples, dibujar demasiadas marcas puede reducir la velocidad de los fotogramas. Se pueden desactivar algunas marcas correctamente. Algunos algoritmos no tienen todos los elementos de dibujo, como "Detección de líneas" que no dibuja líneas de coordenadas.

LED

Hay 2 leds en la parte frontal de la cámara que sirven para indicar el estado de la detección. El color del LED cambiará a causa de los resultados de la detección de cada fotograma.

El usuario puede establecer el color del LED para el estado “Detected" y el "Undetected", respectivamente. Se ha de mover el joystick para cambiar el color con la siguiente secuencia:

El color negro significa que el LED está apagado. Cuando los colores para los estados “Detected" y "Undetected” son los mismos, los leds permanecerán encendidos. 

 

Los valores del brillo “Brightness" van de 0 a 15, donde 0 significa apagar la luz y 15 es el más brillante. Generalmente se configura el brillo a 1 o 2.

Apagar el LED 

 

En algunos casos, el LED debería apagarse, ya que, de lo contrario, su iluminación puede provocar interferencias en el reconocimiento de la imagen (como la visión del color o del bloque de color). Hay dos formas de apagar el LED: 

 

Establecer el color de "Detected" y "Undetected" en negro o establecer el valor de "Brightness" en 0. 

 

Iluminación

Cuando el entorno está oscuro o en un entorno de retroiluminación, se debe añadir luz, para lo que se pueden establecer "Detected" y "Undetected" en blanco o establecer el valor de "Brightness" en 15.

WIFI

El chip WiFi ESP8285 integrado en la cámara Sentry 2 puede comunicarse con el chip K210 mediante un puerto UART interno. Cuando el algoritmo "Custom Vision" está habilitado, el chip ESP8285 se pone en funcionamiento. 

 

Velocidad de transmisión Admite valores de "9600, 74880, 115200, 921600, 1152000, 2000000, 3000000, 4000000". El chip WiFi se desactiva si el control deslizante se encuentra a la izquierda. 

 

To UART.  Habilita o inhabilita la transmisión de datos entre WiFi y UART.

To USB. Habilita o inhabilita la transmisión de datos entre WiFi y USB.

Coordenadas

Sentry 2 admite dos sistemas de coordenadas: Absolute y Percentage.

Absolute. En este modo, se devuelven los resultados reales de las coordenadas. El rango va de 0 a 319 (horizontal) y de 0 a 239 (vertical). El punto central es (160,120). Este modo tiene una mayor precisión. 

 

Percentage. En este modo, los resultados reales de las coordenadas se cuantifican en el rango de 0 a 100. Ambos rangos en dirección horizontal y vertical son de 0 a 100. El punto central es (50,50).

Idioma

Se puede escoger entre Inglés y Chino.

Registros

Sentry 2 tiene estos tres modos de trabajar con los registros: Auto Save Mode, Save Register, Default Settings.

Auto Save Mode. Algunos valores de registro se guardarán automáticamente si este modo está habilitado. De lo contrario, los registros se restablecerán al valor predeterminado después del próximo inicio. Por lo general, este modo debería estar desactivado. 

 

Save Register. Guarda los valores actuales de los registros. 

 

Default Settings. Restaura los registros en la configuración de fábrica. Pulsa primero este botón y después clica en "YES".

CÁMARA

Zoom digital

Se puede hacer zoom en la cámara para ver mejor los objetos situados a distancia. Admite de 1 a 5 niveles de ajuste. Aumentar el zoom hará que el objeto sea mayor, pero el campo de visión será más pequeño y se verá menos. Reducir el zoom hará que el objeto sea menor, pero el campo de visión será mayor y permitirá ver más. También se puede cambiar el zoom con el joystick: 

 

Para acercar un nivel de zoom se ha de pulsar el joystick largo hacia arriba.

Para alejar un nivel de zoom se ha de pulsar el joystick largo hacia abajo.

AWB - Balance automático de blancos

Un entorno de luz diferente (luz blanca o luz amarilla) puede provocar un desequilibrio del color blanco. Es necesario ajustar el balance de blancos. Hay 4 modos de hacerlo: Auto (automático), Locked (bloqueado), White (blanco) y Yellow (amarillo). 

 

Auto (automático) Es el modo predeterminado y se aplica a la mayoría de entornos. 

 

Locked (bloqueo) Se utiliza cuando existe un gran área de fondo monocromático en la imagen, el blanco está desequilibrado, lo que provocará errores de reconocimiento del color. Por tanto, es necesario bloquear el balance de blancos antes del reconocimiento para evitar el ajuste automático del color. El método es el siguiente: 

 

1. Colocar la cámara frente a un papel blanco y mantener una distancia de unos 20 centímetros. 

 

2. Entrar al menú "AWB" i selecciona el modo "Locked". 

 

3. Clicar en "YES". 

 

4. Volver a la página de ejecución 

 

White (blanco) Se utiliza en entornos de luz blanca.

 

Yellow (amarillo) Se utiliza en ambientes de luz amarilla.

Saturación

El aumento de la saturación hará que el color se vuelva brillante, el color se fortalecerá y destacará. Disminuir la saturación apagará el color y, a niveles muy bajos, parecerá blanco y negro.

Brillo

Se puede cambiar el brillo de la imagen si es necesario.

Contraste

El aumento del contraste hará que la diferencia entre los lugares vecinos con diferencia de color sea mayor. Reducir el contraste hará que la imagen parezca aburrida.

Nitidez

Aumentar la nitidez hará que el contorno de los bordes sea más claro y los detalles más evidentes, pero demasiado alta producirá ruido. Reducir la nitidez difuminará la imagen.

AEC - Control automático de exposición

La intensidad de la luz puede reducir el valor de exposición al exponerse la imagen. Por el contrario, si el entorno está oscuro puedes aumentar el valor de exposición.

Rotación

La imagen girará 180 grados si esta opción está habilitada.