ESP32 STEAMakers AI

Utilizando la placa ESP32 STEAMakers AI  se puede crear un agente IA, enlazarlo con la placa y también programarla con steamakersblocks. El kit utilizado incluye la placa ESP32 STEAMakers AI, una pantalla TFT, un altavoz con amplificador, un micrófono SPI y los cables de conexión necesarios.

Para colocar los componentes se ha diseñado un chasis para imprimir en 3D cuyas piezas se pueden descargar de Thingiverse.

Esta placa tiene un microcontrolador ESP32 Wroom-S3 de espressif, que además puede utilizarse para proyectos de inteligencia artificial, utilizando los servidores de IA de keyestudio.

 

Conexión micrófono I2S

Se trata de una conexión compuesta por 5 pines machos de color azul, y que permitirán la conexión del micrófono usando cables Dupont tipo hembra. 

Conexión amplificador audio I2S

También disponemos de otros pines de color azul que permiten conectar un amplificador de sonido, de manera que podamos obtener el sonido generado por nuestra placa, a través de un amplificador como puede ser el Keyestudio I2S MAX98375, que nos permitirá conectar un altavoz. 

Conexión pantalla TFT por SPI

Se utiliza una pantalla TFT de 240×240 píxeles SPI ST7789. 

Carga del Firmware 

Para poderse comunicar con el servidor se le ha de cargar un programa desde la página ESP32 Web Flasher de Keyestudio.

Lo primero que hemos de hacer es elegir el dispositivo sobre el que cargaremos el firmware. En nuestro caso es el KS5034 Placa de desarrollo ESP32-S3​/ESP32STEAMakers_AI. Presionaremos sobre el botón ACTUALIZAR FIRMWARE.

Lo primero que nos recuerda es que se requiere el controlador CH340 para para comunicarse con la placa, pues es el componente que tiene montado para la comunicación por el puerto serie. Este driver lo tenemos que tener instalado para comunicarnos con esta placa desde cualquier otro entorno, como puede ser SteamakersBlocks. Si ya lo tenemos instalado previamente no hace falta que lo volvamos a instalar.

Si ya tenemos instalado el controlador CH340 pasamos a conectar la placa con esta página, para lo que apretamos el botón CONECTAR DISPOSITIVO. Se abre una ventana que nos muestra el puerto al que esta conectada la placa.

Si seleccionamos el puerto y presionamos el botón Conectar enlazaremos la placa con la página de carga del firmware

 

 

Ahora se ha de descargar la última versión del firmware desde GitHub.

Si seleccionamos la versión del firmware (Por defecto nos muestra la más reciente) y presionamos el botón DESCARGAR Y AÑADIR estaremos ya dispuestos para cargar el firmware en la placa.

Ahora podemos ver la lista de versiones del firmware disponibles.

Ahora hemos de presionar sobre el botón SELECCIONAR y posteriormente sobre INICIAR FLASHING. Aquí comienza el proceso.

Cuando acaba el proceso de carga del firmware se muestra lo siguiente:

Conexión a una red wifi

Una vez cargado el firmware es necesario resetear la placa. Para resetearla podemos hacerlo de dos maneras: pulsando el botón de reset de la placa o desconectando y conectando el cable USB. Al volver a conectar aparecen en la pantalla de la placa dos datos, el nombre de la red que ha creado la placa, para que nos conectemos a un web server que tiene instalado, y la dirección de la página web que hay en este servidor.

Si nos conectamos a esta red wifi creada por la placa es necesario, primero, conectarse a la red que nos dice el campo Connect to: y a continuación abrimos en un navegador de un teléfono móvil, Tablet u ordenador, la página cuya dirección nos muestra la IP que nos indica el campo Browser, se muestra lo siguiente.

Aquí debemos introducir el nombre y la contraseña de la wifi que pueda proporcionar conexión de internet a la placa, para que se pueda conectar al servidor de ai.keyestudio.com. Una vez hecho esto, y después de resetear la placa de nuevo, nos debe salir un código de 6 dígitos en la pantalla de la placa.

La página del servidor de Keyestudio asigna este código a la dirección MAC de la placa. Este código se necesita para conectar la placa con los agentes de inteligencia artificial que creemos en la página de de ai.keyestudio.com. El proceso no se puede repetir, por lo que si se pierde el código, no podrá enlazarse un nuevo agente a esta placa. Es por ello vital no perder este código en ninguna circunstancia.

Creación de un agente en ai.keyestudio.com

El primer paso es registrarse en la plataforma.

Esta es la primera página que podemos ver en la plataforma.

Si estiramos la pestaña consola nos encontramos con la opción agentes.

Si entramos en agentes veremos la lista de los que ya tengamos creados y la posibilidad de crear otros nuevos.

Un agente conecta la placa con una plataforma de inteligencia artificial y personalizarlo nos permitirá adaptar ese comportamiento a la funcionalidad que le queramos dar, por ejemplo, éste puede comportarse como un locutor del telediario, una experta ingeniera o un amigo.

Se puede configurar:

El rol del agente

El idioma y el tono de voz

La plataforma de inteligencia artificial que utilizará

Estas son las plataformas de inteligencia artificial que se pueden escoger.

 

Una vez creado el agente, es necesario vincular la placa con él. Si apretamos en el botón Añadir dispositivo se abrirá una ventana en donde podamos introducir el código de seis cifras que obtuvimos en el proceso de carga del firmware de la placa.

En cualquier momento podemos cambiar la configuración de nuestros agentes y desvincularles y vincularles a nuevas placas.

Si apretamos el botón Gestionar dispositivos podemos ver la dirección MAC de la placa que tenemos conectada, y la versión de su firmware.

Si intentamos asignar la misma placa a más de un agente nos da un mensaje de error: 验证码无效或已过期 El código de verificación no es válido o ha caducado. 

Utilización de la placa

Una vez cargado el firmware en la placa, creado el agente y enlazado con la placa en cuestión ya podemos empezar a utilizar la placa para hablar con nuestro agente y que nos responda por el altavoz. El reconocimiento que el agente hace de nuestra voz y sus respuestas se van mostrando en la pantalla TFT conectada a la placa. Por otra parte el historial de este chat se puede consultar en la página de Keyestudio.

Al poner en marcha la placa aparecen las siguientes pantallas sucesivamente. Primeramente una pantalla con unos caracteres chinos. 

A continuación aparece en pantalla Network Connected, expresión que también se escucha en el altavoz.

 A continuación aparece la palabra loading.

Y a continuación standby. 

 

Es en este momento, después de aparecer la pantalla anterior, cuando hemos de apretar el botón de BOOT para conectarnos con el agente de IA. Entonces aparecerá una primera pantalla con la palabra connecting.

Y a continuación la palabra listening. En este momento ya podemos comenzar a hablar con el asistente.  

 

En este momento ya podemos comenzar a hablar con el asistente.  

Si al iniciarse de nuevo la placa no encuentra la red wifi que tiene configurada, una vez mostrada la pantalla con los caracteres en chino esperará unos segundos y después automáticamente entrará en modo configuración. 

 

A la vez que entra en la pantalla de configuración se escucha por el altavoz el mismo mensaje.

Después aparece la pantalla que nos recuerda a que red wifi y a que página web nos hemos de conectar para proporcionarle información para la conexión a una wifi con acceso a internet.

Si hacemos este proceso en un navegador veremos las pantallas que ya conocemos. 

 

Si le introducimos el nombre y contraseña de una red wifi que tenga conexión a internet volveremos a poder conectar la placa con nuestro agente de IA.

Aunque la placa esté conectada a una red wifi con acceso a internet también podemos entrar en el modo configuración para cambiar la red a la que deba conectarse si presionamos el botón BOOT durante varios segundos desde la pantalla loading o standby.

Recursos

  

Gracias a la plataforma gratuita ai.keyestudio.com, los nuevos bloques de STEAMakersBlocks y la nueva placa ESP32 STEAMakers AI, se consigue un ecosistema completo pensado para ser implementado en el aula desde el primer momento.

 

Aquí podemos encontrar una descripción de la placa ESP32 STEAMakers AI. Para cargar el firmware de la placa podemos encontrar información en la página steamakers.ai.