vimo

un asiste

Comment

Inspiration Vivir y transitar en ciudades dinámicas y complejas como Tijuana nos hizo darnos cuenta de un problema crítico: en una situación de emergencia en la calle, sacar el celular, desbloquearlo, buscar una app y mandar tu ubicación toma demasiados segundos vitales. Además, queríamos crear una solución de seguridad que fuera inclusiva. Pensamos en personas con discapacidades visuales o auditivas que necesitan saber el estado de su entorno. Así nació la inspiración para crear un asistente físico, "Always-On", que combina inteligencia artificial multilingüe, telemetría espacial y accesibilidad en un solo sistema portátil.

What it does VIMO S3 es un ecosistema de seguridad personal y asistencia urbana impulsado por IA. Funciona mediante un módulo portátil central (El Cerebro) y un nodo visual inalámbrico (W-GUARD).

Navegación Asistida y Consultas: A través de un botón PTT (Push-To-Talk), el usuario le habla a VIMO. El sistema transcribe el audio, una IA detecta el idioma, procesa la intención y responde por voz, calculando incluso rutas peatonales o en auto en tiempo real.

Protocolo de Emergencia Crítico: Cuenta con un botón de pánico físico. Al presionarlo, VIMO triangula la ubicación exacta del usuario mediante escaneo de redes Wi-Fi (Fingerprinting) y despacha instantáneamente una alerta silenciosa con coordenadas exactas de Google Maps a un canal seguro de Telegram.

Accesibilidad Universal: Todo lo que VIMO "piensa" y "dice" se transmite de forma inalámbrica a la pantalla a color del Guardián (W-GUARD), garantizando que los usuarios con discapacidad auditiva puedan leer las alertas y los estados del sistema.

How we built it La arquitectura está dividida en dos microcontroladores ESP32, programados en C++.

El Cerebro (VIMO): Implementamos una arquitectura de audio I2S nativa para un micrófono omnidireccional y un amplificador de altavoz. Para el procesamiento, armamos un pipeline de APIs: usamos Wit.ai para procesar el audio crudo en texto (Speech-to-Text), luego la API de Groq (LLaMA-3 8B) con un prompt dinámico multilingüe para el razonamiento lógico, y TTS de Google para la síntesis de voz.

Telemetría y Rutas: Usamos Google Geocoding/Geolocation API y Directions API mediante peticiones HTTP (GET y POST) manejando la deserialización de archivos JSON directamente en la memoria PSRAM del ESP32.

El Guardián (W-GUARD): Nos basamos en una pantalla TFT conectada por SPI. Para evitar cuellos de botella y que la pantalla se congelara, enlazamos los dos ESP32 usando el protocolo UDP Broadcast, creando una red local de muy baja latencia.

Challenges we ran into Enfrentamos retos de hardware y software dignos del hackathon. Primero, el límite estricto de caracteres de las APIs de texto a voz: el ESP32 se bloqueaba si la IA daba respuestas largas. Lo resolvimos programando un algoritmo de "Chunking" inteligente que corta el texto en fragmentos de 90 caracteres respetando los espacios, manteniendo el audio fluido. También sufrimos con los bloqueos de red (AP Isolation) y errores de permisos HTTP 403 con las llaves de Google Cloud de último minuto. Para solucionarlo, programamos sistemas de tolerancia a fallos (Failovers): si la red bloquea la geolocalización, VIMO automáticamente asigna las últimas coordenadas conocidas en Tijuana y lanza la alerta a Telegram de todos modos. ¡El sistema nunca se rinde!

Accomplishments that we're proud of Estamos increíblemente orgullosos de haber logrado fusionar múltiples modelos de Inteligencia Artificial en la nube con un microcontrolador de bajo costo ($5 USD). Lograr que un ESP32 grabe audio, lo procese en la nube, razone con LLaMA-3, busque rutas en Google Maps, hable, y mande datos por UDP a una pantalla simultáneamente sin quedarse sin memoria RAM, es un triunfo enorme de optimización de código en C++ para todo nuestro equipo.

What we learned Aprendimos a leer documentación técnica bajo presión extrema. Entendimos a fondo la diferencia entre peticiones HTTP GET y POST al tratar con las APIs de Google Cloud, y cómo manipular y parsear documentos JSON complejos (ArduinoJson) extrayendo solo lo necesario para no saturar la memoria dinámica del microcontrolador. También aprendimos que en ingeniería de hardware, siempre debes tener un plan B y C para tu código cuando el Wi-Fi del evento falla.

What's next for vimo El siguiente paso para VIMO es el diseño y fabricación de una PCB (Placa de Circuito Impreso) personalizada para miniaturizar todo el hardware al tamaño de un gafete o un reloj inteligente. Queremos integrar un módulo GPS físico real (SIM808) para no depender exclusivamente del Wi-Fi en zonas aisladas de la ciudad, y entrenar el modelo de lenguaje de VIMO con bases de datos de incidencia delictiva locales para que pueda advertir activamente al usuario si está ingresando a una zona de alto riesgo.

Built With

Share this project:

Updates