|
|
SignaLink tiene como objetivo principal traducir la lengua de señas para lograr la inclusión de personas sordas en el ámbito escolar.
Otro objetivo propuesto a largo plazo es seguir difundiendo esta idea en futuras generaciones para poder proveerles un mejor manejo en la vida cotidiana a este tipo de personas, permitiendole agilizar su vida social o simplemente la comunicación sin barerras con otras personas.
Esta idea surgió en una conversación con la bibliotecaria de nuestra escuela que nos dio a conocer cuan reservadas son estas personas en la sociedad y cuantos desafios deben afrontar a diario. A traves de todo esto planteamos posibles soluciones para facilitarle sus vidas inicialmente en las escuelas y asi empezo toda esta aventura.
Nuestro proyecto esta principalmente equipado con sensores flex, giroscopos y acelerómetros que detectan los movimientos de los dedos.
Estos datos que arrojan los sensores son capturados por un ESP32 C3 Super Mini ubicado en la muñeca y enviados a un Computer module 4 (CM4) a traves de un sistema de mensajeria (MQTT) ubicado en el pecho/cintura. Esta CM4 integra una Inteligencia Artificial (IA) que se encarga de procesar estos datos recibidos para descubrir que gesto se intentó hacer. Una vez realizado este proceso se convertira mediante PIPER-TTS a formato audio reproducible por un parlante, permitiendo así que las personas que se comunican mediante la lengua de señas puedan expresar su mensaje de forma audible para que cualquier receptor lo comprenda.
En paralelo, un micrófono direccional se encargará de captar la voz de la persona que quiera comunicarse, esas palabras serán procesadas por la CM4 utilizando un modelo de reconocimiento de voz (Vosk -> Offline) y en forma de texto se mostrará finalmente a través de un LCD OLED (SSD1306)
| Componentes | Links |
|---|---|
| Raspberry Pi Compute Module 4 | Raspberry Pi Compute Module 4 - ELEMON |
| ESP32-C3 Super Mini | ESP32-C3 Super Mini - Mercado Libre |
| Sensores Flex | Sensores Flex - Mercado Libre |
| Parlante | Mini Parlante- Mercado Libre |
| Modulo Amplificador | PAM8403 - Mercado Libre |
| Micrófono | Corbatero Carello C11 - Mercado Libre |
| Baterias | Lipo 3.7V - Mercado Libre |
| Sensor Giroscopo y Acelerometro | MPU6050 - Mercado Libre |
| Step Up 5V | MT3608 - Mercado Libre |
| LCD OLED | LCD SSD1306 - Mercado Libre |
- Clonar el repositorio:
git clone https://github.com/impatrq/SignaLink
- Entrar a la carpeta rpizero2W.
cd SignaLink/rpizero2W - Darle permisos de ejecucion al script de instalación.
chmod +x install.sh
- Ejecutar el Script.
./install.sh
- Comenzar su uso.
| Integrantes | Responsabilidades | Tareas Secundarias |
|---|---|---|
| Albornoz Thiago | Gestión de Redes Sociales y Marketing | Desarrollo de Software |
| Erbino Sebastián | Diseño del Prototipo | Integración de hardware |
| Franco Valentin | Armado de Hardware | Instalación y conexión de hardware |
| Lesme Franco | Armado de software | Diseño del prototipo |
| Poggi Lorenzo | Registro de Seguimiento | Programación del sistema |
| Sarniguette Valentino | Prueba electronica | Armado de circuitos |
Este es el comienzo de un prototipo realizado a base de nuestros conocimientos, si le gustaria formar parte de SignaLink, nos ayudaría su colaboración en:
- Perfeccionar el código.
- Mejorar la infraestructura tecnológica.
- Creación de manuales y realización de pruebas.
- Apoyo financiero para la investigación y el desarrollo.
| Integrante | Gmail | |
|---|---|---|
| Albornoz Thiago | |
 |
| Erbino Sebastian | |
|
| Franco Valentin | |
|
| Lesme Franco | |
|
| Poggi Lorenzo | |
|
| Sarniguette Valentino | |
|
