Inspiration

Elderly individuals often face challenges when using technology, as most systems aren’t designed with them in mind. Statistics show that only 9.5% of older adults properly use or feel comfortable with AI systems. Many elderly users need tech assistance to support daily living, social connection, and help with scheduling or weather-appropriate clothing. To address these gaps, we created Hey Darling!—a friendly, interactive app with a lovable 3D character that makes technology both accessible and engaging for the elderly.

What it Does

Hey Darling! is a companion app with an animated 3D cat named Darling, specially designed to be easy to use and incredibly charming. Darling offers real-time, voice-activated assistance, including chatting, event planning, weather updates, and daily news. The app can also support memory by saving recent interactions and allowing users to record reminders, so they can ask Darling for a recap if they forget what they last discussed. Darling is also full of personality—it can perform cute tricks like flips, dances, and even lets users pet it, adding a delightful touch to daily interactions. By making technology friendlier and more enjoyable, Darling helps address loneliness and supports the elderly in staying connected and engaged.

How We Built It

We developed Hey Darling! using a React.js frontend and a Python backend. For the 3D interface, we leveraged Three.js to bring Darling to life with interactive animations. Voice recognition and text-to-speech functionality were powered by ElevenLabs, providing a smooth, conversational experience. To streamline responsiveness, we used a custom OpenAI mini API optimized with a smaller dataset for faster interactions. We also read the audio waves by checking the decibels to adjust our Darling's mouth movements to be super natural. By combining these technologies, we crafted a responsive, animated, and intuitive experience that bridges the gap between the elderly and tech.

HCI Consideration

Human-Computer Interaction (HCI) was a key focus when designing Hey Darling! to make it easy and enjoyable for elderly users. We kept the interface simple, with large, clear text and buttons, and made voice commands the main way to use the app. The 3D cat, Darling, was created to feel like a friendly companion, helping users feel less lonely. By focusing on HCI, we made Hey Darling! a helpful and trustworthy tool that makes technology more accessible for older adults.

What We Learned

Collaborating on Hey Darling! taught us about the nuances of accessibility design and the importance of usability for elderly users. We learned how to simplify interactions and create an engaging app that elderly users could enjoy and trust.

What's Next?

Moving forward, we plan to make Hey Darling! even more personalized. Our next steps include optimizing our existing features so that it helps elderly people suggest helpful activities faster and more efficiently as well as reducing hallucinations so it doesn't stress them out. We’re also exploring additional interactive features like emergency calls to be able to help them and recognizing accidents that happen in the house with our computer vision/ Ultimately, our goal is to create a deeper connection between users (the elderly) and Darling, making it a trusted daily companion for both practical support and social interaction :3.

Questions!

Feel free to leave comments asking us how we made everything, we would be more than happy to share :3

-------------------------------- version française :3 ----------------------------------

Inspiration

Les personnes âgées rencontrent souvent des difficultés à utiliser la technologie, car la plupart des systèmes ne sont pas conçus pour elles. Les statistiques montrent que seulement 9,5 % des personnes âgées utilisent correctement ou se sentent à l’aise avec les systèmes d'IA. Beaucoup d'entre elles ont besoin d'assistance technologique pour les aider dans leur vie quotidienne, maintenir les liens sociaux, et faciliter la gestion des horaires ou la sélection de vêtements adaptés à la météo. Pour combler ces lacunes, nous avons créé Hey Darling! — une application interactive et conviviale avec un personnage 3D adorable, qui rend la technologie accessible et engageante pour les personnes âgées.

Fonctionnalités

Hey Darling! est une application compagnon avec un chat 3D animé nommé Darling, spécialement conçu pour être facile à utiliser et incroyablement attachant. Darling offre une assistance en temps réel, activée par la voix, incluant des services de conversation, de planification d’événements, de mise à jour météo et d’actualités quotidiennes. L'application peut aussi soutenir la mémoire en sauvegardant les interactions récentes et en permettant aux utilisateurs d’enregistrer des rappels, afin qu'ils puissent demander à Darling un récapitulatif s'ils oublient leur dernière conversation. Darling est également plein de personnalité — il peut exécuter des tours mignons comme des saltos, des danses, et permet même aux utilisateurs de le caresser, ajoutant une touche plaisante aux interactions quotidiennes. En rendant la technologie plus amicale et agréable, Darling aide à lutter contre la solitude et soutient les personnes âgées dans leur engagement social.

Comment nous l’avons construit

Nous avons développé Hey Darling! avec un frontend en React.js et un backend en Python. Pour l’interface 3D, nous avons utilisé Three.js pour donner vie à Darling avec des animations interactives. La reconnaissance vocale et la fonctionnalité de synthèse vocale sont propulsées par ElevenLabs, offrant une expérience de conversation fluide. Afin de garantir une réactivité optimale, nous avons utilisé une mini API OpenAI optimisée avec un ensemble de données plus réduit pour des interactions plus rapides. Nous avons également intégré la lecture des ondes audio en vérifiant les décibels pour que les mouvements de bouche de Darling soient extrêmement naturels. En combinant ces technologies, nous avons créé une expérience animée, intuitive et réactive, qui rapproche les personnes âgées de la technologie.

Considération pour HCI

L’interaction homme-machine (HCI) a été un aspect clé lors de la conception de Hey Darling! pour le rendre facile et agréable à utiliser pour les personnes âgées. Nous avons simplifié l’interface avec un texte clair, de grande taille, et des boutons bien visibles, tout en privilégiant les commandes vocales comme principal moyen d’interaction avec l’application. Le chat 3D, Darling, a été conçu pour ressembler à un compagnon amical, aidant ainsi les utilisateurs à se sentir moins seuls. En nous concentrant sur l’IHM, nous avons fait de Hey Darling! un outil utile et fiable qui rend la technologie plus accessible aux personnes âgées.

Ce que nous avons appris

La collaboration sur Hey Darling! nous a permis de mieux comprendre les nuances de la conception accessible et l'importance de l'ergonomie pour les utilisateurs âgés. Nous avons appris comment simplifier les interactions et créer une application attrayante, que les personnes âgées peuvent apprécier et en laquelle elles peuvent avoir confiance.

Prochaines étapes

À l'avenir, nous prévoyons de rendre Hey Darling! encore plus personnalisé. Nos prochaines étapes incluent l’optimisation de nos fonctionnalités existantes pour aider les personnes âgées à suggérer des activités utiles plus rapidement et plus efficacement, ainsi que la réduction des hallucinations pour éviter de les stresser. Nous explorons également des fonctionnalités interactives supplémentaires, telles que les appels d'urgence pour pouvoir les aider et la reconnaissance des accidents à domicile grâce à la vision par ordinateur. Notre objectif final est de créer une connexion plus profonde entre les utilisateurs (les personnes âgées) et Darling, en faisant de lui un compagnon quotidien de confiance pour le soutien pratique et l’interaction sociale :3.

Questions!

N’hésitez pas à laisser des commentaires pour nous demander comment nous avons réalisé tout cela, nous serons ravis de partager :3

---------------------------- 中文版 :3------------------------

灵感

在科技飞速发展的今天，高龄群体（老年人）在使用科技产品时却常常遭遇困境，毕竟大多数科技系统并非以老年人为主要受众进行设计。相关数据表明，仅有 9.5% 的老年人能够较为熟练地使用或能在使用 AI 系统时感到自在。实际上，许多老年人在日常生活、社交互动等方面都迫切需要科技的助力，比如获取适合天气的着装建议以及合理的日程规划安排等。为了填补这一市场空白，我们精心打造了 Hey Darling!。这是一款专为老年人设计的应用程序，它界面友好、互动性强，还配备了可爱的 3D 角色，致力于让老年人能够轻松愉悦地享受科技带来的便利与乐趣。

应用功能

Hey Darling! 是一款独具特色的智能宠物伴侣应用，主角是一只名为 Darling 的 3D 小猫猫。这款应用以简单易用为核心设计理念，同时极具独特魅力。 Darling 具备强大的实时语音辅助功能，可满足多种需求，例如轻松畅聊、合理安排事件、及时更新天气状况以及播报每日新闻等。不仅如此，该应用在辅助记忆方面也表现出色，它能够保存近期的互动记录，还允许用户自行录制提醒内容。当用户遗忘上次交流的话题时，只需向 Darling 提出回顾请求，即可重温过往信息。 Darling 还被赋予了丰富的个性，它会俏皮地表演可爱的翻滚动作，或是欢快地跳舞等有趣的小把戏，用户甚至能够以 “抚摸” 的方式与它互动，为日常交流增添了许多温馨与乐趣。针对老年人群里，Hey Darling! 将科技以更加友好、愉悦的形式呈现，Darling 有效地缓解了老年人的孤独感和与现阶段与智能AI技术的代沟，有力地支持他们与外界保持紧密联系，并积极参与各类社会活动。

构建过程全解析

在Hey Darling!的构建过程中，我们采用了 React.js 搭建前端框架，运用 Python 构建后端体系。在 3D 界面构建方面，我们使用 Three.js 技术，把 Darling 的形象塑造的栩栩如生，添加灵动自然的交互动画，使其仿佛拥有真实的生命。而语音识别与语音合成功能，我们借助 ElevenLabs API 强大的技术支持，为用户打造丝滑流畅、毫无阻碍的对话体验，让交流变得自然而愉悦。为了提升响应速率，我们专门定制了 OpenAI 小型 API，凭借较小规模的数据集进行优化，从而显著提升了更为快速的交互速度。并且，我们也增加了很多细节的处理。比如说，通过对声音分贝的精准检测来调整 Darling 的嘴部动态，使其说话口型更加贴合自然，经由对上述各项技术的结合，我们成功的设计了这个响应敏捷、动画逼真、操作简易的AI助手，有效缩减了老年人与科技之间的距离，让科技更好地融入他们的生活。

我们的收获

在 Hey Darling! 的合作过程中，我们学到了有关无障碍设计的细微之处以及老年用户友好性的设计重要性。我们学会了如何简化互动，创建一个老年用户可以享受并信赖的应用程序。

人机交互 (HCI) 考量

在设计 Hey Darling! 时，人机交互 (HCI) 是我们关注的重点，目的是让老年用户使用起来既简单又愉快。我们简化了界面，采用清晰的大字体和显眼的按钮，并将语音命令作为主要的交互方式。3D虚拟猫咪 Darling 被设计成一个友好的陪伴者，帮助用户减少孤独感。通过专注于 HCI，我们让 Hey Darling! 成为一个实用且值得信赖的工具，从而让老年人更容易接触和使用技术。

未来的计划？

未来，我们计划使 Hey Darling! 更具个性化。首先，我们会着重对现有功能进行优化，从而更迅速、精准地为老年人筛选推荐有益身心的活动项目。同时，大力削减可能出现的幻觉现象，避免给老年人造成不必要的困扰与压力。此外，我们积极探寻更多新颖的互动功能，比如增设紧急呼叫功能，使其在关键时刻能为老年人提供更及时有效的帮助。并且借助计算机视觉技术，敏锐识别家中潜在的意外状况，为老年人的居家安全保驾护航。我们的终极愿景是在老年人与 Darling 之间构建起更为深厚稳固的情感纽带，让 Darling 真正蜕变成为老年人生活中不可或缺的得力助手与亲密伙伴，不仅在实际事务中给予有力支撑，更在社交互动层面带来温暖陪伴，成为他们每日可安心依靠的挚友。