Eating Smart
Faire progresser l'informatique de santé avec un assistant nutritionnel fondé sur Grounding DINO.
Lire la publication
Présentation
Aider les gens à faire des choix alimentaires éclairés à partir de la caméra dans leur poche.
Le Smart Dietary Assistant combine React Native, des profils personnalisés et la détection d'objets zéro-shot de Grounding DINO pour reconnaître les composants d'un repas et renvoyer des conseils nutritionnels. Il a été conçu pour des objectifs comme la gestion du poids, la prise de muscle et des décisions adaptées au diabète, tout en donnant la priorité à la confidentialité grâce à une couche de données PostgreSQL autogérée.
- 90.79% Précision de validation
- 10,596 Images COCO liées aux aliments
- 41.3 Net Promoter Score
Concepts de recherche
Processus
De l'image alimentaire à des conseils diététiques personnalisés
-
01
Profil & capture
Un utilisateur s'inscrit, ajoute le contexte de santé et les préférences, puis capture une image de repas avec la caméra mobile.
-
02
Traitement sécurisé
L'image transite par des services applicatifs protégés par TLS ; Firebase Authentication établit une session sécurisée dès le départ.
-
03
Reconnaissance zéro-shot
L'infrastructure TensorFlow exécute Grounding DINO pour identifier les composants d'un repas à partir de descriptions visuelles, sans exiger un jeu de données alimentaire étiqueté pour chaque cas.
-
04
Orientation et suivi
PostgreSQL récupère les données nutritionnelles pour des conseils personnalisés, tandis que Prometheus et Grafana assurent un suivi continu de la fiabilité.
La recherche relie la reconnaissance alimentaire zéro-shot, un contexte de santé personnalisé et un traitement des données respectueux de la vie privée, pour que les utilisateurs puissent agir sur ce qu'ils voient plutôt que seulement consigner ce qu'ils ont mangé.
Informatique de santé, vision par ordinateur et confidentialité
Solution et résultat
Un assistant nutritionnel respectueux de la vie privée
L'implémentation associe React Native et TypeScript côté client avec des services Django, l'infrastructure de modèles TensorFlow, Firebase Authentication et une base de données PostgreSQL autogérée. AES protège les données stockées, TLS protège les informations en transit.
- Grounding DINO pour une reconnaissance alimentaire zéro-shot flexible
- Profils personnalisés des préférences alimentaires et du contexte sanitaire
- Informations sur les aliments, les nutriments et la compatibilité alimentaire depuis PostgreSQL
- Analyse par caméra, conseils nutritionnels et interaction avec l’assistant réunis dans un même parcours mobile
Résultats prometteurs, avec les prochaines étapes claires
Sur un jeu de validation de 1 589 images, le modèle a obtenu 90,79 % de précision, 93,84 % de rappel, 87,98 % d'exactitude et un score F1 de 92,30 %. L'enquête menée auprès de 385 personnes a aussi relevé une forte convivialité perçue, une confiance dans la confidentialité et une intention de recommandation élevées.
- Satisfaction globale de 4,52/5 et confiance de 4,47/5 dans la confidentialité et la sécurité
- Convivialité perçue de 4,20/5 et précision des suggestions alimentaires de 4,13/5
- 65 % des utilisateurs étaient satisfaits ou très satisfaits de la vitesse de reconnaissance des images
- Orientation future : wearables, données physiologiques en temps réel et planification des repas plus riches
