Stage - Exploration de l’utilisation des modèles de langage pour le pilotage d’un drone

Au sein de l’équipe R&D, votre mission sera de développer une base logicielle robuste pour qu’un modèle génératif multimodal puisse prendre en compte une instruction humaine, un ensemble de données hétérogènes (nuages de points, images, capteurs) et générer un ensemble d’actions afin de répondre aux besoins métiers. Lors de ce stage très orienté recherche, nous attendrons de vous de réaliser les tâches suivantes :

Tâches à réaliser :

1. Rédiger un état :
   1. Identifier les différentes utilisations des LLM dans le monde de la robotique.
   2. Lister l’ensemble des projets open source mettant à disposition des LLM pour le monde du drone ou les robots programmés en ROS.
   3. Étudier les performances des LLM propriétaires ou open source selon les besoins métiers.
   4. Trouver des jeux de données dans l’optique de renforcer l’apprentissage de modèles.
2. Programmation d’un POC :
   1. Lister un ensemble d’actions atomiques d’intérêt.
   2. Programmer un LLM pour la génération d’une suite d’actions atomiques.
   3. Ajouter au simulateur de Gazebo différents obstacles et objets pour tester les décisions du LLM.
   4. Tester ces ensembles d’actions en simulation.
   5. Tester ces ensembles d’actions sur des drones de tests.
3. Intégration de données multimodales dans le LLM :
   1. Prise en compte de l’environnement du système de visualisation du drone dans les consignes données au modèle de langage.
   2. Traitement des données hétérogènes (séries temporelles, images, nuages de point) afin de les intégrer dans le LLM.
   3. Extraction d’informations sémantiques et reconnaissances d’informations complexes.

Profil recherché :

• Vous êtes étudiant(e) ingénieur ou suivez un Master en quatrième ou cinquième année.
• Vous avez une spécialisation en électronique embarquée, informatique, traitement du signal ou robotique.
• Vous avez des connaissances générales en robotique, en machine learning et dans les modèles de langages.
• Vous connaissez la programmation en Python / C++ et dans l’intergiciel ROS.
• Vous avez la maîtrise d'un framework de deep learning (PyTorch, Tensorflow, etc...) et d'outils d'analyse de données.
• Vous avez un esprit d'analyse et de bonnes capacités rédactionnelles et de reporting.