Ci-dessous, les travaux d'un homme sur la localisation sonore utilisant une Raspberry et deux microphones. L'orientation d'une "plaque" en fonction de l'origine du son se fait par un moteur.
Ici, un forum sur lequel une personne a essayé de mettre en application la solution précédente.
https://forum.arduino.cc/index.php?topic=386996.0
N.B.: Utilisation de rosserial_arduino: permet d'utiliser ROS directement avec l'IDE Arduino
Une nouvelle solution proposée sur PotBot:
https://pobot.org/La-localisation-des-sources-de-son.html?decoupe_recherche=MICRO&artpage=0-0#outil_sommaire_0 (Commentaire du 12/09/10 paraît pertinent)
Test simulé sur pc, programme écrit en java (et un peu lourd) mais adaptable en c/c++ (permet de porter le module sur Raspberry Pi). Cela a été fait ici, notamment avec l'utilisation d'ALSA :
Une première version de l'état de l'art concernant le sujet a été rédigé. https://gitcdr.univ-ubs.fr/ericsenn/localisation_audio/src/branch/master/Etat_Art_v1.pdf
De plus, la solution envisagée commence à se préciser: Adapté la solution présentée sur PotBot (https://pobot.org/La-localisation-des-sources-de-son.html?decoupe_recherche=MICRO&artpage=0-0#outil_sommaire_0) afin de l'utiliser en c++ sur un Raspberry Pi. Cela avec l'IDE Arduino (http://wiki.ros.org/rosserial_arduino/Tutorials/Arduino%20IDE%20Setup) permettant de communiqué avec ROS. Dans un premier temps essayer avec deux microphones, puis étudier l'impact sur la précision du système lorsque l'on rajoute des microphones.
Une première version des programmes permettant de communiquer avec la carte son, l'échantillonnage et la localisation ont été écrits. Ils sont disponibles respectivement aux adresses:
L'objectif du jour était de faire fonctionner les programmes.
Pour traiter les sons qui arrivent à la carte son, il existe deux possibilités:
* hw:x;y
* plughw:x;y
L'utilisation de plughw:x;y (ou hw:x;y) sur mon pc doit se faire avec les paramètres suivants :
x=1 (carte 1),
y=0 (périphérique 0).
Afin de connaitre ces paramètres, il est possible d'utiliser la commande "aplay -l" dans le terminal.
Si hw:x;y est plus léger et permet d'accéder directement au hardware, plughw:x;y qui est plus "gourmand" semble pouvoir fonctionner sans problème sur une Raspberry Pi.
Une fois que les programmes ont bien fonctionnés, je les ai utilisés sur un autre pc (également sous linux) qui comportait un microphone interne stéréo (2 micros distants d'environ 5 cm). La détection fonctionne un peu mais il est cependant nécessaire de l'améliorer.
Ubuntu Xenial et Raspbian (linux pour les raspberry pi) sont tous les deux basés sur la distribution Debian. ROS Kinetic pourra donc être aisément porter d'Ubuntu vers Raspbian.
N.B: Des problèmes avec l'alimentation de mon pc m'ont ralentis.
**Ajout du 28 Mai**
Le fichier CMakeLists.txt permettant de compiler le programme de compilation en c++ a été terminé: https://gitcdr.univ-ubs.fr/ericsenn/localisation_audio/src/branch/master/CMakeLists.txt
Dans le chemin du CMakeLists, où se situe le programme localisation.cpp il faut donc utiliser cmake (version 3.10) dans le terminal :
1. cmake CmakeLists.txt
2. make
L'exécutable est alors créé avec toutes les dépndances nécessaires.
J'ai essayé d'optimiser le programme de localisation, mais pour le moment cela est infructueux.
Pour le moment le progrmme ne peut localiser la source sonore que selon 180°. Pour avoir une "vision" de 360° il semble nécessaire d'utiliser plus de 2 microphones (cela se dirige vers une utilisation de 4 microphones).
**Ajout du 29 Mai**
Le dossier contenant le fichier cmake permettant la compilation du programme de localisation a été rajouté à cette adresse : https://gitcdr.univ-ubs.fr/ericsenn/localisation_audio/commit/ccf2806151042984c21566d1376ce07901f0b20f . Ce dernier a été réécrit plus proprement. Le fichier java permettant de visualiser la direction du son a été ajouté au dossier.
Plusieurs idées ont été pensées pour localiser les sons à 360° autour du sujet. Elles sont au nombre de deux et utilisent toutes quatre microphones: https://gitcdr.univ-ubs.fr/ericsenn/localisation_audio/src/branch/master/Utilisation%20de%204%20microphones.docx
Une machine virtuelle avec linux a été installée sur le pc fonctionnant sous windows. Ce dernier comportant plusieurs entrées microphones il pourrait être utile au moment de tester une solution avec plus de deux microphones. Sinon, le pc portable comportant un microphone interne stéréo a aussi une entrée pour un micro, peut-être que je pourrais l'utiliser.
Une nouvelle solution permettant de n'utiliser que trois microphones a été pensée pour une localisaion à 360° (partie III du document suivant): https://gitcdr.univ-ubs.fr/ericsenn/localisation_audio/src/branch/master/Localisation_360_degres.pdf
La décision a été prise d'utiliser ctte troisième solution, il a donc fallu adapter le code précédent (avec deux microphones) afin de prendre en compte et d'utiliser le troisième microphone. Plusieurs rajouts ont été écrits:
Un petit souciest survenu : lorsque le micro externe est branché sur le pc (par une prise jack), cela désactive automatiquement les micros internes. Cela empêche donc pour le moment d'utiliser plus de deux microphones. Il faut donc trouver un moyen de controler trois microphones sur un même pc (et sans table de mixage !). La carte son ne pouvant pas contrôler deux entrées directes en même temps, l'utilisation d'un microphone passant par un port USB (et donc n'utilisant pas la carte son) en complément des microphones internes pourrait fonctionner. Peut-être trouver un moyen d'utiliser mon smartphone comme microphone USB ?
**Ajout du 03 Juin**
Afin d'utiliser mon smartphone comme un microphone USB, j'ai essayé d'utiliser *Wo Mic*. Ce logiciel doit permettre de transmettre les sons captés par le téléphone via le port usb : https://wolicheng.com/womic/
Cela n'étant pas concluant, j'ai trouvé un moyen de connecter mon smartphone à mon pc en bluetooth, puis d'envoyer le son capté par le micro du téléphone au pc. Le problème est que le temps de latence est trop élevé et faussera donc les calculs (ces derniers étant basés sur le temps de parcours du son de la source jusqu'au microphone). Je pourrais alors utiliser trois téléphones connectés en bluetooth, mais il faudra modifier le code pour changer la voie d'acquisition du son (la bibliothèque hci_lib semble permettre cela).
Dans l'optique d'avoir un microphone USB, je me suis renseigné sur la façon de gérer la lecture des port USB en C++. Voici quelques liens intéressants:
J'ai travaillé sur le début de mon rapport en début de journée. Ensuite installation de ROS Kinetic (desktop version et non desktop full version) sur la VM simulant Ubuntu Xenial: http://wiki.ros.org/kinetic/Installation/Ubuntu
La différence entre les deux versions réside dans la prise en compte de la perception et de la simulation 2D/3D ainsi que la navigation par la version "full".
En passant du contrôleur audio Intel Audio HD vers SoundBlaster 16 plus rien ne fonctionnait (ni les entrées, ni les sorties). Je suis donc repassé sur Intel Audio HD et là : plus de micro du tout. Au final, le contrôleur aduio de départ AC97 fonctionne pour la sortie audio.
Après avoir testé une VM avec Ubuntu 20.04 en guest, il s'avère que le meilleur compromis est d'utiliser le contrôleur audio Intel Audio HD. Cependant, pour que l'unique entrée microphone détectée fonctionne, le microphone doit être branché dès le lancement de la VM.
**ajout du 05 Juin**
Récapitulatif des besoins pour utiliser le programme sur ubuntu xenial:
- Cmake version 3.5.1 : pas de mise à jour à faire
Je travaille à présent sur la VM Ubuntu Xenial. Afin d'utiliser le microphone stéréo du petit pc portable, j'ai utilisé Audacity pour enregistrer le son et l'envoyer sur le pc "tour" (via leurs prises jack respectives, à l'aide d'un cordon jack mâle/mâle). La qualité audio ne semble pas trop impactée. L'utilisation du programme de localisation de source sonore avec ROS pourra au moins être testée pour une détection à 180°. Il serait toutefois intéressant de trouver le moyen d'utiliser 3 microphones.
**Ajout du 08 Juin**
Dans la matinée j'ai essayé de faire fonctionner mon programme avec ROS. J'ai donc:
* Créé un environnement de travail
* Créé un package localisation
* Construit le package localisation
* Paramétré le CMakeLists.txt pour la compilation du programme localisation.cpp avec catkin_make
* Testé l'exécution du node loca_exe permettant la localisation du son.
Par la suite, j'ai rédigé une "notice" afin de me rappeler aisément comment refaire toutes ces opérations:
Le problème de source du setup.bash avant chaque exécution du programme a été résolu. Il fallait rajouter la ligne source ~/catkin_ws/devel/setup.bash à la fin du fichier .bashrc.
