Voix et machines

Voix & Machines
Christophe Villeneuve
@hellosct1
@hellosct1@mamot.fr
Very Important Party 2019

Christophe Villeneuve ?
●
Consultant
●
Dresseur animaux Free Software

@hellosct1 - Very Important Party 2019
Aujourd’hui
●
Assistants vocaux
●
Construire son Assistant
●
Avec une communauté, c’est mieux

Assistants vocaux
Construire son Assistant
Avec une communauté,
c’est mieux

Assistant numérique : au service de l’utilisateur
●
Smartphone
●
Enceinte connectée
●
Mixed Reality
Souvent utilisé dans des
contextes où la voix est plus
efficace pour communiquer

Matériels

Traitement de la voix
●
Obligation d’un réseau
– Connecter aux internets
●
Accès aux services cloud pour pouvoir fonctionner
– Entrainement et transcription gourmands en calculs
●
Contraintes
– Souvent laissé à des services tiers en-ligne
– Nécessite beaucoup de données audio avec texte associé
– Voix personnelle, mais enregistrement parfois constant

Fonctionnement
Assistant vocaux
Requêtes
Résultat
Traitement

L’utilisation de la recherche vocale aujourd’hui
2016 2020
2016 2020

Aujourd’hui : Un constat
●
Des gros acteurs (4-5)
– Dominé par les géants du Web d’aujourd’hui
●
Difficile d’accès pour les petits acteurs
– Développeurs logiciels
– Langues et marchés « minoritaires »
●
Alternative pour outiller la communauté
– Emergence d’outils vocaux
→ Projet Common Voice de Mozilla
Verrous de
l’écosystème vocal
Verrous de
l’écosystème vocal

Alternative
●
Raspberry PI
– Respeaker 2 – Mics PI Hat
●
Arduino
– Movi d’Audème
– Grasp.io
– Voice Recognition
●
Briques pour Les assistants vocaux
– Common Voice – DeepSpeech de Mozilla

Ingrédients

Construire son assistant
Projet Common voice

Objectifs (1/2)
●
Cassons les barrières de la voix
– Accès : peu de gros jeux de données publiquement
accessibles
– Coût : ticket d’entrée important pour les jeux de
données commerciaux, avec des complexités
légales
– Biais : seuls certains marchés sont bien pourvus

Objectifs (2/2)
●
Collecte de données ouvertes pour l’apprentissage machine
●
Données : audio et texte correspondant
●
Diversité
– Langues
– Accents
– Ages
– Genres
– Qualité sonore
●
Nous visons 10 000 heures de données validées par langue :
https://voice.mozilla.org

Voice.mozilla.org → Parler
https://voice.mozilla.org/speak

Voice.mozilla.org → Ecouter
https://voice.mozilla.org/listen

Proposer et valider de nouvelles phrases
●
Posséder un compte sur Common Voice.
●
Identifiez-vous sur le Collecteur de phrases
– Avec vos identifiants de Common Voice.
Validation des phrases
Page
→ page de validation.
Ajouter de nouvelle phrases
Page
→ Ajouter une nouvelle phrase

Collecteur de phrases : Ajouter
https://common-voice.github.io/sentence-collector/

Collecteur de phrases : Valider
https://common-voice.github.io/sentence-collector/

Construire son assistant
Projet Deep Speech

DeepSpeech
●
Speech To Text
– Voix vers le texte
●
Text To Speech
– Texte vers la Voix

Données ouvertes
●
Décentraliser les données : plus de pouvoir aux
utilisateurs et contributeurs
– Facile à obtenir, exploiter
– Partage des données
– Intégration dans d’autres
jeux de données
– Outiller les communautés
https://voice.mozilla.org/fr/datasets

Ingrédients
●
Modèles
– https://github.com/mozilla/deepspeech
●
Languages
– Python / Rust / NodeJS / .Net
●
Projets locals
– Pas de dépendance aux réseaux
●
Compatilibité Navigateurs
– Firefox et les autres

Projets disponible
●
Assistants numériques
– Mycroft
– Snips
– Université de Bangor (Pays de Galles)
●
Assistant personnel
– Leon
●
Transcription des messages
– FusionPBX

Construire une communauté
Mozilla ne serait rien sans sa communauté

Accompagner la communauté
●
Qui est un contributeur ?
– Tout le monde !
●
Sociétés et startups
●
Institutions et chercheurs
●
Hobbyistes individuels
●
Utiliser c’est déjà contribuer : télémétrie dans Firefox
Commencer à contribuer est un jeu d’enfants :
Enregistrez votre voix et écoutez celles des autres.
Commencer à contribuer est un jeu d’enfants :
Enregistrez votre voix et écoutez celles des autres.

Exemple
●
Le cas du kabyle
– Région d’Algérie, avec sa propre langue
≈ 5M locuteurs localement (≈ 25 − 30M dans le monde)
– Forte culture locale
– Déjà des contributeurs qui traduisent Firefox
– Implication forte :
≈ 300 contributeurs, et plus de 95 heures déjà collectées
●
Chercheurs et institutions
– Contributions de gouvernements pour leur langue
– Université de l’Illinois : Flickr30k, 130 000 phrases supplémentaires
– Benchmark non biaisé : Speech Advisory Group

Contributions par les faits
●
Plus de 30 langues actives, dont l’anglais, l’allemand, le kabyle, le français
et le catalan, le breton et le basque
●
En chiffre :
– 2018 (novembre) : 1200 heures validées
– 2019 (juin)
●
2100 heures validées
●
2700 heures enregistrées
●
112 pays.
●
Plus de 110000 contributeurs individuels ont enregistré et/ou validé.
●
Plus de 200 développeurs ont participé.
●
Jeu de données téléchargé des centaines de fois tous les mois.

Répartitions
Accent
64% Français de France
3% Français de Belgique
2% Français de Suisse
1% Français du Canada
Âge
< 19 : 4 %
19 - 29 : 24 %
30 - 39 : 21 %
40 - 49 : 17 %
50 - 59 : 5 %
60 - 69 : 6 %
Genre
70 % Masculin
9 % Féminin
●
Jeux de données vocales disponible
– Contenu officiel https://voice.mozilla.org/fr/datasets

Comment pouvez-vous aider ?
●
Parlez-en : partagez votre voix et validez des échantillons
●
Utilisez le jeu de données, et donnez nous votre point de vue
●
Améliorez le corpus de texte, en partageant sous licence CC-0 du texte utile
●
Construisez des outils innovants avec Common Voice et Deep Speech
– un assistant numérique local ?
– de l’identification de locuteur ?
– de la domotique avec contrôle vocal 100% local ?

Allez plus loin !
●
Site officiel Common Voice
– https://voice.mozilla.org/
●
Dépôt Github Francophone Common Voice – DeepSpeech
– https://github.com/Common-Voice/commonvoice-fr
●
Nous contacter
– Forum Discourse Francophone
●
https://discourse.mozilla.org/c/voice/fr

Merci
Christophe Villeneuve
@hellosct1
@hellosct1@mamot.fr

Voix et machines

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Voix et machines

Semelhante a Voix et machines (20)

Mais de Christophe Villeneuve

Mais de Christophe Villeneuve (20)

Voix et machines