FranFest |
Roman Organigramme Survol Dans l’Utterance de type Text subit les traitements suivants :
Voir le module synthesis.scm.
ne dispose d’un module correspondant à l’une de ces étapes que si celle-ci requiert un traitement spécifique au français. Plugins Technical note The tagger -1 Introduction “Les poules du couvent couvent” ! This french sentence is universally known by anyone who was once interested in TTS mechanisms. The problem is that the two last “couvent” at the end of the sentence are homographs but should not be pronounced the same way. The first one is the noun “couvent” and the second one the conjugation of the verb “couver” at third person of the plural.
Tagging might allow to disambiguate such situations. In fact tagging, that we may also call labeling consists in putting a label on each word, corresponding to its nature (or possibly to its function in the sentence). In fact “couvent” can receive the two labels “NMS” (nom mascualin singulier) “V3P” (verbe troisième personne pluriel.) Hence if the end of the sentence is tagged ( ( “couvent” “NMS” ) ( “couvent” “V3P” ) ) pronunciation will be correct. Implementation The tagging process is achieved by a Viterbi algorithm (abbreviated in VA in the sequal.) (see the corresponding Wikipedia page for more explanation. In fact there was already a tagger in the old FranFest version 1 The code mentioned above was directly derived from the tagger implemnted in lliaphon 2 The latter was itself derived from the lia_phon code 3
The aim of the algorithm is two determine, (guess, calculate, compute) the most probable sequence of labels for a given sequence of words a sentence. In VA language is the observation (a data) and the label sequence the most likely hidden sequence that leads to this observation. The initial probabilities are given by a database 4. In the construction of the database was complex and sometimes obscure to allow multiple tagging models. But ultimately the same database as in and was used. This database contains a set of possible labels with their frequences for a large amount of french words.
The transition probabilities are calculated via a trigram model 5.
Here are the formulas extracted from the
Wikipedia
article:
0
[Algorithm]
Suppose we are given a Hidden Markov Model (HMM) with state
space S, initial probabilities πi of being in state
i and transition probabilities ai,j of transitioning
from state i to state j. Say we observe outputs
y1,…, yT. The most likely state sequence
x1,…,xT that produces the observations is given by
the recurrence relations:
V_1,k=P( y_1 | k ) ·π_k
V_t,k=P( y_t | k ) ·maxx ∈S ( a_x,k ·V_t-1,x) .
Here Vt,k is the probability of the most probable
state sequence responsible for the first t observations
that has k as its final state. The Viterbi path can be
retrieved by saving back pointers that remember which state
x was used in the second equation. Let
Ptr(k,t) be the function that returns the value
of x used to compute Vt,k if t > 1, or k if
t=1. Then:
x_T=argmaxx ∈S(V_T,x)
x_t-1=Ptr(x_t,t) .
Here we’re using the standard definition of arg max. The complexity of this algorithm is O(T×|S|2). [Pseudocode] Given the observation space O := o1,o2,…,oN, the state space S := s1,s2,…,sK, a sequence of observations Y := y1,y2,…,yT, transition matrix A of size K × K such that Aij stores the transition probability of transiting from state si to state sj, emission matrix B of size K× N such that Bij stores the probability of observing oj from state si, an array of initial probabilities π of size K such that πi stores the probability that x1 == si. We saya path X := x1,x2,…,xT is a sequence of states that generate the observations Y = y1,y2,…, yT.
In this dynamic programming problem, we construct two 2-dimensional tables T1, T2 of size K× T. Each element of T1, T1[i,j], stores the probability of the most likely path so far
| X := x1,x2, ldots,xj |
with xj=si that generates Y=y1,y2,…, yj. Each element of T2, T2[i,j], stores xj−1 of the most likely path so far
| X = x1,x2,…,xj−1,xj |
for ∀ j, 2≤ j ≤ T.
We fill entries of two tables T1[i,j],T2[i,j] by
increasing order of K· j+i.
T_1[i,j]=maxk(T_1[k,j-1]·A_ki·B_iy_j)
T_2[i,j]=argmaxk(T_1[k,j-1]·A_ki·B_iy_j)
[INPUT]
The observation space O=o1,o2,…,oN, the
state space S=s1,s2,…,sK, a sequence of
observations Y=y1,y2,…, yT such that
yt==i if the observation at time t is oi,
transition matrix A of size K · K such that
Aij stores the transition probability of transiting
from state si to state sj, emission matrix B of
size K · N such that Bij stores the
probability of observing oj from state si, an array
of initial probabilities π of size K such that
πi stores the probability that x1 == si.
[OUTPUT:]
The most likely hidden state sequence
| X = x1,x2,…,xT . |
| A01 | function VITERBI( O, S,π,Y,A,B ) : X |
| A02 | for each state s[i] do |
| A03 | T[1][i,1] <- π[i] · B[i][y1] |
| A04 | T[2][i,1] <- 0 |
| A05 | end for |
| A06 | for i <- 2,3,...,T do |
| A07 | for each state s[j] do |
| A08 | T[1][j,i] <- maxk(T1[k,i−1]· Akj· Bjyi) |
| A09 | T[2][j,i] <- argmaxk(T1[k,i−1]· Akj· Bjyi) |
| A10 | end for |
| A11 | end for |
| A12 | z[T] <- argmaxk(T1[k,T]) |
| A13 | x[T] <- s[z[T]] |
| A14 | for i <- T,T-1,...,2 do |
| A15 | z[i-1] <- T[2][z[i],i] |
| A16 | x[i-1] <- s[z[i-1]] |
| A17 | end for |
| A18 | return X |
| A19 | end function |
[Example:] Consider a primitive clinic in a village. People in the village have a very nice property that they are either healthy or have a fever. They can only tell if they have a fever by asking a doctor in the clinic. The wise doctor makes a diagnosis of fever by asking patients how they feel. Villagers only answer that they feel normal, dizzy, or cold.
Suppose a patient comes to the clinic each day and tells the doctor how she feels. The doctor believes that the health condition of this patient operates as a discrete Markov chain. There are two states, "Healthy" and "Fever", but the doctor cannot observe them directly, that is, they are hidden from him. On each day, there is a certain chance that the patient will tell the doctor he has one of the following feelings, depending on his health condition: "normal", "cold", or "dizzy". Those are the observations. The entire system is that of a hidden Markov model (HMM).
The doctor knows the villager’s general health condition, and what symptoms patients complain of with or without fever on average. In other words, the parameters of the HMM are known. They can be represented as follows in the Python programming language:
states = (’Healthy’, ’Fever’)
observations = (’normal’, ’cold’, ’dizzy’)
start_probability = {’Healthy’: 0.6, ’Fever’: 0.4}
transition_probability = { ’Healthy’ : {’Healthy’: 0.7,
’Fever’: 0.3}, ’Fever’ : {’Healthy’: 0.4, ’Fever’:
0.6}, }
emission_probability = { ’Healthy’ : {’normal’: 0.5,
’cold’: 0.4, ’dizzy’: 0.1}, ’Fever’ : {’normal’: 0.1,
’cold’: 0.3, ’dizzy’: 0.6}, }
In this piece of code, start_probability represents the doctor’s belief about which state the HMM is in when the patient first visits (all he knows is that the patient tends to be healthy). The particular probability distribution used here is not the equilibrium one, which is (given the transition probabilities) approximately ’Healthy’: 0.57, ’Fever’: 0.43. The transition_probability represents the change of the health condition in the underlying Markov chain. In this example, there is only a 30have a fever if he is healthy today. The emission_probability represents how likely the patient is to feel on each day. If he is healthy, there is a 50chance that he feels normal; if he has a fever, there is a 60feels dizzy.
Graphical representation of the given HMM
The patient visits three days in a row and the doctor discovers that on the first day he feels normal, on the second day he feels cold, on the third day he feels dizzy. The doctor has a question: what is the most likely sequence of health condition of the patient would explain these observations? This is answered by the Viterbi algorithm.
# Helps visualize the steps of Viterbi. def
print_dptable(V): print " ", for i in range(len(V)): print
"%7d" % i,
print
for y in V[0].keys(): print "%.5s: " % y,
for t in range(len(V)): print "%.7s" % ("%f" % V[t][y]),
print
def viterbi(obs, states, start_p, trans_p, emit_p): V =
[{}] path = {}
# Initialize base cases (t == 0) for y in states: V[0][y] =
start_p[y] * emit_p[y][obs[0]] path[y] = [y]
# Run Viterbi for t > 0 for t in range(1,len(obs)):
V.append({}) newpath = {}
for y in states: (prob, state) = max([(V[t-1][y0] *
trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])
V[t][y] = prob newpath[y] = path[state] + [y]
# Don’t need to remember the old paths path = newpath
print_dptable(V) (prob, state) = max([(V[len(obs) - 1][y],
y) for y in states]) return (prob, path[state])
The function viterbi takes the following arguments: obs is the sequence of observations, e.g. [’normal’, ’cold’, ’dizzy’]; states is the set of hidden states; start_p is the start probability; trans_p are the transition probabilities; and emit_p are the emission probabilities. For simplicity of code, we assume that the observation sequence obs is non-empty and that trans_p[i][j] and emit_p[i][j] is defined for all states i,j.
In the running example, the forward/Viterbi algorithm is used as follows:
def example(): return viterbi(observations, states,
start_probability, transition_probability,
emission_probability) print example()
This reveals that the observations [’normal’, ’cold’, ’dizzy’] were most likely generated by states [’Healthy’, ’Healthy’, ’Fever’]. In other words, given the observed activities, the patient was most likely to have been healthy both on the first day when he felt normal as well as on the second day when he felt cold, and then he contracted a fever the third day.
The operation of Viterbi’s algorithm can be visualized by means of a trellis diagram. The Viterbi path is essentially the shortest path through this trellis. [The “poules”] Let us came back to our famous sentence “Les poules du couvent couvenrt” (see .) Notice that in the case of tagging, the set o of states is composed by subsets for each observation. Anyway we could consider a set composed by the union of all these subsets. But in this perspective, many emission probabilities would be null. More precisely here are the labels that might be affected to each word :
| les | - DETFP DETMP PPOBJFP PPOBJMP - |
| poules | - NFP - |
| du | - PREPDU - |
| couvent | - NMS V3P - |
| couvent | - NMS V3P - . |
The set of states would be
| S := DETFP; DETMP; PPOBJFP; PPOBJMP; NFP; PREPDU; NMS; V3P |
even if word “du” for instance may only have label “PREPDU”. As far as I understand code in , no optimization was done and there were big matrices with many null entries. In and , a field in a structure kept track of label number.
Anciennes notes Installation (Par Roger Mampey 31/3/05) est essentiellement un patch de qui permet de disposer d’une synthèse de parole française.
Pour installer , il faut, d’une part, disposer des sources de ( lui-même et les ), d’autre part, disposer de (l’exécutable et au moins une base de diphones d’une voix française).
et les sont installées par défaut dans 2 répertoires frères qui sont notés $F et $ST dans la suite. Le répertoire contenant l’exécutable et les sous-répertoires pour chaque voix est noté $M.
est constitué d’un ensemble de fichiers C++, de fichiers Scheme et de données. Les fichiers C++ constituent un module de l’arborescence , le reste est situé dans un répertoire qui sera noté $FF.
Le choix des répertoires $F, $ST, $M et $FFest libre sauf $F et $ST sous-répertoires du même répertoire (contrainte qu’il est certainement possible de lever en allant regarder de plus près les procédures d’installation).
La procédure d’installation n’a été testée que sur architecture Intel386 et sous la distribution Sarge de la Debian. De plus seul le mode d’utilisation interprété est présenté.
Si est déjà installé, la prochaine section peut être évitée.
On doit pouvoir éviter la compilation des mais pas celle de . La procédure d’installation présentée ici compile tout. Installation de Mbrola [Téléchargement] Sous $M/ téléchargement de mbr301h.zip depuis .
Il y a 7 voix françaises disponibles, les 2 premières (une voix d’homme et une voix de femme) sont fr1-990204.zip et fr2-980806.zip. [Décompression] NOTA : Pour dézipper du *.zip, il FAUT utiliser unzip (ni gzip, ni bzip2 ne l’acceptent) que l’on trouve sur n’importe quelle archive sérieuse (sous Debian : apt-get install unzip ). Et il faut "unzipper" les archives une à une. unzip mbr301h.zip fournit une série de fichiers dont il n’est utile de conserver que mbrola-linux-i386 renommé mbrola et readme.txt éventuellement. unzip fr1-990204.zip crée un sous-répertoire fr1/ contenant :
on peut faire la même chose avec chacune des voix retenues, mais seules les voix fr1 et fr2 sont actuellement connues de . Contrairement à ce que dit la doc (readme.txt et sur le site), il n’y a pas de bonjour.pho sous le répertoire mbrola/. Pour garder la logique des répertoires mbrola, on fait les tests sous $M/fr1/TEST : ../../mbrola ../fr1 bonjour.pho bonjour.wav aplay bonjour.wav où aplay est un utilitaire alsa élémentaire. Décompression de FranFest cd $FF tar xvzf franfest.tar.gz installe 5 fichiers Scheme :
et crée 2 sous-répertoires :
Installation de Festival [Téléchargement] sous le répertoire parent de $F et $ST, téléchargement de festival-1.95-beta.tar.gz et speech_tools-1.2.95-beta.tar.gz depuis .
Si l’on désire que puisse parler anglais et pas seulement français, il faut aussi récupérer (au moins) festlex_OALD.tar.gz, festlex_POSLEX.tar.gz et festvox_rablpc16k.tar.gz comme exemple de voix non . [Installation des Speech_Tools] tar xvzf speech_tools-1.2.95-beta.tar.gz crée le répertoire speech_tools ($ST) contenant un tas de trucs dont README et INSTALL. Puis : cd $ST INSTALL conseille de vérifier que la compilation C++ fonctionne correctement avec le programme :
#include <iostream.h>
int main (int argc, char **argv)
{ cout << "Hello world\n"; }
que l’on appelle ’essai.cc’. La commande : gcc -Wno-deprecated -o essai essai.cc -lstdc++ doit donner le résultat attendu sans protestations. * Ensuite, on suit ce que recommande le fichier INSTALL. ./configure make make test
NOTE : SHARED=1 n’a pas été décommenté malgré les conseils de INSTALL =) des librairies un peu grosses (5Mo pour lib/libestbase.a par exemple). [Installation de Festival et FranFest] tar xvzf festival-1.95-beta.tar.gz crée un répertoire festival ($F) contenant un tas de trucs dont README et INSTALL. Et on y va : cd $F Si on veut aussi l’anglais, mais également pour comprendre certains aspects de la suite : cd .. gzip -d *.gz tar xvf festlex_POSLEX.tar installe 3 fichiers sous festival/lib/dicts/ tar xvf festlex_OALD.tar installe 9 fichiers sous festival/lib/dicts/oald/ tar xvf festvox_rablpc16k.tar installe un répertoire festival/lib/voices/english/rab_diphone/ [Installation du lexique (équivalent de festlex_OALD.tar)] mkdir -p lib/dicts/dura ln -s $FF/data/dura-0.2.out lib/dicts/dura/dura-0.2.out [Installation des voix (équivalent de festvox_rablpc16k.tar)] mkdir -p lib/voices/french/fr1_mbrola/festvox ln -s $M/fr1/fr1 lib/voices/french/fr1_mbrola/fr1 cp $FF/fr1_mbrola.scm lib/voices/french/fr1_mbrola/festvox
et (si vous voulez les 2 voix françaises) la même chose en remplaçant partout fr1 par fr2 [Installation des sources C++ de FranFest] mv $FF/module_franfest src/modules Puis il faut ajouter une ligne dans le fichier $F/src/modules/Makefile pour lui apprendre l’existence du module .
On peut ajouter franfest soit à la liste BASE_DIRS soit à la liste OPTIONAL
par exemple, pour BASE_DIRS :
BASE_DIRS = Lexicon base Duration Intonation Text \
franfest \
UniSyn donovan parser UniSyn_diphone
NOTE : Il y a certainement un moyen natif de faire ça automatiquement, mais je n’ai pas cherché. Enfin, comme d’habitude, compilation : ./configure make Utilisation de FranFest [Il faut impérativement définir 2 variables d’environnement :]
[Petit test] cd $FF $F/bin/festival
Festival Speech Synthesis System 1.95:beta July 2004 Copyright (C) University of Edinburgh, 1996-2004. All rights reserved. For details type `(festival\_warranty)’ festival> (load "franfest.scm") nil festival> (SayText "C’est pas trop tôt !") #<Utterance 0x403dcac8>
Par défaut, on a la voix masculine
festival> (voice_fr2_mbrola) fr2_mbrola festival> (SayText "C’est pas trop tôt !") #<Utterance 0x0x4045bf58>
Mais on peut avoir la voix féminine
festival> (quit)
Si on remplace "franfest.scm" par "test.scm", on dispose d’un certain nombre de phrases prédéfinies (voir test.scm) et d’informations sur les traitements effectués (que l’on peut moduler en intervenant dans le fichier shunt.scm)
$F/bin/festival
Festival Speech Synthesis System
1.95:beta July 2004 Copyright (C) University of Edinburgh,
1996-2004. All rights reserved. For details type
`(festival\_warranty)’
festival> (load "test.scm")
nil
festival> (dire liaison_52)
Tagger Les [DETFP DETMP PPOBJFP
PPOBJMP] -> DETFP enfants [NFP NMP] -> NFP en [PPOBJMS PREP
ADV PPOBJMP PPOBJFS PPOBJFP] -> PPOBJMS ont [VA3P V3P] ->
VA3P assez [ADV] -> ADV . [YPFOR] -> YPFOR Liaisons *s [a~ *]
(Les det | enfants n) *n [o~ *] (en pro | ont v) Relation
Word après PostLex Les : det ("l" "E") enfants : n ("z" "a~"
"f" "a~") en : pro ("a~") ont : v ("n" "o~") assez : adv ("a"
"s" "e")
#<Utterance 0x4041c988>
festival> (quit)
Modifications Dans le code C++ C++ [Dans le fichier franfest.cc] franfest.cc Ajout d’un fichier franfest.h qui est construit à partir d’un fichier franfest.h.in par le script configure. Ceci permet de configurer le chemin “data” en semi-dur à la configuration. La variable d’environnement FR_DATA reste cependant prépondérante. Personnellement utilisant le mode serveur de festival je ne veux pas avoir à gérer trop de variables d’environnement. Si celle-ci n’est donc pas fixée, la fonction festival_franfest_init cherche d’abord une variable cfg_path qui peut être fixée dans franfest.h. [fr_token.cc] fr_token.cc À la ligne 458 ajout d’un cast pour éviter une erreur. Copié de token.cc. Dans la partie Scheme Scheme [Dans le fichier franfest.scm] Le mécanisme de chargement par require me paraît plus simple que par load. Il suffit que le chemin où se trouve le fichier franfest.scm soit indiqué à festival (et ce de manière relative,) pour que l’utilisateur n’ai qu’à entrer la commande
festival > (require ’franfest)
dans le mode interactif de festival. Pour cela il faut ajouter une commande provide à la fin de franfest.scm. Un module ff_config.scm a été ajouté qui est appelé en tête de franfest.scm et est créé par le script configure à partir d’un fichier ff_config.scm.in.
Les variables mbrola_path et mbrola_progname peuvent être déterminées par le script d’installation et dans ce cas définies convenablement dans ff_config.scm. Cependant comme en la variable d’environnement est prépondérante. Supprimé
(voice\_fr1\_mbrola)
pour éviter une boucle infinie (voir .) [Dans les fichiers fr1_mbrola.scm et fr2_mbrola.scm] fri_mbrola.scm est requis ici et les voix sont déclarées de manière plus conforme à pour ne pas avoir à écrire de code supplémentaire.
Nouvelles notes À propos de la ponctuation Le mode none none Dans ce cas introduit un mot vide. Un test dans la méthode franfest_postlex_liaisons du module franfest_postlex.scm engendre alors une erreur. Ce bug est désormais corrigé voir le module ci-dessus à la ligne 105. Le mode all all Dans ce cas le traitement des ponctuations par le module punctuation.scm de produisait un redoublement de ces dernières. Le problème a été résolu par l’appel possible via la variable punctuation-punc-language-handlers à une fonction spécifique à chaque langue. Pour le français et en particulier, la méthode est franfest_token_punctuation_all dans le module franfest_token.scm. Majuscules accentuées La recherche dans les divers lexiques se fait après tolower. Or la fonction tolower est influencée par les locales lorsqu’ils s’agit de convertir des caractères accentués. Si l’on ne veut pas préjuger de la locale qui est installée sur le système il vaut donc mieux wrapper les procédures de recherche dans les lexiques dans un environnements dans lequel on contrôle la locale. Ceci a conduit à :
Il est probable que les dernières modifications puissent être optimisées puisqu’en fait on écrit sans doute beaucoup trop de code simplement pour embaler FT_Classic_Word_Utt.
This document was translated from LATEX by HEVEA.