Esta asignatura es el núcleo de lo que se llaman las Tecnologías del Habla, centrándonos en los sistemas de reconocimiento de habla y de conversión texto-habla. Esta disciplina combina varios
campos como el tratamiento de audio mediante procesamiento de señal, el aprendizaje automático, estadística, etc., y tiene una gran variedad de aplicaciones en el mundo real, donde cada vez se accede a más servicios utilizando el habla utilizando sistemas hombre-máquina.
La asignatura está organizada en 4 partes principales:
En la primera se tratan los fundamentos de procesamiento de habla y el procesamiento de señal. Posteriormente se desarrollan todos los módulos que se necesitan en un sistema de conversión texto-habla, desde el análisis de texto, la síntesis prosódica y la síntesis segmental. En la sesión práctica se describirán las herramientas de código abierto para realizar la conversión texto-habla y se planteará una práctica que debe desarrollar el estudiante
En la segunda parte se estudiarán los fundamentos, los métodos y los algoritmos que se usan en la conversión habla-texto incluyendo la programación dinámica, los modelos de Markov y las
redes neuronales. Finalmente se describirán las herramientas de código abierto para realizar la conversión habla-texto y se planteará una práctica que debe desarrollar el estudiante.
En la tercera parte se estudiará de forma simplificada los sistemas de reconocimiento de idioma y reconocimiento de locutor y se expondrán distintas aplicaciones de la tecnología del habla como son los sistemas de traducción de habla, los sistemas conversacionales y la aplicación de la tecnología del habla a personas con necesidades especiales.
En la cuarta parte se realizará una práctica para el desarrollo de una tarea que contendrá conceptos, herramientas y algoritmos previamente estudiados.

Profesores encargados del curso:

José Manuel Pardo Muñoz (Procesamiento de Habla y Aprendizaje automático, UPM)

Ricardo de Córdoba Herralde (Procesamiento de Habla y Aprendizaje automático, UPM)

El objetivo básico es conocer los fundamentos y principales técnicas para la conversión texto- habla y el reconocimiento de habla, así como las métricas más relevantes para tomar la decisión y evaluar los sistemas de reconocimiento y conversión texto-habla. Estos objetivos se desglosan en los siguientes objetivos específicos:
1. Conocer los fundamentos del procesamiento del habla, con especial énfasis en las distintas tecnologías para extraer las características físicas de la voz y conseguir un procesamiento robusto frente al ruido.
2. Explicar en detalle los fundamentos de los conversores texto-habla, desde el análisis de texto, la síntesis prosódica y la síntesis segmental, comparando las distintas tecnologías
y los enfoques recientes basados en redes neuronales.
3. Explicar los fundamentos del reconocimiento de habla, tratando todas las alternativas, comenzando por el dynamic time warping, los modelos ocultos de Markov (HMM), los modelos híbridos HMM neuronales y terminando con los modelos end-to-end.
4. Presentación de los fundamentos del reconocimiento del locutor y del idioma.
5. Presentar metodologías para la evaluación de sistemas de reconocimiento de habla y conversión texto-habla.
6. Presentar las aplicaciones de las tecnologías del habla: sistemas de diálogo, traductores automáticos del habla, tecnologías del habla para personas con necesidades especiales.
7. Presentar herramientas de código abierto disponibles para realizar los sistemas presentados en la asignatura.

1. Fundamentos de procesamiento de habla: Muestreo, Transformada Discreta de Fourier. Escala mel, Cepstrum, MFCC, vocoders, cuantificación vectorial

2. Conversión texto habla : Análisis de texto y síntesis prosódica

3. Conversión texto habla: síntesis segmental. Concatenación de Unidades y síntesis HMM

4. Conversión texto habla : síntesis segmental: Modelos neuronales y evaluación de sistemas TTS

5. Herramientas de código abierto para la conversión texto habla

6. Reconocimiento de voz: Introducción y Dynamic time warping. Evaluación de los sistemas de reconocimiento de habla

7. Reconocimiento de voz: Teorema de Bayes y modelos de lenguaje

8. Reconocimiento de voz: Modelos de Markov

9. Reconocimiento de voz: Adaptación, Modelos Híbridos HMM-Neuronal y modelos end to end

10. Reconocimiento de idioma y de locutor

11. Herramientas de código abierto para el reconocimiento de habla.