8 nov 2021 11:24 CET

El vicerrector de Calidad, Miguel Ángel Sastre, valora de manera muy positiva esta convocatoria y el esfuerzo realizado para dar cabida a un número tan alto de docentes en la convocatoria, ya que por primera vez todos los docentes han participado en el Programa Docentia UCM, una vez ya se ha extinguido el anterior programa, que evaluaba de manera anual la actividad. “La UCM –explica Sastre- es posiblemente la única universidad pública en la que la participación del profesorado es obligatoria y, por lo tanto, tenemos un volumen de profesores que participan en el programa Docentia que no es comparable con el del resto de universidades. Este año han sido más de 4.900 los profesores participantes en el programa en alguna de las fases, ya sean las encuestas o en el proceso de evaluación”. 

El objetivo de Docentia –como recuerda el vicerrector de Calidad- “es acompañar al profesor para ayudarle en el desempeño de su actividad docente. También es un sistema de motivación para los profesores que obtienen calificaciones muy positivas o excelentes. Tener un Docentia positivo cada vez es más importante en la vida académica del profesor. Por ejemplo, de cara a promocionar es un requisito imprescindible aportar un tramo Docentia positivo. Por lo tanto, esto está cada vez más metido en la actividad académica y en el desarrollo profesional de los profesores. Ahora estamos trabajando para materializar para los profesores que han obtenido dos trienios excelentes ese reconocimiento en algún sistema de incentivos económico, que ahora mismo se está terminado de definir". 

¿Y qué sucede con los docentes que no alcanzan la evaluación positiva? El vicerrector quiere antes que nada aclarar que aquel profesor que no llega a alcanzar el positivo normalmente no es por falta de competencia técnica en la materia. “En nuestros análisis de fiabilidad, que realiza la Oficina de Calidad, se ve que la pregunta, el ítem, mejor valorado es precisamente el de la competencia del profesor en su materia. Esa es la valoración media más alta. Sin embargo, el ítem peor valorado es el de “si el profesor despierta interés por la asignatura”. Normalmente el profesor tiene más problemas a la hora de conectar o de motivar al estudiante, más que en lo que es el conocimiento de la materia o trasladar su investigación al aula. Es más un problema de saber captar la atención o de elevar la motivación del estudiante. Precisamente, con Docentia -continúa Miguel Ángel Sastre-, lo que pretendemos es ayudar al profesor a superar esas dificultades. Lo hacemos de diversas formas. Primero con incentivos y segundo, con ayudas, que sería formación. El Centro de Formación del Profesorado tiene una oferta cada vez mayor de cursos para ayudar al profesor a desarrollar sus habilidades docentes. En el aula, en el manejo de los grupos, y obviamente por la situación que hemos vivido estos dos últimos cursos, también en la enseñanza on line. Nosotros, desde el Vicerrectorado y la Oficina de Calidad hemos lanzado dos ediciones de un curso denominado “La autoevaluación en el programa Docentia: análisis de fortalezas y debilidades”, en el que ayudamos a los profesores a conocer el programa Docentia UCM y sobre todo a realizar esa parte de la evaluación que para ellos resulta más desconocida, que es el informe de autoevaluación, que es una reflexión acerca de su actuación docente una vez conocidos los resultados de las encuestas y, por lo tanto, opiniones de los estudiantes. Les ayudamos a enfocar esa parte. Los profesores, por las evaluaciones que tenemos del curso, les ha resultado de una gran ayuda, y ha sido un éxito enorme: en las dos ediciones han participado 330 profesores”. 

No obstante, como explica el vicerrector, los docentes que “suspenden” deben al año siguiente participar de manera obligatoria en las encuestas de Docentia y realizar alguna actividad formativa. En cuanto a quienes no han querido participar a pesar de ser obligatorio “hay que hacerles ver la importancia de este proceso y que para el desarrollo de su actividad docente es muy importante conocer la opinión de sus estudiantes. Nos hemos encontrado casos de profesores que tenían un negativo y me consta que son excelentes profesores y sus alumnos tienen una excelente consideración de las clases que imparten.  Por suerte, cada vez son menos los profesores que no participan”. 

De acuerdo con el vicerrector, los resultados de las evaluaciones reflejan que el modelo Docentia UCM, desarrollado por la propia universidad y que está ya cerca de obtener su acreditación por la Fundación Madri+d, está funcionando bien. “La distribución de los resultados se acerca a una distribución gaussiana, por lo que creemos que el modelo está funcionando bastante bien. Así lo puso de manifiesto el miembro de la Fundación Madrid+d que participa en nuestra comisión de calidad de seguimiento de la actividad docente”. Como explica el profesor Sastre, “continuamente estamos haciendo estudios para mejorar la fiabilidad de las respuestas y mejorar el modelo en sí. Concretamente este año hicimos una experiencia interesante, que es la evaluación de doble ciego. En lugar de que el informe de autoevaluación sea evaluado por un único evaluador, un número de ellos, ya que no tenemos capacidad aún para hacerlo con todos, se le ha asignado a un segundo evaluador para ver la fiabilidad de las respuestas y si había consonancia o discrepancia en las respuestas. Encontramos que había un cierto nivel de discrepancia en algunos aspectos, sobre todo en la evaluación del autoinforme del profesor, pero esas discrepancias tampoco eran grandes, normalmente entre categorías contiguas. Por lo tanto, está dentro de la apreciación subjetiva razonable que pueda haber en un proceso de evaluación. Hemos visto que el porcentaje de discrepancias se ha ido reduciendo, por lo que consideramos que se está haciendo un trabajo bueno en la formación de los evaluadores para uniformizar los criterios y tratar de reducir esas discrepancias”. 

Esta convocatoria ha sido evaluada por alrededor de 50 evaluadores, “profesores que han sido excelentes en años anteriores, y que, por lo tanto –explica el vicerrector Sastre-, están muy implicados y tienen un alto grado de conocimiento del modelo. Hacemos una selección por áreas. Tratamos de que sean los evaluadores de cada área los que evalúen a los de sus mismas áreas. No lo hacemos por facultades para evitar que se conozcan más entre ellos y así salvaguardar el anonimato del proceso de evaluación. Antes de la evaluación, los formamos y creo que está funcionando muy bien y creciendo la fiabilidad”. 

Una red neuronal para analizar la información cualitativa 

Una de las grandes novedades de la convocatoria 2020/21 de Docentia fue la introducción en las encuestas que cumplimentan los estudiantes -por sugerencia de la Comisión de Calidad de Seguimiento de la Actividad Docente del año pasado- de un apartado de pregunta abierta para que los alumnos pudieran exponer sus comentarios. “Se pensó -comenta el vicerrector de Calidad, que  podía ser útil para explicar el porqué de ciertas evaluaciones en la encuesta. La experiencia en general con esa pregunta ha sido buena. El profesor cuenta con una información adicional y eso les permite a lo mejor explicar determinados comportamientos de respuestas”. 

La inclusión de un apartado cualitativo suponía, no obstante, un problema técnico: ¿Cómo manejar una formación cualitativa en un volumen tan enorme? La Unidad de Indicadores, que dirige José Manuel Segovia, decidió llevar a cabo un novedoso tratamiento de esos datos. “Estamos hablando -explica el propio José Manuel Segovia- de volúmenes de auténtica locura: cerca de 20.000 preguntas abiertas cumplimentadas con una explicación de cada estudiante de la docencia en una asignatura, y escrito como cada uno quiere. Las preguntas abiertas no suelen ser lo mejor visto en una encuesta sobre todo on line”. 

José Manuel Segovia explica que a los profesores se les han facilitado los literales para que los analizasen y pudieran complementar la respuesta al cuestionario, “pero tenemos que hacer un análisis mucho más detallado de todos esos literales. La forma habitual de hacer ese análisis es leer una por una todas las respuestas abiertas, codificarlas y con esa codificación agrupar y calcular datos sobre ellas. En este caso se hacía imposible: no podemos leer más de 20.000 respuestas abiertas y agruparlas todas. Nos pusimos a pensar -continúa explicando el director de la Unidad de Indicadores- y nos pusimos el reto de trabajar con una “red neuronal”, una pequeña inteligencia artificial, a ver si nos ayudaba a sacar algo de esas preguntas abiertas. Empezamos con el a ver qué es lo que pasa y al final nos hemos encontrado con que la red neuronal está funcionando”.  

Según explica el director de la Unidad de Indicadores, “lo que hacemos es transformar todos los literales. Un literal puede tener diferentes párrafos. Alguien escribe y complementa con otra información. Lo primero es extraer los párrafos de los literales, convertirlos en una matriz de palabras y a la red neuronal -se ha optado por una de distribución abierta, especializada en análisis semántico, llamada Word to Vect (palabras a vectores)- la entrenamos con esa matriz de palabras. Aprende qué es lo que nos están diciendo los estudiantes sobre todos los procesos y todas las titulaciones. Decidimos entonces dar un paso más. Como tenemos también las "Encuestas de satisfacción con la titulación” y también tenemos ahí preguntas abiertas, hemos continuado entrenando a la red neuronal con esos otros literales. Es el mismo lenguaje. Al final estamos en el entorno del aprendizaje del lenguaje de los estudiantes sobre nuestra docencia. No está aprendiendo otra cosa, sino lo que dicen los estudiantes sobre nuestra docencia”.  

Como continúa explicando José Manuel Segovia, en definitiva lo que se suministra a la red neuronal son “un montón de palabras que si las leemos producen caos. Y lo que intentamos es ordenar ese caos. La red neuronal aprende y una vez que ha aprendido busca las relaciones que existen entre esas palabras dentro de los contextos que ha analizado. El siguiente paso es convertirlas en algo que nosotros entendamos. Para la red neuronal es muy evidente pero para nosotros no es tan evidente. Hacemos clústeres, cajas, que agrupen grandes conceptos. Por ejemplo, hemos visto es que hay un montón respuestas relacionadas con el Covid. Ahora qué relaciones existen entre el covid y temas relacionados con la universidad: exámenes, docencia, presencialidad... Otro clúster es solo sobre exámenes. Otro, sobre estudiantes extranjeros. Y Así hasta 6 grandes cajas. Lo más peculiar de todo este sistema -continúa Segovia- es que podemos visualizarlo. No solo podemos ver teóricamente estos clústeres, sino que vamos a poder visualizarlos. Ahora mismo ya estamos en la fase de crear los clústeres y profundizar en la visualización de los datos, que es lo que realmente nos va a permitir entender lo que ha estructurado la red neuronal. Va a ser como una gran red de palabras relacionadas unas con otras. Siguiendo esas relaciones vamos a llegar a conclusiones sobre qué es lo que nos están contando. Son conclusiones que son totalmente diferentes a las que puede extraer un docente al leer sus propios literales. A ellos les sirve para contextualizar su docencia y a nosotros a saber más sobre la institución”.  

Pero Segovia y su equipo han decido dar un paso más: “Estamos intentando hacer un análisis del sentimiento. Queremos que la red neuronal nos clasifique los comentarios que están hechos de forma positiva y los que están hechos de forma negativa. Para de alguna manera nosotros también poder clasificarlos. Con lo anterior sabemos de qué nos hablan, con esto si lo hacen de forma positiva o negativa”, concluye el director de la Unidad de Indicadores, seguro de que cada año la red neuronal “aprenderá” más y eso ayudará a estructurar mejor los comentarios, a la vez que permitirá ver también la evolución”. 

Como indica David Carabantes, asesor del Vicerrectorado de Calidad, a partir de ahora cada año se emitirá un informe con el análisis de la pregunta cualitativa, que también se incluirá en la documentación general que se envía a la Fundación Madri+d.