<

PROCEDIMIENTOS PREDICTIVOS PARA LA EVALUACIÓN DE LA CALIDAD DE TRABAJOS PRESENTADOS POR GRUPOS DE ALUMNOS


El proceso de convergencia al EEES trae consigo por un lado, la necesidad de abordar una formación del estudiante basada en la adquisición de competencias profesionales, y por otro, la utilización de metodologías docentes centradas en la actividad del alumno.

Referencias fundamentales de este tipo de metodologías son: cooperativelearning, projectbasedlearning o experientiallearning, que poco a poco están sustituyendo a los planteamientos docentes más tradicionales como las clases magistrales.

En el contexto de formación en ingeniería, se ha probado que estas metodologías activas de enseñanza-aprendizaje facilitan que los estudiantes desarrollen una serie de competencias que les preparan para el futuro desempeño de su profesión. Competencias entre las que se encuentran: el trabajo en equipo, la resolución de problemas o la comunicación, por citar algunos ejemplos.

Uno de los enfoques de aprendizaje en ingeniería que mejor encaja con este rol activo del alumno y con la adquisición de las competencias mencionadas anteriormente es la realización de proyectos reales en grupo.
Si bien está claro el beneficio que supone para un alumno sin experiencia el poder participar en un proyecto real. La utilización de este tipo de planteamientos suponen un reto muy importante para los alumnos, que en ocasiones no son capaces de superar, y como resultado, el proyecto no alcanza los resultados esperados. Sin embargo, aunque se puede aprender de las situaciones negativas, siempre resulta más eficaz, efectivo y enriquecedor haber vivido una situación positiva.
Podemos apoyarnos en la investigación educativa para proponer nuevas herramientas y acciones que nos permitan mejorar la formación y el aprendizaje de nuestros alumnos. Por ejemplo, disponer de una herramienta que pudiera anticipar, con suficiente antelación, si un determinado grupo de estudiantes no va alcanzar los resultados esperados con su proyecto. De esta forma, podríamos tomar medidas formativas encaminadas a reorientar la realización del proyecto y que éste alcance sus objetivos.

Anteriormente y con el apoyo del Programa de Innovación Docente de la Universidadde Zaragoza se diseñó un modelo basado en la regresión logística como herramienta predictiva que anticipaba la calidad del trabajo que se estaba realizando teniendo en cuenta la opinión de los componentes del equipo sobre la calidad de su proyecto. Esta herramienta había tenido como punto de partida otra herramienta anterior también desarrollada en el marco de un proyecto PIIDUZ,basada en la opinión de los componentes de un equipo sobre su forma de trabajar.

El objetivo del proyecto que aquí se presenta, es la validación del modelo creado, en los alumnos de tres cursos de Project Management con enfoques similares, impartidos en tres universidades, 2 españolas (Zaragoza y León) y una danesa (Aalborg).

  CONTEXTO DOCENTE

El proyecto se ha validado en tres contextos docentes distintos.

Universidad de Zaragoza

Este contexto corresponde a un curso de gestión de proyectos del último año de Ingeniería Industrial de la Universidad de Zaragoza en el que cada año participan unos 100 alumnos y 5 profesores.

El esquema formativo seguido simula el funcionamiento de una empresa de consultoría donde los alumnos, en grupos de 5 ó 6 personas, gestionan un proyecto para un cliente que ellos mismos tienen que buscar. Ejemplos típicos de clientes son: pequeñas y medianas empresas, organizaciones no gubernamentales, asociaciones culturales, clubes deportivos o ayuntamientos de pequeños municipios.

El alcance de los proyectos que realizan los alumnos (alrededor de 600h. de trabajo por grupo), se centra generalmente en la preparación de un Plan del Proyecto que es presentado al cliente y que contiene toda la información necesaria para que éste lo lleve adelante. No obstante, en ocasiones el grupo de alumnos es el encargado de desarrollar el proyecto en su totalidad.

Universidad de León

En la Universidad de León la experienciase realizó con los alumnos de las asignaturas de Oficina Técnica y Proyectos, de Ingeniería Técnica Industrial, especialidad en electricidad y especialidad en mecánica y con los alumnos de la asignatura Proyectos, de segundo ciclo de ingeniería industrial.

Los alumnos desarrollan dentro de las prácticas de estas asignaturas un proyecto trabajando en equipos de 4 personas. El proyecto a desarrollar se basa en casos y datos de partida reales. La primera, Oficina Técnica y Proyectos es una asignatura anual y la asignatura de Proyectos es cuatrimestral.

Universidad de Aalborg (Dinamarca)

En la Universidad de Aalborg la validación se realizó con alumnos de los cursos de “Cooperation, learning and Project Management” de las especialidades de Construcción y Máquinas de la Facultad de Ingeniería.Los estudiantes de esta facultad, al igual que los de las facultades de ciencias o medicina utilizan el Modelo de Aalborg como el marco para el aprendizaje durante toda su vida en la universidad.

Los estudiantes seleccionan, para sus proyectos los problemas de la "vida real", realizando un proyecto cada semestre en grupos de 5 a 7 alumnos, y con una carga docente de 15 ECTS.

Las primeras semanas se dedican a definir el proyecto y en las siguientes se producen documentos de trabajo que se transforman en los capítulos del informe del proyecto. Cada grupo dispone de una sala propia para realizar su trabajo cerca de los empleados, profesores y personal administrativo de la universidad.

Antes de su llegada a la universidad los alumnos han conocido y practicado el trabajo en equipo (aunque en pequeña escala y en pequeños grupos de 2-3 componentes) en la escuela secundaria, pero no han resuelto problemas reales para un cliente.


   MODELO PREDICTIVO

Antecedentes

En ocasiones ocurre que el trabajo desarrollado por alguno de los grupos de alumnos no ha alcanzado los resultados esperados.En esos casos, en la Universidad de Zaragoza, con el objetivo de mejorar el funcionamiento del curso y la formación de sus alumnos, los profesores responsables del mismo han analizado dichos trabajos para tratar de comprender las causas de fallo aparecidas. Así, se detectó como una de las principales causas de fallo, la existencia problemas de funcionamiento de grupo, situación que no difiere mucho de lo que sucede en el ámbito profesional de la dirección de proyectos.

Por ello, los responsables del curso iniciaron una investigación para estudiar la relación entre la calidad del trabajo realizado y la calidad de funcionamiento como grupo.A tal efecto, se elaboró el “TeamworkQuestionnaire” (TQ) para recoger la opinión de los alumnos acerca de diferentes aspectos del trabajo en grupo. Dicho cuestionario estaba compuesto de 10 variables:

TQ1. Calidad percibida del trabajo realizado.
TQ2. Calidad percibida del funcionamiento como grupo de proyecto.
TQ3. Calidad de mi contribución técnica individual al grupo de proyecto.
TQ4. Calidad de mi contribución como miembro del grupo al funcionamiento del mismo.
TQ5. Mi competencia mis habilidades para el trabajo en equipo.
TQ6. Mi motivación, mi implicación durante todo el período de realización del proyecto.
TQ7. La satisfacción (frente al malestar o estrés)
TQ8. Consejos para mejorar la calidad del trabajo realizado.
TQ9. Consejos para mejorar el trabajo en equipo.
TQ10. Propuestas para mejorar mi aportación personal al grupo de proyecto.

Los resultados obtenidos con este cuestionario, dieron pie a tratar de desarrollar una herramienta que permitiera evaluar cómo estaban funcionando los grupos de alumnos, para prevenir que la existencia de problemas de funcionamiento ocasionara una mala calidad en el trabajo, lo que supuso el desarrollo del “PreventiveTeamworkFaillureQuestionnaire” (PTFQ), proyecto de especial interés en la convocatoria PIIDUZ del curso 2009/2010.
Al realizar el análisis de los resultados del “TeamworkQuestionnaire” los profesores observaron que seis ítems de la variable “calidad percibida del funcionamiento como grupo de proyecto” (TQ2), tenían que ver, a su juicio, con la coordinación interna del mismo.

Se comprobó que estos ítems, formaban una variable de una única dimensión, con una alta consistencia interna (Coeficiente Alfa de Cronbach= 0,804) y al estudiar individualmente la asociación de cada uno de los ítems con dicha variable, se observaron correlaciones estadísticamente significativas en 5 de los 6 ítems.
Con esas cinco variables más la valoración de la calidad de funcionamiento de grupo (TQ2) se construyó el PTFQ, al que los alumnos debían responder a través de una escala ordinal de clasificación continua de 10 intervalos, entre 0 (muy negativo, totalmente en desacuerdo) y 10 (muy positivo, totalmente de acuerdo).

A partir de las valoraciones que los alumnos dan a las preguntas de este cuestionario, más o menos a mitad del desarrollo del trabajo, se puede determinar si un grupo percibe problemas de funcionamiento interno que pueden acabar en problemas de calidad del proyecto realizado. Las pruebas realizadas con este cuestionario tanto en Zaragoza como en otras universidades han dado resultados satisfactorios.

Se disponía ya de una herramienta docente que permitía tomar acciones correctoras sobre aquellos grupos que percibían que tenían problemas de funcionamiento. Teniendo en cuenta que el cuestionario inicial TQ prestaba atención a otros aspectos aparte del funcionamiento de grupo, se decidió investigar otras herramientas de predicción basándose en la percepción de los estudiantes de la calidad de su trabajo.


Modelo de Predicción Basado en la Regresión Logística

Las opiniones de los alumnos sobre la calidad de su proyecto corresponden a la pregunta TQ1 y todos sus ítems. Adicionalmente se decidió incluir las preguntas TQ6 y TQ7, ya que a juicio de los profesores podrían complementar las variables anteriores.
En esta investigación a la calidad del trabajo de los alumnos se le asignó un valor dicotómico; satisfactorio (lo que equivaldría a un trabajo con una puntuación de 8 o más en una escala de 10) o no satisfactorio (puntuación inferior a 8), por lo que se decidió que la herramienta estadística más adecuada para este estudio era la regresión logística.
Concepto de Regresión Logística

Los modelos de regresión se han empleado generalmente para la descripción de las relaciones entre una variable dependiente y una o varias variables independientes. En los métodos de regresión lineal ambos tipos de variables son cuantitativas y consideran que los errores siguen distribuciones normales. La regresión logística es un modelo de regresión donde la variable dependiente es una variable dicotómica y por lo tanto, los errores siguen una distribución binomial. En este modelo los valores de la variable dependiente sólo pueden tomar dos posibles valores (0=ausente, 1=presente, en nuestro caso satisfactorio o no satisfactorio).

Todos los modelos posibles que pueden resolver este problema expresan el resultado en términos de probabilidad de presentar la característica de interés. De forma que valores altos de probabilidad indica la presencia del rasgo y los bajos la ausencia. La utilización de la regresión lineal nos podría dar estimaciones por encima del valor 1 o por debajo del valor 0 y por lo tanto no sería el modelo más adecuado.

La razón de porqué la regresión logística es el modelo más utilizado de los posibles es debido a que matemáticamente es un modelo muy flexible y sencillo, y la forma de la curva describe el comportamiento de la variable dependiente.

La forma del modelo para varias variables independientes es (1):



La transformación logit de π es importante porque el modelo se convierte en lineal, compartiendo muchas de sus propiedades (2).

 

Para analizar si el modelo ajustado es estadísticamente significativo en relación con el modelo nulo (aquel donde no se incluye ninguna variable de las variables independientes) se utilizará el test de verosimilitud. También se calculará la bondad de ajuste mediante el test de Hosmer y Lemeshow, si el test es no significativo, es decir, las frecuencias esperadas son similares a las observadas, se considera que el ajuste es bueno.

Mediante el modelo se podrá calcular el porcentaje de alumnos bien clasificados, así como, la sensibilidad y especificidad del modelo. Definimos sensibilidad como la probabilidad de que el modelo prediga resultados satisfactorios en los grupos cuando realmente son satisfactorios. Al valor de probabilidad complementario de la sensibilidad del test lo denominaremos falsos positivos. Definimos especificidad como la probabilidad de que el modelo prediga resultados no satisfactorios cuando realmente no lo son. Nos referiremos al complementario de esta probabilidad como falsos negativos.


Modelo Propuesto


Se realizó la selección de ítems, mediante el procedimiento descrito por Collet. El objetivo es obtener el modelo que mejor pueda explicar el resultado satisfactorio de los alumnos y a la vez que sea lo más simple posible en términos de número de ítems. Se parte del modelo con los ítems generales TQ1, TQ6 y TQ7 debido a que se consideran importantes a la hora de explicar la calificación dicotómica del alumno. El resto de ítems relacionados con la pregunta TQ1 se van introduciendo uno a uno y se valora el cambio que se produce en la verosimilitud del modelo. Aquel ítem que mayor cambio produce en la verosimilitud se añade al modelo original. Este procedimiento se repite hasta que la inclusión de nuevas variables no produce ningún cambio significativo en la verosimilitud.

Finalmente el modelo contiene los siguientes ítems, y la estructura de la Tabla 3:

TQ1.               Calidad percibida del trabajo realizado
TQ1-1.           Se han abordado todos los aspectos del proyecto con mucho detalle.
TQ1-8.           Se ha sacado el máximo partido posible del proyecto.
TQ1-21.         Reúne lo necesario para desarrollar el proyecto sin dificultades.
TQ6.               Mi motivación, mi implicación durante todo el período de realización del proyecto la valoraría como...
TQ7.               La satisfacción (frente al malestar o estrés) la valoraría como…

Tabla 1. Coeficientes del modelo, errores estándar y odds-ratios.

  B E.T. Exp(B) p-valor
TQ1 1,06 ,493 2,886 0,03
TQ6 ,170 ,233 1,186 0,46
TQ7 ,268 ,196 1,307 0,17
TQ1-8 ,777 ,292 2,176 0,01
TQ1-11 0,282 ,274 1,326 0,30
TQ1-21 -0,841 ,339 ,431 0,01
Constante -12,891      

 

El modelo final obtenido ha sido altamente significativo con respecto al modelo nulo (c2=37,37; p-valor<0,0001). El test de Hosmer y Lemeshow es no significativo (c2=7,41; p-valor=0,493) lo que indica que la bondad de ajuste del modelo es bueno.
Los coeficientes que son estadísticamente significativos en el modelo son los correspondientes a los ítems TQ1, TQ1-8 y TQ1-21. El ítem TQ7 está próximo a la significación. Teóricamente los coeficientes del modelo deberían ser todos positivos de manera que a mayor puntuación en el ítem más probable es obtener una puntuación de 1 en la variable dependiente. Esto se cumple en todos los coeficientes excepto en el ítem TQ1-21. Esta incongruencia con lo esperado podría deberse al efecto de la multicolinealidad del modelo ya que las variables independientes están relacionadas. Este efecto produce inestabilidad de los coeficientes. Sin embargo, el objetivo principal de nuestro trabajo no es la interpretación de los coeficientes, sino la estimación de la calificación del grupo. Esta estimación no queda afectada por efecto de la colinealidad.


Discusión del modelo


Con los datos disponibles de cuando se pasó el cuestionario TQ en el curso 06-07, el porcentaje de bien clasificados del modelo con un punto de corte de probabilidad de 0,5 es del 81,3%. La sensibilidad del modelo es de 0,837. La especificidad del modelo es de 0,774. Por lo tanto, el modelo estimado clasifica mejor a los grupos que van a tener buenos resultados que a los que no los van a tener. El % de falso positivos es del 16% mientras que en el caso de mal clasificados en el grupo de calificaciones no satisfactorias es del 23%. (Tabla 2).


Tabla 2. Porcentajes de bien clasificados del modelo

 

 

Nota pronosticada por el modelo

 

Grupo No Satisfactorio. Satisfactorio
Nota obtenida realmente No Satisfactorio
24
8
Satisfactorio
7
41

 

Porcentaje correcto
77%
84%

El modelo tenía un buen porcentaje alto de bien clasificados. Pero era necesario validar dicho modelos con datos externos de otros años y otras universidades. A continuación se presentan los resultados en los estudiantes del Curso 09-10 en Zaragoza, León y la Universidad de Aalborg en Dinamarca.


   RESULTADOS

La Tabla 3, muestra los resultados obtenidos con la utilización de la herramienta predictiva en el contexto de la Universidad de Zaragoza. Como se puede observar, el porcentaje de sujetos bien clasificados es de un 75% para los trabajos de calidad no satisfactoria, con una nota por debajo de 8.0, y de un 48% para los trabajos satisfactorios, es decir, con una nota igual o superior a 8.0 (Tabla 3).


Tabla 3. Resultados de la herramienta en la Universidad de Zaragoza

 

 

Nota pronosticada por el modelo

 

Grupo No Satisfactorio. Satisfactorio
Nota obtenida realmente No Satisfactorio
6
16
Satisfactorio
2
15

 

Porcentaje correcto
75%
48%

Con relación a los resultados obtenidos en la Universidad de León (Tabla 4), destaca que los porcentajes de acierto en la clasificación de sujetos con una calificación no satisfactoria, son casi idénticos a los de la Universidad de Zaragoza, con un 76%. Sin embargo, en este contexto la herramienta ha funcionado peor para predecir trabajos satisfactorios, 30%.


Tabla 4. Resultados de la herramienta en la Universidad de León

 

 

Nota pronosticada por el modelo

 

Grupo No Satisfactorio. Satisfactorio
Nota obtenida realmente No Satisfactorio
19
39
Satisfactorio
6
17

 

 
76%
30%

 

Si se analizan los resultados obtenidos en la Universidad de Aalborg se observa que, dentro de la especialidad de Construcción, la herramienta ha pronosticado correctamente un 61 y 62% de los trabajos no satisfactorios y satisfactorios respectivamente (Tabla 5), teniendo un comportamiento muy similar en los dos grupos.


Tabla 5. Resultados de la herramienta en la Universidad de Aalborg (esp. Construcción)

 

 

Nota pronosticada por el modelo

 

Grupo No Satisfactorio. Satisfactorio
Nota obtenida realmente No Satisfactorio
11
3
Satisfactorio
7
5

 

 
61%
62%

 

En cambio los resultados obtenidos en la especialidad de Máquinas de la Universidad de Aalborg (Tabla 6) reflejan que el comportamiento de la herramienta, al contrario que en los casos anteriores, funciona mejor para pronosticar los grupos satisfactorios, 79% de aciertos, frente a los no satisfactorios, 22%.


Tabla 6. Resultados de la herramienta en la Universidad de Aalborg (esp. Máquina)

 

 

Nota pronosticada por el modelo

 

Grupo No Satisfactorio. Satisfactorio
Nota obtenida realmente No Satisfactorio
2
3
Satisfactorio
7
10

 

 
22%
79%

Adicionalmente se estudió el comportamiento de la herramienta teniendo en cuenta la variabilidad de las respuestas que daban los miembros de un mismo grupo, estableciéndose dos niveles:

  • Alta variabilidad. Para los grupos en los que la desviación típica de las respuestas era mayor que 1.2 (s>1.2).

  • Baja variabilidad. Para los grupos en los que la desviación típica de las respuestas era menor que 1.2 (s<1.2).

En las tablas 7, 8, 9 y 10, se presentan los datos obtenidos teniendo en cuenta la variabilidad de las respuestas de los miembros de cada grupo.


Tabla 7. Resultados de la herramienta en la Universidad de Zaragoza en función de la variabilidad.

 

 

Nota pronosticada por el modelo

 

  Alta variabilidad Baja variabilidad

 

Grupo Insatisfactorio Satisfactorio Insatisfactorio Satisfactorio
Nota obtenida realmente Insatisfactorio
6
4
0
12
Satisfactorio
0
4
2
11

 

% correcto
100%
50%
0%
48%


Tabla 8. Resultados de la herramienta en la Universidad de León en función de la
variabilidad.

 

 

Nota pronosticada por el modelo

 

  Alta variabilidad Baja variabilidad

 

Grupo Insatisfactorio Satisfactorio Insatisfactorio Satisfactorio
Nota obtenida realmente Insatisfactorio
14
18
5
21
Satisfactorio
1
2
5
15

 

% correcto
93,3%
10%
50%
41%


Tabla 9. Resultados de la herramienta en la Universidad de Aalborg (esp. Construcción) en función de la variabilidad.

 

 

Nota pronosticada por el modelo

 

  Alta variabilidad Baja variabilidad

 

Grupo Insatisfactorio Satisfactorio Insatisfactorio Satisfactorio
Nota obtenida realmente Insatisfactorio
2
0
9
3
Satisfactorio
3
1
4
4

 

% correcto
40%
100%
69%
57%


Tabla 10. Resultados de la herramienta en la Universidad de Aalborg (esp. Máquina) en función de la variabilidad.

 

 

Nota pronosticada por el modelo

 

  Alta variabilidad Baja variabilidad

 

Grupo Insatisfactorio Satisfactorio Insatisfactorio Satisfactorio
Nota obtenida realmente Insatisfactorio
2
0
0
3
Satisfactorio
5
6
2
4

 

% correcto
28%
100%
0%
57%

Los resultados de las tablas anteriores muestran que en aquellos casos en los que la variabilidad de las respuestas es alta, se consiguen porcentajes de acierto muy elevados, cercanos al 100%. Lo que ocurre es que en las universidades españolas pronostica muy bien los trabajos insatisfactorios y en las danesas los trabajos satisfactorios. Este resultado apunta que existen diferencias interculturales importantes entre ambos colectivos.
No obstante, desde un punto de vista docente es más útil el poder detectar los proyectos insatisfactorios, con el objetivo de apoyar a los alumnos a mejorar sus resultados.

 

 

   CONCLUSIONES

El objetivo que se pretendía con este proyecto de innovación docente ha sido cumplido. Se dispone a, partir de este momento, de una herramienta docente predictiva de la calidad de los trabajos de grupos de alumnos. El carácter docente proviene del hecho de poder, a la vista de resultados obtenidos, prevenir el fallo y tomar medidas correctoras que faciliten el aprendizaje del alumno.

Una vez analizados los resultados obtenidos con la herramienta en los diferentes contextos docentes, se puede concluir que el modelo de regresión logística utilizado ha funcionado adecuadamente para pronosticar proyectos no satisfactorios en Zaragoza, León y Aalborg (esp. construcción). Sin embargo no ha funcionado para anticipar los resultados de trabajos satisfactorios, a excepción del caso de Aalborg en la especialidad de maquinaria.

Cabe destacar la validez del modelo para el caso de grupos con alta variabilidad, que es cercana al 100% de aciertos en la clasificación de la calidad de los trabajos de tipo insatisfactorios en las universidades españolas y de tipo satisfactorio en las danesas.

 

VOLVER