Psychometric analysis of a questionnaire with BARS : an opportunity to improve teaching effectiveness measurement programs and decision making in accreditation processes

Abstract

[Abstract] In the field of teaching effectiveness measurement programs, studies on the validation of Behavioral Anchored Rating Scales (BARS) are minimal when compared with Likert instruments. The reason for this situation is a consequence of the limited number of universities opting for this type of questionnaire in their teaching effectiveness measurement programs. This situation is due to the thoroughness, time investment and strong involvement of human resources required in the design of these scales. The aim of this investigation is twofold. On the one hand, to analyze the validity of a questionnaire for measuring teaching effectiveness that uses BARS. On the other, to check whether this instrument, designed in a given university with the participation of the professors and students of this institution, can be valid for other universities. The study is carried out in three Spanish universities. The validation process considers: comprehension validity, EFA, CFA with structural equation modeling, and reliability analysis. The results show that BARS under examination are valid for measuring teaching effectiveness; not only in the institution where they are designed, but also in other universities different from the one in which the questionnaire is constructed. The findings of this research open new alternatives not only to improve teaching effectiveness measurement programs but also to enhance decision making in accreditation processes.

[Resumen] En el ámbito de los programas de evaluación de la eficacia docente, los estudios de validación de Behavioral Anchored Rating Scales (BARS) son mínimos en comparación con los de instrumentos tipo Likert. Esto es consecuencia del escaso número de universidades que optan por este tipo de cuestionario en sus programas de evaluación de la eficacia docente. Esta situación se debe a la minuciosidad, inversión de tiempo y fuerte implicación de recursos humanos que requiere el diseño de este tipo de cuestionario. El objetivo de esta investigación es doble. Por un lado, analizar la validez de un cuestionario de evaluación de la eficacia docente que utiliza BARS. Por otro, comprobar si este instrumento, diseñado en una determinada universidad con la participación de los profesores y alumnos de esta, puede ser válido para otras instituciones. El estudio se lleva a cabo en tres universidades españolas. El proceso de validación considera: validez de comprensión, AFE, AFC con modelado de ecuaciones estructurales y análisis de fiabilidad. Los resultados muestran que las BARS analizadas son válidas para evaluar la eficacia docente; no sólo en la institución donde se diseñan, sino también en otras universidades distintas a aquella en la que se construye el cuestionario. Los hallazgos de esta investigación abren nuevas alternativas no solo para la mejora de programas de evaluación de la eficacia docente sino también para mejorar la toma de decisiones en los procesos de acreditación del profesorado.