Adequacy of Assessment tools in Official English Certificates to the Guidelines provided by the Common European Framework for Languages : an analysis on the effective implementation of rubrics

Abstract

[Abstract] The Council of Europe, through the Common European Framework of Reference for Language, Teaching and Assessment (CEFRL), has been promoting shifts in the teaching learning process, such as the communicative approach. The current doctoral thesis has analysed the exams and rubrics of the main Official Certificates in Spain to check how efficiently they have adapted the CEFR guidelines. The results of an extensive examination show that more research is needed in the field as incongruences and shortcomings have been detected. One of the most significant findings to emerge from this thesis is the verification that the certificates that must determine the learner’s competence present faults in the implementation of the basic CEFR guidelines, and they assess with rubrics which do not meet the efficiency and reliability requirements that are expected of them. Moreover, significant research limitations stem from the lack of transparency the certificates show in terms of assessment criteria, instruments and reliability data. On the other hand, this study has allowed the establishment of patterns between the assessment of the different skills and can contribute to the improvement of the evaluation process from the perspective of exam creation and rubrics design. The switch towards a more communicative assessment of the receptive skills can also be initiated with some of the basis of the current dissertation

[Resumen] El Consejo Europeo, a través del Marco Común Europeo de Referencia para la Lengua, Enseñanza y Aprendizaje (MCER), ha impulsado cambios en el proceso de enseñanza y aprendizaje de lenguas, tales como el enfoque comunicativo. Esta tesis doctoral ha analizado los exámenes y las rúbricas de los principales Certificados Oficiales en España para comprobar la eficiencia con la que han adoptado las directrices del MCER. Los resultados de este estudio muestran que todavía se necesita más investigación en este campo ya que se han detectado incongruencias y omisiones. Uno de los resultados más significativos ha sido el hecho de que los certificados que determinan la competencia de los estudiantes contienen errores en la implementación de las directrices del marco y examinan con rúbricas que no cumplen con los requisitos de validez y eficiencia que se espera de ellas. Además, muchas de las limitaciones de este estudio se derivan de la falta de transparencia en cuanto a criterios de evaluación, instrumentos y datos de fiabilidad de los certificados. Por otra parte, esta investigación ha permitido establecer patrones entre la evaluación de las diferentes destrezas y puede contribuir a la mejora del proceso de evaluación desde la perspectiva de creación de exámenes y diseño de rúbricas. El cambio hacia una evaluación más comunicativa de las destrezas receptivas también puede iniciarse a partir de algunas bases de la presente tesis

[Resumo] O Consello Europeo, a través do Marco Común Europeo de Referencia para a Lingua, Ensino e Aprendizaxe ( MCER), impulsou cambios no proceso de ensino e aprendizaxe de linguas, tales como o enfoque comunicativo. Esta tese doutoral analizou os exames e as rúbricas dos principais Certificados Oficiais en España para comprobar a eficiencia coa que adoptaron as directrices do MCER. Os resultados deste estudo mostran que aínda se necesita máis investigación neste campo xa que se detectaron incongruencias e omisións. Un dos resultados máis significativos foi o feito de que os certificados que determinan a competencia dos estudantes conteñen erros na implementación das directrices do marco e examinan con rúbricas que non cumpren cos requisitos de validez e eficiencia que se espera delas. Ademais, moitas das limitacións deste estudo derívanse da falta de transparencia en canto a criterios de avaliación, instrumentos e datos de fiabilidade dos certificados. Por outra banda, esta investigación permitiu establecer patróns entre a avaliación das diferentes destrezas e pode contribuír á mellora do proceso de avaliación desde a perspectiva de creación de exames e deseño de rúbricas. O cambio cara a unha avaliación máis comunicativa das destrezas receptivas tamén pode iniciarse a partir dalgunhas bases da presente tese.