Use of Machine Teaching as a didactic resource for teaching orthography

Abstract

[Resumen]: Human-in-the-Loop Machine Learning (HITL-ML) es la práctica de unir la inteligencia humana y la de las máquinas para crear algoritmos eficaces de aprendizaje automático (Machine Learning – ML). En este enfoque, los seres humanos pueden desempeñar varias funciones antes, durante y después del proceso de aprendizaje con el objetivo de mejorar las capacidades de los modelos de ML mediante la incorporación de la inteligencia humana y obteniendo retroalimentación de la misma. Dentro de estas técnicas de HITL-ML podemos destacar el Aprendizaje Curricular (o Curriculum Learning – CL) y la Enseñanza Automática (o Machine Teaching – MT). El CL es una técnica en el campo del aprendizaje automático que busca entrenar modelos de manera más efectiva al presentarles los casos de entrenamiento en un orden significativo progresando desde los ejemplos más fáciles a los más difíciles. Por otro lado, el MT es una técnica en donde los expertos humanos del dominio utilizan técnicas didácticas para controlar el proceso de aprendizaje de un modelo de ML sin necesidad de conocimientos o experiencia en ML. Debido a que CL y MT incluyen aspectos que se han inspirado en la didáctica y en la forma de aprender del ser humano en este trabajo se pretende darles otro enfoque a dichas técnicas y usarlas como un método didáctico en sí mismo. De esa manera se propone usar un entorno de CL y MT como un enfoque de “aprender enseñando”, es decir, un tipo de aprendizaje activo en el que los alumnos son los que enseñan y transmiten conocimientos a otras personas e, inconscientemente, son ellos los que están recibiendo los conocimientos. En este caso no se trataba de que los alumnos enseñaran a otra persona física, sino a un modelo de IA usando las técnicas propias de CL y MT, que, en nuestro caso en concreto, se aplicarán a un problema de gramática de la lengua española. En todas las técnicas de HITL-ML la interactividad es importante para que puedan llevarse a cabo con éxito. Esto implica que las características de usabilidad en el proceso de aprendizaje (claridad, coherencia, eficacia, etc.) son especialmente relevantes. A medida que aumenta la interactividad, estos aspectos cobran mayor importancia hasta el punto de que, en el caso del MT la medición de métricas como la productividad, la interpretabilidad, la robustez y el escalado se considera esencial para comprobar si un sistema tiene éxito. El experimento hecho en este proyecto confirma el gran valor pedagógico de la aplicación, pero también destaca áreas de mejora. [Abstract]: Human-in-the-Loop Machine Learning (HITL-ML) is the practice of bringing together human and machine intelligence to create effective machine learning (ML) algorithms. In this approach, humans can perform several functions before, during and after the learning process with the objective of improving ML model capabilities through the incorporation of human intelligence and obtaining feedback from it. Within these HITL-ML techniques, we can highlight Curriculum Learning (CL) and Machine Teaching (MT). CL is a technique in the field of machine learning that seeks to train models more effectively when presenting training cases in a significant order progressing from the easiest examples to the hardest ones. On the other hand, MT is a technique where human domain experts use didactic techniques to control the learning process of an ML model without the need for ML knowledge or experience. Due to the fact that CL and MT incorporate aspects inspired by human didactics and learning methods, this project aims to provide a different approach to these techniques and use them as a didactic method in themselves. In this way, it is proposed to use a CL and MT environment as a “learning by teaching” approach, that is, a type of active learning in which students are the ones teaching and transmitting knowledge to other people and, unconsciously, they are the ones receiving the knowledge. In this case, it was not about the students teaching another physical person, but rather an AI model using CL and MT own techniques that, in our specific case, will be applied to a grammar problem of the Spanish language. In all HITL-ML techniques, interactivity is crucial for their successful implementation. This implies that the usability characteristics in the learning process (clarity, coherence, effectiveness, etc.) are especially relevant. As interactivity increases, these aspects become more important to the point that, in the case of MT, the measurement of metrics such as productivity, interpretability, robustness and scaling is considered essential to verify if a system is successful. The experiment conducted in this project confirms the high pedagogical value of the application, but also highlights refinement areas.