Muestra 5. Creando ítems para evaluar

Para la muestra 5 he tomado la tarea 2 del curso de Evaluación en el Aprendizaje de ELE, dictado por el profesor Óscar Soler Canela. Esta tarea era individual y constaba de dos partes, la primera era leer un texto y de ahí elaborar 3 o 4 preguntas de respuesta múltiple de tres opciones. Yo pensaba que este tipo de pruebas eran de los más sencillas, es más, que se elaboraban muy rápido y que eran como para salir del paso. Pero en este curso me di cuenta que no era tan fácil y que además respondía a teorías. Aquí la tarea realizada:

TAREA 1 (PARTE 1) PREGUNTAS 1.- Según el texto, Alemania requiere jóvenes catalanes para… a) su formación académica. b) aprender otro oficio. c) conseguir mano de obra. 2.- Los jóvenes interesados deben cumplir estas condiciones… a) tener entre 18 y 27 años, no tener estudios superiores y estar interesado en oficios técnicos. b) tener entre 18 y 27 años, no tener título de ESO y querer trabajar y estudiar en Alemania. c) tener título de ESO, estar en paro y con experiencia laboral en oficios técnicos y otros. 3.- La empresa Bridge4Mobility (B4M) organiza cursos intensivos durante cinco meses para los jóvenes que… a) tramitan su documentación. b) pasan la primera prueba de selección. c) viven en diferentes lugares de Cataluña. 4.- David Antón, directivo de B4M, manifiesta que los jóvenes una vez conseguida la plaza en la empresa… a) viajan a Alemania por cuatro semanas para aprender alemán. b) asisten a cursos intensivos de alemán entre cuatro y seis semanas. c) trabajan por un sueldo de 818 euros durante su formación profesional. 5.- Said Moussadi piensa que el proyecto Catazubi es… a) bueno para seguir desarrollándose, pero el sueldo es bajo. b) una gran oportunidad para desarrollarse profesionalmente. c) una oportunidad para conocer Alemania y trabajar en ella. 6.- El Programa Catazubi consiste en dar formación profesional dual a … a) jóvenes que obtienen una plaza. b) jóvenes alemanes en Alemania. c) jóvenes que asisten al curso intensivo.

En esta tarea destacan palabras de color rojo y es porque en esta primera parte se debía exponer la tarea en el foro y los compañeros debían hacer correcciones en el trabajo. tú evaluabas sus comentarios y si tenían razón debías hacer los cambios correspondientes. Aquí he puesto ya el producto final.

En la segunda parte se tenía que calcular los índices de dificultad y discriminación de la tarea realizada… ¡plop!, ¿qué es esto? en realidad no tenía ni idea de que quería decir esta tarea. Pero a medida que iba leyendo y buscando lo que pedía el profesor, me di cuenta que era lo más adecuado para conocer el efecto de una respuesta. Ahora puedo decir que este es el método más científico y aceptable para comprobar que los ítems cumplen son su trabajo evaluativo eficaz. Recuerdo que en mi búsqueda de entender mejor esta tarea encontré en internet una fórmula que me ayudó a entender cómo se promediaba el resultado y me quedó muy claro la eficacia de este tipo de pruebas. Aquí comparto mi tarea resuelta.

TAREA 2 (II PARTE) Según los resultados del prepilotaje de la tarea de CL propuesta, los índices de dificultad y discriminación de los 5 items que componen la prueba son los siguientes: ITEM 1 Índice de dificultad: 15 responden correctamente: 19 estudiantes = 0.79 Índice de discriminación: 6 estudiantes con respuestas correctas en la franja superior – 3 estudiantes con respuestas correctas en la franja inferior: 0.6 – 0.3 = 0,3 Los resultados obtenidos en el índice de dificultad nos dicen que es un ítem con una dificultad aceptable (más cerca de ser demasiado fácil que demasiado difícil que sería un 0.5), pero está dentro de los parámetros aceptables de dificultad. El índice de discriminación de éste ítem es de 0.3, lo que significa que efectivamente discrimina porque ha sido contestado correctamente por los estudiantes del grupo alto, pero no por los del bajo. Por todo ello considero que es un ítem aceptable para la prueba. ITEM 2 Índice de dificultad: 5:19 = 0.26 Índice de discriminación: 0.1 -0.1 = 0   El resultado del índice de dificultad nos dice que la mayoría de estudiantes han errado al contestarlo, ya que solamente 5 de 19 estudiantes la han contestado correctamente, por lo que tiene un nivel de dificultad demasiado elevado.  El resultado del test de discriminación nos vuelve a reflejar que, efectivamente, es una pregunta demasiado difícil, ya que ningún estudiante la ha contestado correctamente, por lo tanto, hay que reformularla o sustituirla por otra. ITEM 3 Índice de dificultad: 17:19 = 0.89 Índice de discriminación: 0.6 – 0.4 = 0.2 El resultado obtenido en el índice de dificultad refleja la baja dificultad de éste ítem, ya que 17 de 19 estudiantes la han contestado correctamente.  El índice de discriminación obtenido es excesivamente bajo, lo que quiere decir que el ítem no discrimina lo suficiente por diversas razones, por lo tanto, debe ser reformulado o cambiado por otro con un nivel de discriminación más elevado (entorno al 0.5 tanto en dificultad como en discriminación) ITEM 4 Índice de dificultad: 18:19 = 0.95 Índice de discriminación: 0.6 – 0.5 = 0.1 El índice de dificultad vuelve a mostrar que prácticamente todos los alumnos a excepción de 1 han contestado correctamente a la pregunta, por lo que debemos corregirlo. El índice de discriminación de éste ítem es demasiado bajo, lo que quiere decir que no discrimina lo suficiente, por lo que también se debe reformular o sustituir por otro con un mayor nivel de dificultad y discriminación. ITEM 5 Índice de dificultad: 14:19 = 0.74 Índice de discriminación: 0.6 – 0.4 = 0.2 El resultado del índice de dificultad de éste ítem es algo diferente del resto ya que la mayoría de estudiantes del grupo bajo han respondido bien a la pregunta, haciendo que el resultado de discriminación parezca demasiado bajo y que no discrimina lo suficiente, pero curiosamente los estudiantes del grupo medio cuya tasa de acierto es más elevada que la del grupo más bajo, ha obtenido un mayor número de errores que el grupo inferior. Éste resultado me hace dudar, pero si me apoyo en el índice de discriminación obtenido para tomar una decisión, compruebo que es excesivamente bajo por lo que no discrimina suficiente y se ha de reformular.

Voy a compartir la fórmula que encontré que me ayudó a resolver esta tarea, quizás pueda ayudar a alguien también. Es este el link donde lo encontré: http://www.qhdata.com.ar/Articulos/indices_de_discriminacion_y_dificultad.pdf

Nunca antes había realizado algo así, siempre supuse que se hacían las preguntas más o menos iguales y ya, como para despistar al estudiante y listo.

Cuando empecé este curso, creía que conocía de evaluación, pero apenas se dejó la primera tarea, todo me pareció nuevo y me sentí bastante perdida. Este curso me gustó bastante porque creo que evolucioné como profesional y como persona.

Imagen: https://www.uchile.cl/image/f140459-1-h.jpeg?2607