Publicación: A derivation of the optimal answer-copying index and some applications
Resumen
Multiple choice exams are frequently used as an efficient and objective instrument to evaluate knowledge. Nevertheless, they are more vulnerable to answer-copying than tests based on open questions. Several statistical tests (known as indices) have been proposed to detect cheating but to the best of our knowledge they all lack a mathematical support that guarantees optimality in any sense. This work aims at filling this void by deriving the uniform most powerful (UMP) test assuming the response distribution is known. In practice we must estimate a behavioral model that yields a response distribution for each question. We calculate the empirical type-I and type-II error rates for several indices, that assume different behavioral models, using simulations based on real data from twelve nation wide multiple choice exams taken by 5th and 9th graders in Colombia. We find that the index with the highest power among those studied, subject to the restriction of preserving the type-I error, is the one that uses a nominal response model for item answering, conditions on the answers of the individual suspected of being the source of copy and calculates critical values via a normal approximation. This index was first studied by Wollack (1997) and later by W. Van der Linden and Sotaridona (2006) and is superior to the indices studied and developed by Wesolowsky (2000) and Frary, Tideman, and Watts (1977). Furthermore, we compare the performance of the indices on examination rooms with different levels of proctoring and find that increasing the level of proctoring can reduce copying by as much as 50% and that simple strategies such as having different students answer different portions of the test at different times canal so reduce cheating by over 50%. Finally, a Bonferroni type false discovery rate procedure is used to detect massive cheating. The application is straightforward and we believe it could be use to make entire examination rooms retake an exam under stricter surveillance conditions.
Resumen
Los exámenes de opción múltiple se usan con frecuencia como un instrumento eficiente y objetivo para evaluar el conocimiento. Sin embargo, son más vulnerables a la copia de respuestas que las pruebas basadas en preguntas abiertas. Se han propuesto varias pruebas estadísticas (conocidas como índices) para detectar trampas, pero según nuestro conocimiento, todas carecen de un soporte matemático que garantice la optimización en cualquier sentido. Este trabajo tiene como objetivo llenar este vacío derivando la prueba uniforme más potente (UMP) suponiendo que se conoce la distribución de la respuesta. En la práctica, debemos estimar un modelo de comportamiento que produzca una distribución de respuesta para cada pregunta. Calculamos las tasas de error empíricas de tipo I y tipo II para varios índices, que suponen diferentes modelos de comportamiento, utilizando simulaciones basadas en datos reales de doce exámenes de opción múltiple a nivel nacional tomados por estudiantes de quinto y noveno grado en Colombia. Encontramos que el índice con el poder más alto entre los estudiados, sujeto a la restricción de preservar el error tipo I, es el que usa un modelo de respuesta nominal para responder preguntas, condiciones sobre las respuestas del individuo sospechoso de ser la fuente de copia y calcula valores críticos a través de una aproximación normal. Este índice fue estudiado primero por Wollack (1997) y luego por W. Van der Linden y Sotaridona (2006) y es superior a los índices estudiados y desarrollados por Wesolowsky (2000) y Frary, Tideman y Watts (1977). Además, comparamos el rendimiento de los índices en las salas de examen con diferentes niveles de supervisión y descubrimos que aumentar el nivel de supervisión puede reducir la copia hasta en un 50% y que estrategias simples como hacer que diferentes estudiantes respondan diferentes partes de la prueba en diferentes tiempos de canal reduce la trampa en más del 50%. Finalmente, se utiliza un procedimiento de tasa de descubrimiento falso de tipo Bonferroni para detectar trampas masivas. La aplicación es sencilla y creemos que podría usarse para hacer que salas de examen completas vuelvan a realizar un examen en condiciones de vigilancia más estrictas.
PDF 
FLIP 