Comparar tareas y la pregunta de facilidad

Comparar las tareas

El resumen de arriba ordena las tareas, pero no las compara. Que una tarea acierte un 55 % y otra un 70 % no significa que la primera sea peor: con veinte respuestas por tarea, quince puntos entran de sobra en el ruido.

Debajo están las tareas con su margen dibujado a la misma escala, ordenadas por la peor. La regla para leerlas es una sola:

• La herramienta compara las tareas de dos en dos y con la misma gente en las dos (McNemar exacto): lo que decide no es si las bandas se tocan, sino cuánta gente acierta una y falla la otra.
• Con cinco tareas hay diez parejas, y cuantas más se miran, más fácil es que una salga distinta sin serlo. Por eso el corte de cada pareja se ajusta (Holm) y sale escrito al lado de su valor p.
• Que dos bandas se solapen no significa que esas dos tareas se acierten igual: significa que con ese criterio no se distinguen. Quien decide es el contraste de arriba.

Según en qué lugar le tocó

La primera tarea que ve una persona es la única que responde sin haber recorrido antes el menú. El acierto de cada lugar se enseña estandarizado por tarea: es el que tendría ese lugar si en todos hubiera caído la misma mezcla de tareas.

Para poder leer esto, las tareas tienen que salir en orden aleatorio. Si todo el mundo las ve en el mismo orden, «la primera» es siempre la misma tarea y esas cifras serían las de las tareas: el informe lo comprueba y, cuando pasa, no las enseña.

La pregunta de facilidad

En los ajustes de cada tarea puedes activar Preguntar cómo de fácil ha sido: una escala del 1 al 7 que aparece en cuanto la persona elige apartado. Va por tarea a propósito; una pregunta suelta al final del bloque se responde pensando en todas a la vez y no se puede cruzar con ninguna.

Lo que se viene a mirar no es la media, es el hueco entre quienes acertaron y quienes no:

• Si quienes fallaron la puntuaron bajo, el menú es difícil y lo saben. Se quejarán, volverán atrás, preguntarán.
• Si quienes fallaron la puntuaron alto, se fueron creyendo que lo habían encontrado. Es lo único del informe que mide esa diferencia entre lo que pasó y lo que la persona creyó que pasaba.

El informe avisa solo cuando la mayoría de quienes fallaron la puntuaron de 5 para arriba y son al menos tres.