Bonjour !

Je voudrais partager ici mon expérience des barèmes.

N.B. j'utilise beaucoup les questions ouvertes pour obtenir des réponses plus élaborées des étudiants, pour saisir les raisonnements, pour les obliger à rédiger, ... Ces questions ouvertes permettent de sortir du cadre restreint du QCM pur et c'est une très forte valeur ajoutée qu'offre là AMC. Dans les cases que je coche, j'inclus différents critères sur différents plans : il n'est donc pas rare que le correcteur coche plusieurs cases pour caractériser la réponse de l'étudiant.
Du coup, cela me sort peut-être de l'usage le plus fréquent qui est fait de AMC ... Que le lecteur en soit ici averti !

Premières expériences:
- j'ai été surpris parce que mes premiers QCM (avec réponses multiples) donnaient beaucoup de points : en effet, par défaut, on a des points quand on coche une "bonne" case, mais aussi quand on ne coche pas une mauvaise case.
- en utilisant le service d'annotation, j'ai eu souvent des 4/3 pour indiquer que 4 points avaient été donnés sur 3 points possibles ... Problématique auprès des étudiants !
- comme indiqué en préambule, j'utilise beaucoup les questions ouvertes où c'est le correcteur qui coche les cases pour donner des points en fonction d'un certain nombre de critères. Là aussi, j'ai eu un peu de mal à maîtriser le barème de sorte que l'affichage sur l'annotation soit valide.
- j'ai parfois changé des questions simples en des questions à réponses multiples et réciproquement : à cette occasion, je me suis aperçu que la syntaxe des barèmes n'était pas tout à fait la même.

Il m'est donc apparu que le système était très puissant:

• capable de supporter a priori n'importe quel type de notation,
• avec la possibilité de fixer des valeurs par défaut au niveau du document, d'une question, d'une réponse,
• avec la possibilité de "normaliser" les notes par exemple sur 100 ou sur 20 quand les scores bruts sont sur 30, 40 ou que sais-je,
• donnant la possibilité de changer le barème en éditant le code Latex d'où une grande souplesse pour piloter les notes en fonction des résultats mais aussi pour rattraper les bêtises,
• avec la possibilité d'utiliser une fonction "point" en fonction de ce qui est coché dans une question (pas utilisé pour l'instant mais sécurisant au cas où je n'arriverais pas à mes fins avec les paramètres standard)
  Mais aussi le barème s'est révélé d'un premier abord plus redoutable qu'il n'y paraissait, avec pas mal de chausse-trappes, même en voulant rester modestement dans les basiques.

En terme de méthodes:

• j'ajoute toujours aux vrais étudiants deux étudiants fictifs : l'un qui ne répond à rien, l'autre qui fait tout juste.
• je demande la correction puis l'annotation des ces deux étudiants.
  C'est très instructif:
• cela donne les points affectés aux différentes exercices et globalement, pour comparer à ce que l'on souhaitait faire,
• cela permet de détecter bien des erreurs sur les deux paramètres essentiels qui jouent sur les scores : le barème et la nature des questions (bonne vs. mauvaise ou correctchoice vs. wrongchoice en anglais) ; exemples de symptôme : on a 4 points sur un maximum de 3 alloués ; ou en ne répondant à rien, on a plein de points.
  C'est aussi intéressant à faire quand on apprend à maîtriser le système de barème.

Cela permet aussi de repérer des situations bizarres sur les copies annotées comme des "ronds rouges" autour de cases non cochées (rappel : les ronds rouges sur les copies annotées indiquent de "mauvaises cases" cochées à tord). Cela vient de cases considérées comme cochées alors qu'elles ne le sont pas : ces situations sont à analyser avec le zoom du menu "saisie" ; il s'agit le plus souvent de la conjonction d'un seuil de détection faible et d'un léger décalage qui font que les bords de la case sont interprétés comme un noircissement de la case. Pourquoi parler de çà ici ? C'est parce qu'on peut penser à tord qu'il s'agit d'un problème de barème. Morale : il faut toujours vérifier avec l'application "zoom" l'interprétation faite par le système de ce qui est coché/non coché.

Principes généraux du barème :

• une case est caractérisée par une nature (bonne ou mauvaise réponse) et par un statut (cochée ou non).
• les points sont affectés selon que la réponse est adéquate ou non :
  

  Nombre de points alloués dans une question multiple:
  
             Nature case
            ____________________
            |        |         |
            |bonne   |mauvaise |
  __________|________|_________|
            |bonne   |mauvaise |
  Cochée    |réponse |réponse  |
  __________|_b_pts__|_m_pts___|
            |mauvaise|bonne    |
  Non cochée|réponse |réponse  |
  __________|_m_pts__|_b_pts___|
  
  

Question simple: ici pas de difficulté particulière en même temps que c'est le cas le plus fréquent (d'où le peu de difficultés ressenties sur le barème à mon avis)

• il faut par définition une seule bonne réponse
• là c'est simple : la bonne réponse est cochée : b points ; elle ne l'est pas : m points
• une exception cependant : si à une case (réponse) on associe \bareme{2}, il y aura 2 points donnés si cette case est cochée, quelque soit la nature, bonne ou mauvaise de la case/réponse, cela ne dépend que du statut coché ou non de la case. On verra plus loin tout l'intérêt de ce mécanisme.

Question à réponses multiples (notamment dans le cadre de questions ouvertes)

• pour les questions multiples (ouvertes ou pas) le score dépend des deux paramètres nature (bonne ou mauvaise réponse) et du statut (coché ou non), mais de manière combinée : une "bonne réponse" , c'est-à-dire une "bonne case" et cochée OU une "mauvaise case" et non cochée, donne b points ; une "mauvaise réponse", c'est-à-dire une "bonne case" non cochée OU une "mauvaise case" cochée, donne m points (m<=0 a priori). Voir le schéma plus haut. Donc par défaut, si on a bien répondu à la question où il y a n cases possibles, on aura un score de n x b, ce qui n'est pas très naturel pour moi. Autre cas "bizarre", si on suppose qu'il n'y a qu'un bonne réponse, ne pas répondre assure (n-1) x b points !
• pour une question ouverte donnée, j'apprécie divers critères, par exemple : exactitude du résultat, qualité du raisonnement, qualité de la rédaction, savoir faire spécifiques, erreur à sanctionner, ... J'ai donc toujours 14 cases à ma disposition, dont le sens n'est pas toujours défini à l'avance : il peut être complété après avoir observé des erreurs sur les copies, ou des raisonnements alternatifs.

Approche retenue pour avoir les résultats attendus sur le système actuel :

• pour fixer la valeur maximale de la question, je choisis de définir certaines questions comme "bonne" ; les paramètres de barème de la réponse sont b=1 ou 2 par exemple, et m=0 pour aucun point si la case n'est pas cochée ; la somme des points affectés à ces questions définira le nombre de points maximum pmax pour la question, somme qui sera affichée par l'application d'annotation au dénominateur (x points/*pmax*).
• ensuite, j'ai des cases pour indiquer que sur un critère, le résultat n'est que partiel : ces cases ne peuvent pas être "bonne" sinon cela augmenterait pmax ; elle sont donc classées "mauvaise" mais leur est affecté un m positif, m=0.5 par exemple, points qui seront obtenus si la case est cochée ; b=0, pour que si elle n'est pas cochée, elle ne génère pas de points au titre d'une "bonne réponse" (mauvaise réponse non cochée à juste titre)
• d'autres cases permettent de souligner des erreurs ou au contraire des points bonus : là encore b=0 assure que si elle ne sont pas cochées, il ne se passe rien ; m>0 pour sanctionner une qualité particulière, m<0 pour sanctionner une erreur
• si je souhaite tenir rigoureusement les points de la question entre 0 et pmax, j'utilise les paramètres MAX et p pour indiquer un maximum et un minimum pour la question (souvent p=0) ; sinon, la question peut rapporter plus que pmax, et là on s'autorise une annotation du type 4/3, à cause des points bonus

Ça marche mais c'est un peu lourd d'avoir à répéter m=0 et b=0 ici et là. Même si on peut mettre b=0 et m=0 par défaut au niveau global de la question, cela fait une conception assez complexe, surtout pour un newbie.

La complexité pour les questions à réponses multiples vient de ce qu'on attribue les points en fonction de l'adéquation du coché à la nature de la question ; tout serait plus simple si cela ne dépendait que du seul fait d'être coché ou pas, indépendamment de la nature "bonne" ou "mauvaise" de la réponse.

Suggestions :

• on pourrait étendre aux questions multiples le mécanisme \bareme{2} qui n'existe pour l'instant que pour les seules questions simples ; avec cette syntaxe, c'est le fait d'être coché qui apporte les points ; cela aurait aussi l'avantage de simplifier le passage des questions simples au questions multiples et réciproquement. Ainsi rapprochés, on pourrait presque imaginer un seul modèle de question, basé sur le modèle des questions multiples, qui passerait en mode question simple (pas de "clubspade") parce qu'il n'y a qu'une bonne réponse.
• autre approche : créer, à côté de "bonne" et "mauvaise" ("correctchoice" et "wrongchoice" en version US) une nature de case "choix" ("choice" en version US) qui est neutre quant à la véracité de la réponse. Les points à donner seraient définis par une variable "c" si la case est cochée, et "nc" points si la case n'est pas cochée. Ces variables pourraient être définies au niveau de la réponse, au niveau de la question, au niveau du document comme b, m etc. Pour définir le dénominateur de l'application annotation, on pourrait le définir explicitement à partir de MAX. Tout en maintenant "bonne" et "mauvaise" pour des raisons de compatibilité, on pourrait aussi coder une "bonne case" ("correctchoice") avec un "choix" ("choice") et b>0 et une "mauvaise case" ("wrongchoice") avec "choix" ("choice") et un b<0 ; comme avec la version texte, un + ou un moins permettrait d'indiquer les bonnes réponses et de façon très lisible.

Le débat est lancé ! Désolé pour la longueur. Et encore une fois, cette appli est géniale :)