QCM avec degrés de certitude (DC)

Added by christophe laplanche about 6 years ago

Bonjour,

Je souhaite monter un QCM avec degrés de certitude (DC). Pour chaque question, l'étudiant donne sa réponse et évalue la confiance (en %) qu'il accorde à sa réponse. Les points qu'il gagne/perd dépendent de sa réponse et de la confiance. Je souhaite utiliser le barème de Dieudonné Leclerc (1975) :

https://www.erudit.org/fr/revues/mee/2015-v38-n1-mee02527/1036553ar/media/1982354n.jpg
https://www.erudit.org/fr/revues/mee/2015-v38-n1-mee02527/1036553ar/media/1982822n.jpg

sinon image en pièce jointe si les liens ne marchent pas.

Une question similaire a déjà été traitée sur le forum basée sur 3 niveaux de confiance :

https://project.auto-multiple-choice.net/boards/2/topics/6030

En m'en inspirant, cela donne le code tex joint. Le code marche avec la dernière version test d'AMC (je suis sur ubuntu xenial, AMC version 1.3.0 2018-03-21). Cela fonctionne grosso-modo mais j'ai qqs questions de détail :

  • si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut. peut on plutôt ne pas donner de point à la question ?
  • si un étudiant ne choisit plusieurs niveaux de confiance pour une question, la valeur max parmi celles remplies est appliquée. peut on plutôt ne pas donner de point à la question ?
  • les 2 options
    \scoring{b=SCOREOK,m=SCOREWRONG,MAX=20}
    \scoring{formula=((NMC>0)?(SCOREWRONG):((NBC>0)?SCOREOK:0)),MAX=20}
    semblent donner le même résultat pourquoi ? laquelle vaut mieux-t-il utiliser ?

Merci d'avance

Christophe

Merci d'avance,

Christophe

DC.gif (40.7 kB)

source.tex (3.2 kB)


Replies (9)

RE: QCM avec degrés de certitude (DC) - Added by christophe laplanche about 6 years ago

je viens de voir que l'annotation des copies ne fonctionne pas, il n'y a rien dans le 'Détail de la sortie des commandes', je ne sais pas si c'est lié...

RE: QCM avec degrés de certitude (DC) - Added by Frédéric Bréal about 6 years ago

Bonjour,

  • Pourquoi y a-t-il 2 bonnes réponses ?
  • les chiffres 1 à 6 ne me semblent pas utiles car vous utilisez b=scoreok pour la question suivante.
          \wrongchoice{\hl{0-25\%}}\scoring{1,setglobal.SCOREOK=13,setglobal.SCOREWRONG=4}
          \wrongchoice{\hl{25-50\%}}\scoring{2,setglobal.SCOREOK=16,setglobal.SCOREWRONG=3}
          \correctchoice{\hl{50-70\%}}\scoring{3,setglobal.SCOREOK=17,setglobal.SCOREWRONG=2} 
          \wrongchoice{\hl{70-85\%}}\scoring{4,setglobal.SCOREOK=18,setglobal.SCOREWRONG=0}
          \wrongchoice{\hl{85-95\%}}\scoring{5,setglobal.SCOREOK=19,setglobal.SCOREWRONG=-6}
          \correctchoice{\hl{95-100\%}}\scoring{6,setglobal.SCOREOK=20,setglobal.SCOREWRONG=-20}
    

si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut. peut on plutôt ne pas donner de point à la question

  • Il faudrait essayer avec ceci : default. XXX : Donne une valeur à la variable XXX si aucune case cochée n’en a déjà donnée une par le biais de set. XXX .

RE: QCM avec degrés de certitude (DC) - Added by Frédéric Bréal about 6 years ago

si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut. peut on plutôt ne pas donner de point à la question ?

Ceci semble correspondre. Je crée une variable MULTICHOIX qui multiplie le score. Pour la deuxième question, je vais faire un test de condition, si MULTICHOIX >1 donc sinon

\newcommand\questionconfidence[3]{ %
  % arguments: id, question, answers bloc
  \begin{question}{#1[C]}
    \QuestionIndicative%
    #2
    \par\hspace*{\fill}\hl{Degr\'e de certitude :}
    \begin{choicescustom}[o]
      \wrongchoice{\hl{0-25\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=13,setglobal.SCOREWRONG=4}
      \wrongchoice{\hl{25-50\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=16,setglobal.SCOREWRONG=3}
      \wrongchoice{\hl{50-70\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=17,setglobal.SCOREWRONG=2}
      \wrongchoice{\hl{70-85\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=18,setglobal.SCOREWRONG=0}
      \wrongchoice{\hl{85-95\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=19,setglobal.SCOREWRONG=-6}
      \correctchoice{\hl{95-100\%}}\scoring{setglobal.MULTICHOIX=1,setglobal.SCOREOK=20,setglobal.SCOREWRONG=-20}
    \end{choicescustom}
  \end{question}
  {\AMCquestionNumberfalse%
    \def\AMCbeginQuestion##1##2{}%
    \def\AMCbeforeQuestion{}%
    \begin{question}{#1[Q]}%
      %\scoring{b=SCOREOK,m=SCOREWRONG,MAX=20}
      \scoring{default.MULTICHOIX=0,b=SCOREOK*MULTICHOIX,m=SCOREWRONG*MULTICHOIX,MAX=20}
      #3
    \end{question}%
  }%
}

L'annotation fonctionne avec la dernière version 1.3.0+hg2018-03-19b et ubuntu 16.04

0001.pdf (44.8 kB)

RE: QCM avec degrés de certitude (DC) - Added by Frédéric Bréal about 6 years ago

Je n'arrive pas à résoudre vos deux contraintes

\scoring{b=SCOREOK,m=SCOREWRONG,MAX=20,e=0,v=0}

permet de résoudre : si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut. peut on plutôt ne pas donner de point à la question ?

RE: QCM avec degrés de certitude (DC) - Added by christophe laplanche about 6 years ago

Merci Gérard pour vos réponses,

  • en effet il y avait 2 bonnes réponses par erreur, \correctchoice{\hl{50-70\%}} devait être \wrongchoice{\hl{50-70\%}}
  • je voudrais conserver les % qui ont été choisis pour donner aux étudiants un graphique : % de confiance choisi versus % de bonne réponse. c'est pour cela que j'avais mis les valeurs de 1 à 6.
  • auriez vous une page détaillant les variables que l'on peut utiliser (MULTICHOIX, SCOREOK, SCOREWRONG, ...) avec setglobal et ce à quoi elles correspondent, je n'ai pas trouvé une telle page, et je ne comprends pas exactement ce qu'elles font. Ou alors on nomme ces variables comme on veut et ce qui compte est l'ordre des arguments de la fonction scoring ? Bref, je n'ai pas tous les éléments pour comprendre, le résultat ne donne pas exactement ce que je voudrais dans le cas idéal, mais j'ai du mal à bidouiller.
  • ceci dit le résultat par défaut me convient à peu près, suffit d'être clair dans les consignes (si pas de % de confiance donné => c'est 100 %; si >1 % de confiance donnés => c'est le max)
  • je viens de vérifier, l'annotation ne fonctionne pas non plus avec la version stable 1.3.0 sur mon système, cela semble être un autre problème, indépendant de la version test...

Cordialement

Christophe

RE: QCM avec degrés de certitude (DC) - Added by Frédéric Bréal about 6 years ago

je voudrais conserver les % qui ont été choisis pour donner aux étudiants un graphique : % de confiance choisi versus % de bonne réponse. c'est pour cela que j'avais mis les valeurs de 1 à 6.

D'accord.

Ou alors on nomme ces variables comme on veut et ce qui compte est l'ordre des arguments de la fonction scoring

Oui, vous écrivez ce que vous voulez comme variable

  • J'ai essayé autre chose mais j'ai toujours zéro
    \begin{question}{Italie-Capitale}    \QuestionIndicative%
        Which is the capital city of Italy?
    
            \begin{choices}%\scoring{default.BONNEREPONSE=0,default.MAUVAISEREPONSE=0}
            \correctchoice{Rome}\scoring{setglobal.BONNEREPONSE=1,setglobal.MAUVAISEREPONSE=0}
            \wrongchoice{Douala}\scoring{setglobal.BONNEREPONSE=0,setglobal.MAUVAISEREPONSE=1}
            \wrongchoice{Abou-Dabi}\scoring{setglobal.BONNEREPONSE=0,setglobal.MAUVAISEREPONSE=1}
            \wrongchoice{Paris}\scoring{setglobal.BONNEREPONSE=0,setglobal.MAUVAISEREPONSE=1}
        \end{choices}
    \end{question}
    
    \def\AMCbeginQuestion##1##2{}
      \begin{question}{Italie-Capital[C]}\scoring{default.SCOREOK=0,default.SCOREWRONG=0,b=BONNEREPONSE*SCOREOK,m=MAUVAISEREPONSE*SCOREWRONG,MAX=20}
    \hspace*{\fill}\hl{Degr\'e de certitude :}
        \begin{choicescustom}[o]        
            \wrongchoice{\hl{0-25\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=13:b=4),MAX=20}
            \scoring{set.SCOREOK=13,set.SCOREWRONG=4}
            %
            \wrongchoice{\hl{25-50\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=16:b=3),MAX=20}
            \scoring{set.SCOREOK=16,set.SCOREWRONG=3}
            %
            \wrongchoice{\hl{50-70\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=17:b=2),MAX=20}
            \scoring{set.SCOREOK=17,set.SCOREWRONG=2}
            %
            \wrongchoice{\hl{70-85\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=18:b=0),MAX=20}
            \scoring{set.SCOREOK=18,set.SCOREWRONG=0}
            %
            \wrongchoice{\hl{85-95\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=19:b=-6),MAX=20}
            \scoring{set.SCOREOK=19,set.SCOREWRONG=-6}
            %
            \correctchoice{\hl{95-100\%}}
            %\bareme{formula=(BONNEREPONSE==1?b=20:b=-20),MAX=20}}
            \scoring{set.SCOREOK=20,set.SCOREWRONG=-20}
        \end{choicescustom}
    \end{question}
    

La commande setglobal est nouvelle et je ne l'ai pas utilisée en examen.

Je vais continuer mes recherches.

je viens de vérifier, l'annotation ne fonctionne pas non plus avec la version stable 1.3.0 sur mon système, cela semble être un autre problème, indépendant de la version test...

Faites un sujet fictif (1 copie que vous remplissez) mais en mode débogage du début à la fin Aide-> Debogage puis ouvrez un autre fil sur ce problème.

RE: QCM avec degrés de certitude (DC) - Added by christophe laplanche about 6 years ago

pour conclure sur ces retours

1) concernant l'annotation : j'ai mis à jour à jour ubuntu cela fonctionne correctement maintenant :)

2) concernant les règles de score : le choix par défaut fonctionne bien (et me va), suffit juste de le savoir et d'informer les élèves/étudiants
  • si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut
  • si un étudiant ne choisit plusieurs niveaux de confiance pour une question, la valeur max parmi celles remplies est appliquée

3) malheureusement, j'ai toujours 0 dans la feuille d'export des notes concernant le degré de confiance si plusieurs degrés de confiance ont été choisis (alors que c'est le max parmi les choix qui est appliqué dans le calcul de la note). Je ne connais pas assez AMC pour trouver une solution. Je peux retrouver le score du degré de certitude à partir de la note, en post-traitement, je vais faire comme ça en attendant...

Si vous avez la réponse au point 3), je suis preneur, mais ce serait dans l'idéal, car l'essentiel marche.

Dans tous les cas merci

RE: QCM avec degrés de certitude (DC) - Added by Frédéric Bréal about 6 years ago

Voici une autre proposition qui règle automatiquement si un étudiant ne choisit pas de niveau de confiance pour une question, la valeur max (100 %) est choisie par défaut mais pas si un étudiant ne choisit plusieurs niveaux de confiance pour une question, la valeur max parmi celles remplies est appliquée
Avec cette commande vous ne pouvez pas faire de vraies questions multiples mais vous devriez voir dans les statistiques Si vous avez la réponse au point 3), je suis preneur, mais ce serait dans l'idéal, car l'essentiel marche les pourcentages des 6 dernières réponses qui correspondent au degré de certitude.

\newcommand{\questionconfidence}[4]{ %
\def\AMCbeginQuestion##1##2{\par\noindent{\bf Question ##1} \hspace*{1em}}
%efface le trèfle
%#1 : id question
\begin{questionmult}{#1}
    \AMCnoCompleteMulti %-> ne pas afficher la phrase par défaut "aucune réponse n'est exacte" 
    \scoring{default.SCOREOK=20,default.SCOREWRONG=-20,default.REPONSE=0,%
        formula=(REPONSE==1?SCOREOK:SCOREWRONG),%
        MAX=20,v=0,e=0}
    %#2 question    
#2

    \begin{choices}
%#3 les réponses
#3

        \lastchoices
        \begin{multicols}{6}
            \wrongchoice{\hl{0-25\%}}
            \scoring{set.SCOREOK=13,set.SCOREWRONG=4}
            %
            \wrongchoice{\hl{25-50\%}}
            \scoring{set.SCOREOK=16,set.SCOREWRONG=3}
            %
            \wrongchoice{\hl{50-70\%}}
            \scoring{set.SCOREOK=17,set.SCOREWRONG=2}
            %
            \wrongchoice{\hl{70-85\%}}
            \scoring{set.SCOREOK=18,set.SCOREWRONG=0}
            %
            \wrongchoice{\hl{85-95\%}}
            \scoring{set.SCOREOK=19,set.SCOREWRONG=-6}
            %
            \wrongchoice{\hl{95-100\%}}
            \scoring{set.SCOREOK=20,set.SCOREWRONG=-20}
        \end{multicols}

    \end{choices}
\end{questionmult}
}

RE: QCM avec degrés de certitude (DC) - Added by christophe laplanche about 6 years ago

Oui merci, c'est une bonne idée : faire la correction en 2 temps avec 2 codes de barème, un pour remplir la fiche de note avec les DC et un pour corriger les réponses des étudiants et calculer leurs notes.

Merci

(1-9/9)