Utiliser AMC pour évaluer des compétences gérées par SACoche

Version 6 (Liouba Leroux, 07/13/2023 08:51 am)

1 1
h1. Utiliser AMC pour évaluer des compétences gérées par SACoche
2 1
3 1
Voici quelques résultats et moyens utilisés pour réaliser un QCM AMC et en reporter les résultats dans SACoche, l'application web de suivi des acquisition de compétence.
4 1
5 1
Bien sûr, mais je ne traiterais pas ce point ici, la notion de compétence complexe et de QCM peut sembler antinomique. Je me permettrais juste de remarquer, pour déminer le terrain, que :
6 1
- les réponse à un QCM peuvent très bien demander des calculs/raisonnements complexes
7 1
- AMC gère les questions ouvertes (où c'est le prof qui corrige la question, prend en compte par exemple la rédaction et coche les cases, le tout étant ensuite amalgamé aux autres questions)
8 1
- AMC gère les questions à réponse numérique (par exemple : répondre par un nombre à 5 chiffres dont 3 après la virgule)
9 1
10 1
Rentrons dans le vif du sujet :
11 1
12 1
Il existe sur le forum d'AMC plusieurs tentatives de corriger par compétences, en particulier https://project.auto-multiple-choice.net/boards/4/topics/5668 et https://project.auto-multiple-choice.net/boards/4/topics/5032?r=5349#message-5349, mais cela ne me semble pas aller assez loin pour mon usage, et il n'y a pas pour le moment de lien proposé vers Sacoche.
13 1
14 3 Liouba Leroux
h2. 1/ on crée l'évaluation dans Sacoche pour avoir une idée claire des compétences qu'on veut évaluer.
15 1
16 3 Liouba Leroux
h2. 2/ on conçoit le QCM.
17 3 Liouba Leroux
18 3 Liouba Leroux
h3. Barèmes
19 4 Liouba Leroux
20 1
Parmi les réglages que j'ai adoptés :
21 1
- Définition des barèmes (questions simples puis questions multiples)
22 2 Liouba Leroux
\baremeDefautS{e=0.0001,b=1,m=-0.2,v=0} % bonne réponse 1, mauvaise réponse -0.2 pour différencier de la non réponse qui reste à 0, incohérence (plusieurs réponses données à 0,0001 pour définir des manquements au respect de consignes)
23 1
24 1
\baremeDefautM{formula=((NBC-NMC)/NB)*((NBC-NMC)/NB>0)} % nombre de bonnes réponses cochées minorées des mauvaises réponses cochées, ramenées à 1, et ramenée à 0 si résultat négatif.
25 1
26 3 Liouba Leroux
h3. Identification des élèves
27 4 Liouba Leroux
28 1
- Utilisation de lettres pour identifier automatiquement les élèves : chaque exemplaire commence par
29 1
30 1
\champnom{\fbox{\parbox{10cm}{
31 1
Écrivez vos nom, prénom et classe : \\
32 1
\\
33 1
}}}
34 1
%\\
35 1
\vspace{2mm}
36 1
37 1
Puis cocher les trois premières lettres de votre nom de famille et les deux premières lettre de votre prénom
38 1
39 1
\AMCcodeGrid[h]{ID}{ABCDEFGHIJKLMNOPQRSTUVWXYZ,
40 1
ABCDEFGHIJKLMNOPQRSTUVWXYZ,
41 1
ABCDEFGHIJKLMNOPQRSTUVWXYZ,
42 1
ABCDEFGHIJKLMNOPQRSTUVWXYZ,
43 1
ABCDEFGHIJKLMNOPQRSTUVWXYZ}
44 1
45 4 Liouba Leroux
h3. Traçabilité des questions :
46 1
47 4 Liouba Leroux
Si on veut à l'étape 12 pouvoir donner un corrigé pour chaque question ou des indications des critères d'évaluation, il peut être intéressant de garder une identification compacte des questions qui permette de pointer une question particulière même après mélange de l'ordre des questions, mais qui ne soit pas trop visible au cours de l'épreuve. Pour le moment, je note [Aa], [Ab], [Ba] mes questions, où A désigne un thème donné et a, b, ... les différentes questions afférentes à ce thème, et je place les références [Aa] par exemple au début de chaque texte de consigne et dans les nom de question d'AMC pour que ces références se retrouvent dans les colonnes de l'export ODS.
48 1
49 4 Liouba Leroux
h2. 3/ on fait passer l'épreuve,
50 4 Liouba Leroux
51 4 Liouba Leroux
On corrige éventuellement les questions ouvertes, on scanne les copies en Tiff un fichier par page, 300 ou 400 DPI N&B (sans niveau de gris)
52 4 Liouba Leroux
53 1
h2. 4/ on prépare un fichier d'élève en csv avec les colonnes issues de Sacoche : reference ; nom ; prenom
54 1
55 6 Liouba Leroux
(option : on ajoute la colonne ID avec une formule qui produit en capitale les trois premières lettres du nom et les 2 premières lettres du prénom : du genre = MAJUSCULE(GAUCHE(D2;3) & GAUCHE(E2;2)) )
56 1
57 1
h2. 5/ on effectue dans AMC la saisie automatique,
58 1
59 4 Liouba Leroux
On vérifie les zooms sur les cases cochées, on effectue le rapprochement des copies automatique ou non, en utilisant le fichier préparé en 4/ (avec le rapprochement automatique utilisant l'ID, c'est les doigts dans le nez...)
60 4 Liouba Leroux
61 4 Liouba Leroux
h2. 6/ on exporte en ods
62 4 Liouba Leroux
63 3 Liouba Leroux
avec les options 
64 3 Liouba Leroux
* trier par ligne du fichier (important, pour avoir la même liste que Sacoche)
65 3 Liouba Leroux
* "inclure les absents" (pour que le copier collé dans le csv d'import de sacoche soit bien aligné)
66 1
67 3 Liouba Leroux
h2. 7/ dans Sacoche, on exporte les csv de saisie déportée : on pourra y trouver la liste des compétences du devoir.
68 1
69 3 Liouba Leroux
h2. 8/ on ajoute au fichier résultat .ods des lignes en jaunes sur le fichier joint, et les colonnes en orange et rouge
70 3 Liouba Leroux
71 1
→ Les lignes en jaune peuvent être préparées à l'avance : il s'agit d'un tableau qui pour chaque ligne liée à une compétence évaluée, renseigne les questions dont on tire l'évaluation : on met simplement un "1" à l'intersection
72 1
73 1
→ Les colonnes orange peuvent aussi être préparées à l'avance, au moins sur une ligne, puis copiée collées au bout de chaque ligne des élèves : elles contiennent le score total de chaque compétence (produit scalaire du vecteur des notes obtenues aux questions par le vecteur des compétences liées).
74 3 Liouba Leroux
75 1
→ Les colonnes rouges reprennent les résultats des colonnes oranges et les moulinent pour obtenir un score de 1 à 4 pour Sacoche. Pour cela, j'ai décidé de garder toujours la même formule, en partant de la proportion du score "orange" sur le score maximum de la compétence (stocké dans les cellules AD4 à AK4 dans l'exemple) et en appliquant la formule de fonction en escalier suivante :
76 1
=1+(AD6/AD$4>0,3)+(AD6/AD$4>0,5)+(AD6/AD$4>0,8)
77 1
(c'est à dire que de 0 à 0,3 la note est RR
78 1
de 0,4 à 0,5 la note est R, de 0,5 à 0,8 la note est VV et de 0,9 à 1 la note est VV)
79 1
80 1
(option : pour la compétence "Respecter les consignes", j'ai utilisé le nombre de scores "incohérent" égaux à 0,0001 avec la formule =MAX)*10000) ce qui enlève un niveau de réussite par question simple où plusieurs cases ont été cochées)
81 1
82 3 Liouba Leroux
→ pour les élèves disposant d'un tiers-temps, quand je ne peux pas matériellement proposer 1/3 temps en plus, j'enlève, même si ce n'est pas vraiment équivalent, environ 1/4 des questions. Ces élèves disposent alors de leur propre tableau de correspondance questions /compétences, avec leur propre ligne de total pour que leur non-réponse sur les questions neutralisées ne les pénalisent pas (et évidemment, j'adapte la formule posée en zone orange pour utilise ce tableau et ce total à part).
83 1
84 1
h2. 9/ on corrige éventuellement à la marge les éléments dont AMC n'a pas pu tenir compte (Non respect des consignes, aménagement particulier...)
85 3 Liouba Leroux
86 3 Liouba Leroux
h2. 10/ on revient dans Sacoche :
87 4 Liouba Leroux
88 1
ensuite on n'a plus qu'à copier le bloc des scores convertis en échelle de 1 à 4 et à le coller "collage spécial" / nombre + transposition dans le csv de saisie déporté de Sacoche
89 3 Liouba Leroux
puis on upload le csv dans Sacoche : les résultats sont intégralement transmis.
90 3 Liouba Leroux
91 3 Liouba Leroux
h2. 11/ enfin, on fait annoter les copies par AMC :
92 4 Liouba Leroux
93 3 Liouba Leroux
!https://project.auto-multiple-choice.net/attachments/1678/AMCannotation.png!
94 1
95 1
h2. 12/ Ajout d'un corrigé
96 4 Liouba Leroux
97 3 Liouba Leroux
Si on utilise des questions ouvertes et/ou des énoncés à valeurs aléatoires, il peut être intéressant d'ajouter à chaque scan annoté de copie une correction ou des indications sur les critères d'évaluations (merci à Gérard Carpeaux pour son aide)
98 3 Liouba Leroux
# la feuille supplémentaire est réalisé comme vous le souhaitez et convertie si nécessaire en pdf.
99 3 Liouba Leroux
# Ce fichier doit être copié à chaque fois dans le dossier du devoir (au même endroit que DOC-sujet.pdf). Il faut le nommer page.pdf pour que le script fonctionne mais vous pouvez directement modifier la variable à la ligne 26.
100 3 Liouba Leroux
# Il faut placer ce script dans le dossier du devoir et l'appeler sacoche.sh, rien ne vous empêche de changer le nom.
101 3 Liouba Leroux
102 3 Liouba Leroux
<pre>
103 3 Liouba Leroux
#!/bin/bash
104 3 Liouba Leroux
105 3 Liouba Leroux
# cherche le nom du répertoire courant de l'interro
106 3 Liouba Leroux
DIR="${PWD}" 
107 3 Liouba Leroux
#raccourci des fichiers pdf
108 3 Liouba Leroux
DIR_PDF="$DIR/cr/corrections/pdf" 
109 3 Liouba Leroux
#raccourci du repertoires à créer des fichiers modifiés
110 3 Liouba Leroux
DIR_SACOCHE="$DIR/cr/corrections/pdf/sacoche" 
111 3 Liouba Leroux
112 3 Liouba Leroux
# création du répertoire des fichiers nominatifs modifiés
113 3 Liouba Leroux
# vérification de la non existence du dossier
114 3 Liouba Leroux
if  [ ! -e "$DIR_SACOCHE" ] # $DIR/cr/corrections/pdf/sacoche
115 3 Liouba Leroux
then # création du dossier
116 3 Liouba Leroux
    mkdir "$DIR_SACOCHE" #$DIR/cr/corrections/pdf/sacoche 
117 3 Liouba Leroux
fi    
118 3 Liouba Leroux
119 3 Liouba Leroux
# Se placer dans les fichier annotés
120 3 Liouba Leroux
cd ${DIR_PDF}
121 3 Liouba Leroux
122 3 Liouba Leroux
for file in *.pdf;
123 3 Liouba Leroux
do
124 3 Liouba Leroux
#v'rification de la non existence d'un fichier -> gain de temps au lieu de tout refaire ?
125 3 Liouba Leroux
if [ ! -e "$DIR_SACOCHE"/"$file" ]
126 3 Liouba Leroux
then
127 3 Liouba Leroux
pdftk A="$file" B="${DIR}/page.pdf" cat A B output "$DIR_SACOCHE"/"$file" #"$DIR/cr/corrections/pdf/sacoche/""$file" 
128 3 Liouba Leroux
fi
129 3 Liouba Leroux
done
130 3 Liouba Leroux
131 3 Liouba Leroux
exit
132 3 Liouba Leroux
</pre>
133 3 Liouba Leroux
134 1
# Donner les droits d’exécution (clic droit puis cocher tout en bas dans permission sous ubuntu) puis lancer un terminal avec ./sacoche.sh
135 3 Liouba Leroux
# Les nouveaux fichiers sont créés dans le répertoire sacoche de cr/corrections/pdf
136 3 Liouba Leroux
137 3 Liouba Leroux
h2. 13/ Puis on upload les corrigés de Sacoche
138 4 Liouba Leroux
139 3 Liouba Leroux
Dans l'interface d'upload, on indique comme masque de nom de fichier [reference].pdf (remarquez que AMC utilise des () et Sacoche des [] ) et zou, les corrigés individualisés sont distribués...
140 3 Liouba Leroux
141 3 Liouba Leroux
h2. Dernière remarque : 
142 4 Liouba Leroux
143 3 Liouba Leroux
j'ai du coup nettoyé dans les préférences d'AMC les indications portées en surimpression qui par défaut donnent une note pour y écrire la légende de la correction, je n'ai pas besoin d'y mettre les résultats en termes de compétences puisque tout est disponible dans l'interface de Sacoche.
144 1
du coup mon texte est :
145 1
---------------------
146 1
%(ID) (un cercle rouge indique une case cochée qui n'aurait pas du l'être, une croix rouge indique une case non cochée qui aurait dû l'être, une croix bleue indique une bonne réponse. Un score de 0 indique une absence de réponse,
147 1
un score de 0.01 indique une mauvaise réponse, un score de 0.0001 indique un non respect des consignes
148 1
(plusieurs réponses données pour une question à une seule bonne réponse).
149 1
---------------------
150 1
151 3 Liouba Leroux
h2. Je joins pour exemple
152 4 Liouba Leroux
153 1
- le fichier .tex du devoir
154 1
- les fichiers .mgj (https://www.mathgraph32.org/ftp/js/mtg32online/index.html) et .png de la figure (à noter que mathgraph32 exporte le code Latex de la figure, que j'aurais pu directement intégrer, j'ai plutôt mis le png pour des facilités de réglages de la taille de l'image et puis j'ai eu la flemme de changer).
155 1
- le fichier export ods d'AMC, une fois les formules ajoutées
156 1
- le fichier corrigé d'un élève
157 1
158 1
Je suis bien sûr preneur de toute remarque et améliorations.