Bonjour,

Je pratique aussi la différenciation des sujets pour le même objectif.

Mais je ne comprends pas bien ce que veut dire "tricheur" dans le contexte décrit, notamment avec des valeurs numériques différentes. Est-ce à dire que des étudiants, peut-être inconscients que les énoncés sont différents, copient les résultats sur l'un de leur camarade ? Cela revient à remplir les cases au hasard. Et obtenir 8/20 au hasard me paraît beaucoup. En même temps, les "tricheurs" peuvent répondre aux questions qu'ils savent résoudre, et faire au hasard le reste. L'analyse du taux de réponses identiques et des questions où il y a eu copie, et la mise en corrélation avec la difficulté des questions, peut renseigner sur ce sujet.

Pour éviter le hasard, je mets un grand nombre de réponses, une dizaines de réponses voire plus ce qui n'est pas difficile en maths, y compris des réponses erronées compatibles avec certains raisonnements faux. L'espérance est donc de 2/20 en remplissant complètement au hasard.

La réduction de la note des tricheurs de 13/20 à 8/20 est déjà un progrès. L'augmentation du nombre de réponses peut permettre de réduire encore le score des copieurs.

P.S.1 : pour savoir qui est copié et qui est copieur, dans le contexte tel que je le comprends, la note devrait être discriminante : le copié répond plus correctement que le copieur qui adopte les mêmes réponses pour des questions autres, et qui donc a priori répond de travers.
P.S.2 : j'ai eu le cas d'un élève, qui a une moyenne de 0, et qui a copié lors d'une épreuve blanche pour obtenir l'une des meilleures notes de la classe ! Il n'y avait qu'un seul sujet et il y avait des élèves d'autres classes plus fortes. Je lui ai fait refaire l'épreuve, en accord avec les instances administratives. Privé d'"inspiration", la note a été dans la lignée des ses notes habituelles, 0. J'ai fait cela plusieurs fois, aidé par le fait qu'en changeant des valeurs numériques il m'est facile de faire un "nouveau" sujet. Pour l'anecdote, j'ai ainsi vu une élève commencer le devoir par la fin, par les représentations graphiques des fonctions étudiées en première partie ...
P.S.3 : chez moi, les sujets différenciés ont bien cassé la triche. Mais celle-ci reste possible : un bon élève a fini bien en avance et a eu le temps de faire le devoir de sa voisine ! J'isole maintenant les bons ou je les regroupe.

P.S.1 : pour savoir qui est copié et qui est copieur, dans le contexte tel que je le comprends, la note devrait être discriminante : le copié répond plus correctement que le copieur qui adopte les mêmes réponses pour des questions autres, et qui donc a priori répond de travers.
P.S.2 : j'ai eu le cas d'un élève, qui a une moyenne de 0, et qui a copié lors d'une épreuve blanche pour obtenir l'une des meilleures notes de la classe ! Il n'y avait qu'un seul sujet et il y avait des élèves d'autres classes plus fortes. Je lui ai fait refaire l'épreuve, en accord avec les instances administratives. Privé d'"inspiration", la note a été dans la lignée des ses notes habituelles, 0. J'ai fait cela plusieurs fois, aidé par le fait qu'en changeant des valeurs numériques il m'est facile de faire un "nouveau" sujet. Pour l'anecdote, j'ai ainsi vu une élève commencer le devoir par la fin, par les représentations graphiques des fonctions étudiées en première partie ...

Pour comprendre, je prend un exemple du cas 1(pas de mélange) ou il y a le plus de problème(voir le tableau plus bas.

• Score max: nombre de réponses identiques
• Score max faux: nombre de réponses identiques fausses
• Copie max: Numéro de copie la plus ressemblante
• Ordre 2: Numéro de la présente copie
• Note: la note
• conc1a: note l'année précédente pour voir le niveau

Remarques:
- Les étudiants sont cote à cote quand la colonne conc1a est remplie
- Il y a 57 questions
- Il y a 749 étudiants donc je n'ai jamais vu la plupart des étudiants, ni pu visiter les 20 salles d'examen.
- Le tableau ne permet pas pour moi de savoir qui a triché

Voici le fichier excel d'analyse

J'expliquerai la triche en situation de mélange dans un prochain post...

Mais je ne comprends pas bien ce que veut dire "tricheur" dans le contexte décrit, notamment avec des valeurs numériques différentes. Est-ce à dire que des étudiants, peut-être inconscients que les énoncés sont différents, copient les résultats sur l'un de leur camarade ? Cela revient à remplir les cases au hasard. Et obtenir 8/20 au hasard me paraît beaucoup. En même temps, les "tricheurs" peuvent répondre aux questions qu'ils savent résoudre, et faire au hasard le reste. L'analyse du taux de réponses identiques et des questions où il y a eu copie, et la mise en corrélation avec la difficulté des questions, peut renseigner sur ce sujet.

Nous avons testé les réponses au hasard,cela donne d'une note négative à 2/20. La probabilité d'avoir des réponses identiques est très faible. J'avais calculé cela pour les sujets identiques, cela donnait de l'ordre du million pour les copies les plus ressemblants(quand on 800 étudiants, on arrive quand même à environ 1/1000 d'avoir l'événement une fois - Je ne tiens pas compte du fait que le hasard a aussi fait qu'ils sont cote à cote:une chance sur 400)

Les tricheurs reconstituent l'ordre des questions et même l'énoncé variable.
Dans l'exemple ci-dessous, le valeurs numériques de l'énoncé varient et mêmes les repères dans l'image du circuit électrique. Du coup, les réponses sont mélangées et en plus leur contenu varie. Impossible de tricher?
Non! Regardez le top des 4 copies les plus ressemblantes dans le tableur ci-dessous. Les étudiants en jaune (deux premières lignes)sont bien cote à cote ainsi que les verts.

J'ai joint deux extraits de copies jaunes(questions mecatro01 à mecatro05). Le hasard a fait que les questions ne sont pas très bien mélangées. Cela a peut-être aidé à la triche. Seule la question mecatro02=CodeB a une réponse juste et une valeur numérique différente mais il y a pu avoir copie de la méthode de calcul sur le brouillon.


Les 4 copies les plus ressemblantes après classement de ressemblance par le tableur. Les lettres correspondent aux cases cochées (disponible en choisissant l'option "cases cochées" dans export des notes. Cette option reconstitue l'ordre initial des questions.



Extrait de la première copie jaune



Extrait de la deuxième copie jaune

Je me limiterai à quelques remarques :
- l'utilisation d'un feuille séparée avec l'option "ensemble" rendrait probablement la copie beaucoup plus difficile
- le mélange des réponses au sein des questions, renforcerait encore cette approche
- s'il y a copie en revenant sur les principes : à la limite, est-ce encore de la copie ? personnellement, s'il y a copie de la méthode (par exemple lors de DM (devoir maison) ), j'estime que ce n'est plus de la copie car les étudiants ont du passer par les principes qu'ils doivent acquérir. Par contre, dans le cadre d'un DM, cela peut être perverti quand un camarade fait plusieurs devoirs.
- ensuite, c'est comme pour éviter un cambriolage : l'idée est de rendre la copie coûteuse, notamment en terme de temps pour que cela ne soit pas rentable.
- un dernier paramètre, le temps nécessaire pour faire un devoir, peut aussi tarir les sources à copier ; à l'inverse, trop de temps donné met certains bons élèves sous la pression et les pousse à "aider" des camarades
- enfin, on ne peut peut-être pas se passer de surveillance. A quand la capture vidéo dans les salles des examens permettant le visionnage en cas de doute ???

La feuille de réponse séparée est impossible pour moi à gérer à 800 étudiants répartis dans 20 salles. Dans ce cadre, impossible d'être sur que les deux feuilles appairées sont bien distribuées, ni que les surveillants de salle ne redonnent pas une seule feuille. C'est donc un sujet en 1 seul A3 recto-verso.
Les réponse sont ici mélangées(sauf quand la question ne le permet pas) mais le hasard a fait que le mélange est mauvais dans l'exemple.

Je suis relativement satisfait du résultat (moyenne tricheurs 13.1->8.1) et ne cherche plus vraiment à améliorer. La rédaction du sujet est évidement plus lourde est moins abordable.
Mes résultats ne sont pas forcément extrapolables à n'importe quel examen/élèves. Mes étudiants ont eu en moyenne 18.03 au bac. On peut difficilement les qualifier de faibles et ils sont tous aptes à reconstituer un désordre complexe...

• Le mélange l’anéanti pas la triche. Il permet juste de la limiter.
• Les énoncés numériques aléatoires sont plus efficaces mais pas toujours utilisables (jamais dans certaines matières).
• Certains QCM sont déraisonnables et entrainement une triche massive. Exemple: 5 questions toutes identiques avec un temps d'épreuve très long imposé de manière normalisée tous les ans au bac.
• Il est possible d'évaluer la qualité du sujet si l'on dispose d'un assez grand nombre de copies. Serait-il intéressant pour vous d'intégrer l’algorithme dans AMC QCM? Il faut tenir compte du fait qu'une mauvaise utilisation de ce traitement peut être problématique...

Bonjour,
Je suis effectivement intéressé par votre méthode de détection, pourriez-vous l'expliquer, que je puisse l'appliquer à mes sujets d'examens AMC pour voir comment cela se passe chez moi.
Merci, cordialement
JFA

Bonjour,

Voici la méthode à suivre.

• Selectionner
• csv
• ouvrir le fichier
• séparateur ;
• cases cochées oui:AB

Puis exporter

• UTF8

• Tabulation

Supprimer les colonnes de notes de question pour ne conserver que les cases cochées.
Exemple: Si la question s’appelle "question1", supprimer la colonne "question1" pour ne garder que la colonne "TICKED:question1"

Supprimer les colonnes d'identification d'étudiant si les étudiants cochent leur numéro

Enregistrer sous xls car la suite va se passer sous excel car je ne maîtrise pas les macros sous linux
La suite dans un autre post car je dois passer sous windows pour excel...

La procédure est compréhensible jusque la?
J'essaye de rédiger la partie macro excel d'ici mardi. Il faut que j'essaye sur un exemple.

Quelque chose de moins bricolé serait évidement plus accessible.
Il existe une fonction plugin dans amc qcm. Existe t il une doc sur comment intégrer des plugins?

Existe t il une doc sur comment intégrer des plugins?

Pas de documentation sauf ceci mais il faut lire la dernière remarque d'Alexis Bienvenüe ici sur le rôle des plugins. Ils transforment un fichier source en LaTex.

Il y a deux types de plugins: les filtres, qui transforment le fichier source depuis un format voulu vers le format LaTeX, et les plugins d'export, qui permettent d'exporter les résultats dans un certain format. Le deuxième type de plugins pourrait être utilisé ici.

D'après ce que je comprend, il faut se servir de ça comme exemple:
[[http://project.auto-multiple-choice.net/projects/auto-multiple-choice/repository/revisions/4dc7afe385cb/entry/AMC-perl/AMC/Export/register/CSV.pm]]

Je regarde si j'arrive à comprendre.

En attendant un éventuel plugin, voila la suite de la méthode avec excel

Voir le fichier excel ci-joint. J'ai anonymisé les noms, groupes et numéro d'étudiant mais ca permet de voir les résultats et comment ca fonctionne.
Ca demande d'un peu retoucher pour s'appliquer à votre cas (nombre de questions set nombre d'étudiants).

Mode d'emploi succin:
Il faut bien sur activer les macro.
Etape 1: onglet Max tout
Les lignes 2 et 3 permettent d'afficher les réponses de deux copies(remplir les numéro de copies dans les cases en bleu). J'ai mis les deux copies les plus ressemblantes pour l'exemple.
La ligne 4 permet d'afficher le nombre de réponses identiques (en jaune)
La ligne 5 permet d'afficher le nombre de réponses identiques fausse(en jaune). Ce critère est moins performant que le premier.
Lancer la macro: affichage/macro/SCanRep
La macro rempli les cases couleur Saumon
Score max est le nombre de réponses identiques pour la copie la plus similaire
Copie max est le numéro de la copie la plus ressemblante

Etape 2: onglet Analyse (l'analyse est déjà faite dans l'exemple)
Tout copier dans "Analyse"
Classer les copies par ordre de score max
Regarder comment sont placés le top du classement.
Dans mon exemple, les copies 121 et 114 sont cote à cote ainsi que les copies 323 et 310. Les suivantes ne sont pas cote à cote.

• La ScanRep2 permet de comparer les résultats identiques faux. C'est moins performant de mon point de vue.
• Les sujets identiques produisent des résultats bien plus impressionnants!
• Le test va être d'autant plus performant que le nombre d'étudiants et de questions est grand.
• Pour la première fois, j'ai détecté 0 triche sur le sujet 2017. Nous sommes arrivés à un niveau de mélange suffisant.

Le code de la macro pour en comprendre l’algorithme sans avoir à ouvrir le fichier excel(pour ceux que ça intéresse):

Sub ScanRep()
'
' ScanRep Macro
' Recherche du max
'
Dim max As Integer  'max pour la ref
Dim maxFaux As Integer 'nb faux pour l'index max
Dim maxIndex As Integer 'index pour la ref
Dim maxIndex2 As Integer 'index pour tout
'
    Range("D2").Select
    ActiveCell.FormulaR1C1 = "1" 
    For j = 1 To 749  '647
    max = 0
    maxIndex = 0
    maxFaux = 0
    Application.ScreenUpdating = False
        For i = 1 To 749
            Range("D3").Select
            ActiveCell.FormulaR1C1 = i
            Range("D2").Select
            ActiveCell.FormulaR1C1 = j
            If Range("I4") > max Then
                If i <> j Then
                    max = Range("I4")
                    maxFaux = Range("I5")
                    maxIndex = i
                End If
            End If
        Next
        Application.ScreenUpdating = True
        Cells(6 + j, 1).Select
        ActiveCell.FormulaR1C1 = max
        Cells(6 + j, 2).Select
        ActiveCell.FormulaR1C1 = maxFaux
        Cells(6 + j, 3).Select
        ActiveCell.FormulaR1C1 = maxIndex
    Next

End Sub