QCM bayésiens (Feature #991)
Description
Bonjour,
Tout d'abord, bravo pour ce projet. J'espère que des ERUN s'en saisiront pour le 1er degré au regard du traitement actuel des évaluations nationales et divers questionnaires.
En regardant les possibilités de formulation des barèmes, je me suis demandé s'il serait possible de croiser le modèle "sondage" (exemple de l'enquête harcèlement) avec des pondérations de réponses à des questions à choix multiple. Je pense à une forme bayésienne des QCM.
Ex: Parmi les 4 réponses suivantes, attribuez 12 jetons (cases à cocher) selon votre confiance dans les solutions proposées.
(12 étant multiple de 1;2;3 et 4 / mais un traitement alternatif, avec une normalisation sur le nombre de croix posées pourrait s'envisager)
Qui est l'auteur de "la doctrine des chances" ?
A : Isaac Newton 000000000000
B : Abraham de Moivre XXXXXXXXXXXX
C : Thomas Bayes 000000000000
D : Pierre-Simon Laplace 000000000000
Où A' B' etc. sont les pondérations normalisées des réponses.
score = 1-(A'-0)²-(B'-100%)²-(C'-0)²-(D'-0)²
en cas d'ignorance, chaque réponse devrait recevoir autant de poids:
A : Isaac Newton XXX000000000
B : Abraham de Moivre XXX000000000
C : Thomas Bayes XXX000000000
D : Pierre-Simon Laplace XXX000000000
https://www.youtube.com/watch?v=1fuIG7rhIXo&t=495s
Il faudrait un système d'ajustement des jetons (ou une contrainte de conception des questions) pour affiner les possibilités de pondération des réponses. L'avis d'un "plus matheux que moi" serait nécessaire sur des échelles de réponse réduite (ex : un jeton par alternative)
History
Updated by Frédéric Bréal about 1 month ago
Il y a une proposition avec https://project.auto-multiple-choice.net/boards/2/topics/6030 mais ce n'est pas bayésiens, à voir si vous pouvez adapter.
Updated by Rudy Patard 25 days ago
Niels Feld, de l'université de Rennes, m'a fort aimablement répondu sur son usage des QCM Bayésiens.
Je vous fais suivre sa réponse, qui sans doute en intéressera ici.
___________________________________________
Afin de réduire la charge cognitive, les "QCM bayésiens" que je propose sont toujours de la forme "Vrai ou faux ?
Donner votre degré de confiance dans ce qui suit :
blabla" où blabla est une assertion mathématique ;
il y a 11 cases possibles à cocher pour indiquer son degré de confiance X :
0%, 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 100%
Si blabla est vraie, alors le score obtenue à la question est
100 - 400*(1-X/100)^2
Si blabla est fausse, alors le score obtenue à la question
100 - 400*(X/100)^2
C'est un score de Brier (ou "quadratique") classique.
Autrement dit, répondre 50% (ou "Je ne sais pas") rapporte 0 points et il y a des points négatifs pour les réponses fausses.
La propriété d'être une règle de score "pro-honnêteté" (proper scoring rule) est invariante par changement affine donc il est possible de le modifier légèrement.
En général, je normalise les notes à la fin en mettant la première note à 20/20.
Pour faire les sujets, j'utilise Auto-Multiple-Choice.
______________________
Je me suis dit que cette dernière ligne au moins ferait plaisir à lire ici. (encore merci à tous pour ce super projet)
Je l'ai invité à transmettre un extrait de code latex, soit pour les modèles soit pour le manuel ou encore ici afin d'éclaircir l'implémentation de sa proposition.
Updated by Alexis Bienvenüe 25 days ago
Très intéressant !
Je l'ai invité à transmettre un extrait de code latex, soit pour les modèles soit pour le manuel ou encore ici afin d'éclaircir l'implémentation de sa proposition.
Oui ça ferait un très bon modèle effectivement.
Updated by Rudy Patard 22 days ago
Ci-contre la seconde réponse de Niels.
__
Bonjour,
J'ai mis quelques fichiers sources sur ma page web :
[[https://nielsfeld.wixsite.com/website/teaching]]
Vous pouvez librement les utiliser et diffuser.
Bonne journée,
NF
Updated by Rudy Patard 22 days ago
Pour ceux et celles qui passeraient simplement par ici et pour éviter plus de téléchargements que nécessaire :
_ _ (par Niels Feld ; extrait d'un vrai ou faux en score de Brier)
% 210001.tex
\textbf{Vrai ou faux ? Donner votre degré de confiance dans ce qui suit :}
Il est sans équivoque que l'influence humaine a réchauffé l'atmosphère, l'océan et les terres.
\begin{multicols}{3}
\begin{choices}
\mauvaise{0\%} \bareme{-300}
\mauvaise{10\%} \bareme{-224}
\mauvaise{20\%} \bareme{-156}
\mauvaise{30\%} \bareme{-96}
\mauvaise{40\%} \bareme{-44}
\mauvaise{50\%} \bareme{0}
\mauvaise{60\%} \bareme{36}
\mauvaise{70\%} \bareme{64}
\mauvaise{80\%} \bareme{84}
\mauvaise{90\%} \bareme{96}
\bonne{100\%} \bareme{100}
\end{choices}
\end{multicols}
\begin{comment}
La section A.1.7 indique une accélération. Le taux moyen d'élévation est passé de 1,3 mm/an (entre 1901 et 1971) à 1,9 mm/an (entre 1971 et 2006), puis à 3,7 mm/an (entre 2006 et 2018).
\end{comment}