Lors de sa réunion du 13 juin 2023, le Comité d’inscription du CABAMC a pris des décisions concernant la détermination des notes de passage pour les nouveaux examens de compétence. À compter de 2024, les notes des examens seront déterminées après que les personnes candidates les auront passés, en fonction de l’expertise en la matière et des données de notation des candidats.
Par l’entremise de l’initiative sur les compétences et le réaménagement des examens, le CABAMC vise à :
- Déterminer les connaissances et les compétences dont les praticiennes et praticiens débutants ont besoin pour être compétents sur le plan professionnel;
- Créer un processus d’examen de compétences équitable permettant de déterminer si les compétences évaluées ont été acquises.
Notre objectif n’est pas de rendre les examens « plus faciles », mais plutôt de veiller à ce qu’ils évaluent les bonnes compétences de la bonne manière.
Les changements que nous avons apportés au processus de délivrance de permis devraient également améliorer la capacité des personnes candidates à acquérir les compétences de niveau d’entrée nécessaires et à se préparer aux examens. Ces changements favorisent la protection du public et l’équité en permettant de déterminer plus précisément quelles personnes sont prêtes à exercer pleinement la profession sur la base des profils de compétences techniques établies. Il pourrait en découler une augmentation du taux de réussite, mais ce n’est pas l’objectif du processus de réaménagement de l’examen.
Plus précisément, la méthode Angoff modifiée (Modified Angoff Method) sera utilisée pour calculer la note de passage requise pour l’examen des connaissances théoriques et la méthode de régression selon les valeurs seuil (Borderline Regression Method) sera utilisée pour calculer la note de passage pour l’examen des connaissances appliquées. Ces processus de normalisation sont considérés comme des pratiques exemplaires pour les examens à enjeux élevés et sont plus précis et plus équitables parce qu’ils reflètent la difficulté de chaque examen effectué.
Quelle note de passage les personnes candidates devront-elles obtenir pour réussir les nouveaux examens de compétence?
Selon les analyses des notes de passage effectuées par des spécialistes en psychométrie, le Comité d’inscription du CABAMC approuvera la note de passage de chaque examen après coup. À compter de 2024, les notes des examens seront déterminées après que les personnes candidates les auront passés, en fonction de l’expertise en la matière et des données de notation des candidats. Le CABAMC utilisera des méthodes axées sur les examens et sur les personnes candidates pour déterminer la note de passage appropriée pour réussir chaque examen. Ces processus de normalisation sont considérés comme des pratiques exemplaires pour les examens à enjeux élevés et sont plus précis et plus équitables parce qu’ils reflètent la difficulté de chaque examen effectué.
Qu’est-ce que la méthode Angoff modifiée et la méthode de régression selon les valeurs seuil?
Méthode Angoff modifiée (Modified Angoff Method) : Dans le cadre de cette méthode axée sur l’examen, un groupe de spécialistes en la matière (des titulaires de permis en exercice) estime la probabilité qu’une personne candidate minimalement compétente réponde correctement à chaque question de l’examen. Pendant plusieurs cycles, les membres du groupe peuvent modifier leurs estimations en fonction de renseignements différents. La note de passage globale découle de l’ensemble de ces estimations. Les notes de passage utilisées pour déterminer si la personne candidate a « réussi » ou « échoué » son examen ou si elle « est compétente » ou « n’est pas encore compétente » sont approuvées une fois les examens passés. Ainsi, les notes de passage sont établies en fonction du rendement statistique lié aux questions individuelles et à l’examen global.
Méthode de régression selon les valeurs seuil (Borderline Regression Method) : Dans le cadre de cette méthode centrée sur les personnes candidates, un groupe de spécialistes en la matière (des titulaires de permis en exercice) classe les personnes candidates en trois catégories ou plus, dont l’une est une catégorie « seuil » ou de passage (par exemple, échec, passage, réussite) tout en suivant une méthode de régression linéaire. Les notes de passage utilisées pour déterminer si la personne candidate a « réussi » ou « échoué » son examen ou si elle « est compétente » ou « n’est pas encore compétente » sont approuvées une fois les examens passés. En effet, la note de passage ne peut être calculée qu’à partir des données obtenues au cours du processus d’examen. Comme le contenu précis de l’examen des connaissances théoriques est différent à chaque administration, le niveau de difficulté peut varier d’un examen à l’autre. Par conséquent, une analyse de régression selon les valeurs seuil est effectuée après chaque examen.
Pourquoi ces méthodes ont-elles été choisies pour les nouveaux examens?
Il n’existe pas de méthode unique pour déterminer une note de passage défendable pour tous les examens ou tous les objectifs; différentes méthodes conviennent à différentes circonstances. En tant qu’organisme de réglementation professionnelle, le CABAMC devait choisir une approche de normalisation en fonction de l’objectif des examens, à savoir, évaluer les compétences au niveau d’entrée, et déterminer dans quelle mesure la méthode correspondait aux objectifs d’évaluation.
Dans le cas d’un examen d’accès à la profession à enjeux élevés (autrement dit, un examen ayant des conséquences importantes), l’approche de normalisation retenue doit être liée à l’objectif de l’examen, être appropriée au niveau de complexité des compétences évaluées par l’examen, être adaptée au format particulier de l’examen (p. ex., examen à choix multiples, examen de rendement), être validée par la recherche savante et (pour des raisons pratiques) refléter l’accessibilité des ressources (p. ex., argent, temps, expertise en analyse statistique, spécialistes).
La méthode Angoff modifiée :
- est la méthode de normalisation la plus étudiée et la mieux documentée;
- est la méthode la plus couramment utilisée pour établir des notes de passage dans les contextes de reconnaissance des titres de compétence;
- utilise une approche fondée sur les normes, ce qui signifie que la note de passage reflète les normes et les attentes de la profession.
La méthode de régression selon les valeurs seuil :
- permet de fixer la note de passage selon le rendement de l’ensemble des candidat(e)s, et pas seulement celui de certain(e)s candidat(e)s dont le rendement correspond aux valeurs seuil;
- est particulièrement adaptée aux évaluations à petite échelle, car elle utilise les données de l’ensemble es candidat(e)s pour déterminer la note de passage (et pas seulement celles des candidat(e)s dont le rendement correspond aux valeurs seuil);
- utilise efficacement le temps des spécialistes en la matière, car l’évaluation a lieu lors de la correction des examens.
La modification de la note de passage entraînera-t-elle un plus grand nombre de réussites ou d’échecs à l’examen?
Notre objectif n’est pas de rendre les examens « plus faciles », mais plutôt de veiller à ce qu’ils évaluent les bonnes compétences de la bonne manière. Les changements que nous avons apportés au processus de délivrance de permis devraient également améliorer la capacité des personnes candidates à acquérir les compétences de niveau d’entrée nécessaires et à se préparer aux examens. Ces changements favorisent la protection du public et l’équité en permettant de déterminer plus précisément quelles personnes sont prêtes à exercer pleinement la profession sur la base des profils de compétences techniques établies. Il pourrait en découler une augmentation du taux de réussite, mais ce n’est pas l’objectif du processus de réaménagement de l’examen.
Est-il possible de participer au processus de normalisation?
Oui! Plus tard cette année, le CABAMC recrutera des titulaires de permis de catégorie 1 et 2 en exercice pour former les groupes de spécialistes en la matière de l’examen des connaissances théoriques de mars 2024.
Questions?
Veuillez contacter registration-inscription@
