Cet article a été modifié par souci de précision le 29 juillet 2024.
Lors de sa réunion du 4 juillet 2023, le Comité d’inscription du CABAMC a pris des décisions concernant la manière dont des normes de démonstration des compétences seront déterminées pour les nouveaux examens de compétence. À compter de 2024, les normes de démonstration des compétences aux examens seront déterminées après que les personnes candidates les auront passés, en fonction de l’expertise en la matière et des données sur le rendement des personnes candidates.
Par l’entremise de l’initiative sur les compétences et le réaménagement des examens, le CABAMC vise à :
- Déterminer les connaissances et les compétences dont les praticiennes et praticiens débutants ont besoin pour être compétents sur le plan professionnel;
- Créer un processus d’examen de compétences équitable permettant de déterminer si les compétences évaluées ont été acquises.
Notre objectif n’est pas de rendre les examens « plus faciles », mais plutôt de veiller à ce qu’ils évaluent les bonnes compétences de la bonne manière.
Les changements que nous avons apportés au processus de délivrance de permis devraient également améliorer la capacité des personnes candidates à acquérir les compétences de niveau d’entrée nécessaires et à se préparer aux examens. Ces changements favorisent la protection du public et l’équité en permettant de déterminer plus précisément quelles personnes sont prêtes à exercer pleinement la profession sur la base des profils de compétences techniques établies. Il pourrait en découler une augmentation du taux de réussite, mais ce n’est pas l’objectif du processus de réaménagement de l’examen.
Plus précisément, la méthode Angoff modifiée (Modified Angoff Method) sera utilisée pour déterminer la norme de démonstration des compétences à l’examen de connaissances théoriques et la méthode de régression selon les valeurs seuil (Borderline Regression Method) sera utilisée pour déterminer la norme de démonstration des compétences à l’examen des connaissances appliquées. Ces processus de normalisation sont considérés comme des pratiques exemplaires pour les examens à enjeux élevés et sont plus précis et plus équitables parce qu’ils reflètent la difficulté de chaque examen effectué.
Quelle norme les personnes candidates devront-elles respecter pour réussir les nouveaux examens de compétence?
Selon les analyses des méthodes de normalisation effectuées par des spécialistes en psychométrie, le Comité d’inscription du CABAMC approuvera la norme de démonstration des compétences à chaque examen après coup. À compter de 2024, le rendement des personnes candidates aux examens sera déterminé après que celles-ci les auront passés, en fonction de l’expertise en la matière et des données en matière de rendement. Le CABAMC utilisera des méthodes axées sur les examens et sur les personnes candidates pour déterminer la norme de démonstration des compétences appropriée pour réussir chaque examen. Ces processus de normalisation sont considérés comme des pratiques exemplaires pour les examens à enjeux élevés et sont plus précis et plus équitables parce qu’ils reflètent la difficulté de chaque examen effectué.
Qu’est-ce que la méthode Angoff modifiée et la méthode de régression selon les valeurs seuil?
Méthode Angoff modifiée (Modified Angoff Method) : Dans le cadre de cette méthode axée sur l’examen, un groupe de spécialistes en la matière (des titulaires de permis en exercice) estime la probabilité qu’une personne candidate minimalement compétente réponde correctement à chaque question de l’examen. Pendant plusieurs cycles, les membres du groupe peuvent modifier leurs estimations en fonction de renseignements différents. La norme globale minimale de démonstration des compétences découle de l’ensemble de ces estimations. Les normes précises utilisées pour déterminer si la personne candidate a « réussi » ou « échoué » son examen ou si elle « est compétente » ou « n’est pas encore compétente » sont approuvées une fois les examens passés. Ainsi, les normes de démonstration des compétences sont établies en fonction du rendement statistique lié aux questions individuelles et à l’examen global.
Méthode de régression selon les valeurs seuil (Borderline Regression Method) : Dans le cadre de cette méthode centrée sur les personnes candidates, un groupe de spécialistes en la matière (soit un groupe consultatif constitué des titulaires de permis en exercice) classe les personnes candidates en trois catégories ou plus, dont l’une est une catégorie « seuil » ou de passage (p. ex., rendement inférieur à la norme, rendement seuil, rendement supérieur à la norme) tout en suivant une méthode de régression linéaire. Les normes précises utilisées pour déterminer si la personne candidate a « réussi » ou « échoué » son examen ou si elle « est compétente » ou « n’est pas encore compétente » sont approuvées une fois les examens passés. En effet, la norme de démonstration des compétences ne peut être déterminée qu’à partir des données obtenues au cours du processus d’examen. Comme le contenu précis de l’examen des connaissances est différent pour chaque personne candidate, le niveau de difficulté peut varier d’un examen à l’autre. Par conséquent, une analyse de régression selon les valeurs seuil est effectuée après chaque examen.
Pourquoi ces méthodes ont-elles été choisies pour les nouveaux examens?
Il n’existe pas de méthode unique pour déterminer une norme de démonstration des compétences qui convienne à tous les examens ou à tous les objectifs; différentes méthodes conviennent à différentes circonstances. En tant qu’organisme de réglementation professionnelle, le CABAMC devait choisir une approche de normalisation en fonction de l’objectif des examens, à savoir, évaluer les compétences au niveau d’entrée, et déterminer dans quelle mesure la méthode correspondait aux objectifs d’évaluation.
Dans le cas d’un examen d’accès à la profession à enjeux élevés (autrement dit, un examen ayant des conséquences importantes), l’approche de normalisation retenue doit être liée à l’objectif de l’examen, être appropriée au niveau de complexité des compétences évaluées par l’examen, être adaptée au format particulier de l’examen (p. ex., examen à choix multiples, examen de rendement), être validée par la recherche savante et (pour des raisons pratiques) refléter l’accessibilité des ressources (p. ex., argent, temps, expertise en analyse statistique, spécialistes).
La méthode Angoff modifiée :
- est la méthode de normalisation la plus étudiée et la mieux documentée;
- est la méthode la plus couramment utilisée pour établir des normes dans les contextes de reconnaissance des titres de compétence;
- utilise une approche fondée sur les normes, ce qui signifie que la norme appliquée reflète les attentes de la profession.
La méthode de régression selon les valeurs seuil :
- permet de déterminer la norme de démonstration des compétences appropriée selon le rendement de l’ensemble des personnes candidates plutôt que celui des personnes dont le rendement correspond aux valeurs seuil uniquement;
- est particulièrement adaptée aux évaluations à petite échelle, car elle utilise les données de l’ensemble des personnes candidates pour déterminer la norme minimale devant être appliquée (plutôt que celles des personnes candidates dont le rendement correspond aux valeurs seuil uniquement);
- utilise efficacement le temps des spécialistes en la matière, car l’évaluation a lieu lors de la correction des examens.
La modification de la note de passage entraînera-t-elle un plus grand nombre de réussites ou d’échecs à l’examen?
Notre objectif n’est pas de rendre les examens « plus faciles », mais plutôt de veiller à ce qu’ils évaluent les bonnes compétences de la bonne manière. Les changements que nous avons apportés au processus de délivrance de permis devraient également améliorer la capacité des personnes candidates à acquérir les compétences de niveau d’entrée nécessaires et à se préparer aux examens. Ces changements favorisent la protection du public et l’équité en permettant de déterminer plus précisément quelles personnes sont prêtes à exercer pleinement la profession sur la base des profils de compétences techniques établies. Il pourrait en découler une augmentation du taux de réussite, mais ce n’est pas l’objectif du processus de réaménagement de l’examen.
Est-il possible de participer au processus de normalisation?
Oui! Plus tard cette année, le CABAMC recrutera des titulaires de permis de catégorie 1 et 2 en exercice pour former les groupes de spécialistes en la matière de l’examen des connaissances théoriques de mars 2024.
Questions?
Veuillez contacter registration-inscription@
