Mesure de la satisfaction des utilisateurs

Il est important de pouvoir montrer à la population et à nos ministères clients comment nous améliorons les services numériques. C’est pourquoi nous évaluons ces services à l’aide de 4 indicateurs de rendement clés, soit : le nombre de transactions achevées, le taux d’achèvement, l’adoption des services numériques et la satisfaction des utilisateurs.

La satisfaction des utilisateurs est difficile à mesurer, mais nous avons fait du progrès en la matière au cours de la dernière année.

Révision du modèle de formulaire de rétroaction

Le modèle de formulaire de rétroaction devrait être utilisé sur les sites Web et les services numériques de tous les ministères. Il permet à l’utilisateur d’indiquer sa satisfaction par un pouce en l’air ou en bas et d’expliquer ce qu’il a aimé ou ce qui pourrait être amélioré.

Cette façon de faire fonctionne très bien et produit des données utiles, mais elle n’est pas la meilleure pour déterminer la satisfaction des utilisateurs.

Essai d’un nouveau modèle de formulaire de rétroaction

Nous nous sommes donc penchés sur l’amélioration de la qualité de la rétroaction reçue pour en arriver à un nouveau modèle de formulaire que nous avons commencé à tester. Ce formulaire utilise une échelle de Likert à 5 points, comporte 6 questions (dont 2 questions ouvertes facultatives) et prend en moyenne moins d’une minute à remplir. Jusqu’à présent, les données recueillies brossent un portrait bien plus clair du taux de satisfaction.

Il semble que nous soyons sur la bonne voie, et nous continuerons les tests avant d’intégrer les nouveautés au modèle de formulaire en ligne.

Analyse et utilisation de la rétroaction des utilisateurs

Toutes les équipes avec lesquelles nous travaillons conviennent avec nous de l’importance d’offrir une expérience hors pair à l’internaute, puis d’analyser la rétroaction des utilisateurs et de mettre en œuvre des solutions répondant aux problèmes. Le principal obstacle à l’atteinte de ces objectifs réside dans le fait que la plupart des équipes s’occupent des services numériques en plus des services en personne et de leurs autres attributions.

Temps requis par la gestion de la rétroaction des utilisateurs

Pour évaluer le temps requis par la gestion de la rétroaction, j’ai consulté les sources suivantes :

• le site yukon.ca et l’équipe de 2 personnes qui le gère;
• l’analyse de yukon.ca réalisée plus tôt cette année;
• le personnel qui s’occupe des services numériques au quotidien;
• mon travail en tant que gestionnaire de l’expérience utilisateur.

Équipe responsable de yukon.ca

L’équipe responsable du contenu sur yukon.ca s’occupe de manière exemplaire de la rétroaction des utilisateurs. Elle en prend connaissance tous les mois, en retire les messages pollueurs et les renseignements personnels, la communique aux ministères et leur recommande des solutions pour les problèmes constatés. Il faut environ 2 ou 3 jours par mois à une personne pour réaliser ce travail. 

Évaluation de yukon.ca

Nous avons demandé à un fournisseur externe de faire une évaluation du site Web. Le mandat consistait à examiner les données analytiques et à tirer les grands thèmes qui ressortent des rétroactions de 2023 pour nous aider à cerner les priorités. L’équipe spécialisée du fournisseur a pris 1 semaine à effectuer tout son travail.

Le service numérique n’est pas confié à une personne spécialisée

Dans les cas des autres sites Web et services numériques, c’est la personne responsable de la gestion quotidienne qui collecte la rétroaction des utilisateurs. Souvent, cette personne gère également le service en personne, ce qui fait qu’il peut être difficile pour elle de vérifier régulièrement les rétroactions, d’en tirer les grands thèmes et de trouver des solutions aux problèmes constatés. Pour ces personnes, les principaux défis sont la contrainte de temps et l’accès à l’expertise requise pour bien utiliser l’information. 

Gestionnaire de l’expérience utilisateur des Services en ligne

En tant que seule gestionnaire de l’expérience utilisateur, je prévois du temps dans mon horaire pour prendre connaissance des rétroactions. Il est toutefois difficile de trouver ce temps compte tenu du nombre croissant de services numériques mis en place pour répondre aux attentes de la population. J’ai donc besoin de savoir quels services sont insatisfaisants afin de travailler à leur amélioration avec les équipes concernées et ainsi utiliser mon temps de façon plus stratégique.

Critères d’une bonne solution

Le gouvernement a besoin d’une solution qui :

• réduit le temps consacré à des tâches comme l’examen manuel des données;
• est précise, fiable et reproductible;
• permet une analyse de la rétroaction sous plusieurs angles.

Travail avec l’Institut des services axés sur les citoyens

L’Institut des services axés sur les citoyens réalise le sondage « Citoyens en tête » partout au Canada à intervalles de quelques années. Les résultats nous aident à connaître les attentes de la population en matière de services numériques gouvernementaux. 

Nous avons rencontré une équipe de l’Institut qui travaille dans les domaines de l’apprentissage automatique, de l’analyse des données et du traitement automatique du langage naturel. Nous avons tenté de voir, en partenariat avec cette équipe, s’il était possible d’utiliser l’allocation de Dirichlet latente et l’indexation sémantique latente (mots-clés) pour analyser la rétroaction des utilisateurs afin d’en faire ressortir les grands thèmes. Nous avons ensuite créé un modèle de reconnaissance de texte pour notre site en particulier et commencé à utiliser le modèle de traitement automatique du langage naturel BERT+ de Google pour analyser la rétroaction, la classer par thèmes et établir des critères d’évaluation de la satisfaction.

Au cours des dernières années, nous avons appris ce qui suit.

• Ces méthodes nous ont permis d’économiser beaucoup de temps, particulièrement en ce qui a trait à des services, comme yukon.ca, pour lesquels nous recevons des centaines de rétroactions chaque mois.
• Les résultats sont justes et concordent avec les analyses manuelles réalisées par le personnel et les fournisseurs.
• L’élimination des messages pollueurs et des renseignements personnels prend encore du temps, et nous cherchons des solutions à ce problème.
• Une fois les données téléversées, on peut générer toutes sortes de rapports (ex. pour reconnaître des thèmes comme la qualité du contenu, l’accessibilité et la facilité d’utilisation ou, pour les responsables de l’information sur les situations d’urgence, établir des rapports sur les feux de forêt ou les inondations).
• Les nouvelles méthodes d’analyse brossent un portrait plus juste de la satisfaction des utilisateurs, et ce sera encore plus vraigrâce au formulaire de rétroaction révisé.
• Ces avancées donnent à la gestionnaire de l’expérience utilisateur les moyens de cibler stratégiquement et d’améliorer les services qui en ont le plus besoin en partenariat avec les équipes responsables.

Tout ce travail a mené à la structuration d’un processus qui permet aux responsables de services d’assurer le suivi et de faire état de la rétroaction des utilisateurs. Bien que nous n’en soyons qu’aux premières étapes, nous avons commencé à collaborer avec d’autres ministères clients qui recueillent des données sur les utilisateurs de leurs services numériques. Au cours des mois à venir, nous publierons des lignes directrices dans le Guide de prestation des services numériques.