Ergonomie : Évaluation coopérative

É v a l u a t i o n
c o o p é r a t i v e

Présentation

Méthode originale vs méthode adaptée pour le module IHM de l'ESSI

Méthode originale

Qu'est-ce que l'"évaluation coopérative" ?

Auteurs : Monk, Wright, Haber et Davenport (1993)

Définition : «L'évaluation coopérative est une procédure permettant d'obtenir des données sur les problèmes que peut rencontrer un utilisateur de logiciels, de sorte qu'il est ensuite possible d'améliorer ces logiciels.»

À qui est destinée cette méthode ?

«L'évaluation coopérative peut être utilisée par des concepteurs ne possédant pas de connaissances spécialisées en ergonomie.»

Quand utiliser cette méthode ?

«L'évaluation coopérative est le plus utile pour avoir un retour précoce sur la reconception dans un cycle itératif rapide.
«L'objectif

n'est pas de fournir une liste exhaustive des problèmes pouvant être identifiés.
Il est plutôt d'aider à identifier, avec le minimum d'effort, les problèmes les plus importants à considérer.»

Méthode adaptée pour l'ESSI

Qu'est-ce que l'"évaluation coopérative" ESSI ?

Auteur : A.G.
Définition :procédure permettant aux étudiants de l'ESSI d'obtenir des données sur les problèmes importants que pourraient rencontrer les utilisateurs de leur interface, de sorte qu'il est ensuite possible d'améliorer cette interface.

Méthode originale

Ses étapes

Étape 1/ Recruter des utilisateurs
Étape 2/ Préparer des tâches à exécuter par les utilisateurs
Étape 3/ Interagir et enregistrer

Étape 1/ Recruter des utilisateurs

Définir la population cible

Par les «dimensions» de l'utilisateur

Dimensions

Statut (cf. TP)        Personnel de la bibliothêque
                       Lecteurs
                       Fournisseurs
                            Libraires
                            Maisons d'édition

Préférences

Niveau d'expérience

...

...

À l'aide de typologies d'utilisateurs

Exemple : Utilisateurs de documentation électronique (cf. Horton, 1990)

Utilisateur Information recherchée Type de documentation

Novice        Comment utiliser un programme         Tutoriel (Tutorial)
              Comment utiliser un ordinateur        Aide (Help)
                                                    Tutoriel
Occasionnel   Rappel des détails                    Messages
                                                    Menus
                                                    Aide
              Comment réaliser de nouvelles tâches Tutoriel
                                                    Forum électronique
De transfert Différences                           Tutoriel
                                                    Messages
                                                    Menus
                                                    Aide
Expert        Caractéristiques avancées             Manuel de référence en ligne
              Raccourcis                            Aide

Recruter des utilisateurs aussi semblables que possible des utilisateurs de la population cible

Nombre d'utilisateurs à recruter

Entre 1 et 5 utilisateurs par itération, tôt dans le processus de conception

Sources possibles de recrutement

Population cible Source suggérée

Entreprise particulière                S'adresser directement à l'entreprise,
Service                                au service ou
Groupe de personnes                    au groupe

Grand public Passer une annonce dans les journaux

Personnes possédant une Passer par une agence de recrutement
expérience ou des aptitudes
particulières

Non connue Élaborer un «profil utilisateur»
et recruter des personnes possédant ce profil

Points à surveiller durant le recrutement

Si les utilisateurs recrutés ne sont pas les utilisateurs cibles

Ces utilisateurs ont -ils les mêmes caractéristiques que les utilisateurs cibles ?

En particulier :

Caractéristiques importantes

Connaissance du domaine de la tâche

Expérience de l'informatique

Aptitude à manipuler les dispositifs d'entrée (clavier, etc.)

Niveau d'éducation

Manière d'aborder les situations nécessitant de résoudre des problèmes

Modalités de recrutement

Questions à se poser

Une permission pour les utilisateurs est-elle nécessaire ?

Des arrangements administratifs doivent-ils être faits ?

Étape 2/ Préparer les tâches à exécuter par les utilisateurs

Objectif

Préparer une feuille de tâches

Ces tâches doivent être représentatives des tâches réelles des utilisateurs
Elle doivent permettre une exploration minutieuse de l'interface

Caractéristiques de la feuille de tâches

Contenu : liste des tâches que les utilisateurs essaieront de réaliser à l'aide du prototype
La liste sera donnée à l'utilisateur au début de la séance d'évaluation

Questions à se poser sur les tâches

Questions

Les tâches choisies sont-elles réalisables à l'aide du prototype ?

Les tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous vous intéressez ?

Combien de temps avez-vous alloué pour chaque utilisateur ?

À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ?

Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ?

L'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ?

Choses à surveiller pendant la préparation des tâches

Les tâches sont-elles spécifiques ?

Exemple de tâche non spécifique

"Réalisez la tâche que vous effectuez normalement."

Exemple de tâche spécifique

"Dessinez une maison avec une porte, quatre fenêtres et une cheminée."

Les tâches sont-elles représentatives ?

En discuter avec les utilisateurs
En discuter avec d'autres spécialistes de l'entreprise

Que faire si l'utilisateur ne termine pas la tâche ou la termine trop rapidement ?

Décider d'un temps maximum pour chaque tâche
Ajouter des tâches supplémentaires

Tâches plus simples pour les utilisateurs n'ayant pas terminé
Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu

Examen des fonctions importantes

Double examen

Examen en début de séance
Examen en fin de séance

Étape 3/ Interagir et enregistrer

Sous-étapes

Avant l'arrivée des utilisateurs
À l'arrivée des utilisateurs
Pendant la réalisation des tâches
«Debriefing»

Avant l'arrivée des utilisateurs

Objectif

Vérifier que tout est en place et complètement opérationnel
Pour cette vérification, utiliser la check-list suivante

Check-list

À vérifier

Le prototype est-il prêt à l'utilisation dans un environnement suffisamment tranquille ?

La feuille de tâche est-elle disponible ?

Moyen d'enregistrer ce que dit l'utilisateur (magnétophone, micro connecté à vidéo) ?

Moyen d'enregistrer ce que fait l'utilsateur (vidéo, log) ?

Carnet ou feuille proforma sur lesquels prendre des notes ?

Liste de questions à poser pendant le debriefing ?

Avez-vous prévu ce que vous allez dire à l'utilisateur quand il arrive ?

LAvez-vous manipuleé vous-mêmes la feuille tâches pour préciser ce à quoi s'attendre ?

Avez-vous vérifié le bon fonctionnement des appareils d'enregistrement ?

Quand les utilisateurs arrivent

Principes gouvernant la séance

Conduite de la séance : mode informel (discussion libre sur le système)
Statut des utilisateurs : co-évaluateurs et non sujets d'expérience.
Indiquer aux utilisateurs ce que l'on attend de la séance :

observer en quoi le système peut les induire en erreur ou leur rendre difficiles certaines tâches
et non relever les erreurs qu'ils commettent ou noter ce qu'ils sont incapables de faire

C'est le système qui est évalué et non l'utilisateur

Actions

Mettre les utilisateurs en confiance
Démarrer l'enregistrement de la séance (pour ne pas oublier)
Se présenter

Qui vous êtes
Objectif de la séance
Souligner que c'est le système qui est évalué et non l'utilisateur
Expliquer la philosophie de la coopération évaluative

Expliquer la coopération évaluative

Décrire la technique
Indiquer que à l'utilisateur que ses paroles seront enregistrées mais qu'elles resteront confidentielles

Présenter la feuille de tâches

Préciser que les tâches ne sont pas un test, mais juste une manière d'introduire l'utilisateur aux différentes parties du système

Conseil : pour garder son caractère informel à cette étape, conduire cette étape, ne pas rédiger de consigne.

Pendant la réalisation des tâches

Impératifs

Laisser parler les utilisateurs
S'assurer d'être au courant de ce qui se passe

Actions

Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système

Demander aux utilisateurs de commenter en direct

ce qu'ils font
et ce qu'ils vont faire

S'assurer de la (relative) continuité du dialogue

en posant des questions appropriés chaque fois que cela est possible
Questions possibles (à photocopier et à utiliser en séance)

Questions à poser

Comment fait-on ça ?

Que voulez-vous faire ?

Q'arrivera-t-il si... ?

Que vient de faire le système ?

Que veut vous dire le système avec ce message ?

Pourquoi le système a-t-il fait cela ?

À quoi vous attendiez-vous ?

Qu'êtes-vous en train de faire maintenant ?

Noter chaque occurrence de comportement inattendu

et chaque commentaire sur l'utilisabilité du système

Définitions

Comportement inattendu : quand les utilisateurs font quelque chose que le concepteur n'a pas prévu. Exemple :

L'utilisateur tape une série imprévue de commandes

Commentaires : commentaires et évaluations subjectifs (positifs ou négatifs) de l'interface. Exemples :

"C'est chouette de pouvoir faire ça sans avoir à retaper tout."
"Ça exige beaucoup d'effort."
"Je déteste devoir faire ça deux fois."

Procédure

Faute de temps pour prendre des notes détaillées,

noter l'endroit de la bande magnétique où se trouve le comportement ou le commentaire

et décrire brièvement (si possible en un mot) ce qui est arrivé

Avertissement

Ne pas laisser la prise de notes interférer avec l'objectif prioritaire de créer un dialogue avec l'utilisateur
Arrêter la prise de notes si cela arrive

Exemple de proforma pour la prise de notes

No. Chiffre compteur Comportement inattendu ou commentaire

...

Pendant le debriefing

Principe

Discussion avec l'utilisateur lorsque ce dernier a terminé toutes ses tâches

Discussion sur ce que chacun pense être les problèmes d'utilisabilité les plus importants du système
Discussion sur la technique elle-même d'évaluation coopérative

Des commentaires très intéressants peuvent surgir de cette phase

Questions

Questions de référence

Questions sur le prototype

Quelle est la plus grande qualité du prototype ?

Quel est le plus grand défaut du prototype ?

Qu'est-ce qui a le plus besoin d'être changé ?

Avez-vous trouvé les tâches faciles à réaliser ?

Questions spécifiques sur le prototype

Questions sur l'évaluation coopérative

L'enregistrement vous a-t-il gêné ?

Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ?

Avez-vous trouvé le prototype réaliste ?

Utilisation des questions de référence

Les photocopier et les utiliser comme "prompts"
Ces questions étant générales, les compléter par des questions plus spécifiques de son cru sur des aspects plus particuliers du système, sur

les noms de menus
les valeurs par défaut
etc.

Formule complémentaire

Questionnaire (simple) à remplir par les utilisateurs
Cas d'utilisation :

Utilisateurs nombreux
Besoin d'avoir un retour plus formel

Second debriefing

Principe :

Revoir les utilisateurs une seconde fois (seuls ou en groupe)
pour clarifier son interprétation des problèmes importants d'utilisabilité
et discuter des changements possibles à faire sur le système

Pour en savoir plus sur l'évaluation coopérative

Autres descriptions de la méthode

Descriptions académiques

Cours ISD

Exemples d'utilisation de la méthode

Dans des projets académiques

Dans des projets industriels

Comparaison avec d'autres méthodes

Méthodes en général

Verbalisation à voix haute

Cours HCI

Évaluation heuristique

Michael J. Muller et al.

Requirement Engineering

Calgary

Méthode adaptée pour l'ESSI

Son objectif

Objectif des années précédentes

Réaliser une première évaluation des maquettes d'interface

construites à l'issue des premières séances de TP.

Objectifs 98-99

Évaluation des interfaces à reconcevoir

(re-engineering)

Évaluation des maquettes

Ses étapes

Étape 1/ Préparer l'évaluation
Étape 2/ Réaliser l'évaluation
Étape 3/ Analyser les résultats de l'évaluation
Étape 4/ Tirer les conséquences de l'évaluation
Étape 5/ Rédiger le compte rendu de l'évaluation

Étape 1/ Préparer l'évaluation

Sous-étapes

Former les équipes d'évaluation (1.1)
Définir les tâches (1.2)
Préparer des questions (1.3)
Préparer des feuilles de notation (1.4)

Former les équipes d'évaluation (1.1)

Constitution des équipes

Chaque équipe comporte

les évaluateurs proprement dits et
un utilisateur.

Les évaluateurs appartiennent au groupe qui a conçu la maquette à évaluer.
L'utilisateur provient d'un autre groupe.

Répartition des rôles

Les évaluateurs se répartiront ainsi les rôles qu'ils joueront lors de la séance d'évaluation :

Un «directeur» de l'évaluation

Celui-ci supervisera la séance d'évaluation.
Il va guider le sujet et l'aider dans la réalisation de sa tâche (en répondant par exemple aux questions qu'il se pose).

Des «observateurs» :

Ceux qui observeront l'utilisateur au cours de la séance d'évaluation (prise de notes, etc.)

Définir les tâches (1.2)

Définir deux ou trois tâches

Tâches à réaliser à l'aide de la maquette
Tâches à déterminer en fonction des maquettes réalisées
Exemples :

Rechercher une référence précise dans la base documentaire
Envoyer un document au lecteur L avec accusé d'envoi au service S

«Retrouver l'ISBN (International Standard Book Number) d'un livre que

l'ordinateur aura tiré au hasard»

(Tâche de l'expérience de dialogue Homme-Machine sur le Web, Projet

HALPIN)

Préparer une liste des tâches définies

Liste à remettre à l'utilisateur lors de la séance

Préparer une consigne

Consigne à lire à l'utilisateur lors de la séance

Préparer des questions (1.3)

Préparer des questions à poser pendant la réalisation des

tâches

Exemple : cf. les questions de Monk et al.

Préparer des questions à poser après la réalisation des

tâches

Exemple : cf. les questions de Monk et al. pour le debriefing

Préparer des feuilles de notation (1.4)

Fonction des feuilles de notation

Noter les observations au cours de l'évaluation
Recueillir des informations sur la pertinence

du modèle conceptuel et
de l'interface

Informations relatives, par exemple, aux points suivants :

Modèle conceptuel

- modèles de formulaire

- modèle de tâche

Image de l'interface

- menus

- fenêtres

- dialogues

Étape 2/ Réaliser l'évaluation

Sous-étapes

Familiarisation
Réalisation des tâches (2.2)
Discussion «post-tâches» (2.3)

Familiarisation (2.1)

Familiariser l'utilisateur avec la maquette

Lui présenter celle-ci et
le laisser l'explorer avant de lui présenter les tâches

Réalisation des tâches (2.2)

Faire réaliser successivement à l'utilisateur chaque tâche (lire la consigne).
L'aider quand il pose une question.
Lui poser aussi des questions (cf. les questions préparées) afin qu'il explicite ce qu'il est en train de faire.
Noter les réactions, comportements, difficultés et commentaires de l'utilisateur.

Discussion «post-tâches» (2.3)

Quand les tâches sont terminées,

Lui poser des questions qui ont été préparées ainsi que d'autres questions qui pourront surgir.

Étape 3/ Analyser les résultats de l'évaluation

Classement des résultats

Classer les résultats en termes

d'objets de l'interface,
de dialogue,
etc.

Points positifs et négatifs

Faire ressortir

les points positifs et
les points négatifs (difficultés, etc.).

Étape 4/ Tirer les conséquences de l'évaluation

Modifications à apporter à l'interface

À partir des résultats de l'évaluation,

Module d'aide

On pourra tirer parti de l'évaluation

spécifier le module d'aide

Étape 5/ Rédiger le compte rendu de l'évaluation

Objectif

Rendre compte de l'évaluation dans le rappoévaluation

Présenter l'état de la maquette avant l'évaluation
Présenter les résultats de l'évaluation
Présenter les modifications à apporter à la maquette à l'issue de l'évaluation.
Présenter le nouvel état de la maquette

Pour les projets de reconception

ajouter les points suivants :

Présenter l'interface à reconcevoir
Présenter les résultats de l'évaluation
Présenter les modifications à apporter à l'interface à l'issue de l'évaluation
Présenter la maquette de la nouvelle interface
Présenter les résultats de l'évaluation
Présenter les modifications à apporter à la maquette à l'issue de l'évaluation
Présenter le nouvel état de la maquette