[MsxOuest] evaluation


#1

comme je le disais sur le fil midimix
OK pour eval, docs d’ici fin de demain je vais essayer aujourd’hui.
Où en sont les contacts avec les étudiants? si rien de votre côté pourquoi ne pas faire appel aux étudiants en com de RennesII ? j’ai eu un des profs à sciences com, on pourrait les faire bosser sur l’évaluation et/ou la doc des protos, qu’en pensez vous ? sinon sciences com, licence infocom Université de Nantes ou licence infocom Catho d’Angers


#2

Bonjour @YannickL , merci pour toutes tes remarques déjà bien avancées. Nous n’avons pas repris contact avec les étudiants de Rennes mais nous avons des bénévoles qui se sont manifestés. @Lena est une ancienne stagiaire du musée qui propose son soutien dans cette partie évaluation. Je vous invite à échanger sur le sujet et prendre ensemble les choses en main. Une autre personne de l’IDEV qui était intervenue l’année passée souhaite aussi rejoindre l’équipe ( je lui demande de vous rejoindre sur Community). Je vais essayer de rester disponible du côté musée pour vous accompagner au mieux.


#3

Super :smile:
J’ai commencé un hackpad ici
https://museomix.hackpad.com/Plan-dvaluation-MMX-Rennes-Vwam7YBhuaY

En bref pour l’instant des questions qui me semblent essentielles :

Combien sommes-nous ?
Y aura-t-il une enquête quanti auprès des publics ? (si oui, sous quelle forme (tablette ou papier) > qui dépouille ? qui analyse
Est-ce qu’il y aura une observation des prototypes courte (grille MMX commune) ou plus poussée, et soit couplée avec enquête de publics, soit seule ?
Est-ce qu’il y a besoin d’un questionnaire préalable auprès des participants et des personnels du Musée

Sinon une demande et une suggestion : l’évaluation ne se déroulera pas sur la totalité des trois jours.
Plutôt le vendredi si il y a l’administration d’un questionnaire en face à face aux participants et le dimanche à partir de 16h et le lundi au besoin
Puisque je connais déjà le monde des fablabs, j’aimerais participer à la documentation des prototypes
et je me dis que pour des étudiants, participer à la documentation des prototypes et à leur évaluation sont deux activités complémentaires et donc intéressantes à mener de front. Cela peut se faire en binome en intervertissant les rôles doc/évaluation sur deux prototypes, pour éviter que celui fait la doc du dispositif en fasse aussi l’évaluation


#4

Pour information, voici les coordonnées de Marie-Aude : m-a.gaillard@pri-idev.fr


#5

Bonjour à tous,

Je vais commencer par me présenter, je suis Léna Erhel, et en tant qu’ancienne stagiaire au Musée de Bretagne, intéressée par l’événement Museomix et disponible sur Rennes je me suis proposée pour la participation à l’organisation de l’évaluation de l’événement.

Je prends connaissance de l’ensemble des documents sur le sujet de l’évaluation pour que nous puissions travailler ensemble. Le plan d’évaluation commune proposé par Geneviève du Québec me semble très satisfaisant. L’évaluation semble couvrir l’ensemble des participants à Museomix ainsi que l’ensemble des thèmes à aborder tout en permettant d’avoir un résultat commun avec les autres musées. Nous pourrons cependant rajouter éventuellement des questions propre aux problématiques du Musée de Bretagne.

@YannickL , il me semble que nous serrons trois, Marie-Claude Gaillard de l’IDEV (Merci @matthieubrient pour le contact) avec qui je vais prendre contact, vous et moi.

Pour ma part étant sur Rennes je serais présente les trois jours de Museomix si besoin pour l’évaluation.

Au plaisir de travailler avec vous,

Bonne fin de journée.


#6

Mail à Marie-Aude Gaillard envoyé à 17h. Copie dans vos boites discourse.
La copie est tronquée, j’ai joint les adresses du discourse et des hackpads méthodo commune et méthodo MMX Ouest.

@TrèsBientôt


#7

Merci @YannickL de lui avoir transmis toutes ces informations. Je lui ai envoyé de même un petit mail pour me présenter et prendre contact.

A bientôt


#8

Quelqu’un a t il des nouvelles de M-A Gaillard ?


#9

Bonjour Yannick,
Pour ma part non, je lui ai envoyé un mail tout comme vous mais je n’ai pas de nouvelles.


#10

Bonsoir et bien me voilà désolée peu de temps mais prête à filer un coup de main !


Organisation de l'évaluation 2015
#11

Bonjour

J’ai mis en ligne ICI un rétro planning et une todo list pour l’évaluation en me basant sur la méthodologie commune à tous les lieux et en tenant compte d’une équipe réduite actuellement à 3 personnes.
J’ai essayé de faire quelque chose d’exhaustif mais c’est très imparfait et donc ouvert :smile:
N’hésitez pas à intervenir sur les fichiers et à partager vos réflexions.

NB Léna et Marie-Aude : on pourrait se rencontrer avant ? avec ou sans l’équipe d’organisation : Manuel, Samuel, Ludivine… (et vous pouvez me tutoyer…)
On pourrait définir un rendez vous à Rennes avec l’orga/le Musée etc… pour caler un maximum de choses, non ?

Voici les questions que je me pose.

  • Pour l’instant aucune observation n’est prévue le lundi, est-ce définitif ?
  • Est-ce qu’il y a des étudiants prévus ?
  • Est-ce qu’il y a une participation active des québécois ?
  • Est-ce qu’on fait appel aux évaluateurs parisiens laissés sur la
    touche (dans ce cas, quid du catering ???)

Est-il nécessaire et possible de rencontrer AVANT MMX

  • des membres du personnel
  • le/la responsable de l’observation des publics
  • le/la/les Québécois(es)

Matériel à prévoir

  • 1 tablette par personne donc au moins 3 (+ 1 de secours)?: quelle
    autonomie ? les tablettes devront être équipées d’un tableur. Prévoir aussi un chargeur
  • 1 cahier visiteur/prototype (+1 à la sortie ?) et des stylos
  • l’emplacement ou de quoi poser les cahiers
  • 1 endroit/1 table où réunir l’équipe

Par ailleurs l’observation extérieure de la manipulation des dispositifs a une place plutôt réduite dans le questionnaire commun et je trouve ça dommage.
Voici la grille (et les consignes) de saisie mise au point (il me semble par GenevièvePSC et Alexandra de Kaenel) et utilisée en 2013 au Musée du Château de Nantes
https://drive.google.com/file/d/0B2bd_uw6-dTRVWRiWHpTaEp4am8/view?usp=sharing
https://drive.google.com/file/d/0B2bd_uw6-dTRSlVKZlkydmR4WTQ/view?usp=sharing
Il y a des blocs qui font doublon avec le questionnaire commun.
En simplifiant cette grille et suivant les bénévoles présents, serait-il pertinent de l’utiliser pour une observation plus poussée de 1, 2 ou plus des dispositifs ?


#12

Bonjour,

Marie-Aude merci d’avoir rejoint le groupe :grinning:

Yannick merci pour ce retro-planning. Je n’ai pas la réponse à toutes tes questions mais peut-être quelques-unes. Je crois qu’il n’y a pas d’étudiants de prévus. Nous pouvons faire l’évaluation sur place nous-même je pense. Et pour ma part il n’y a pas de soucis pour se rencontrer avant, je pense en effet que c’est nécessaire. Nous pouvons convenir d’une date en fonction des disponibilités de chacun.

J’ai aussi quelques questions sur le fond des questionnaires plus que sur la forme.
Nous avons déjà une grille d’évaluation prototypes, mais si je comprends bien les objectifs ciblés par le plan d’évaluation, il nous faut aussi une grille d’évaluation pour mesurer la portée de l’événement et une pour la satisfaction et l’impact à court puis à moyen terme de Museomix chez les museomixeurs, organisateurs et bénévoles, musées hôtes, ingénieux et autres parties prenantes.
Savez-vous s’il existe des grilles d’évaluation basées sur les années précédentes ? Si oui, à qui les demander (Geneviève du Québec) ? Ou, devons-nous les créer nous-même ? Si elles existent peut-être devrons-nous tout de même les adapter au Musée de Bretagne, surtout si nous interrogeons les museomixeurs ou le public sur le lieu en lui-même. Nous pourrions faire cela dans ce cas lors de notre rencontre.

Bien à vous,

Léna


#13

Je parlais de méthodologie commune, nous y trouverons donc bien des grilles d’évaluation communes dont certaines ne sont pas encore disponibles (merci encore à @GenevievePSC )

Tu pourras retrouver l’ensemble de la discussion de l’évaluation au niveau national ici
(Et je vous serais infiniment reconnaissante de me TUtoyer. Ce qui m’éviterait d’avoir à ajouter une liste de noms à voussoyer ou à tutoyer à ma to-do-list personnelle :blush: ;))


#14

Super, merci pour ces infos, je voulais justement savoir si les grilles d’évaluation communes étaient disponibles ou pas encore. Je suis la discussion au niveau nationale mais je n’y avais pas vu l’information. Dès que nous les aurons nous pourrons peut-être convenir d’une date commune pour se rencontrer.
Et bien sur pas de soucis pour se tutoyer, le “bien à vous” était général :blush:


#15

Bonjour Lena et Yannick,

Je suis très heureuse de voir une équipe aussi enthousiaste ! Si vous me le permettez, il serait tout à fait pertinent de faire un lien entre votre rétro-planning et le plan d’évaluation commune.

Si tout se passe comme prévu, je devrais être des vôtres du 10 au 16 novembre. Nous pourrions nous rencontrer au sujet de l’évaluation… s’il n’est pas trop tard, car j’aimerais bien vous donner un coup de main.

Par ailleurs, concernant les grilles d’évaluation, nous avons mis en forme le questionnaire Google Form à envoyer pour mesurer la satisfaction et l’impact à moyen terme. Le lien est dans le plan d’évaluation. Ce questionnaire est en cours de traduction. Si vous désirez mesurer la réception du public, vous pouvez vous baser sur le questionnaire de l’an passé (voir rapport). Les données sont très intéressantes. Nous avions choisi de ne pas y retourner cette année, car il mobilise trop de bénévoles pendant l’événement et trop de temps d’analyse pour des résultats difficiles à réinvestir. Vous pourriez simplement poser quelques questions simples aux visiteurs: Qu’est-ce qui vous a marqué de votre visite de Museomix ? Qu’est-ce qui vous a déçu? Une phrase pour décrire Museomix? La réception des prototypes et les attentes devraient sortir naturellement.

Bonne journée! Geneviève


#16

Bonjour Geneviève

Bienvenue à Rennes, j’espère que tu pourras venir, et bienvenue à Marie-Aude Gaillard également. :sunny:

Je n’ai pas réussi à retrouver le questionnaire A3 de l’année dernière.
Mais s’il s’agit d’un questionnaire quanti classique, a priori, nous ne serons pas suffisamment nombreuses (4) pour l’administrer. De toute façon, à ma connaissance, nous ne disposons que du dimanche soir. C’est court et l’échantillon risque donc d’être réduit (41 personnes en 2014 à Nantes).

Même si les résultats sont difficiles à réinvestir, nous pourrons en tirer les grandes lignes et il me semble que d’année en année, l’évolution du prototype Museomix commence à se dessiner. Le retour immédiat que l’on peut apporter aux MMXeurs le dimanche soir me parait aussi intéressant pour eux et en cas de reproduction ultérieure des dispositifs.

Par ailleurs et même si certaines observations peuvent notées dans le questionnaire sur les prototypes, nous ne serions pas assez nombreuses et ne disposerions de trop peu de temps pour une observation passive. Pour ma part je trouve cela un peu dommage.
(Comme je pourrais moi-même être amenée à créer des objets, j’avoue égoïstement que j’ai beaucoup apprécié l’observation passive des visiteurs et de la façon dont ils s’approprient les dispositifs et le matériel. C’est très instructif et parfois assez inattendu…).

Donc ajoutons sur la To Do List : fabriquer le badge de Geneviève :smile:


#17

Bonjour à toutes
Et merci pour la do list ! Je vais essayer de retrouver le questionnaire d évaluation des dispositifs
de l an passe. Pour des questions pratiques en tout cas nous avions abonné les tablettes ! Je suis OK aussi pour que l on se voit ou se Skype of course. Je vous envoie un mail avec qq dates !


#18

Bonsoir à tous,

Merci @GenevievePSC pour ces informations, je viens de lire le questionnaire Google Form pour mesurer la satisfaction et l’impact à moyen terme. Je le trouve très complet, il sera d’une grande utilité, merci pour ce travail. Il ne sera bien sur pas trop tard pour se rencontrer lorsque vous arriverez, nous pouvons nous voir avec plaisir pour parler de l’évaluation.
En effet si nous ne faisons pas une étude poussée sur la satisfaction des visiteurs peut-être que quelques questions simples pourraient nous être utiles pour avoir un retour du public.


#19

Bonsoir (ou bonne nuit!) @Lena et @YannickL !

Je dois acheter mes billets d’avion à la première heure demain matin. Ça vous va si j’arrive le 10 ou le 11 et repars le 16 novembre?

Faites de beaux rêves! Geneviève


#20

Oui. C’était bonne nuit :wink:
C’est génial que tu viennes, sachant que moi même je ne suis pas à Rennes mais à Nantes à 1h30 de route.
Je t’envoie un mail :slight_smile: