MÉTHODOLOGIE DE L’ÉTUDE
- 46 périodes d’observation dans les différents lieux de la médiation
- 29 entretiens approfondis avec des artistes et des intervenants
- 9 groupes de discussion et sondages auprès des participants
- 26 rencontres de coordination et discussion en équipe
Une ligne du temps interactive permet de suivre la chronologie de l’étude.
Ce rapport contribue à développer le champ de l’évaluation qualitative dans le domaine des arts et de la culture, un champ où beaucoup reste encore à faire et qui fait l’objet de travaux intensifs ces dernières années.
Nous concevons l’évaluation comme un exercice de réflexion, et non comme un outil de contrôle ou de mesure de performance. Nous avons opté pour une évaluation qui se penche essentiellement sur les processus et les résultats inhérents à chacun des projets. C’est un exercice de réflexion qui porte donc sur les activités elles-mêmes. Dans l’esprit du plan d’évaluation qui l’accompagne, la recherche tente de saisir le quoi, le comment et le pourquoi des activités de médiation culturelle.
L’évaluation ainsi entendue consiste essentiellement à clarifier les enjeux, identifier les points forts du projet et à émettre des recommandations susceptibles d’améliorer les pratiques. Elle contribue à une meilleure connaissance des activités et plus largement à une meilleure compréhension des pratiques.
Le modèle d’évaluation proposé repose sur les principes de participation, de transparence, d’autonomie et de réflexivité, des principes reconnus par le Réseau québécois de recherche partenariale en économie sociale.
Plus spécifiquement, nous prétendons qu’une évaluation pertinente, qui a toutes les chances de réussir et qui pourra avoir des retombées bénéfiques immédiates, doit satisfaire aux deux conditions suivantes :
- elle est formative, en ce sens où elle consiste en un exercice de réflexion continu, intégré au projet,
- et participative, en impliquant une participation volontaire, active et inclusive des partenaires.
Les points à aborder et les méthodes utilisées pour réaliser l’évaluation des projets de médiation culturelle s’inspirent de la typologie de la phase 1 (Tableau 1).
TABLEAU 1 : POUR UNE TYPOLOGIE DES ACTIVITÉS DE MÉDIATION CULTURELLE
| FINALITÉS | artistique, sociale, interculturelle, communautaire, humanitaire, citoyenne, etc. |
| OBJECTIFS | découverte, compétence culturelle, compétence sociale, lutte à l’exclusion, participation, échange, diversifica-tion de l’offre, sens critique, etc. |
| OUTILS | activité péda-gogique, atelier, formation, sensibili-sation, diffusion, promotion, rencontre, débat, etc. |
| PUBLICS | selon les groupes d’âge, selon les populations ciblées, etc. |
| DISCIPLINES | multidiscipli-naire, théâtre, arts visuels et médiatiques, danse, musique, littérature, patrimoine, etc. |
| MILIEUX | communauté locale, école primaire, école secondaire, collégial, autres milieux scolaires, jeunes, défavorisé, marginaux, communau-tés ethno-culturelles, etc. |
| TEMPS | selon les critères de durée, de fréquence, d’étalement, de pérennité, etc. |
| RÉSEAUX | selon les critères de la logique de la proximité, selon la liste des porteurs de projet, les collabora-tions, les partenariats, etc. |
Le Tableau 2 décrit les grandes lignes, ou le cadre logique du projet en termes d’évaluation, les résultats attendus et leurs indicateurs. Les résultats peuvent concerner à la fois l’organisme lui-même, les intervenants et les participants ainsi que les milieux ou les publics.
TABLEAU 2 : LES GRANDES LIGNES DE L’ÉVALUATION
| INTRANTS | Partenaires, Ressources humaines, Équipement, Échanges de service, Fonds, etc. |
| ACTIVITÉS | Rencontres, Animations, Ateliers, Forums, Débat, Promotion, etc. |
| OBJECTIFS | Développer des compétences culturelles, encourager la découverte, contrer l’exclusion, etc. |
| EXTRANTS | Résultats à court terme (nombre de participants, nombre de spectateurs, nombre de sorties, etc.) |
| EFFETS | Résultats à moyen terme (animation, participation, accessibilité, etc.) Résultats à long terme (nouvelles ressources, réseautage, rayonnement, opinion publique, usages et manières de faire, vie de quartier, etc.) |
L’évaluation porte donc sur deux dimensions : les processus et les résultats.
Les processus évalués (Tableau 3) sont des activités menées dans chacun des projets. Ces activités sont toutes celles jugées pertinentes par les coordonnateurs du projet pour mener l’évaluation.
TABLEAU 3 : L’ÉVALUATION DES PROCESSUS
| OBJECTIFS | Démontrer que le projet a suivi le plan d’action ; Démontrer et qualifier la participation des partenaires ; Démontrer et qualifier le rôle des participants, des artistes, des intervenants, des publics ; Apporter des preuves de réalisation, les points positifs et négatifs, etc. |
| POINTS À ABORDER |
Définition des ressources ou intrants ; Définition des attentes et des objectifs de chacun des acteurs ; Définition des indicateurs (leur validité, leur fiabilité,…) ; Coordination et gestion quotidienne des activités (suivi du projet) ; Expérience et satisfaction des partenaires ; Expérience et satisfaction des participants, des artistes, des intervenants, des publics ; Réalisations, incluant les imprévus et les obstacles, etc. |
| MÉTHODOLOGIE | Principales sources d’information utilisées pour l’évaluation des processus: données officielles, provenant par exemple de la Ville de Montréal ; dossiers, comptes rendus, bilans et rapports produits par le coordonnateur du projet.
Dans le but de compléter les informations disponibles : |
Les résultats évalués sont les effets, les changements, les modifications à plus long terme chez les participants, dans les organismes et dans le milieu.
TABLEAU 4 : L’ÉVALUATION DES RÉSULTATS
| OBJECTIFS | Démontrer que le projet a des effets auprès des participants et publics visés ; Tenir compte des résultats imprévus ; Tenir compte du contexte et du milieu, etc. |
| POINTS À ABORDER |
Rayonnement du projet ; Sensibilisation des publics ; Participation et expression culturelle ; Retombées positives et négatives pour les organismes, les intervenants, les artistes ; Contribution du projet au développement culturel, etc. |
| MÉTHODOLOGIE | Revue de littérature ; Enquête par questionnaire dans les milieux concernés ; Entretiens en profondeur avec des participants et des citoyens ; Observations dans les milieux, et lors des activités du projet, etc. |
Le choix des indicateurs, tant pour l’évaluation des processus que pour l’évaluation des effets à moyen et à long termes, est un aspect essentiel de l’évaluation. Les habituelles précautions méthodologiques et éthiques sont évidemment de mise, mais il faut surtout souligner que dans une étude de type formative, réflexive et participative, le choix des indicateurs est dès le départ l’objet de discussions communes. De plus, il n’existe pas d’indicateurs universels ; au contraire, chaque activité ayant des objectifs et des moyens qui lui sont propres, les indicateurs qui leur correspondent doivent être déterminés en tenant compte de sa dynamique spécifique. Ceci n’exclut pas qu’on puisse établir des comparaisons et tirer des conclusions générales.
La littérature à ce propos offre différentes voies d’exploration.
François Matarasso retient un certain nombre d’indicateurs typiques susceptibles de se retrouver, sous une forme ou sous une autre, dans l’évaluation des activités de médiation culturelle :
- les participants acquièrent de nouvelles habiletés,
- les œuvres produites possèdent des qualités esthétiques et artistiques,
- les participants développent de nouvelles relations interpersonnelles et sociales,
- les politiques sont bonifiées et les organismes améliorent leurs pratiques,
- les citoyens se tournent davantage vers les autres activités communautaires, artistiques, éducatives.
Dans un registre plus social, Tabitha Ramsey White et Ruth Rentschler concluent que les cinq thèmes les plus communément retenus comme indicateurs sont :
- la capacitation collective et l’autonomie ;
- la cohésion sociale ;
- l’image et l’identité (du quartier, de la localité, de la ville) ;
- la santé et le bien-être ; la compréhension des autres cultures et modes de vie.
Les projets sélectionnés dans le cadre de notre étude d’évaluation, s’ils ne sont évidemment pas représentatifs de tous les types de pratiques, sont dotés à la fois d’une forte composante artistique ou créative et orientés vers la plus large participation à la vie culturelle. Ces projets nous mettent en présence de formes et de contenus très différenciés (médiations ascendantes, descendantes ou horizontales, centrées sur la découverte, la sensibilisation, la socialisation, etc.). Ils traduisent bien la volonté de changement individuel et collectif que nous avons retenue dans notre définition de la médiation culturelle.
Plus de détails sur la méthodologie et l’évaluation : rapport final [PDF – 115 pages]