Ceci est particulièrement recommandé dans le cas de focus group d'usagers ou de bénéficiaires, a priori moins sensibilisés à ce type de démarche. Un budget de au moins 5 000 € est nécessaire. Malheureusement ils peuvent être soit indisponibles soit d'accès malaisé. Les besoins en moyens humains varient notablement suivant qu'il s'agit d'établir le diagramme des problèmes à partir de l'analyse de la situation présentée dans les documents ou de la construction rétrospective d'un diagramme des problèmes tel qu'il aurait dû être établi pour donner sa pleine pertinence à la stratégie ou au programme évalués. Il faut donc opérer un choix, étant donné le temps de mission toujours très court dont dispose l'évaluateur, en fonction du budget consacré à l'évaluation. Une attention particulière doit être portée aux coûts de mise en œuvre pour les outils suivants : Analyse coût-efficacité, Analyse multicritère, Enquête par questionnaire, Etude de cas. Cette approche permet aux évaluateurs de disposer lors de l'évaluation d'indicateurs utiles pour compléter leur examen du contexte. Tous les experts ne se manifestant pas à la suite des envois de courriers électroniques, sont relancés par téléphone si on dispose de leur numéro. Dans cette catégorie d'analyses multicritère, les compensations peuvent se faire et toutes les variantes sont comparables. Les informations qui les affectent concernent des événements, orientations ou changements à l'impact profond et durable, mondial (par exemple, les attentats du 11 septembre 2001) ou régional (le déclenchement de la deuxième Intifada en 2000, ou l'invasion militaire de l'Irak en 2003). La prise de décision est un thème important de la théorie du management. Le choix des personnes constituant les groupes doit se faire en fonction des disponibilités et des ressources humaines (comme un interprète, par exemple) et matérielles à disposition de l'évaluateur. Dans ces conditions, l'analyse multicritère peut servir pour : Il serait sûrement intéressant d'utiliser davantage cet outil en évaluation ex post, comme méthode d'analyse des objectifs complexes où les stratégies et les intérêts des acteurs sont divergents. Cependant, au-delà de l'information verbale, d'autres éléments sont significatifs et utiles : contexte, climat, entourage etc…, mais aussi les réactions de la personne interrogée : hésitations, silences, regards…. Elle permet aux décideurs de fixer des priorités en fonction des coûts et des conséquences (en termes de résultats quantitatifs simples) de différentes initiatives possibles pour atteindre un objectif pré-défini. des variantes d'un aménagement (ex : choix de la localisation d'un port, du tracé d'une route, etc.). Représentation simplifiée de la réalité Comme tout graphe, c'est une représentation simplifiée de la réalité dont l'efficacité dépend d'un degré raisonnable de simplification. Les propositions ainsi faites pourront s'appuyer notamment : Dans tous les cas, le résultat sera la question suivante : Pourquoi tel objectif possible n'a pas été retenu ? Dans le cadre de l'évaluation, compte tenu des coûts attachés à l'usage de ces techniques, ces combinaisons demeurent limitées. Problèmes prioritaires et problèmes de contexte Le diagramme conduit à distinguer dans l'analyse de la situation d'une part ce qui relève du contexte de l'intervention et d'autre part les problèmes auxquels la stratégie et la programmation sont censées apporter des solutions. Cependant, il est vrai qu'en fonction du métier du participant (par exemple un commerçant ou un agriculteur), le manque à gagner en consacrant une demi ou une journée entière disponible pour le focus group peut être important. À première vue leur pertinence pour l'évaluation n'est pas évidente. L'analyse coût-efficacité est un outil d'aide à la décision. C'est le type d'études de cas le mieux adapté à l'évaluation pays au niveau de l'analyse des effets des programmes et des stratégies. (0 comments), Submitted by kgr, on Mon, 19/01/2015 - 21:02 acquérir une connaissance fine de la société ; pointer les véritables enjeux au sein des trois domaines de références et poser les bonnes questions (les hypothèses seront par la suite tester sur le terrain) ; crédibiliser l'évaluateur auprès des experts par une connaissance des sujets. ), le long terme (économie et écologie, entreprises et activités, etc.) Dans le domaine du développement, l'apport de la sociologie et de l'anthropologie repose sur les travaux de quelques sociologues et anthropologues dont le plus connu est Michael Cernea. des analyses portant sur les causes de changements et concernant le rôle de la politique ou du programme évalué sur ces changements (à partir d'hypothèses préalables servant de base au questionnement). est également indispensable à ce stade. Les corrections résultent alors d'interprétations et doivent être clairement désignées comme telles. Une fois le domaine d'application établi par l'équipe d'évaluation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas. Dans le cadre de l'évaluation, l'analyse multicritère est plutôt un outil de l'évaluation ex ante. La constitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Ce type d'étude exploratoire peut comporter une ou plusieurs études de cas selon la variété des contextes. Transparency International propose des données statistiques concernant le niveau de transparence et de corruption au niveau local et global par le biais de plusieurs indicateurs. Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques. A priori seuls des éléments quantitatifs sont utilisables pour réaliser une analyse coût-efficacité, mais il peut parfois être nécessaire et judicieux de quantifier des variables à priori qualitatives : quantification de résultats de politiques environnementales par exemple. il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première phase du processus. comprise de la même façon par le fournisseur et l'utilisateur. L'entretien individuel permet de recueillir: Cependant, aucune quantification du phénomène ne peut être issue d'une série d'entretiens individuels, puisque les réponses ne sont pas standardisées. KOTTAK C.P., 1998: Quand l'aspect humain n'est pas mis au premier plan : enseignements sociologiques tires de projets terminés. Lorsque les termes de référence ne précisent pas les limites de l'évaluation, l'analyse des objectifs et effets doit s'étendre à l'ensemble des interventions de la Commission quelle que soit l'institution particulière dont elles relèvent et l'instrument financier qui les finance. des domaines économiques en expansion où le pays peut valoriser son savoir faire (ex : développement de la demande en produits manufacturés dans les pays européens, une forte demande sur le type de tourisme offert dans le pays, etc.). L'analyse SWOT a-t-elle permis de répondre aux questions auxquelles elle devait permettre de répondre ? Après une série de consultations avec les agences internationales, l'Assemblée Générale a reconnu les Objectifs du Millénaire (" Millenium Development Goals ou MDGs ") comme feuille de route pour mettre en œuvre la Déclaration du Millénaire. Les données disponibles permettent-elles d'estimer la pertinence des justifications ? Dans ce cas, le traitement des résultats issus du focus group ressemblera davantage de celui des entretiens individuels. Ceci est particulièrement recommandé dans le cadre de focus group d'usagers ou de bénéficiaires. Laisser s'exprimer des expressions trop brutales, des affirmations critiques non fondées etc. Ou bien a-t-il donné lieu à des ateliers ou à des séminaires? Roland W. Scholz - Olaf Tiedje. La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Une série particulièrement intéressante concerne les indicateurs clés de l'environnement qui peuvent se révéler extrêmement utiles pour décrire un contexte. La disponibilité et la mise à disposition d'informations (étape3) écrites ou orales fiables, c'est-à-dire abondantes et vérifiables, sont également une condition nécessaire. L'intérêt de telles lectures est certes limité, mais il permet de se familiariser avec l'histoire du pays sans perdre trop de temps à lire des sommes historiques et, surtout, il donne souvent l'opportunité de découvrir une première bibliographie de référence. Y a-t-il eu une information précise des membres du panel sur leur rôle et sur les règles de fonctionnement d'un panel? Une ou plusieurs journées de formation-encadrement des enquêteurs peuvent être organisées avant le début de l'enquête (visant à s'assurer de la compréhension des objectifs et du questionnaire, et a instaurer un "esprit d'équipe") et après sa réalisation (débriefing sur les conditions d'enquête, les difficultés rencontrées, les biais possibles, les remarques des répondants, etc.). (0 comments). Comme tous les outils aboutissant à une matrice, le reproche qui peut être fait à l'analyse SWOT est son côté réducteur et simplificateur. Commission Européenne. POLESE & STREN: The social sustainability of cities. Quels sont les facteurs externes qui ont conduit à leur choix ? De ce fait, les acteurs impliqués dans le processus ont une bonne visibilité de la démarche et des choix opérés successivement. certains manques de ressources (ex : fuite des cerveaux ou des capitaux). puis une synthèse multi-thèmes par la suite. soit parce qu'il n'apparaît pas comme évident aux yeux de l'évaluateur et peut donner lieu à une mauvaise interprétation, voire un contresens. Dans un diagramme des objectifs, le choix de l'objectif global, sa décomposition en un certain nombre d'objectifs intermédiaires et ainsi de suite jusqu'aux objectifs opérationnels, procèdent en effet de choix souvent non explicités. Connaissance des procédures d'élaboration des stratégies et programmes de la CE. La structuration de l'évaluation peut utilement s'appuyer sur une première série d'outils regroupés ici sous le terme d'outils de structuration. Les diagrammes des objectifs et des effets, qu'ils soient tirés du cadre logique du programme ou qu'ils aient été reconstruits à partir des documents justificatifs du programme, masque toutefois une série de choix. Observation : Le nombre de jours nécessaires dépend principalement de l'étendue du champ de l'évaluation et donc du nombre de programmes à examiner et de diagrammes à construire. 47. Dans un accord d'assistance bilatérale entrent donc en jeu trois systèmes d'objectifs ou d'effets : Sauf cas d'évaluation participative, l'équipe d'évaluation s'intéressera prioritairement au premier et au troisième groupe d'objectifs. Dans la méthode issue de la recherche, le choix d'une hypothèse est souvent retenu comme point de départ, que l'étude de cas va chercher à confirmer ou infirmer. L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. La finalisation de cette conception et du protocole d'étude de cas se feront dans la phase pré-opératoire, une fois que les informations seront suffisamment abondantes pour pouvoir le faire. Le diagramme a-t-il servi à juger dans les règles de l'art la pertinence de la stratégie et de la programmation, la qualité du partenariat, les 3C, etc. La programmation de chacun des outils prend-elle en compte l'ensemble des tâches nécessaires à leur mise en œuvre ? les preuves rassemblées et les hypothèses retenues, ainsi que les éventuelles incertitudes et leurs éventuelles conséquences sur les conclusions. Ce dernier prévoit un nombre précis de jours de travail dans une situation moyenne. La décomposition du temps de travail est indiquée dans le tableau récapitulatif. de la présence de participants pouvant limiter l'expression des autres. la cohérence interne de la stratégie et sa pertinence au regard des objectifs généraux de l'Union Européenne, de la politique de l'État partenaire et de la position de la communauté des donneurs. une étude faite sans cadre prédéfini ou bien une étude menée autour de questions ou de problématiques déjà identifiées, que le groupe doit étudier spécifiquement. La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement. Des erreurs ou des omissions dans l'estimation des coûts ou des effets ont-elles pu invalider les résultats ? La méthode est bien adaptée aux actions dont les résultats attendus sont clairement identifiés et dont les coûts directs et indirects sont aisément mesurables. Des spécialistes confirmés ont-ils été consultés, au besoin avec un avis écrit ? Projet d'évaluation des animations Évaluation de notre travail Évaluation du projet Conclusion Difficultés : de communication, d'organisation Points positifs : animations satisfaisantes, bonne ambiance Remédiation : échange de coordonnées Points négatifs : répétition des Par exemple : si le premier numéro fourni est 3 et si le pas de tirage est égal à 5, c'est le troisième ménage de la liste du bordereau qui sera enquêté. Cette analyse permet d'identifier les axes stratégiques qui peuvent être développés. ), et enquêtes. La distinction entre ce qui est interne de ce qui est externe n'est pas toujours évidente. Le processus doit toujours être itératif, c'est à dire qu'il est basé sur la recherche suffisante d'information jusqu'à l'obtention de la chaîne de preuves. Enfin, il conviendra de préciser à chaque expert qu'il est nommé à titre personnel, c'est à dire qu'il ne représente pas l'institution dont il est issu et, par conséquent, qu'il n'est pas remplaçable. Des exemples sont fournis en annexe. L'analyse peut nécessiter de procéder de manière suivante : Lorsqu'il s'agit de comparer des programmes différents aux résultats identiques, l'analyse est assez simple puisque c'est le critère de coût comparatif qui est utilisé comme paramètre. CREATIVE!! 1! La commodité (convenience) : la facilité de réalisation des études. L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées. Quels sont les avantages des indicateurs de contexte ? Ces études se concentrent donc sur l'étude des effets observés, en les comparant entre sites et autant que possible sur la mise en évidence des liens et des causes entre les changements observés et les programmes évalués. Le maniement de tels outils nécessite bien entendu une qualification particulière. Quels usages peut-on faire du diagramme des objectifs et du diagramme des effets ? Cette connaissance préalable permet : Les inconvénients de l'outil ressortent principalement d'une série de risques, qu'il convient de maîtriser au mieux. Jugement des évaluateurs : c'est-à-dire retenant (en totalité ou partiellement) ou rejetant les opinions des membres du panel. Des grilles permettant d'apprécier cette qualité ont été produites par certaines institutions. Une seule question suffira-t-elle pour obtenir cette information? Le choix des sites est primordial pour la qualité de l'évaluation et pour tenter la généralisation des résultats obtenus. Sa construction peut s'appuyer sur une analyse SWOT et/ou sur une analyse culturelle et sociale dans lesquels on trouvera des informations de contexte relatif aux sociétés concernées par la stratégie. positions des Etats membres sur l'intervention de la Commission Européenne. Le diagramme des objectifs affichés présente deux utilités : Le diagramme raisonné des objectifs définit le champ thématique de l'évaluation. soit parce qu'elle l'a posée comme condition avant d'accepter de répondre à l'évaluateur. Si l'animation joue un rôle essentiel dans le déroulement général de la séance, la dynamique de groupe est aussi portée par un ou plusieurs leaders prenant souvent la parole et incitant les autres participants à se joindre au débat. qui ne rend pas forcément compte de la complexité de la réalité et des interactions entre difficultés. La question des catégories d'acteurs à rencontrer se pose en particulier pour: Les listes d'acteurs institutionnels à rencontrer sont souvent longues à cause de la nature même de l'évaluation pays qui couvre un grand nombre de programmes et de projets. Il lui faut ensuite analyser les stratégies et logiques déployées par les différents groupes d'acteurs vis-à-vis de la politique évaluée. 1990. En revanche, elle ne permet pas de statuer sur la pertinence ou sur l'intérêt qu'il y a à mettre en place et poursuivre cette intervention. Le diagramme des problèmes se révèle être un moyen très efficace de communication à la condition qu'il soit immédiatement lisible sans être excessivement simplificateur. L'étude de cas est un outil d'approche des situations complexes, qui s'avère performant lorsque : Les études ce cas peuvent être utilisées dans tous les types d'évaluation ex ante, intermédiaires ou ex post. Le diagramme des décisions rend visible : Le diagramme des décisions contribue à l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).