Que tire un coordonnateur d’enquêtes de l’Atelier sur les Résultats et l’Evaluation d’Impact du FBR 2012?

Evaluer les difficultés et les succès de la collecte des données de base. L’un des « ateliers au sein de l’atelier » consistait, pour les représentants des cabinets d’étude, à passer en revue les difficultés rencontrées lors de la préparation et de la mise en œuvre des enquêtes de base des évaluations d’impact du HRITF. Deux modérateurs (Beatriz Godoy et Juan Muñoz, Sistemas Integrales), spécialistes de la préparation, la mise en œuvre et l’analyse d’enquêtes, avaient pour rôle d’identifier les problèmes communs à toutes les équipes, et, de concert avec les équipes, de proposer des solutions pragmatiques à ces difficultés. Mon blog sur l’Evaluation d’Impact sur le Terrain relate les succès et les difficultés que nous avons partagés lors de l’atelier sur l’évaluation d’impact du FBP au Cameroun. Lors de cet atelier, il a été, si je puis me permettre, rassurant pour mon équipe de constater que les pays partageaient dans l’ensemble les mêmes difficultés rencontrées sur le terrain (contraintes budgétaires, transport et longévité du matériel, longueur du questionnaire formation sanitaire F1[i], disponibilité du personnel de formation sanitaire (FOSA) compte tenu de leurs sollicitations par les patients, délais de passage dans les FOSA, enclavement des zones, etc.). Nous avons retenu qu’il convient de décentraliser autant que possible la saisie des données, d’accorder plus de temps à la formation des agents de collecte, ce qui accroîtra la maitrise des outils et permettra donc sans doute un gain de temps dans les entretiens, et enfin de documenter davantage la base de données à travers la production des métadonnées. Par conséquent, il a été convenu que la conception des outils devrait se faire avec une plus grande implication de toutes les parties prenantes et qu’une attention particulière devrait être accordée, par les partenaires financiers, aux contraintes budgétaires auxquelles font face les firmes d’enquête.
 

Mieux comprendre les méthodes d’évaluation, en théorie et en pratique. En ce qui concerne l’atelier sur l’analyse des données (animé par Damien De Walque et Jed Friedman, Banque mondiale), nous avons approfondi, entre autres, l’une des principales méthodes qui sera utilisée pour le cas du Cameroun (double différence) compte tenu de la stratégie d’identification utilisée dans le cadre de l’évaluation d’impact qui est l’assignation aléatoire des groupes d’intervention(s) et de comparaison. Nous avons également mieux compris l’angle d’analyse des données de base, non pas comme une simple enquête isolée, mais davantage comme substrat permettant de s’assurer de la validité interne et externe, indispensable à toute évaluation d’impact, notamment l’équilibre des groupes ou branches d’étude. La partie théorique de la méthodologie de vérification de ces équilibres a été complétée par la suite par la présentation des éléments de la Boîte à Outils pour l’Evaluation d’Impact ou « Toolkit », lequel disposait de petits outils ou programmes pratiques en STATA^© ou Excel, prêts à l’emploi et facilement adaptables et pouvant être mis en œuvre sans difficulté.
 

Une approche de formation efficace. Plus généralement, qu’ai-je tiré de l’atelier ? Sur la forme, il convient de rappeler que nous avons eu l’opportunité au cours de cet atelier de côtoyer toute la crème des intervenants en matière de mise en œuvre des évaluations d’impact des projets de FBR, aussi bien du côté du gouvernement, des firmes d’enquête que de la Banque mondiale. Ces contacts ont été facilités par l’approche méthodologique adoptée au cours de l’atelier : une démarche andragogique, adaptée à la formation des adultes, a permis de décontracter les participants, dès le début de l’atelier, par le biais d’un exercice très ludique. Celui-ci renvoyait chaque participant au rôle « d’agent enquêteur », qui devait faire montre de tous ses talents de « dragueur » intrépide pour décrocher une minute d’écoute à « l’agent enquêté », dans sa quête d’informations. C’est à travers cet exercice, d’emblée anodin, mais qui visait à en apprendre davantage de ce que faisait l’autre, de son niveau d’intervention dans le cadre des projets de FBR, que toutes les barrières se sont rompues en quelques minutes, que les rapprochements se sont opérés aussi rapidement, que tous les participants se sont retrouvés comme s’ils ne s’étaient jamais cherchés, et que les échanges ont pu se faire jusqu’à la fin de l’atelier, dans une telle ambiance que beaucoup n’ont pas vu le temps passer, malgré l’emploi du temps riche et intense. Ne serait-ce que pour cela, je dis merci aux organisateurs car à mon humble avis, la réussite d’un atelier tient souvent à très peu de choses.
 

Etendre le champ d’action des parties prenantes: une vision holistique de l’évaluation. Sur le fond à présent, les enseignements que nous avons tirés des échanges au cours de cet atelier sont multiples. Les échanges nous ont permis de nous projeter, en tant que représentants d’une firme d’enquête, au-delà de l’enquête de base, et même de l’enquête finale : nous avons pu concevoir notre implication comme inscrite dans un tout, avec une vision aussi bien sur l’enquête de base que l’enquête finale, ainsi que tout ce qui pourrait se passer entre les deux enquêtes et qui constituerait un facteur confondant. Cela sous-entend, pour toute firme d’enquête, de se donner les moyens d’être partie prenante dans toute enquête de routine ou enquête qualitative qui permettrait d’avoir une traçabilité de toute activité ou tout changement intervenus entre l’enquête de base et l’enquête de suivi. En d’autres termes, nous avons réalisé l’utilité et l’importance de trianguler l’information issue d’autres sources de suivi et/ou d’évaluation du FBR avec l’information issue de l’évaluation d’impact. Par ailleurs, le « Toolkit » présenté brièvement lors de l’atelier, mais dont le lien internet nous a été distribué et dont j’avais reçu personnellement une version préliminaire en août 2012 (après la collecte et le traitement des données, en tant que membre de l’équipe d’évaluation financée par le HRITF) est pour moi un outil indispensable pour ceux qui s’apprêtent à lancer leur enquête de base, tout comme ceux qui l’ont déjà réalisée mais qui souhaitent avoir un recul nécessaire pour mieux se projeter dans l’avenir dans le cadre de ce processus d’évaluation d’impact.
 

Sur l’engagement de longue durée des firmes menant les enquêtes. Au-delà de ces enseignements et de l’atelier lui-même, il est cependant possible d’améliorer le partenariat et le renforcement des capacités dans le cadre des programmes de FBR et de leurs évaluations. Nous avons exprimé avec les autres firmes d’enquêtes le besoin de faire des séjours d’imprégnation dans des pays mettant en œuvre ce type d’évaluation, au-delà des échanges par emails ou des rencontres comme celles-ci, pour un meilleur partage et dissémination de ce que chacun aura comme pratique de référence. Ceci pose un problème dans la formulation et l’élaboration des budget-pays ou budget-firmes, ces derniers étant alloués par appels d’offre pour chaque enquête, et non pour l’évaluation toute entière. Ces budgets devraient s’harmoniser de façon à tenir compte de la vision selon laquelle la firme d’enquête devrait être un partenaire qui accompagne le gouvernement tout au long du processus. Ce dernier, vu du côté de la firme d’enquête, apparait séquencé entre chaque enquête de l’évaluation d’impact. Ceci donne l’impression d’une certaine indépendance entre les phases de l’intervention de la firme d’enquête, tandis qu’en réalité, l’évaluation est en effet un processus continu.
 

Pour terminer, je peux dire simplement que l’équipe de l’IFORD, et le reste de l’équipe d’évaluation d’impact du FBP au Cameroun, sommes allés à cet atelier avec la satisfaction d’avoir mené à bien l’enquête de base malgré les difficultés, le désir de partager et l’envie d’en apprendre davantage des autres. Nous rentrons avec beaucoup de défis, mais certainement plus édifiés et sans doute plus ragaillardis dans cette ferme détermination de se donner les moyens d’être partie prenante de l’évaluation d’impact du Cameroun jusqu’à son terme.

 

---