***

Este número del Son de Tambora hace parte de nuestra serie especial de análisis. En esta ocasión, hemos traducido el artículo escrito por la Dra. Jane Bertrand para The Drum Beat #302. Bertrand, quien se desempeña como Directora del Johns Hopkins Bloomberg School of Public Health Center for Communication Programs (JHUCCP), describe metodologías útiles para evaluar el diseño, la implementación y los efectos de programas de comunicación en salud, al igual que algunos de los retos que enfrentan los evaluadores. Este artículo se sustenta tanto en la amplia experiencia de la Dra. Bertrand en investigación y evaluación en salud reproductiva, como en el trabajo de sus colegas en JHUCCP. El texto refleja únicamente su punto de vista y no el del grupo de socios de La Iniciativa de Comunicación, individual o colectivamente.

La serie especial de análisis, cuyos números circulan el primer miércoles de cada mes, pretende divulgar opiniones críticas y generar diálogo. Nos es imposible garantizar la publicación de todos los artículos recibidos, dado nuestro número limitado de ediciones por año. Sin embargo, si desea hacer una contribución, comuníquese con Juana Marulanda - jmarulanda@comminit.com.
Muchas gracias.

***

EVALUACION DE PROGRAMAS DE COMUNICACION EN SALUD

Comunicar es un elemento integral de las intervenciones en salud pública, diseñadas para influir sobre normas sociales o cambiar el comportamiento de individuos, familias y comunidades. La comunicación opera a muchísimos niveles: en la arena política, en el sistema de prestación de servicios de salud y al interior de comunidades y familias. Algunos programas de comunicación asumen la forma de actividades discretas, de corta duración (ej: una campaña publicitaria de un servicio público o una serie de eventos comunitarios). Otros son actividades integrales, coordinadas, de larga duración (una campaña nacional para reducir el estigma asociado al VIH/SIDA, prevenir la enfermedad e instruir sobre el cuidado paliativo, utilizando una combinación de estrategias como medios masivos, movilización de la comunidad, comunicación interpersonal y consejería en centros de salud).

Mucha gente da por sentada la efectividad de la comunicación para alcanzar resultados. Los candidatos presidenciales en los Estados Unidos por ejemplo, no ahorran en gastos para hacerle llegar su mensaje al público votante, a través de los medios y el contacto personal. Coca Cola no renuncia a la publicidad, aunque su producto tiene reconocimiento global. Pero del otro lado también están los escépticos; aquellos que cuestionan el valor de los programas de comunicación, con argumentos como "si la comunicación es tan efectiva, ¿por qué sigue avanzando el VIH/SIDA?"

¿Cómo podemos determinar si un programa de comunicación "hace la diferencia"? La evaluación de programas evoluciona permanentemente para responder preguntas fundamentales relacionadas con su efectividad y con su diseño e implementación. El propósito de este artículo es ofrecer un panorama de los diferentes tipos de evaluación de estrategias de comunicación para el cambio del comportamiento (CCC), especialmente en el contexto internacional.

Hay tres tipos de evaluación que se utilizan a lo largo de un programa: evaluación formativa, evaluación de proceso y evaluación sumatoria (Rossi, Lipsey y Freeman, 2004). En tanto las organizaciones no gubernamentales pequeñas, con recursos limitados, podrían optar por realizar solamente una de estas evaluaciones, los programas grandes de comunicación, con cobertura nacional, no deberían excluir ninguna.

La evaluación formativa se refiere a actividades que se llevan a cabo con el objeto de obtener información que guíe el diseño del programa. Esta información ayuda a determinar el grupo más afectado por el problema; a identificar las necesidades de subgrupos específicos; a evaluar los conocimientos, creencias y actitudes existentes; a determinar los niveles de acceso a servicios, información, apoyo social y otros recursos; a entender las barreras opuestas a la acción; y a determinar los hábitos y preferencias de comunicación. Las fuentes de esta información son múltiples: informes epidemiológicos y demográficos; análisis secundarios de información existente; recolecciones primarias de información entre las audiencias a las que se quiere llegar (a menudo en forma de parámetro o punto de partida que más tarde servirá también para la evaluación); información de sintonía de los medios; estadísticas de los servicios; y datos de otros programas. La investigación formativa generalmente incluye también, información cualitativa sobre las opiniones, aspiraciones, miedos, creencias y otros factores psicológicos claves que influyen en un comportamiento dado, relacionado con la salud. Entre las técnicas de investigación cualitativa más comunes están los grupos focales, las entrevistas en profundidad, la observación directa y una amplia variedad de métodos participativos, guiados o auto-dirigidos.

Los encargados de la planeación de un proyecto o intervención utilizan la evaluación formativa para el diseño de la estrategia de comunicación. Este tipo de evaluación responde a preguntas relacionadas con los objetivos buscados, la audiencia a la que se desea llegar, los canales potencialmente más efectivos, los mensajes inspirados en fuentes positivas de motivación y orientados a superar barreras al cambio, y otros elementos clave.

La evaluación de proceso implica hacer un seguimiento al desarrollo del programa, una vez puesto en marcha. Determina si el programa está siendo implementado como se planeó y si llega a las personas esperadas (Rossi, Lipsey y Freeman, 2005). En su forma más simple, la evaluación de proceso, conocida también como evaluación de la implementación, hace un seguimiento de las actividades en relación con los objetivos propuestos y con el cronograma. Responde a la pregunta: ¿en qué medida el proyecto está siendo implementado de acuerdo al plan? Esta pregunta es igualmente importante para los administradores, los evaluadores y los beneficiarios. Si el proyecto no se desarrolla de acuerdo al cronograma, el administrador del programa querrá saberlo a tiempo y tomar medidas para contrarrestar los retrasos y otros problemas. El personal del programa querrá también entender su dinámica, de manera que se puedan replicar componentes exitosos y eliminar elementos no efectivos en proyectos futuros.

Para el evaluador, la evaluación de proceso tiene dos importantes funciones: en primera instancia, aporta la información necesaria para garantizar a los interesados (incluidos donantes y beneficiarios), que el proyecto va por buen camino. En segundo lugar, provee documentación importante sobre las actividades que se llevaron realmente a cabo y sobre eventos que podrían afectar el resultado. Este aspecto toma importancia cuando se lo relaciona luego con la investigación sumatoria. Por ejemplo, si un proyecto no alcanza su objetivo (es decir, no se da el cambio esperado), es importante determinar si se debe a fallas en la implementación (el proyecto no fue implementado en forma satisfactoria) o a fallas teóricas del programa (el programa fue implementado de acuerdo a lo planeado, pero no logró realizar los cambios esperados debido a errores conceptuales en la estrategia o en los materiales; o el programa no tuvo en cuenta importantes factores explicativos o no se ajustó a eventos históricos) (Rossy, Lipsey y Freeman, 2005).

En algunas aplicaciones, la evaluación de proceso puede medir la calidad del servicio, el acceso y el alcance del programa. Muchas intervenciones en salud incluyen algún elemento de prestación de servicios; los programas buscan a menudo mejorar la calidad de estos servicios, en un esfuerzo por atraer y retener más clientes. Así pues, los estudios de calidad de la atención son considerados un tipo de evaluación de proceso. Los proyectos a menudo pretenden igualmente, mejorar el acceso a los servicios mediante el aumento del número de sitios de atención, la capacitación de personal adicional o la contratación de un nuevo tipo de personal (bilingüe por ejemplo). Finalmente, la evaluación de proceso puede incluir también mediciones del alcance de la comunicación, es decir, del porcentaje de la población expuesto o en posibilidad de acceder a elementos específicos del programa.

En resumen, la evaluación de proceso hace un seguimiento de la implementación del proyecto, incluyendo los cambios en la prestación de los servicios (la calidad de la atención por ejemplo). Sin embargo, no llega a responder la pregunta ¿se dio el cambio deseado entre los miembros de la audiencia a la que se quería llegar?

La evaluación de proceso es a menudo subutilizada. La razón es que tanto directores como evaluadores y agencias donantes, prefieren generalmente, medir los logros del programa (evaluación sumatoria) en vez de las actividades que se adelantan (evaluación de proceso). Así, a menudo se oyen manifestaciones de frustración alrededor de programas que simplemente evalúan "productos" (número de afiches impresos, número de personas capacitadas, número de eventos comunitarios organizados), pero que no llegan a evaluar el cambio real en el comportamiento. Sin embargo, descuidar la evaluación de proceso es miope, ya que ella ayuda a explicar por qué el cambio se da o no se da.

La evaluación sumatoria mide en qué medida se da el cambio, de acuerdo a los objetivos del programa. Para programas de comunicación en salud, el objetivo principal es usualmente un comportamiento relacionado con la salud. Los siguientes son algunos resultados ilustrativos en el contexto de un país en desarrollo:

Las teorías explícitas o implícitas detrás de la mayoría de los programas de CCC apuntan a los factores psicosociales para producir cambios en el comportamiento. Estos factores figuran a menudo también como objetivos: incrementar el conocimiento, influir sobre las normas sociales, cambiar las actitudes, o mejorar la auto-eficacia para superar barreras. Así, la evaluación sumatoria puede evaluar tanto cambios en estos factores, como en el comportamiento mismo que se quiere modificar.

La evaluación sumatoria se refiere a la pregunta: ¿hizo el programa alguna diferencia? Es decir, ¿tuvo algún impacto? La fortaleza de la evidencia necesaria para responder a estas preguntas, varía dependiendo del diseño del estudio y/o de las técnicas estadísticas utilizadas. No sorprende que los métodos que producen la evidencia más sólida sean a menudo los más costosos y/o que requieran conocimientos en técnicas analíticas avanzadas; es difícil por tanto, que los programas pequeños, con presupuestos bajos, los utilicen. Los niveles de evidencia, de más sólida a menos sólida, son:

1. El cambio ocurre y puede ser atribuido a la intervención/programa
   
   

   La evidencia a este nivel demuestra una relación causa-efecto; es decir, la intervención produce los resultados deseados. Los diseños de tipo experimental (donde se usan grupos de control asignados al azar) son a menudo considerados la única forma de establecer causalidad; sin embargo, no son apropiados para evaluar programas a gran escala, con componentes de medios masivos. Aun si los evaluadores quisieran, sería imposible escoger al azar personas expuestas (sujetos experimentales) y no expuestas (controles) a un programa que supuestamente llega a todos los miembros de la población. De hecho, es casi imposible encontrar un grupo de personas no expuestas que sea comparable a otro de personas expuestas, si se tienen en cuenta las variables socioeconómicas y de acceso a los medios.
   
   

   Es posible utilizar diseños experimentales para evaluar proyectos piloto de pequeña escala, incluyendo intervenciones de tipo clínico (aquellas donde se controla la exposición a la intervención de comunicación). Pero aún en estos casos, pueden presentarse objeciones éticas o políticas ante la idea de no exponer a información o tratamiento que puede salvar vidas, a segmentos específicos de la población. Otra limitación de los diseños experimentales (RTCs, por su sigla en inglés), que no es exclusiva de los programas relacionados con comunicación, es que los resultados pueden tener una muy baja validez externa (es decir, pueden no ser generalizables a toda la población). Por estas razones, al evaluar programas de comunicación de gran escala raramente se utilizan diseños experimentales.




2. Se da un cambio y ese cambio está asociado con la exposición a la intervención
   
   

   La mayoría de evaluaciones de programas de comunicación en los países en desarrollo, son de dos tipos: a) diseño quasi-experimental; y b) análisis de datos post-test de estudios transeccionales (post-test only cross-sectional). Ambas utilizan técnicas estadísticas avanzadas para tener control sobre sesgos comunes que amenazan la validez. Tales estudios resultan en evidencia plausible de que el programa de comunicación produce cambios específicos (Victoria et al, 2004; Habicht et al, 1999).
   
   

   Entre los diseños quasi-experimentales más utilizados se encuentran: i) el diseño pre-test post-test de muestras separadas; ii) el diseño pre-test post-test con grupo de control no equivalente; y iii) series temporales (Fisher y Foreit, 2002). Quienes trabajan en evaluación confían en estos diseños como medios viables de evaluar programas de campo de cobertura amplia. Entre sus ventajas se encuentran: 1) su alta validez externa (se puede determinar por ejemplo, el efecto de una campaña nacional en cambios específicos) y 2) su factibilidad. Entre sus desventajas está la incapacidad de responder con certeza a la pregunta "¿qué hubiera sucedido si este programa no se hubiera realizado?" (aunque el uso del análisis de puntajes de propensión resuelve en gran medida este problema). Y más grave aún, la necesidad de contar con cuantiosos recursos financieros y analíticos.
   
   

   Los evaluadores usan cada vez más, el análisis de datos post-test de estudios transeccionales, utilizando técnicas estadísticas que relacionan los cambios deseados con los niveles de exposición al programa de comunicación. Una aproximación de este tipo de evaluación es el análisis dosis-respuesta, que determina el nivel de exposición al programa de comunicación que tuvieron los entrevistados y luego analiza esta variable relacionada con otras como el status socioeconómico y el acceso a los medios. Esto permite determinar si quienes tuvieron un mayor nivel de exposición tienen una mayor probabilidad de mostrar los comportamientos deseados. Existen también métodos estadísticamente más avanzados para determinar este tipo de asociación, mediante puntajes de propensión. Utilizando solamente información post-intervención, el evaluador usa análisis de regresión para determinar la posibilidad de que una persona entrevistada haya estado expuesta al programa de comunicación que está siendo evaluado, con base en la información disponible sobre status socioeconómico y acceso a los medios. A partir de esto, el evaluador puede crear un grupo control estadísticamente equivalente, que tenga las características de los entrevistados que estuvieron realmente expuestos al programa en todos los factores medidos, excepto en la exposición a la comunicación. Determinando los diferentes niveles de cambio entre quienes estuvieron expuestos y el grupo control creado estadísticamente, el evaluador puede estimar los efectos del programa de comunicación sobre el comportamiento resultante y responder la pregunta sobre qué habría sucedido en ausencia del programa de comunicación (Kincaid y Do, 2006, en prensa).

   Entre las ventajas de los métodos post-test podemos citar que ofrecen evidencia sólida de los efectos de la comunicación. Tienen también desventajas: en primer término, existen factores que pueden producir cambios relacionados con la salud, no mensurables inmediatamente en los sondeos; un ejemplo citado frecuentemente es la motivación. En segundo término, no pueden descartar la causalidad inversa, es decir, que la persona entrevistada haya estado expuesta al programa de comunicación y recuerde sus contenidos en la entrevista, precisamente por haber adoptado ya el comportamiento deseado (por ejemplo, el uso de un método anticonceptivo moderno). Aunque las pruebas para determinar el carácter endógeno ofrecen una solución parcial a este problema, no satisfacen a algunos críticos.




3. El cambio se da en la dirección deseada, después de la intervención
   
   

   Quienes no están familiarizados con el diseño de estudios y con el problema de la validez (incluidos muchos diseñadores de políticas), pueden darse por satisfechos con evidencia de que un programa se lleva a cabo y de que seguidamente, se registra el cambio deseado. En palabras de Habitch et al (1999), este tipo de tendencia en los datos constituye "evidencia adecuada" de cambio. Para programas con limitaciones presupuestales o con pocas personas entrenadas en evaluación, puede ser útil detectar tendencias en los datos estadísticos o en los datos de los sondeos, en vez de realizar una evaluación completa. La evidencia de estas tendencias es preferible a nada, pero no resiste el escrutinio científico, ya que no es posible descartar otros factores que pueden explicar el cambio (por ejemplo, otros programas con mensajes similares, tendencias seculares, etc).
   
   

   Uno de los retos que se presenta en la evaluación de programas de cualquier tipo, es el equilibrio entre el rigor metodológico y la apropiación del proceso por parte de los responsables del programa. Por ejemplo, realizar un análisis de impacto requiere destrezas que el personal responsable del diseño e implementación del programa raramente tiene. A menudo, estas evaluaciones deben ser realizadas por individuos u organizaciones externas al programa, dejando por fuera del proceso al equipo local. En respuesta, muchas organizaciones han fomentado aproximaciones de evaluación participativa, que dan un sentimiento mucho mayor de apropiación entre los actores clave. Sin embargo, al medir la efectividad, la evaluación participativa puede no satisfacer el rigor metodológico de la comunidad científica. Todas las aproximaciones anteriores y otras en este continuo, son valiosas en diferentes contextos; practicantes y donantes deben determinar con anterioridad, cuál de ellas satisface mejor sus necesidades de evaluación.

TERMINOLOGIA DE EVALUACION DE PROGRAMAS

La palabra "impacto" tiene diferentes significados para diferentes personas.

Los puristas de la evaluación objetan el uso de la palabra "impacto" en situaciones en las que no hay evidencia incuestionable de cambio, o de que la intervención causó el cambio observado. Así, con frecuencia se escucha decir que "el programa tuvo impacto", cuando se cree que fue bien recibido o que llegó a mucha gente, especialmente si una celebridad ha participado. Pero en tanto no haya evidencia, esta afirmación es pura especulación. Los puristas también objetan afirmaciones de que hay impacto, cuando el cambio deseado ha ocurrido, pero el diseño del estudio no descarta otros factores que pueden haber contribuido a ese cambio.

Existen tres usos del término "impacto", ampliamente utilizados, pero que difieren en su significado:

• "Impacto", refiriéndose al resultado a largo plazo o al objetivo final del programa, tal como reducción en fertilidad, morbilidad, o mortalidad. Algunos podrían considerar por ejemplo, que el impacto de un programa exitoso de planeación familiar es una reducción en la fertilidad.




• "Impacto", refiriéndose a los "efectos inmediatos, de corto plazo, o intermedios, de un programa de promoción de salud; variables que están disponibles dentro del marco de tiempo de la mayoría de las evaluaciones que, en ausencia de información sobre los resultados finales esperados, dan cierta evidencia de progreso"; el término es utilizado de esta forma en el contexto del marco de PRECEDENCIA (Green y Kreuter,1999). Nota: en el marco de PRECEDENCIA, la evaluación de impacto ocurre antes de la evaluación de resultado. Esto es exactamente lo contrario del uso descrito arriba, en el que el impacto es considerado el objetivo último del programa.




• "Impacto", refiriéndose a la causa-efecto real, con base en una evaluación que utilice un diseño de estudio metodológicamente correcto. Los puristas requerirán evidencia probabilística, mientras que para trabajadores de campo será suficiente que haya evidencia plausible de efectos causales.

SUPERPOSICION DE TERMINOLOGIA PARA DIFERENTES TIPOS DE EVALUACION

Aunque que los tres principales tipos de evaluación de un programa descritos arriba (formativo, de proceso y sumatoria) son ampliamente utilizados en los círculos de evaluación, esto no excluye otros términos. Muchos lectores se estarán preguntando: ¿qué hay de "insumos-procesos-productos inmediatos-resultados"? ¿Qué abarcan exactamente "monitoreo y evaluación" (MyE)? ¿En qué se diferencian MyE y evaluación de un programa?

Sin temor a equivocarse, se puede decir que los expertos difieren en la respuesta a la pregunta de cómo se relacionan los términos entre ellos. Con motivo de la difusión de este artículo, diseñé una tabla con varios de estos términos y una explicación de lo que mide cada uno Oprima aquí para ver la tabla), que se encuentra disponible, en inglés, en el sitio web de The Communication Initiative. Las definiciones de todos los términos utilizados están disponibles en un apéndice.

En conclusión, la evaluación de programas tiene cierta lógica, que este artículo intenta explicar. Sigue una progresión a lo largo de la vida de un proyecto: evaluación formativa, evaluación de proceso y evaluación sumatoria. Muchos estamentos interesados quieren saber si un programa dado "ha hecho la diferencia" (es decir, si ha tenido impacto). Dependiendo del diseño del estudio (que tiene que ver con lo que es posible bajo las circunstancias y con el nivel disponible de recursos financieros y humanos), los evaluadores pueden producir evidencia con diferentes niveles de rigor. La mayoría de los evaluadores argumentarían a favor de la más rigurosa evaluación posible, si están disponibles los fondos. Cualquiera que sea la decisión final, es útil para todos los interesados entender la distinción entre estos niveles de evidencia, así como la terminología utilizada en los programas de evaluación.

Jane T. Bertrand, PhD, MBA
Johns Hopkins Bloomberg School of Public Health
Center for Communication Programs
jbertran@jhuccp.org

***

Referencias bibliográficas

• Fisher, A. and J. Foreit (2002). Designing HIV/AIDS Intervention Studies: An Operations Research Handbook. Population Council.




• Green, L.W. and M.W. Kreuter (1999). Health Promotion Planning. An Educational and Ecological Approach. Boston: McGraw Hill, 3rd edition.




• Habicht, J.P., C.G. Victora, and J.P. Vaughn. (1999). Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. International Journal of Epidemiology 28:10-18.




• Kincaid, D.L. and M.P. Do. (Forthcoming in 2006). Impact of an Entertainment-Education Television Drama on Health Knowledge and Behavior in Bangladesh: An Application of Propensity Score Matching. Journal of Health Communication.




• Rossi, P., M. Lipsey, and H. Freeman (RLF). A Systematic Approach. 7th edition 2004: Thousand Oaks, CA, Sage Publications.




• Victora, C.G., J. Habicht, and J. Bryce. (2004) Evidence-Based Public Health: Moving Beyond Randomized Trials. American Journal of Public Health 94(3): 400-405.

***

OPINE SOBRE EL TEMA EN TOMADO EL PULSO

La Dra. Bertrand argumenta que "al medir la efectividad, la evaluación participativa puede no satisfacer el rigor metodológico de la comunidad científica".

¿De acuerdo o en desacuerdo?

***

Este número del Son de Tambora expresa un punto de vista personal; ha sido escrito y firmado por su autor. Las opiniones que aquí se expresan reflejan su pensamiento individual y no necesariamente, el de La Iniciativa de Comunicación o el de sus socios.

***

El Son de Tambora pretende cubrir una amplia gama de actividades acerca de la comunicación para el desarrollo. La inclusión de un tema o idea en el boletín no implica apoyo o acuerdo de los socios.

Envíe información para el Son de Tambora a Juana Marulanda, Editora, jmarulanda@comminit.com