|
Average Rating: no ratings submitted
Desafíos Metodológicos para Evaluar la Comunicación para el Cambio de Comportamiento (CCC)
CV Autor
Bertrand y Kincaid
Date
Summary
En lo que se refiere a la participación comunitaria,
Bertrand y Kincaid (1996) publicaron una lista
de indicadores del proceso que miden las actividades
realizadas pero no los resultados logrados. Los objetivos de la
participación comunitaria pueden incluir—aunque no
limitarse a—cambios de comportamientos en aspectos
de la salud, pero también pueden abarcar objetivos
como desarrollar la capacidad gerencial, fortalecer la
infraestructura organizacional, motivar la participación
de distintos subgrupos, y así sucesivamente. A continuación, un resumen de los desafíos enunciados en la investigación.
Texto Completo
La evaluación de los programas de CCC presenta una
serie de desafíos metodológicos que abarcan, pero no
se limitan, a los siguientes:
- En los programas que tienen un componente de
comunicación masiva, los evaluadores no
pueden identificar un grupo control apropiado
(o un grupo control siquiera) y, por lo tanto, no
pueden descartar los factores distorsionadores
o factores de confusión (el problema de la
atribución).
En la evaluación de programas a nivel del campo,
muchos evaluadores han tenido dificultad en establecer
un grupo control, a menudo más por razones
administrativas (por ejemplo, por falta de tiempo, falta
de dinero, por el poco interés en evaluación, por la
renuencia a dejar sin la intervención que se desea
implementar a una parte de la audiencia objetivo por el
bien de la investigación) que por razones técnicas. Sin
embargo, cuando los programas tienen un componente
de comunicación masiva, resulta prácticamente
imposible establecer un grupo control (con asignación
aleatoria de los sujetos), o incluso un grupo de
comparación (una población con características socio-
demográficas similares), que no esté expuesto a la
intervención de comunicación. Sin un grupo control o
de comparación, no se puede responder concretamente
a la pregunta: “¿Qué hubiera sucedido sin la
intervención?” Por lo tanto, aunque la evaluación
muestre el incremento deseado en las variables de
resultado, el efecto no se puede atribuir de manera
inequívoca a la intervención de comunicación, pues es
probable que otros factores distorsionadores o factores
de confusión (por ejemplo, una actividad de
comunicación promovida por otra organización, la
inestabilidad política, un desastre natural, la exposición
a los medios de comunicación masiva en general),
pudieran haber dado origen o contribuido a dar origen
al cambio observado (o a la falta de dicho cambio).
Un enfoque alternativo para evaluar la eficacia de las
intervenciones de CCC consiste en realizar entre la
audiencia objetivo un estudio de línea basal y uno de
seguimiento, para medir:
- Una serie de variables en las ideas, o variables
ideacionales, que representan la secuencia de pasos
hacia el cambio de comportamiento1 (véase el marco
conceptual de la Gráfica II.F.1);
- Las características socio-demográficas de los
participantes; y
- Los datos de la intensidad de la exposición a los
mensajes específicos del programa de comunicación
(por ejemplo, con base en la recordación de los
mensajes específicos, en el número de canales o
en una combinación de ambos).
Este tercer tipo de datos (la intensidad de la exposición)
permite al evaluador probar la relación “dosis-respuesta”
como posible factor determinante de cada una de las
variables ideacionales, después de controlar por los
factores sociodemográficos (por ejemplo, la educación)
cuya infuencia es conocida en el comportamiento en
aspectos relacionados con la salud. Aunque esta
descripción es bastante simplista para el diseño y el
análisis estadístico que esto implica, sí explica el porqué
se seleccionaron los indicadores que se mecionarán más adelante.
Kincaid señala cuatro condiciones que deben estar
presentes para que los evaluadores puedan inferir una
atribución causal: (1) la observación de un cambio o
diferencia en la población de interés, (2) una correlación entre la exposición a la intervención y el resultado
esperado, (3) evidencia de que la exposición a la
intervención ocurrió antes que se diera el cambio en el
resultado (es decir, el orden en que ocurren los eventos)
y (4) el control o eliminación de los factores de
confusión (o efectos distorsionadores). Estas
condiciones no resuelven totalmente el problema de la
falta de un grupo control, pero Kincaid argumenta que
sí es posible obtener resultados convincentes del efecto
de los programas de comunicación, si se combina un
tipo de evaluación con base en la teoría con los patrones
de influencia observables en los datos, aún en los
programas que tienen un componente de comunicación
masiva. Para más detalles sobre estos temas, se
recomienda consultar el trabajo de Bertrand y Kincaid
(1996). entre la exposición a la intervención y el resultado
esperado, (3) evidencia de que la exposición a la
intervención ocurrió antes que se diera el cambio en el
resultado (es decir, el orden en que ocurren los eventos)
y (4) el control o eliminación de los factores de
confusión (o efectos distorsionadores). Estas
condiciones no resuelven totalmente el problema de la
falta de un grupo control, pero Kincaid argumenta que
sí es posible obtener resultados convincentes del efecto
de los programas de comunicación, si se combina un
tipo de evaluación con base en la teoría con los patrones
de influencia observables en los datos, aún en los
programas que tienen un componente de comunicación
masiva. Para más detalles sobre estos temas, se
recomienda consultar el trabajo de Bertrand y Kincaid
(1996).
Todas las áreas operativas de los programas de PF/SR
trabajan bajo cierta presión para demostrar su eficacia,
pero la presión ha sido particularmente fuerte para los
programas de CCC. Una razón para ello es que estos
programas afirman lograr cambios de comportamiento
entre la población y, al hacerlo, invitan a que se les
responda con un “demuéstrelo.” Otra razón es que la
gama de factores de confusión tiene el potencial de ser
mayor para la CCC que para las otras áreas
operativas. Por ejemplo, el sistema logístico de
anticonceptivos y medicamentos tiene pocas
probabilidades de mejorar espontáneamente sin las
intervenciones específicas de los programas (por
ejemplo, la capacitación, el equipo). De la misma
manera, los proveedores de servicios en las clínicas
tienen pocas probabilidades de encontrarse casualmente
con las instrucciones para insertar o retirar el
NORPLANT; más bien la única manera de aprender
dicha técnica es por medio de un evento de capacitación
específico. En contraste, es muy probable que el público
en general se entere de la transmisión del VIH por medio
de acciones ajenas al programa (por ejemplo, por la
amplia cobertura que los medios de los Estados Unidos
dieron al jugador de baloncesto Magic Johnson cuando
anunció públicamente que era VIH seropositivo). De
tal manera que, entre las distintas áreas operativas o
funcionales, los programas de CCC tienen la carga de
tener que comprobar, con la evidencia más rigurosa,
que los cambios de comportamiento observados a nivel
de la población son el resultado de sus intervenciones y
no de otros factores de confusión del contexto.
- Se hizo una encuesta de línea basal, pero carecía
de ciertos indicadores clave.
En algunos casos, el grupo que dirige la encuesta de la
línea basal es distinto al que hace la evaluación, de tal
manera que el primer grupo podría no haber pensado
en incluir algunos indicadores que posteriormente un
evaluador podría querer o necesitar. Aunque el mismo
grupo desempeñara ambas funciones, podría ocurrir
algo que no se contempló al hacer el estudio de línea
basal. Por ejemplo, en un estudio realizado en el
Departamento de Quiché en Guatemala, se hizo un
estudio de línea basal con el propósito explícito de
evaluar un programa con intervenciones múltiples. Sin
embargo, las personas que diseñaron el estudio no sabían
que el personal del programa estaba produciendo un
video sobre problemas de salud reproductiva, cuyo
libreto estaba narrado en el idioma Maya local y giraba
alrededor de las familias Mayas. Los directores del
programa valoraron subjetivamente este vehículo de
comunicación como el medio más efectivo para “llegar”
a esta comunidad (conocida tradicionalmente por ser
muy cerrada a personas extrañas) con mensajes sobre
el espaciamiento de los embarazos y la salud
reproductiva. Sin embargo, el estudio no incluyó
ninguna pregunta para probar esta premisa, por lo que
la eficacia del video fue puramente especulativa.
Este problema se puede presentar también si la
organización que diseña la investigación deja la
responsabilidad de recopilar los datos en manos de una
empresa de investigación de mercados. Esta última -
no entendiendo la importancia de ciertas preguntas
específicas - las puede eliminar del cuestionario (para
acortar la duración de la entrevista, para mejorar el flujo
de las preguntas o por otras razones que podrían
parecerle lógicas). Sin embargo, el resultado es que
hace falta información clave al hacer los análisis. Este
problema se relaciona con otro mayor: encontrar y
trabajar de la mano con una agencia de investigación
de mercados que sea confiable, que pueda garantizar el
control de la calidad en la recopilación de los datos y
que haga un análisis estadístico correcto al reportar los
resultados.
- Es probable que el intervalo de tiempo entre el
programa de comunicación y la evaluación de
seguimiento fuera muy corto o muy largo.
No hay un intervalo de tiempo “establecido” o
“correcto” entre el lanzamiento de un programa de
comunicación y la evaluación de seguimiento. Las
agencias publicitarias que trabajan con presupuestos
multimillonarios en los países desarrollados esperan ver
los efectos de una campaña reflejados en las ventas en
cuestión de semanas. Sin embargo, los cambios de
comportamiento en los aspectos de salud reproductiva
que están culturalmente arraigados, pueden tomar meses
o hasta años en lograrse, por lo que el intervalo entre el
lanzamiento y la evaluación suele, más que por razones
técnicas, dictarse por decisiones administrativas.
Como resultado de todo esto, el intervalo de tiempo
puede ser muy corto o muy largo. Un intervalo “muy
corto” tiende a ocurrir cuando el proyecto debe
completarse dentro de un período de tiempo específico
determinado por el donante (por ejemplo, al final del
proyecto). A menudo sucede que un proyecto que debía
tener un período extenso para implementar la
intervención, termina teniendo poco tiempo porque
ocurre algo que retrasa la fase inicial del proyecto y,
por lo tanto, se ve forzado a disminuir el tiempo efectivo
de implementación del programa. En tal caso, es probable que el programa no muestre resultados simplemente
porque ha transcurrido muy poco tiempo para que los
efectos se afiancen.
Un intervalo “muy largo” ocurre cuando la
implementación se hace conforme al cronograma, pero
la evaluación de seguimiento se atrasa, muchas veces
por razones administrativas (por ejemplo, porque los
fondos no están disponibles, porque el personal se asigna
a otra actividad), o por factores que están fuera del con-
trol del programa (por ejemplo, por la temporada de
huracanes o temporales). Cuando el intervalo de tiempo
entre la intervención de comunicación y la evaluación
de seguimiento se extiende exageradamente, hay más
probabilidades de que intervengan otros factores
distorsionadores o factores de confusión.
- Es probable que la organización no tenga el
tiempo o el dinero necesarios para hacer una
evaluación adecuada.
Este problema de ninguna manera es exclusivo de la
CCC, sino que aplica de igual manera a casi todas las
secciones del Compendio. En términos de tiempo, el
tener que conducir un estudio de línea basal antes de
lanzar la comunicación puede ocasionar un retraso
inaceptable, si el programa tiene un calendario
apretado. En términos de dinero, los gerentes de
programa muchas veces sienten que los fondos estarían
mejor orientados a hacer más de lo que el programa
hace aunque esto signifique que hacen menos en
términos de evaluación o que no asignen las partidas
para este rubro. Es probable que esta forma de pensar
esté disminuyendo a medida que incrementa la presión
de la responsabilidad de rendir cuentas, pero es evidente
aún en muchas organizaciones.
- Obtener formularios de consentimiento para los
temas que involucran al ser humano suele
requerir esfuerzo, tiempo y dinero.
Algunas organizaciones, si no es que la mayoría,
requieren que toda propuesta de investigación que in-
volucra al ser humano se someta a un exhaustivo proceso
de revisión. El que generalmente lleva a cabo este
proceso de revisión y aprobación es un Comité de
Investigación Humana; y el proceso implica,
frecuentemente, tener que presentar una propuesta con
todos los protocolos de la investigación y los
instrumentos del estudio, los formularios de
consentimiento, la aprobación de la Oficina de Revisión
Interna del país y una traducción oficial de los
Formularios de Consentimiento Oral al idioma local.
En la mayoría de los países en desarrollo que tienen
programas de comunicación, las barreras culturales y
las barreras de idioma contribuyen a que haya malas
interpretaciones de los formularios de consentimiento. En
primer lugar, muchas personas no saben leer y, por lo
tanto, pueden no estar dispuestas o no estar en
condiciones de firmar un documento. En segundo lugar,
aunque sepan leer y firmar, pueden sospechar de firmar
cualquier documento que parezca oficial por temor
a que sea utilizado con otros fines. Además, en muchas
situaciones existe la percepción de que la necesidad de
firmar algo implica una agenda escondida, que de pronto
puede ser peligrosa.
Otro problema para las organizaciones es obtener la
aprobación de un Comité de Investigación
Local. Algunas veces es difícil o requiere mucho tiempo
y dinero llenar los requisitos del Comité de Investigación
Humana y otros requisitos, como tener que presentar el
cuestionario “final” con su traducción al idioma
local. Con bastante frecuencia, obtener la aprobación
de uno de estos Comités de Investigación Humana puede
tomar hasta seis meses, siendo el promedio de tres a
cuatro meses. Este retraso plantea serios problemas de
tiempo para los programas.
PDF Link
Related Summaries
Fuente
Tomado del informe Taller Regional Latinoamericano y del Caribe "Estrategias para mejorar el cuidado del recién nacido y recién nacida en la comunidad", Tegucigalpa, Honduras - 31 de marzo al 2 de abril de 2004 .
Placed on the CILA site June 14 2005
Last Updated June 14 2005
How useful did you find the knowledge and contacts on this page to your work?
Post your comments (review comments from others below):
COMMENTS POSTED
|