Red de La Iniciativa de Comunicación

Donde la comunicación y los medios son parte esencial del desarrollo social y económico de América Latina y el Caribe

CILA - Boletines electrónicos


Average Rating: no ratings submitted

Desafíos Metodológicos para Evaluar la Comunicación para el Cambio de Comportamiento (CCC)

CV Autor

Bertrand y Kincaid

Date

1996

Summary

En lo que se refiere a la participación comunitaria,
Bertrand y Kincaid (1996) publicaron una lista
de indicadores del proceso que miden las actividades
realizadas pero no los resultados logrados. Los objetivos de la
participación comunitaria pueden incluir—aunque no
limitarse a—cambios de comportamientos en aspectos
de la salud, pero también pueden abarcar objetivos
como desarrollar la capacidad gerencial, fortalecer la
infraestructura organizacional, motivar la participación
de distintos subgrupos, y así sucesivamente. A continuación, un resumen de los desafíos enunciados en la investigación.

Texto Completo

La evaluación de los programas de CCC presenta una
serie de desafíos metodológicos que abarcan, pero no
se limitan, a los siguientes:

  • En los programas que tienen un componente de
    comunicación masiva, los evaluadores no
    pueden identificar un grupo control apropiado
    (o un grupo control siquiera) y, por lo tanto, no
    pueden descartar los factores distorsionadores
    o factores de confusión (el problema de la
    atribución).



    En la evaluación de programas a nivel del campo,
    muchos evaluadores han tenido dificultad en establecer
    un grupo control, a menudo más por razones
    administrativas (por ejemplo, por falta de tiempo, falta
    de dinero, por el poco interés en evaluación, por la
    renuencia a dejar sin la intervención que se desea
    implementar a una parte de la audiencia objetivo por el
    bien de la investigación) que por razones técnicas. Sin
    embargo, cuando los programas tienen un componente
    de comunicación masiva, resulta prácticamente
    imposible establecer un grupo control (con asignación
    aleatoria de los sujetos), o incluso un grupo de
    comparación (una población con características socio-
    demográficas similares), que no esté expuesto a la
    intervención de comunicación. Sin un grupo control o
    de comparación, no se puede responder concretamente
    a la pregunta: “¿Qué hubiera sucedido sin la
    intervención?” Por lo tanto, aunque la evaluación
    muestre el incremento deseado en las variables de
    resultado, el efecto no se puede atribuir de manera
    inequívoca a la intervención de comunicación, pues es
    probable que otros factores distorsionadores o factores
    de confusión (por ejemplo, una actividad de
    comunicación promovida por otra organización, la
    inestabilidad política, un desastre natural, la exposición
    a los medios de comunicación masiva en general),
    pudieran haber dado origen o contribuido a dar origen
    al cambio observado (o a la falta de dicho cambio).


    Un enfoque alternativo para evaluar la eficacia de las
    intervenciones de CCC consiste en realizar entre la
    audiencia objetivo un estudio de línea basal y uno de
    seguimiento, para medir:

    • Una serie de variables en las ideas, o variables
      ideacionales, que representan la secuencia de pasos
      hacia el cambio de comportamiento1 (véase el marco
      conceptual de la Gráfica II.F.1);
    • Las características socio-demográficas de los
      participantes; y
    • Los datos de la intensidad de la exposición a los
      mensajes específicos del programa de comunicación
      (por ejemplo, con base en la recordación de los
      mensajes específicos, en el número de canales o
      en una combinación de ambos).


    Este tercer tipo de datos (la intensidad de la exposición)
    permite al evaluador probar la relación “dosis-respuesta”
    como posible factor determinante de cada una de las
    variables ideacionales, después de controlar por los
    factores sociodemográficos (por ejemplo, la educación)
    cuya infuencia es conocida en el comportamiento en
    aspectos relacionados con la salud. Aunque esta
    descripción es bastante simplista para el diseño y el
    análisis estadístico que esto implica, sí explica el porqué
    se seleccionaron los indicadores que se mecionarán más adelante.


    Kincaid señala cuatro condiciones que deben estar
    presentes para que los evaluadores puedan inferir una
    atribución causal: (1) la observación de un cambio o
    diferencia en la población de interés, (2) una correlación entre la exposición a la intervención y el resultado
    esperado, (3) evidencia de que la exposición a la
    intervención ocurrió antes que se diera el cambio en el
    resultado (es decir, el orden en que ocurren los eventos)
    y (4) el control o eliminación de los factores de
    confusión (o efectos distorsionadores). Estas
    condiciones no resuelven totalmente el problema de la
    falta de un grupo control, pero Kincaid argumenta que
    sí es posible obtener resultados convincentes del efecto
    de los programas de comunicación, si se combina un
    tipo de evaluación con base en la teoría con los patrones
    de influencia observables en los datos, aún en los
    programas que tienen un componente de comunicación
    masiva. Para más detalles sobre estos temas, se
    recomienda consultar el trabajo de Bertrand y Kincaid
    (1996). entre la exposición a la intervención y el resultado
    esperado, (3) evidencia de que la exposición a la
    intervención ocurrió antes que se diera el cambio en el
    resultado (es decir, el orden en que ocurren los eventos)
    y (4) el control o eliminación de los factores de
    confusión (o efectos distorsionadores). Estas
    condiciones no resuelven totalmente el problema de la
    falta de un grupo control, pero Kincaid argumenta que
    sí es posible obtener resultados convincentes del efecto
    de los programas de comunicación, si se combina un
    tipo de evaluación con base en la teoría con los patrones
    de influencia observables en los datos, aún en los
    programas que tienen un componente de comunicación
    masiva. Para más detalles sobre estos temas, se
    recomienda consultar el trabajo de Bertrand y Kincaid
    (1996).



    Todas las áreas operativas de los programas de PF/SR
    trabajan bajo cierta presión para demostrar su eficacia,
    pero la presión ha sido particularmente fuerte para los
    programas de CCC. Una razón para ello es que estos
    programas afirman lograr cambios de comportamiento
    entre la población y, al hacerlo, invitan a que se les
    responda con un “demuéstrelo.” Otra razón es que la
    gama de factores de confusión tiene el potencial de ser
    mayor para la CCC que para las otras áreas
    operativas. Por ejemplo, el sistema logístico de
    anticonceptivos y medicamentos tiene pocas
    probabilidades de mejorar espontáneamente sin las
    intervenciones específicas de los programas (por
    ejemplo, la capacitación, el equipo). De la misma
    manera, los proveedores de servicios en las clínicas
    tienen pocas probabilidades de encontrarse casualmente
    con las instrucciones para insertar o retirar el
    NORPLANT; más bien la única manera de aprender
    dicha técnica es por medio de un evento de capacitación
    específico. En contraste, es muy probable que el público
    en general se entere de la transmisión del VIH por medio
    de acciones ajenas al programa (por ejemplo, por la
    amplia cobertura que los medios de los Estados Unidos
    dieron al jugador de baloncesto Magic Johnson cuando
    anunció públicamente que era VIH seropositivo). De
    tal manera que, entre las distintas áreas operativas o
    funcionales, los programas de CCC tienen la carga de
    tener que comprobar, con la evidencia más rigurosa,
    que los cambios de comportamiento observados a nivel
    de la población son el resultado de sus intervenciones y
    no de otros factores de confusión del contexto.


  • Se hizo una encuesta de línea basal, pero carecía
    de ciertos indicadores clave.



    En algunos casos, el grupo que dirige la encuesta de la
    línea basal es distinto al que hace la evaluación, de tal
    manera que el primer grupo podría no haber pensado
    en incluir algunos indicadores que posteriormente un
    evaluador podría querer o necesitar. Aunque el mismo
    grupo desempeñara ambas funciones, podría ocurrir
    algo que no se contempló al hacer el estudio de línea
    basal. Por ejemplo, en un estudio realizado en el
    Departamento de Quiché en Guatemala, se hizo un
    estudio de línea basal con el propósito explícito de
    evaluar un programa con intervenciones múltiples. Sin
    embargo, las personas que diseñaron el estudio no sabían
    que el personal del programa estaba produciendo un
    video sobre problemas de salud reproductiva, cuyo
    libreto estaba narrado en el idioma Maya local y giraba
    alrededor de las familias Mayas. Los directores del
    programa valoraron subjetivamente este vehículo de
    comunicación como el medio más efectivo para “llegar”
    a esta comunidad (conocida tradicionalmente por ser
    muy cerrada a personas extrañas) con mensajes sobre
    el espaciamiento de los embarazos y la salud
    reproductiva. Sin embargo, el estudio no incluyó
    ninguna pregunta para probar esta premisa, por lo que
    la eficacia del video fue puramente especulativa.


    Este problema se puede presentar también si la
    organización que diseña la investigación deja la
    responsabilidad de recopilar los datos en manos de una
    empresa de investigación de mercados. Esta última -
    no entendiendo la importancia de ciertas preguntas
    específicas - las puede eliminar del cuestionario (para
    acortar la duración de la entrevista, para mejorar el flujo
    de las preguntas o por otras razones que podrían
    parecerle lógicas). Sin embargo, el resultado es que
    hace falta información clave al hacer los análisis. Este
    problema se relaciona con otro mayor: encontrar y
    trabajar de la mano con una agencia de investigación
    de mercados que sea confiable, que pueda garantizar el
    control de la calidad en la recopilación de los datos y
    que haga un análisis estadístico correcto al reportar los
    resultados.

  • Es probable que el intervalo de tiempo entre el
    programa de comunicación y la evaluación de
    seguimiento fuera muy corto o muy largo.



    No hay un intervalo de tiempo “establecido” o
    “correcto” entre el lanzamiento de un programa de
    comunicación y la evaluación de seguimiento. Las
    agencias publicitarias que trabajan con presupuestos
    multimillonarios en los países desarrollados esperan ver
    los efectos de una campaña reflejados en las ventas en
    cuestión de semanas. Sin embargo, los cambios de
    comportamiento en los aspectos de salud reproductiva
    que están culturalmente arraigados, pueden tomar meses
    o hasta años en lograrse, por lo que el intervalo entre el
    lanzamiento y la evaluación suele, más que por razones
    técnicas, dictarse por decisiones administrativas.


    Como resultado de todo esto, el intervalo de tiempo
    puede ser muy corto o muy largo. Un intervalo “muy
    corto” tiende a ocurrir cuando el proyecto debe
    completarse dentro de un período de tiempo específico
    determinado por el donante (por ejemplo, al final del
    proyecto). A menudo sucede que un proyecto que debía
    tener un período extenso para implementar la
    intervención, termina teniendo poco tiempo porque
    ocurre algo que retrasa la fase inicial del proyecto y,
    por lo tanto, se ve forzado a disminuir el tiempo efectivo
    de implementación del programa. En tal caso, es probable que el programa no muestre resultados simplemente
    porque ha transcurrido muy poco tiempo para que los
    efectos se afiancen.


    Un intervalo “muy largo” ocurre cuando la
    implementación se hace conforme al cronograma, pero
    la evaluación de seguimiento se atrasa, muchas veces
    por razones administrativas (por ejemplo, porque los
    fondos no están disponibles, porque el personal se asigna
    a otra actividad), o por factores que están fuera del con-
    trol del programa (por ejemplo, por la temporada de
    huracanes o temporales). Cuando el intervalo de tiempo
    entre la intervención de comunicación y la evaluación
    de seguimiento se extiende exageradamente, hay más
    probabilidades de que intervengan otros factores
    distorsionadores o factores de confusión.

  • Es probable que la organización no tenga el
    tiempo o el dinero necesarios para hacer una
    evaluación adecuada.



    Este problema de ninguna manera es exclusivo de la
    CCC, sino que aplica de igual manera a casi todas las
    secciones del Compendio. En términos de tiempo, el
    tener que conducir un estudio de línea basal antes de
    lanzar la comunicación puede ocasionar un retraso
    inaceptable, si el programa tiene un calendario
    apretado. En términos de dinero, los gerentes de
    programa muchas veces sienten que los fondos estarían
    mejor orientados a hacer más de lo que el programa
    hace aunque esto signifique que hacen menos en
    términos de evaluación o que no asignen las partidas
    para este rubro. Es probable que esta forma de pensar
    esté disminuyendo a medida que incrementa la presión
    de la responsabilidad de rendir cuentas, pero es evidente
    aún en muchas organizaciones.

  • Obtener formularios de consentimiento para los
    temas que involucran al ser humano suele
    requerir esfuerzo, tiempo y dinero.



    Algunas organizaciones, si no es que la mayoría,
    requieren que toda propuesta de investigación que in-
    volucra al ser humano se someta a un exhaustivo proceso
    de revisión. El que generalmente lleva a cabo este
    proceso de revisión y aprobación es un Comité de
    Investigación Humana; y el proceso implica,
    frecuentemente, tener que presentar una propuesta con
    todos los protocolos de la investigación y los
    instrumentos del estudio, los formularios de
    consentimiento, la aprobación de la Oficina de Revisión
    Interna del país y una traducción oficial de los
    Formularios de Consentimiento Oral al idioma local.


    En la mayoría de los países en desarrollo que tienen
    programas de comunicación, las barreras culturales y
    las barreras de idioma contribuyen a que haya malas
    interpretaciones de los formularios de consentimiento. En
    primer lugar, muchas personas no saben leer y, por lo
    tanto, pueden no estar dispuestas o no estar en
    condiciones de firmar un documento. En segundo lugar,
    aunque sepan leer y firmar, pueden sospechar de firmar
    cualquier documento que parezca oficial por temor
    a que sea utilizado con otros fines. Además, en muchas
    situaciones existe la percepción de que la necesidad de
    firmar algo implica una agenda escondida, que de pronto
    puede ser peligrosa.


    Otro problema para las organizaciones es obtener la
    aprobación de un Comité de Investigación
    Local. Algunas veces es difícil o requiere mucho tiempo
    y dinero llenar los requisitos del Comité de Investigación
    Humana y otros requisitos, como tener que presentar el
    cuestionario “final” con su traducción al idioma
    local. Con bastante frecuencia, obtener la aprobación
    de uno de estos Comités de Investigación Humana puede
    tomar hasta seis meses, siendo el promedio de tres a
    cuatro meses. Este retraso plantea serios problemas de
    tiempo para los programas.

PDF Link

Related Summaries

Fuente

Tomado del informe Taller Regional Latinoamericano y del Caribe "Estrategias para mejorar el cuidado del recién nacido y recién nacida en la comunidad", Tegucigalpa, Honduras - 31 de marzo al 2 de abril de 2004 .


Placed on the CILA site June 14 2005
Last Updated June 14 2005



How useful did you find the knowledge and contacts on this page to your work?


0
No votes yet
Your rating: None


COMMENTS POSTED


Uso de los medios

¿Cuál medio de comunicación será el más utilizado en los próximos años?