El primer componente de la evaluación de la ICS fue un estudio del proceso de implementación, realizado entre Julio y Septiembre 1999. El estudio del proceso de implementación se realizó en Nigeria, Uganda, Kenya, Tanzania y Mozambique en la primera fase. Se adelantó mediante: entrevistas a personal clave de UNICEF y sus aliados; una revisión de la documentación; y entrevistas y discusiones de grupo con usuarios de Sara y miembros de la audiencia a la que estaba dirigido el proyecto.

El segundo componente de la evaluación fue un estudio de los resultados, que tenía componentes tanto cuantitativos como cualitativos. Se esperaba que estos resultados le permitirían a UNICEF y sus aliados hacerle un seguimiento a los avances de la iniciativa, y serían también necesarios para la rendición de cuentas. El componente cualitativo de la evaluación de los resultados fue diseñado para estudiar el efecto de la ICS sobre el desarrollo y cambio del comportamiento. Esto se realizó mediante estudios cualitativos de caso en comunidades de Uganda y Kenya. Un conjunto de estudios de caso se realizó entre 1999 y 2000. Adicionalmente a la extensa investigación previa para cada episodio, esta investigación provee información sobre la medida en la cual la ICS está respondiendo a las prioridades de las poblaciones locales.

El estudio se centra en cuatro temas:

1. ¿Cómo han influido las políticas de UNICEF sobre la implementación de ICS?
2. ¿Cómo ha influido sobre la implementación de la ICS la actitud de los programas nacionales de UNICEF hacia ella?
3. ¿Cómo ha sido la colaboración de UNICEF con sus asociados sociales, intersectoriales, en la implementación de la ICS?
4. ¿Cómo han influido factores del contexto (económico, social, cultural, religioso) sobre el proceso de implementación?

El protocolo para evaluar el proceso y los resultados de la Iniciativa de Comunicación Sara (ICS), fue diseñado y supervisado por un experto en investigaciones independiente, de la Universidad de West Michigan, Estados Unidos (Russon, Nov. 2000). Los resultados se resumen a continuación. La capacidad en cinco países involucrados , fue también evaluada, con el objetivo de identificar los grupos de investigación que deberían encargarse de esta labor.

Los resultados incluyeron los siguientes temas centrales:

• Un ambiente facilitador dentro de las oficinas locales de UNICEF, con un fuerte liderazgo que apoye a la ICS, es de gran importancia.
• Una fuerte abogacía a favor de Sara dentro de UNICEF, fue de gran importancia para hacer avanzar el programa.
• La ICS ha progresado donde se ha hecho una campaña de mercadeo interna exitosa, para ganar apoyo dentro de UNICEF.
• Es necesario fomentar un sentido amplio de apropiación dentro de cada país, para que los asociados que implementan la ICS sientan que la iniciativa les pertenece.
• Manejo de marca: se debe encontrar un equilibrio entre el control de calidad y la necesidad de desarrollar materiales de Sara en cada país.
• Debido al intenso, detallado proceso de preparación, el cronograma de producción ha sido irregular. Aunque esto le permite a los países maximizar el uso de cada paquete a medida que es producido, en algunos casos esto dificulta las campañas de mercadeo.
• La financiación de ICS a nivel regional no siempre ha sido constante, lo que ha demorado la implementación en algunos países. En contraste, en países que han conseguido su propia financiación se ha podido ampliar las actividades más rápidamente.
• El proceso regional de implementación ha sido necesario para sinergizar las capacidades regionales de creatividad y producción. Gracias a las actividades de creación de capacidad del equipo regional, varios países han desarrollado núcleos de escritores y artistas capaces de producir materiales para Sara de buena calidad, para uso nacional.
• Los factores de contexto tienen un importante papel en la implementación de la Iniciativa de Comunicación Sara. Por ejemplo, en países con un poder descentralizado a nivel de distrito, la ICS ha podido incorporarse a los procesos de planeación a nivel de distrito.

Resultados del Estudio Cuantitativo

El estudio se adelantó en 25 distritos en la parte continental de Tanzania, donde la ICS ha sido implementada por 2-3 años y ha alcanzado un nivel de madurez. Entre los hallazgos importantes, reportados en Julio 1999, están (Mbago y Sichona, Nov. 1999):

• De 635 niñas entrevistadas en 25 distritos, el 32.4% podía identificar correctamente a Sara cuando se les mostraba una ilustración.
• El 18.4% de las niñas entrevistadas afirmaba haber leído uno de los comics de la ICS.
• El 14.8% dijo haber compartido las historias con otras niñas.
• El 14.3% de las niñas entrevistadas ha estado expuesta a los comics en su escuela.
• El 10.2% de las niñas entrevistadas había escuchado el programa radial.
• El 15.3% de las niñas entrevistadas había visto un video de Sara.
• El 13.4% de las niñas entrevistadas había visto el afiche del episodio 1.

Se concluyó que donde Sara ha sido utilizada en la programación en forma concertada, rápidamente ha empezado ha ser reconocida por la audiencia a la que se quiere llegar. En solo dos años de programación, ya es reconocida por una tercera parte de las niñas de los distritos en que funciona la iniciativa. El bajo reconocimiento de los medios masivos se atribuyó a que el acceso a TV en esos distritos era por lo general bajo, y a que los programas radiales de Sara habían sido transmitidos únicamente en onda corta por la BBC y aun no por Radio Tanzania, en el momento del estudio. Sin embargo, se concluyó que el reconocimiento general de Sara era una señal positiva.

Resultados de los Estudios Cualitativos de Evaluación

El tercer componente de la evaluación fue el estudio cualitativo de los resultados, que aportaba información sobre el papel de la Iniciativa de Comunicación sobre el desarrollo y cambio de los comportamientos. Este se enfocó en:

1. Cómo las destrezas de vida que las niñas aprendían a través de ICS, fomentaban su participación en el desarrollo de sus familias y sus comunidades, y
2. Cómo la Iniciativa ha influido sobre las relaciones de genero de niños y niñas.

Estos estudios los adelantaron agencias de investigación de Kenya y Uganda, dos países que han tenido cierto nivel de actividad en la implementación. El estudio de Kenya fue adelantado por el Institute of Development Studies (IDS, 2000), afiliado al College of Humanities and Social Sciences de la Universidad de Nairobi. El estudio de Uganda fue realizado por el Makerere Institute of Social Research de la Makerere University, Kampala.

"La investigación incluyó entrevistas a profundidad y discusiones de grupo. Se realizaron estudios de caso de algunas niñas y situaciones, y se trabajó estrechamente con las niñas y sus comunidades, para explorar el impacto de la ICS en sus vidas. Es claro que esas niñas adolescentes habían adquirido destrezas que les permitían discernir entre buenas y malas intenciones. Es interesante que niñas adolescentes reconocen los peligros asociados con el establecimiento de relaciones con hombres a través de la aceptación de regalos. Aunque implica mucho coraje rechazar regalos, es claro para la mayoría de las adolescentes que los pequeños regalos de los hombres constituyen la principal amenaza para su supervivencia".

Conclusiones de la Evaluación

El análisis de los diferentes estudios realizados durante la evaluación, arrojan evidencia de que Sara tiene el potencial para ser reconocida en toda el África al Sur del Sahara como el símbolo del empoderamiento de las niñas frente al VIH/SIDA, y frente a otras amenazas para su salud y bienestar. Se le ve como un modelo positivo de los derechos de las niñas en áreas en las que se han hecho esfuerzos razonables de programación, utilizando las historias y herramientas de Sara. Sin embargo, su adopción por parte de las oficinas nacionales de UNICEF ha sido desigual, debido a los procesos de toma de decisiones en cada una de las oficinas. Los evaluadores recomendaron que UNICEF capitalizara las inversiones realizadas y continuara apoyando y expandiendo el proceso de implementación de la Iniciativa en los países del África sub-sahariana.