1 Gac Sanit. 2008;22(Supl 1):1-7
Los siete pecados capitales de la evaluación del impacto*. Informe SESPAS 2008
Cesar G. Victora / Iná S. SantosUniversidade Federal de Pelotas, Brasil.
(The seven deadly sins of impact evaluations)
INTRODUCCIÓN
*El texto del artículo se basa en la conferencia Ernest Lluchdesarrollada por el autor principal durante el XII CONGRESOSESPAS en Barcelona, España, el 20 de junio de 2007. Eltítulo del trabajo fue inspirado por la obra del pintor flamencoHieronymus Bosch (1450-1516), «Los siete pecadoscapitales», expuesta en el Museo del Prado, en Madrid.
Correspondencia: Cesar G. Victora.Universidade Federal de Pelotas. Brasil.Correo electrónico: [emailprotected]
Ideas clave
• La evaluación del impacto de los programas de saludsuele ser limitada. Su ausencia permite el manteni-miento de programas inefectivos y el drenaje de re-cursos.
• El inicio tardío de la evaluación implica generalmen-te la ausencia de una línea de base para la inter-pretación posterior de resultados.
• La interpretación del impacto de un programa debeincluir la evaluación del proceso para poder com-prender los factores que intervinieron en el resul-tado.
• La metodología que se utilice en la evaluación del im-pacto debe permitir establecer si el programa funcionaen condiciones reales.
• La inclusión temprana y continuada de los gestoresaumenta la probabilidad de que los resultados de laevaluación se tengan en cuenta en la toma de deci-siones posterior.
• Los resultados de un programa dependen del con-texto social, político, económico y cultural. Un mismoprograma puede obtener resultados distintos encontextos diferentes.
• No sólo es importante evaluar el impacto global deun programa, sino hasta qué punto logra alcanzar alos distintos grupos sociales.
Introducción
Hay una creciente necesidad de resultados deevaluaciones del impacto de programas y pro-yectos en salud pública. La definición de nue-vas políticas públicas o la reformulación de las
ya existentes requieren, cada vez más, que estén ba-sadas en la evidencia de la efectividad de las accio-nes propuestas. No obstante, a pesar del gran núme-ro de programas normalmente implementados endiferentes lugares del mundo, muy pocos han sido oestán siendo objeto de evaluaciones del impacto. Lasrazones de este vacío son varias, e incluyen desde li-mitaciones económicas (debido a que no se destinanrecursos para la evaluación) hasta la falta de una cul-tura de evaluación entre los gestores y entre las agen-cias que financian los programas1. El objetivo de esteartículo es señalar, a la luz de la epidemiología y dela experiencia de los autores, siete limitaciones im-portantes de la evaluación del impacto de programasen salud pública.
No evaluar
El peor de todos los pecados es no evaluar. El hechode evaluar posee, como mínimo, el efecto pedagógi-co de ayudar a construir una cultura favorable a la eva-luación. Todos los años, se invierten miles de millonesde dólares en programas destinados a mejorar la salud,la educación y otros aspectos sociales en los paísesen vías de desarrollo. De éstos, sólo algunos se be-nefician de evaluaciones rigurosas, capaces de de-terminar su impacto real. Eso se aplica tanto a pro-gramas financiados por los propios gobiernos de lospaíses en vías desarrollo como a iniciativas patroci-nadas por agencias internacionales. La ausencia deevaluación lleva a que los programas inefectivos con-tinúen el drenaje de los escasos recursos disponibles,los que podrían ser invertidos en iniciativas con un im-pacto real sobre la salud de la población1.
02 Cap-0-Intro (001-007).qxp 1/4/08 12:48 Página 1
Iniciar tardíamente la evaluación
Idealmente, la planificación de la evaluación de losprogramas se debería realizar simultáneamente a suconcepción y diseño. Así, es más fácil identificar indi-cadores, realizar a tiempo la recogida de los datos dela línea de base y, en caso necesario, seleccionar gru-pos control para futuras comparaciones.
Utilizaremos como ejemplo la evaluación de la es-trategia de atención integral a las enfermedades preva-lentes de la infancia (AIEPI), desarrollada por la Orga-nización Mundial de la Salud y la UNICEF2. Estaestrategia se basa en tres pilares: apoyo al sistema desalud, desempeño de los profesionales de la salud, y edu-cación para la salud a la familia y a la comunidad. El es-tudio de evaluación multicéntrico de la AIEPI incluyó pro-yectos en cinco países3. En Bangladesh, la evaluaciónse inició antes del comienzo del programa y mostró unaumento creciente del promedio de consultas por niñosólo unos meses después de la implantación de la AIEPI4.Si la evaluación se hubiese iniciado más tardíamente,se habría perdido la estimación del tiempo de latencianecesario para que el efecto de la intervención sobre elcambio en el comportamiento (que conlleva la búsque-da de servicios de salud) se manifestase. Se habría per-dido también la importante observación de que, cuan-do se implantó el proyecto, los niveles de utilización eransimilares en las áreas de intervención y de control.
En cambio, el programa de supervivencia y desarrolloinfantil acelerado (ACSD, Accelerated Child Survival and
Development) de la UNICEF no comenzó a ser evalua-do hasta algunos años después de su implantación. Elproyecto, lanzado en 2002 en cerca de 100 distritos de11 países de África occidental, utiliza las intervencionesmás eficaces que se disponen: inmunización de niñosy gestantes, distribución de micronutrientes esenciales,promoción de la lactancia materna, suministro de salesde rehidratación oral para el manejo de la diarrea, y mos-quiteros tratados para proteger a las gestantes y los niñosdel paludismo. El primer esfuerzo de evaluación inclu-yó encuestas de cobertura en diversos distritos 2 añosdespués del inicio de la implementación. La ausencia deuna línea de base hace difícil la interpretación de los re-sultados; por ejemplo, si las diferencias encontradas entrelos distritos con y sin ACSD ya estaban presentes antesdel inicio de la implementación (datos todavía no publi-cados; para una descripción del programa, se puede con-sultar la siguiente página web: http://www.unicef.org/ health/index_childsurvival.html).
Evaluar el impacto sin evaluar el proceso
En la figura 1 se muestra de forma esquemática elmodelo de impacto de AEDPI y se indican los tres pi-lares sobre los que se apoya la estrategia de reducciónde la mortalidad infantil y la mejora del estado nutricional.Para que el efecto de la intervención pueda verificar-se, es necesario documentar mejoras en esos tres ele-mentos. En primer lugar, debe haber mejoras en los sis-
2
INTRODUCCIÓN
Gac Sanit. 2008;22(Supl 1):1-7
Introduccióny planificación
Mejoras en los sistemasde salud: medicamentos,vacunas, supervisión, etc.
Entrenamiento de lostrabajadores de salud yvisitas de seguimiento
Intervenciones en lasfamilias y en las
comunidades
Mejoras en la calidad deatención en los servicios
de salud
Mejoras en la búsquedade cuidados a la salud
y en el aumentoen la utilización
Mejoras en el manejodomiciliario y en el
cumplimiento de lasrecomendaciones
Redución de la mortalidadMejora del estado
nutricional
Figura 1. Modelo de impacto de la atención integral a las enfermedades prevalentes de la infancia (AIEPI). Modificado de Bruce et al3.
02 Cap-0-Intro (001-007).qxp 1/4/08 12:48 Página 2
temas de salud que garanticen la disponibilidad de va-cunas, medicamentos, la supervisión de la calidad dela asistencia, etc.; en segundo lugar, los profesionalesdeben ser entrenados en la estrategia y recibir visitasde supervisión para mantener los conocimientos ad-quiridos y, en tercer lugar, se debe educar a las fami-lias y comunidades. De acuerdo con este modelo, lasmejoras en los sistemas de salud y el entrenamientode los profesionales llevarían a un aumento en la cali-dad de la atención de los servicios de salud y a la con-secuente mejora del manejo de casos y de la adhesióna las recomendaciones. Las intervenciones dirigidas alas familias y a las comunidades, a su vez, conlleva-rían una adecuada búsqueda de atención en salud yel aumento de la utilización de los servicios de salud.Las mejoras en la calidad de la atención, en el mane-jo domiciliario de las enfermedades y en el aumento dela utilización conducirían al resultado deseado de re-ducir la mortalidad infantil y mejora del estado nutricional.
Este tipo de modelo conceptual de impacto es esen-cial para identificar los indicadores de proceso que re-quieren ser evaluados y los tipos de encuesta necesariospara medirlos, calcular el posible impacto de la estra-tegia y estimar el tamaño de la muestra de la evalua-ción. Su elaboración depende de la colaboración entrelos gestores –indicando los cambios que esperan ob-tener con el programa– y los evaluadores. El modelopropone que la evaluación se realice de forma progre-siva y se inicie con la medición de los indicadores deoferta, utilización y cobertura, antes de medir el impac-to propiamente dicho5. De acuerdo con ese modelo (fig. 2), al inicio se debe investigar si las intervencio-nes y sus estrategias de implementación están bien fun-damentadas técnicamente y son apropiadas al contexto
epidemiológico y asistencial del país (evaluación de laspolíticas y de la planificación basada en resultados). A continuación, si efectivamente se ofrece la atenciónadecuada en los servicios de salud y en la comunidad(evaluación de oferta). Después, si esta atención es uti-lizada por la comunidad (evaluación de utilización), deforma que se alcance un nivel adecuado de coberturaefectiva de la población (evaluación de cobertura). Lasevaluaciones del impacto sobre la morbilidad y la mor-talidad, el estado nutricional u otros indicadores bioló-gicos o del comportamiento únicamente deberían efec-tuarse si se ha respondido afirmativamente a estaspreguntas. La utilización de este procedimiento de eva-luación por etapas en la AIEPI, antes descrita, permi-tió interrumpirla en los países en que las evaluacionesiniciales mostraron que la implementación del progra-ma era insuficiente para alcanzar un impacto detecta-ble en la salud infantil.
La documentación de indicadores de proceso ayudaa entender –en el caso de programas con impacto sobrela salud– qué factores intervinieron en ese impacto; enel caso de los programas sin impacto, la evaluación delproceso permite identificar las medidas que se debenintroducir para perfeccionar el programa.
Usar una metodología inadecuada
Muchas evaluaciones de impacto se realizan me-diante estudios de eficacia, que investigan si las inter-venciones funcionan cuando se implantan en condicio-nes ideales. En estos estudios, en general, la intervenciónse implementa de forma integral, con excelente calidad,
3
Victora CG et al. Los siete pecados capitales de la evaluación del impacto
Gac Sanit. 2008;22(Supl 1):1-7
5Impacto
¿Hay un impacto sobre la saludy nutrición?
Cobertura efectiva4. ¿Se han alcanzado niveles adecuados decobertura efectiva en la población?
4
3 ¿Están siendo utilizados estos servicios por lapoblación?
Utilización
¿Se están proporcionando los servicios adecuados: – En los servicios de salud? – A nivel comunitario?
Provisión2
Las intervenciones y planes para la atención, ¿son técnicamente adecuadosy apropiados para el contexto epidemiológico y de sistema de salud?
Políticas de planificación1
Figura 2. Aproximación en escalera a la evaluación. Modificado de Bruce et al3.
02 Cap-0-Intro (001-007).qxp 1/4/08 12:48 Página 3
y alcanza una alta cobertura poblacional (incluidos losindividuos más pobres) y en poblaciones con gran ne-cesidad de tal intervención. Raramente se describen losfactores contextuales (esenciales para decidir sobre lacapacidad de generalización de los resultados) presentesen los lugares y servicios donde se realizan las eva-luaciones.
Los estudios de efectividad, por su parte, se plani-fican para responder si la intervención funciona en con-diciones reales. En este caso, las intervenciones se im-plementan de forma imperfecta, con una calidadintermedia, y alcanzan una cobertura parcial (menorentre los más pobres), en poblaciones con una nece-sidad de intervención, en general, menos crítica que enlos estudios de eficacia. También es posible que esténausentes ciertos factores contextuales esenciales parael éxito del programa, presentes, en cambio, en las eva-luaciones de eficacia.
El modelo de evaluación de Habicht et al5 proponeun segundo eje (además del eje de los indicadores deoferta, utilización, cobertura e impacto) con tres nive-les de inferencia para la evaluación: adecuación, plau-sibilidad y probabilidad. Las evaluaciones de adecua-ción responden, por ejemplo, si se alcanzó el objetivoinicial de reducir en un 20% la mortalidad en menoresde 5 años, o si las tendencias de los indicadores de im-pacto iban en la dirección esperada y con la magnitudadecuada. Un programa de reducción de la mortalidadinfantil en la ciudad de Pelotas, en el sur de Brasil, ini-ciado en 2005, por ejemplo, tenía como meta reducirla mortalidad infantil de 20 a 15 por 1.000 nacidos vivos,es decir, menos de 65 muertes anuales en menores deun año. Al final del primer año de intervención, la mor-talidad había descendido a 15,5 por 1.000 nacidos vivos,con 66 muertes de menores de un año residentes enel municipio (fig. 3). La evaluación mostró, pues, un éxitoparcial.
Los datos de mortalidad por cáncer de cuello ute-rino en el estado de Rio Grande do Sul (Brasil), quemuestra la figura 4 para la década de los ochenta, yaseñalan una ausencia completa de impacto. Una en-cuesta de utilización y cobertura del programa demostróque las mujeres de bajo riesgo repetían muchos exá-menes, mientras que las mujeres de alto riesgo no eranatendidas por el programa6. Las evaluaciones de ade-cuación normalmente son muy simples y asequibles alos profesionales con poco entrenamiento en investi-gación. Principalmente cuando son negativas –esdecir, cuando no hubo impacto– pueden ser muy úti-les para replantear el programa. En caso de mejora enlos indicadores, los métodos descritos más adelante pue-den ser útiles para evaluar si el progreso puede ser ono atribuido al programa.
Las evaluaciones de verosimilitud indican si es pro-bable que el impacto observado se deba a la inter-vención. Estas evaluaciones requieren que se descar-
te la influencia de factores externos; por tanto, se re-quiere un grupo de comparación y de ajuste por fac-tores de confusión. Como la distribución de los gruposno es aleatoria, estos estudios también son conocidoscomo «casi» experimentales. Por ejemplo, la evaluacióndel desempeño de los profesionales de salud de 4 mu-nicipios en el nordeste de Brasil7 mostró que la pres-cripción adecuada de antibióticos y la administraciónde la primera dosis de los medicamentos en la propiaunidad de salud eran más frecuentes entre los médi-cos entrenados en la estrategia AIEPI que entre los noentrenados. Los médicos no fueron aleatorizados pararecibir o no el entrenamiento, pero sus característicaspersonales (sexo, edad, especialidad) fueron tratadascomo factores de confusión en el análisis.
Otra evaluación del desempeño sobre la mortalidadinfantil entre 1999 y 2002, en 3 estados del nordestede Brasil, utilizó dos fuentes oficiales de datos: esta-dísticas vitales de nacimientos y muertes (sistemas SIMy SINASC) y datos de vigilancia poblacional medianteagentes de salud (SIAB). Aunque las diferencias ob-
4
INTRODUCCIÓN
Gac Sanit. 2008;22(Supl 1):1-7
2422201816141210
86420
2001 2002 2003 2004 2005 2006
Tasa
de
mor
talid
ad in
fant
il
Figura 3. Programa de reducción de la mortalidad infantil(Pelotas, Brasil). Fuente: Victora et al (datos no publicados).
242220181614121086420
1999 2001
Def
unci
ones
/100
.000
19971995199319911989198719851983Año
Figura 4. Cáncer de cuello uterino en Rio Grande do Sul, Brasil(1980-2000). Modificado de De Quadros et al6.
02 Cap-0-Intro (001-007).qxp 1/4/08 12:48 Página 4
temas de salud que garanticen la disponibilidad de va-cunas, medicamentos, la supervisión de la calidad dela asistencia, etc.; en segundo lugar, los profesionalesdeben ser entrenados en la estrategia y recibir visitasde supervisión para mantener los conocimientos ad-quiridos y, en tercer lugar, se debe educar a las fami-lias y comunidades. De acuerdo con este modelo, lasmejoras en los sistemas de salud y el entrenamientode los profesionales llevarían a un aumento en la cali-dad de la atención de los servicios de salud y a la con-secuente mejora del manejo de casos y de la adhesióna las recomendaciones. Las intervenciones dirigidas alas familias y a las comunidades, a su vez, conlleva-rían una adecuada búsqueda de atención en salud yel aumento de la utilización de los servicios de salud.Las mejoras en la calidad de la atención, en el mane-jo domiciliario de las enfermedades y en el aumento dela utilización conducirían al resultado deseado de re-ducir la mortalidad infantil y mejora del estado nutricional.
Este tipo de modelo conceptual de impacto es esen-cial para identificar los indicadores de proceso que re-quieren ser evaluados y los tipos de encuesta necesariospara medirlos, calcular el posible impacto de la estra-tegia y estimar el tamaño de la muestra de la evalua-ción. Su elaboración depende de la colaboración entrelos gestores –indicando los cambios que esperan ob-tener con el programa– y los evaluadores. El modelopropone que la evaluación se realice de forma progre-siva y se inicie con la medición de los indicadores deoferta, utilización y cobertura, antes de medir el impac-to propiamente dicho5. De acuerdo con ese modelo (fig. 2), al inicio se debe investigar si las intervencio-nes y sus estrategias de implementación están bien fun-damentadas técnicamente y son apropiadas al contexto
epidemiológico y asistencial del país (evaluación de laspolíticas y de la planificación basada en resultados). A continuación, si efectivamente se ofrece la atenciónadecuada en los servicios de salud y en la comunidad(evaluación de oferta). Después, si esta atención es uti-lizada por la comunidad (evaluación de utilización), deforma que se alcance un nivel adecuado de coberturaefectiva de la población (evaluación de cobertura). Lasevaluaciones del impacto sobre la morbilidad y la mor-talidad, el estado nutricional u otros indicadores bioló-gicos o del comportamiento únicamente deberían efec-tuarse si se ha respondido afirmativamente a estaspreguntas. La utilización de este procedimiento de eva-luación por etapas en la AIEPI, antes descrita, permi-tió interrumpirla en los países en que las evaluacionesiniciales mostraron que la implementación del progra-ma era insuficiente para alcanzar un impacto detecta-ble en la salud infantil.
La documentación de indicadores de proceso ayudaa entender –en el caso de programas con impacto sobrela salud– qué factores intervinieron en ese impacto; enel caso de los programas sin impacto, la evaluación delproceso permite identificar las medidas que se debenintroducir para perfeccionar el programa.
Usar una metodología inadecuada
Muchas evaluaciones de impacto se realizan me-diante estudios de eficacia, que investigan si las inter-venciones funcionan cuando se implantan en condicio-nes ideales. En estos estudios, en general, la intervenciónse implementa de forma integral, con excelente calidad,
3
Victora CG et al. Los siete pecados capitales de la evaluación del impacto
Gac Sanit. 2008;22(Supl 1):1-7
5Impacto
¿Hay un impacto sobre la saludy nutrición?
Cobertura efectiva4. ¿Se han alcanzado niveles adecuados decobertura efectiva en la población?
4
3 ¿Están siendo utilizados estos servicios por lapoblación?
Utilización
¿Se están proporcionando los servicios adecuados: – En los servicios de salud? – A nivel comunitario?
Provisión2
Las intervenciones y planes para la atención, ¿son técnicamente adecuadosy apropiados para el contexto epidemiológico y de sistema de salud?
Políticas de planificación1
Figura 2. Aproximación en escalera a la evaluación. Modificado de Bruce et al3.
02 Cap-0-Intro (001-007).qxp 2/4/08 17:52 Página 3
zados sean erróneas. Por el contrario, unas respues-tas ciertas pueden estar respondiendo a preguntas equi-vocadas. La pregunta que debe responderse no es siel programa funciona en condiciones ideales, sino si fun-ciona en las condiciones reales de cada país.
Pecado: no involucrar a los gestores
El evaluador debe trabajar junto con los gestores yser sensible a sus preocupaciones5,11,12. La inclusión delos gestores, desde la fase de diseño de la evaluación,garantiza que ésta responda a las preguntas necesa-rias para la toma de decisiones y contribuya a que lasrecomendaciones derivadas se implementen realmen-te. Dentro de un mismo programa, la información ne-cesaria para la toma de decisiones del gestor local esdiferente de la exigida por los gestores de nivel esta-tal o federal. Para el gestor local, los indicadores de ofer-ta (p, ej., ¿la existencia de vitamina A o de suero derehidratación oral u otro medicamento es suficiente paraatender la demanda del programa?) pueden ser los másimportantes. Por el contrario, el gestor del nivel esta-tal podrá estar interesado en conocer las razones porlas cuales algunos lugares logran altas coberturas delprograma, para poder alcanzar niveles semejantes entodos los municipios. A menos que esas necesidadesqueden claras desde el inicio de la evaluación, los re-sultados de ésta pueden ser de poca utilidad.
Una de las experiencias más frustrantes de nues-tra carrera de evaluadores fue un estudio sobre la AIEPIen Brasil. A pesar de haber involucrado a los gesto-res al inicio de la evaluación, hubo un cambio de go-bierno y nosotros no dedicamos el tiempo y el esfuerzonecesarios para garantizar la participación del nuevoequipo. Al final de la evaluación, que demostró queel programa era altamente coste-efectivo13, éste fueinterrumpido por la nueva Dirección Nacional deSalud.
La inclusión precoz y continuada de los gestores esimportante porque ellos conocen a fondo el funciona-miento del programa, y su participación ayuda a dismi-nuir la tensión que generalmente produce una evalua-
ción. La participación activa de los gestores aumenta laprobabilidad de que se tomen decisiones efectivas enfunción de los resultados de la evaluación. De igual ma-nera, es importante que los resultados de la evaluaciónestén disponibles para los gestores en el tiempo previsto.
Pecado: ignorar el contexto
Es importante resaltar que, aunque el objetivo de mu-chos programas sea mejorar un indicador de salud es-pecífico, éstos se implementan en un contexto más am-plio en el que actúan múltiples fuerzas sociales, políticas,económicas y culturales. Diferentes contextos, a su vez,pueden determinar distintos resultados para el mismo pro-grama14.
Por ejemplo, el desempeño de profesionales de saludentrenados en AIEPI, respecto al manejo adecuado delas enfermedades infantiles, fue notablemente mejor queel de los no entrenados en 3 de los 4 países evaluados(Bangladesh, Brasil y Tanzania). En Uganda, no obstante,el efecto del entrenamiento fue sustancialmente menor15.Para entrenar rápidamente a todos los profesionales desalud, se optó en este país por hacer «entrenamientoen cascada», con un curso de corta duración –cada pro-fesional entrenado pasaba a entrenar a nuevos profe-sionales, y así sucesivamente–. Esto implicó una re-ducción en la calidad del entrenamiento, que explica elpeor desempeño de los trabajadores entrenados, en re-lación con lo observado en los otros 3 países. Este as-pecto del contexto se refiere a la forma en que el pro-grama fue implementado.
Otro tipo de factor contextual importante se refiere ala realidad epidemiológica de cada país. Por ejemplo, elefecto de AIEPI sobre la mortalidad en menores de 5 añosfue constatado en Tanzania, pero no en Perú. En parte,esto se debe al hecho de que la AIEPI prioriza 5 cau-sas de muerte de niños –neumonía, diarrea, paludismo,sarampión y desnutrición–, que representan la gran ma-yoría de las muertes producidas en África. En Latinoa-mérica, las causas neonatales son las más importantesy representan hasta la mitad de las muertes, pero la es-trategia AIEPI –como fue implementada originalmente–no priorizaba estas enfermedades.
Pecado: no evaluar las desigualdades
Aún hoy, las intervenciones reconocidamente ca-paces de mejorar los niveles de salud en el mundo dejande atender a una gran proporción de la población quelas necesita, en especial a las personas más pobres.Los programas que implementan esas intervencionesson, en general, heterogéneos en calidad y desempe-
6
INTRODUCCIÓN
Gac Sanit. 2008;22(Supl 1):1-7
Tabla 1. Los 7 pecados capitales de la evaluación de impacto
1. No evaluar2. Iniciar tardíamente la evaluación3. Evaluar el impacto sin evaluar el proceso4. Usar una metodología inadecuada5. No involucrar a los gestores6. Ignorar el contexto7. No evaluar las desigualdades
02 Cap-0-Intro (001-007).qxp 2/4/08 17:52 Página 6
ño, no equitativos y efímeros16. Una evaluación bien de-lineada precisa medir no sólo el efecto global del pro-grama, sino también investigar en qué medida estánsiendo alcanzados los diferentes grupos sociales.
La cobertura del programa AIEPI en el nordeste bra-sileño, por ejemplo, varía inversamente a la tasa de po-breza del municipio –mayor cobertura en los municipiosricos, donde las condiciones de vida ya eran mejoresantes de la implementación del programa17–. De igualforma, la cobertura del examen de prevención del cán-cer de cuello uterino en el sur de Brasil es mayor entrelas mujeres con bajo riesgo de desarrollar esta enfer-medad6. Incorporar estudios de desigualdades socia-les en la evaluación de programas de salud, en gene-ral, requiere poco esfuerzo adicional y puede suponeruna importante contribución para la mejora del programa.
Conclusión
Se han identificado y discutido 7 problemas comu-nes en las evaluaciones de impacto de los programasde salud. El reconocimiento de estos posibles proble-mas y la adopción de medidas para prevenirlos, sin duda,contribuiría a mejorar la calidad y la relevancia de lasevaluaciones de impacto. Los pecados capitales pue-den ser expiados a través de una penitencia adecua-da. Sin embargo, los pecados resultantes de una eva-luación inadecuada pueden causar daños irreversibles–por lo menos a corto plazo– evaluando positivamen-te un programa inefectivo, o viceversa, y proporcionandoa los gestores sugerencias incorrectas sobre si el pro-grama debe ser expandido, modificado o interrumpido.El trabajo conjunto de gestores e investigadores en eldiseño, implementación y análisis de evaluaciones ri-gurosas es esencial para la priorización de medidas desalud pública.
Bibliografía
1. Center for Global Development. Report for the Evaluation GapWorking Grup. When will we ever learn? Improving lives th-rough impact evaluation. Washington, DC: 2006.
2. Tulloch J. Integrated approach to child health in developingcountries. Lancet. 1999;354 Suppl 2:16-20.
3. Bryce J, Victora CG, Habicht JP, Vaughan JP, Black RE. Themulti-country evaluation of the integrated management of child-hood illness strategy: lessons for the evaluation of public he-alth interventions. Am J Public Health. 2004;94:406-15.
4. El Arifeen S, Blum LS, Hoque DM, Chowdhury EK, Khan R,Black RE, et al. Integrated Management of Childhood Illness(IMCI) in Bangladesh: early findings from a cluster-randomi-sed study. Lancet. 2004;364:1595-602.
5. Habicht JP, Victora CG, Vaughan JP. Evaluation designs foradequacy, plausibility and probability of public health pro-gramme performance and impact. Int J Epidemiol. 1999;28:10-8.
6. De Quadros CA, Victora CG, Da Costa JS. Coverage and focusof a cervical cancer prevention program in southern Brazil.Rev Panam Salud Publica. 2004;16:223-32.
7. Amaral J, Gouws E, Bryce J, Leite AJ, Cunha AL, Victora CG.Effect of Integrated Management of Childhood Illness (IMCI)on health worker performance in Northeast-Brazil. CadSaude Publica. 2004;20 Suppl 2:209-19.
8. Amaral J, Leite AJ, Cunha AJ, Victora CG. Impact of IMCIhealth worker training on routinely collected child health in-dicators in Northeast Brazil. Health Policy Plan. 2005;20 Suppl1:142-8.
9. Victora CG, Habicht JP, Bryce J. Evidence-based public he-alth: moving beyond randomized trials. Am J Public Health.2004;94:400-5.
10. Santos I, Victora CG, Martines J, Goncalves H, Gigante DP,Valle NJ, et al. Nutrition counseling increases weight gainamong Brazilian children. J Nutr. 2001;131:2866-73.
11. United Nations Chidren’s Fund (UNICEF). A UNICEF Guidefor Monitoring and Evaluation: making a difference? New York:UNICEF; 1991.
12. Santos IS. Guia Metodológio de Avaliação e Definição de In-dicadores: doenças crônicas não transmissíveis e Rede Car-men. Brasília: Ministério da Saúde, Secretaria de Vigilânciaem Saúde, Departamento de Análise de Situação de Saúde,Série A, Normas e Manuais Técnicos, 2007. Disponible en:http://www.saude.gov.br/svs
13. Amorim DG, Adam T, Amaral J, Gouws E, Bryce J, VictoraCG. The Integrated Management of Childhood Illness improvesthe efficiency of primary health facilities in Northeast Brazil.Rev Saúde Pública. En prensa 2007.
14. Victora CG, Schellenberg JA, Huicho L, Amaral J, El AS, Pa-riyo G, et al. Context matters: interpreting impact findings inchild survival evaluations. Health Policy Plan. 2005;20 Suppl1:18-31.
15. Pariyo GW, Gouws E, Bryce J, Burnham G. Improving faci-lity-based care for sick children in Uganda: training is notenough. Health Policy Plan. 2005;20 Suppl 1:58-68.
16. Victora CG, Hanson K, Bryce J, Vaughan JP. Achieving uni-versal coverage with health interventions. Lancet. 2004;364:1541-8.
17. Victora CG, Huicho L, Amaral JJ, Armstrong-Schellenberg J,Manzi F, Mason E, et al. Are health interventions implemen-ted where they are most needed? District uptake of the in-tegrated management of childhood illness strategy in Brazil,Peru and the United Republic of Tanzania. BWHO. 2006;84:792-801.
7
Victora CG et al. Los siete pecados capitales de la evaluación del impacto
Gac Sanit. 2008;22(Supl 1):1-7
02 Cap-0-Intro (001-007).qxp 1/4/08 12:48 Página 7
