introducción

**La Secretaría Permanente del SELA, conjuntamente con el Centro Latinoamericano de Administración para el Desarrollo (CLAD), la Escuela Iberoamericana de Políticas Públicas (EIAPP), la CAF–banco de desarrollo de América Latina, el Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC) y el Centro de Investigación y Docencia Económicas (CIDE) organizaron el Seminario Regional “Introducción a la evaluación de impacto de políticas y programas públicos”, el cual sellevó a cabo en Ciudad de México, los días 23, 24 y 25 de agosto. El propósito de de este evento fue capacitar a los participantes en el manejo y dominio de las herramientas necesarias para la gestión, seguimiento y evaluación de impacto de las políticas públicas e intercambiar experiencias sobre el proceso de formulación de programas públicos, en aras de consolidar capacidades para la utilización de evaluaciones de impacto como instrumento de rendición de cuentas y como herramienta para la mejora continua de las políticas y programas públicos.

Informe final

 

Informe Final
Informe de Evaluación
Antecedentes

La evaluación es un componente indispensable de la rendición de cuentas en un Estado democrático y un imperativo de la gestión pública moderna. Los ejercicios de evaluación permiten identificar si los propósitos de una intervención gubernamental se están alcanzando y ponderar la idoneidad de los mecanismos e instrumentos destinados para la resolución de un problema público. En la medida en que toda política pública implica una teoría o modelo causal de transformación social, la carga de la prueba sobre la efectividad y el impacto de los programas corresponden, en primera instancia, al poder público, que está obligado a proveer elementos de juicio y canales para que la ciudadanía conozca, cuestione y valide el quehacer gubernamental. A pesar de que la evaluación de impacto es la más apegada a los criterios científicos de comprobación de hipótesis (impacto esperado del programa), como todo ejercicio de evaluación, se realiza en un contexto político y organizacional que determina su vínculo con los procesos de toma de decisiones, la mejora continua de los programas y la capacidad de la ciudadanía para exigir políticas públicas que agreguen valor al ciudadano, y maximicen la tasa de retorno de las inversiones públicas. A diferencia de los análisis clínicos, la evaluación de impacto opera en contextos políticos y sociales complejos, que imponen desafíos singulares para la identificación rigurosa y metodológicamente sofisticada de los resultados de las intervenciones. Por esta razón, se espera que una “buena” evaluación de impacto responda no sólo a los estándares metodológicos más robustos, sino que asuma un compromiso expreso de ética pública y una orientación clara a la utilización. Se espera que una evaluación tenga transparencia y rigor metodológico, pero también debe demostrar que tiene clara cuál es su intención (qué se va a evaluar, por qué, para qué y qué resultados se esperan obtener); debe ser oportuna; debe ser accesible para los tomadores de decisión y, finalmente, debe ser aplicable.

La Carta Iberoamericana de Calidad en la Gestión Pública estableció dos pilares fundamentales para la calidad en la gestión pública:

i) Toda gestión pública debe estar referenciada a la satisfacción del ciudadano, ya sea como usuario o beneficiario de servicios y programas públicos, o como legítimo participante en el proceso de formulación, ejecución y control de las políticas públicas bajo el principio de corresponsabilidad social; y ii) la gestión pública tiene que orientarse a resultados, por lo que debe sujetarse a diversos controles sobre sus acciones, suponiendo entre otras modalidades la responsabilización del ejercicio de la autoridad pública por medio del control social y la rendición periódica de cuentas (2008: 21-26).

Atendiendo a lo estipulado en la Carta Iberoamericana y a la urgencia de construir una administración pública capaz de hacer frente a los nuevos desafíos de la sociedad –la cual, a la vez de asegurar el cumplimiento de los contratos sociales y económicos, sea garante de los derechos sociales– el ejercicio de la evaluación cobra especial relevancia. Lo anterior se debe a que el buen funcionamiento de las políticas requiere del aprendizaje de los errores y los aciertos de las distintas experiencias, los cuales sólo pueden ser identificados a través de la medición y la revisión de los instrumentos de la política pública. Más aún, una gestión pública de calidad requiere de una evaluación permanente, interna y externa, basada en el principio de eficacia. Esto es, debe estar centrada en los resultados y debe crear sistemas de monitoreo que permitan verificar el curso adecuado de los programas públicos.

Una gestión pública orientada a resultados es impensable sin la generación de evidencia e información creíble y confiable en torno al efecto/cambios social estrictamente atribuibles a la presencia de los programas: el contrafactual. Sólo a partir de la evaluación de impacto es posible determinar qué habría ocurrido con los beneficiarios de un programa en la ausencia del mismo.

En este marco, la formación de sólidas capacidades para la utilización de evaluaciones de impacto como instrumento de rendición de cuentas y como herramienta para la mejora continua de los programas implica una serie de necesidades diferenciadas de capacitación que se fundan en el conocimiento técnico-metodológico, pero no se agoten en él. Para que las evaluaciones de impacto sean demandadas y debidamente utilizadas, los tomadores de decisiones, sin ser expertos en medición de impacto, deben contar con suficientes elementos para i) identificar el tipo de respuesta que ofrece este tipo de evaluación y sus limitaciones; ii) conocer los pre-requisitos de información y manejo gerencial que impone este tipo de evaluación; iii) realizar un análisis costo-beneficio de la realización de este tipo de evaluaciones frente a su alternativas menos costosas;  una vez tomada la decisión de evaluar, iv) valorar la solidez de la propuesta metodológica y la validez de las conclusiones que de ella se derivan. 

Objetivos

El presente Seminario Regional tiene como sus objetivos fundamentales: i) Capacitar a los participantes en el manejo y dominio de las herramientas necesarias para la gestión, el seguimiento y la evaluación de impacto de las políticas públicas; ii) Explorar las técnicas cuantitativas y los estándares que debe cumplir una evaluación de impacto; iii) Identificar la validez de los resultados y los límites impuestos por las decisiones de medición adoptadas; y iv) Intercambiar experiencias entre los copartícipes del proceso de formulación de políticas públicas.

Agenda

Miércoles, 23 de agosto

Mañana 

 
8 :30 – 9:00 INSCRIPCIONES

9:00 – 9:30

SESIÓN INAUGURAL  

  • Embajador Javier Paulinich, Secretario Permanente del SELA (Video).
  • Representante del Centro Latinoamericano de administración para el Desarrollo (CLAD). 
  • Representante del Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC, por sus siglas en inglés).
  • Representante de la CAF- banco de Desarrollo de América Latina.
  • Representante del Centro de Investigación y Docencia Económicas (CIDE). 
9:00 – 11:00

SESIÓN I: EVALUACIÓN DE IMPACTO: CAUSALIDAD Y EL PROBLEMA DE ATRIBUCIÓN, DEFINICIÓN DEL SESGO DE SELECCIÓN Y PROBABILIDAD DE SELECCIÓN 

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF -banco de Desarrollo de América Latina. Evaluación de impacto: causalidad y el problema de atribución, definición del sesgo de selección y probabilidad de selección

11:00 – 11:15

PAUSA CAFÉ

11:15 – 12:45

SESIÓN II: DISEÑO EXPERIMENTAL: PROBABILIDAD, SELECCIÓN, ALEATORIA Y CONTRAFACTUAL, ALCANCES Y LÍMITES DEL DISEÑO EXPERIMENTAL

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF-banco de Desarrollo de América Latina. 

12:45 – 14:00

BRUNCH BUFFET

14:00 – 15:30

SESIÓN III: SEMI-EXPERIMENTOS: MODELOS DE DIFERENCIAS EN DIFERENCIAS 

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF -banco de Desarrollo de América Latina.

15:30 – 15:45

PAUSA CAFÉ 

15:45 – 17:15

SESIÓN III: SEMI-EXPERIMENTOS: MODELOS DE DIFERENCIAS EN DIFERENCIAS (CONTINUACIÓN)

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF -banco de Desarrollo de América Latina.

   

Jueves, 24 de agosto

9:00 – 10:30

SESIÓN IV: EJERCICIOS PRÁCTICOS

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF -banco de Desarrollo de América Latina.

10:30 – 10:45

PAUSA CAFÉ

10:45 – 12:15

SESIÓN IV: EJERCICIOS PRÁCTICOS (CONTINUACIÓN) 

CAPACITADOR: Dra. Lesbia Maris. Especialista de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF -banco de Desarrollo de América Latina.

12:15 – 13:45

BRUNCH BUFFET 

13:45 – 15:15

SESIÓN V: MÉTODO DE EMPAREJAMIENTO 

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE). Evaluación de impacto: diseños no experimentales. Método de emparejamiento.

15:15 – 15:30

PAUSA CAFÉ

15:30- 17:00

SESIÓN VI: MÉTODO DE VARIABLES EXPERIMENTALES 

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE). Taller de Stata para evaluación de impacto.

   

Viernes, 25 de agosto

 
9:00 – 10:30

SESIÓN VII: MÉTODO DE REGRESIÓN DISCONTINUA

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE).

10:30 – 10:45

PAUSA CAFÉ

10:45 – 12:15

SESIÓN VII: MÉTODO DE REGRESIÓN DISCONTINUA(CONTINUACIÓN) 

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE).

12:15 – 13:45

BRUNCH BUFFET 

13:45 – 15:15

SESIÓN VIII: EJERCICIOS PRÁCTICOS 

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE).

15:15 – 15:30

PAUSA CAFÉ

15:30 – 17:00

SESIÓN VIII: EJERCICIOS PRÁCTICOS (CONTINUACIÓN) 

CAPACITADOR: Dra. Laura Atuesta. Profesora investigadora del Centro de Investigación y Docencia Económicas (CIDE).

17:00 – 17:30

SESIÓN DE CLAUSURA 

  • Daniel Roa Yusti. Secretaría Permanente del Sistema Económico Latinoamericano y del Caribe (SELA).
  • Maigualida Torres. Centro Latinoamericano de administración para el Desarrollo (CLAD).
  • Gabriela Pérez Yaruán. Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC, por sus siglas en inglés).
  • Lesbia Maris.  CAF- banco de Desarrollo de América Latina.
  • Laura Atuesta. Centro de Investigación y Docencia Económicas (CIDE) 
 

Metodología

El curso será realizado en modalidad semipresencial, y se organizará en tres módulos con sus respectivos subtemas. Tendrá una duración de 36 horas, la parte presencial tendrá una duración de 3 días, divididos en 8 sesiones. Se contará con prácticas para que los participantes puedan aplicar los conceptos y metodologías analizadas. 

Con antelación al curso, se proporcionará a los participantes las lecturas básicas.

Acompañamiento, seguimiento y evaluación

Con el fin de acompañar al alumno en su labor posterior al curso, la EIAPP hará un seguimiento y evaluación a las actividades que haya realizado en favor de la aplicación de los contenidos aprendidos, desde actividades formales  o institucionalizadas, tales como la presentación de propuesta de mejora ante autoridades de su institución, solicitudes de audiencia, entre, a actividades informales o poco institucionalizadas, por ejemplo, reuniones entre compañeros de trabajo, envío del material del curso a autoridades y compañeros, entre otras iniciativas.

La creatividad, base de la innovación, debe ser un valor transversal a cualquier actividad de las administraciones públicas evidenciando una actitud curiosa, propositiva, emprendedora y de liderazgo organizacional[1].

Estas evaluaciones serán realizadas a los alumnos y a las autoridades que avalaron la postulación en diferentes momentos al finalizar el curso, a saber: 1er corte: al mes de la última actividad; 2do corte: a los 6 meses luego de la última actividad del curso; 3er corte: a los 12 meses luego de la última actividad del curso.



[1] Al respecto ver el Banco de las Innovaciones Públicas del INAP de España, Novagob La Comunidad para la Innovación Pública, la publicación del BID “Innovando para una mejor gestión: La contribución de los laboratorios de innovación pública”, entre otros documentos que se encuentran en la base de datos “Información Bibliográfica sobre Estado, Administración y Sociedad” del SIARE del CLAD.

Programa

1.    Repositorio Módulo Virtual / Opcional 

      • Presentación del curso y Gestión pública para resultados: antecedentes y conceptos
      • El proceso de las políticas públicas y La evaluación de políticas públicas: bases teóricas y conceptuales
      • La evaluación y el seguimiento como política pública
      • Los tipos de evaluación

 2.    Agenda Módulo Presencial 

      • Evaluación de impacto: causalidad y el problema de atribución
      • Definición del sesgo de selección y probabilidad de selección
      • Diseño experimental: probabilidad, selección aleatoria y contrafactual. Alcances y límites del diseño experimental.
      • Semi-experimentos: modelo de diferencias en diferencias.
      • Metodologías no experimentales: ¿Qué pasa cuando no hay aleatoriedad?
      • Método de emparejamiento
      • Método de variables experimentales
      • Método de regresión discontinua 

3.    Repositorio Agenda Módulo Virtual / Opcional 

      • Presentación de casos
      • Introducción (discusión grupal I): presentaciones
      • Introducción (discusión grupal II): presentaciones y cierre
      • Métodos mixtos y el problema de la "caja negra" en la toma de decisiones
      • Implicaciones de la evaluación de impacto y retroalimentación del curso

 

Logística

Lugar y fecha

El Seminario Regional “Introducción a la evaluación de impacto de políticas y programas públicos”, se llevará a cabo los días 23, 24  y 25 de agosto de 2017, en Ciudad de México, México. 

La ubicación del evento será en la sede del Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC), la cual queda en el Centro de Investigación y Docencia Económicas (CIDE). Carretera México-Toluca 3655, Lomas de Santa Fé, 01210 Álvaro Obregón. Ciudad de México, México.

Idioma del evento

El idioma de este evento será el español, pero se contará con traducción simultánea para los asistentes angloparlantes.

Alojamiento

Hotel Comfort Inn Santa fé

Prolongación Paseo de la Reforma 557, Santa Fé, Paseo de las Lomas, 01219. Ciudad de México-México.
Teléfono: (52-55) 4748-2100
Contacto: Sra. Carolina Solano. Ejecutiva de Ventas.
Teléfono: (52-55) 4748-2129
E-mail: carolina.solano@comfortinnsantafe.com

En caso de requerir apoyo de la Secretaría Permanente se agradece contactar a la Señora Cora Romero, Oficial de Trámites y Viajes del SELA (Teléfono: (58-212) 9557111 y 9557124; Fax: (58-212) 9516901 y 9515292; Correo electrónico: cromero@sela.org).

Transporte 

Por lo general los hoteles ofrecen servicio de transporte a través de taxis, los cuales se recomienda emplear. Para el presente evento, los organizadores tienen previsto para los participantes invitados, el traslado desde el Aeropuerto Internacional de la Ciudad de México hasta el hotel Comfort Inn Santa Fe, ida por vuelta.

Código de vestimenta

Traje formal.

 

Bibliografía mínima recomendada:

Introducción 

P. Rossi, H. Freeman y M. Lipsey, “Identifying Issues and Formulating Questions”, “Expressing and Assessing Program Theory”, en op. cit. (caps. 3 y 5), en su libro Evaluation: A Systematic Approach, Thousand Oaks, Sage, 2004. 

Kathryn E. Newcomer et al., “Planning and Designing Useful Evaluations” (cap. 1), en Joseph Wholey, Harry Hatry y Kathryn Newcomer (eds.), Handbook of Practical Program Evaluation, San Francisco, Jossey-Bass, 3.a ed., 1994. 

Metodologías de evaluación de impacto

Método experimental 

Martin Ravallion, “The Mistery of Vanishing Benefits: An Introduction to Impact Evaluation”, The World Bank Economic Review, 15:1 (2001), pp. 115-140. 

Leonard Wantchekon, “Clientelism and Voting Behavior: Evidence from a Field Experiment in Benin”, World Politics, 55:3 (2003), pp. 399-422. 

Metodologías de evaluación de impacto

Métodos cuasiexperimentales 

Shahidur R. Khandker, Gayatri B. Koolwal y Hussain A. Samad, “Propensity-score matching”, “Double difference”, “Instrumental Variable Estimation”, “Regression Discontinuity and Pipeline Methods”,en su libro Handbook on Impact Evaluation: Quantitative Methods and Practices, Washington, D. C., Banco Mundial, 2010 (capítulos 4- 7). 

Evaluación cualitativa de impacto 

Fernando Cortés, Agustín Escobar y Mercedes González de la Rocha, Método científico y política social. A propósito de las evaluaciones cualitativas de los programas sociales, México, El Colegio de México, 2008 (caps. 1, 2 y 3).

Michael Bamberger, Vijayendra Rao y Michael Woolcock, Using Mixed Methods in Monitoring and Evaluation, Washington, D. C., Banco Mundial, 2010 (Policy Research Working Paper, 5245).

Participantes:

El curso estuvo dirigido a funcionarios públicos, ejecutores de política, tomadores de decisión y evaluadores de programas de América Latina y el Caribe requeridos de conocimiento intermedio sobre evaluación de impacto.

Lista de participantes

Becas

La Secretaría Permanente del SELA otorgará 20 becas completas para candidatos de América Latina y el Caribe a seleccionar según el mejor perfil entre los postulados de las instituciones responsables de políticas públicas y evaluación de impacto de los Estados Miembros del SELA y del CLAD. 

La beca incluye: 

  • Matrícula
  • Acceso al Aula virtual del CLAD.
  • Pasaje aéreo internacional en clase económica (participantes no mexicanos) desde la ciudad CAPITAL de su país hasta México D.F., y regreso.
  • Hospedaje, desayuno, almuerzo y cena durante los días de clases.   
  • Traslados del aeropuerto al hotel y viceversa.

No incluye: 

  • Consumos personales dentro del hotel de alojamiento y otros gastos no contemplados en estas bases.
Requisitos para las postulaciones
  1. Cumplir con el perfil descrito en la sección DESTINATARIOS O PERFIL.
  2. Los candidatos que deseen postularse y cumplan el perfil, deberán completar el “Formulario de Registro” que se encuentra disponible en la página web de convocatorias.
  3. Las postulaciones deben ser avaladas mediante una nota oficial suscrita por el Representante Titular o el Representante Alterno  del CLAD (consultar la sección “Consejo Directivo”), y ser remitida, antes del miércoles 2 de agosto del 2017, al Comité Organizador vía electrónica eiapp@clad.org;  jgordon@sela.org y droa@sela.org.  
    3.1   El interesado(a) puede completar y enviar el formulario de registro e ir gestionando la solicitud del aval correspondiente. No necesariamente debe esperar el envío del aval para completar el formulario.
    3.2   El aval es una nota oficial (en formato de imagen o PDF) del representante Titular y/o Alterno del CLAD en el país respectivo, enviada por éste a la Secretaría Permanente de la Escuela (eiapp@clad.org) y a los funcionarios responsables en la Secretaría Permanente del SELA (jgordon@sela.org y droa@sela.org), donde se indica el apoyo del Representante a la postulación del interesado(a) al curso señalado.
    3.3   Para el envío del aval el interesado(a) debe comunicarse por los distintos medios que se dispone en la sección "Consejo Directivo" solicitando al Representante Titular y/o Alterno la nota aval para completar la postulación.
    3.4   Para os candidatos do Brasil, o processo seletivo é feito na Escola Nacional de Administração Pública (Enap) e é necessário enviar curriculum vitae e carta-aval da chefia imediata, com justificativa de participação no curso, para o e-mail internacional@enap.gov.br Após a seleção, o candidato será informado e orientado a fazer o preenchimento do cadastro no site do Clad. A carta-aval para os pré-selecionados será providenciada pela Enap, Representante Alterno do Brasil junto ao CLAD.
  4. Para los candidatos de los países anglófonos del Caribe, remitir la carta aval de la institución que acredita su candidatura, además del curriculum vitae, al Comité Organizador vía electrónica  jgordon@sela.org y droa@sela.org, antes del viernes 11 de agosto del 2017.

Información migratoria

La información migratoria para ingresar a Ciudad de México, puede consultarse en la siguiente dirección electrónica: 

Contactos

Secretaría Permanente del Sistema Económico Latinoamericano y del Caribe (SELA) 

Coordinación por la Secretaría Permanente del SELA: 

  • Javier Gordon Ruiz
    Director (e) de Relaciones para la Integración y Cooperación del Sistema Económico Latinoamericano y del Caribe (SELA)
    Teléfonos: 58-212-955-7111/ 955 7135
    Fax: 58-212-951 5292 / 951-6901
    Correo electrónico: jgordon@sela.org 
  • Daniel Roa
    Analista de Relaciones del Sistema Económico Latinoamericano y del Caribe (SELA)
    Teléfonos: 58-212-955-7111/ 955 7103
    Fax: 58-212-951 5292 / 951-6901
    Correo electrónico: droa@sela.org

Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP) del CLAD                  

  • Nelson de Freitas
    Encargado de la EIAPP
    Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP) del CLAD
    Teléfono: 58-212-270-9211
    Email: eiapp@clad.org
Instituciones patrocinantes y colaboradores
  • Secretaría Permanente del Sistema Económico Latinoamericano y del Caribe (SELA)
  • Centro Latinoamericano de Administración para el Desarrollo (CLAD)
  • Escuela Iberoamericana de Administración y Políticas Públicas (EIAPP)
  • CAF –banco de desarrollo de América Latina
  • Centro de Investigación y Docencia Económicas (CIDE)
  • Centro Regional para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe (CLEAR-LAC)