Introducción

La territorialización de las políticas públicas es un enfoque transversal a los distintos momentos en el ciclo de las políticas públicas, perspectiva teórica que sigue siendo vigente y que plantea etapas interdependientes no necesariamente secuenciales que incluyen la definición de la agenda, la formulación, la implementación y la evaluación (Aguilar, 2003; Dunn, 2008; Torres Melo y Santander, 2013; Sánchez, 2020). Por un lado, al analizar el enfoque territorial a lo largo del ciclo de políticas públicas, es esencial que se manifieste claramente en la definición de la agenda y la formulación. Esto implica la promoción de su desarrollo de manera colaborativa y coordinada entre los diferentes niveles de gobierno y los diversos actores del territorio. Esta colaboración permitirá la creación de políticas públicas que se ajusten a las particularidades y condiciones únicas de cada territorio, con el propósito de reducir las disparidades territoriales y las desigualdades, tanto de cada territorio como entre territorios dentro de un mismo país (De la Fuente et al, 2021). Por otro lado, la implementación de las políticas en los territorios merece especial atención, estableciendo conexiones entre los territorios, los gobiernos y las poblaciones para aprovechar las potencialidades territoriales como motores de crecimiento y equidad en todas las regiones (DNP, 2019). Esto implica que las políticas públicas deben estar integradas con los procesos esenciales en los territorios, reflejando la realidad local y basándose en los fenómenos públicos que surgen allí.

Aunque el marco normativo colombiano establece que las políticas públicas son formuladas por las autoridades legítimamente constituidas (Betancourt y Ramírez, 2008) y facultadas para ello, representando la expresión de la voluntad política a nivel nacional habilitada para atender las necesidades sociales, y que el nivel territorial se reduce a un espacio de adaptación, el enfoque territorial defiende que las políticas están concebidas para beneficiar a los territorios y se ejecutan en ellos. En otras palabras, las políticas públicas no son generadas por los niveles subnacionales del Gobierno, pero deben responder a las demandas desde una perspectiva multinivel, siendo capaces de reconocer los intereses de diversos actores en los diferentes niveles del territorio.

Sin embargo, la implementación de políticas se vuelve un proceso complejo dadas las particularidades de los diferentes contextos territoriales. Esa complejidad se aumenta por los esfuerzos que se concentran en la estructuración y formulación de las políticas públicas en sí mismas. Se trata de responder a la problemática que ha sido expuesta en la agenda pública, pero poco se hace por la evaluación previa de las estrategias, herramientas y mecanismos de lo que será la política pública. Esto ha traído como consecuencia, el fracaso inminente en la ejecución de las políticas públicas.

Dada esa interconexión de las fases en la política pública, es crucial considerar los efectos que una fase puede tener sobre otra; por ejemplo, una formulación deficiente de la política pública puede tener un impacto significativo en su implementación. De hecho, históricamente, existen aciertos y desaciertos en esta materia. No es poco frecuente que se tengan casos en los que la política pública no tuvo los efectos que se esperaba. A título ilustrativo, a nivel mundial se reconocen los ingentes esfuerzos por enarbolar los derechos de las mujeres; sin embargo, muchas de esas iniciativas terminaron por ser inocuas o exacerbar otros problemas. Es el caso de la conocida VAWA-Ley de violencia contra las mujeres en Estados Unidos, promulgada el 13 de septiembre de 1994, por medio del Título IV de la Ley de control de delitos violentos. Esta iniciativa financia varios programas y proyectos en colaboración para mejorar la atención a las víctimas, pero no es sencillo absorber y sostener esos costos dentro de los presupuestos estatales. Si bien, se logró una disminución en las tasas de violencia contra las mujeres, simultáneamente se aumentó la denuncia y población encarcelada por hechos de esa índole, es decir, contribuyó a la problemática de encarcelación masiva y posible hacinamiento (Gover y Moore, 2021).

Este ejemplo es una muestra de la complejidad de la adaptación adecuada de las políticas a los territorios y con un enfoque en territorialización. En este sentido, la evaluación de políticas públicas territoriales se convierte en un instrumento clave para mejorar su efectividad y eficacia en la gestión pública, pero se hace evidente que, a pesar de la intención y los esfuerzos, la literatura no muestra evaluaciones de diseño de políticas públicas, sino que se enfoca en el seguimiento como un proceso posterior a la formulación e implementación de la política pública. Por esto se hace necesario abordar la evaluación del enfoque territorial en la formulación de políticas públicas para garantizar una implementación efectiva en el territorio. La escasa evaluación de las políticas públicas en los entes territoriales se convierte en una amenaza en la acción pública. Si no se institucionaliza la evaluación en todo el ciclo de las políticas públicas, difícilmente se va a evidenciar la capacidad institucional de los gobiernos para intervenir y beneficiar las poblaciones demandantes de ofertas o servicios sociales.

Por tanto, se plantea la siguiente pregunta en este trabajo: ¿Cuáles son los criterios de evaluación que deben ser considerados en la formulación de políticas públicas para facilitar su implementación en los territorios?

Responder a este cuestionamiento se presenta como el propósito central de la investigación, ya que busca establecer una ruta que facilite la evaluación del diseño de las políticas públicas con el objetivo de adaptarlas de manera eficaz a los diferentes contextos territoriales.

Para alcanzar el objetivo del documento, este se aborda en cinco secciones. La primera parte, hace una reconceptualización en torno al concepto ciclo de políticas públicas y evaluación. En la segunda, se aborda la evaluación de la política pública y en particular, la evaluación de diseño. La tercera parte, se enfoca en la metodología empleada que es la investigación evaluativa comparativa. En la cuarta parte, se detalla la ruta propuesta para evaluar el diseño de las políticas públicas con miras a su adaptación en contextos territoriales. Finalmente, se presentan las conclusiones del estudio.

Sumario referencial de políticas públicas: enfoques, ciclos y evaluación

La Evaluación en la política pública y la evaluación de diseño

En el ciclo de políticas públicas, una de las etapas clave es la evaluación. Sin embargo, es importante distinguir entre el seguimiento y la evaluación, como señala Arrechea (2018). La actividad de seguimiento consiste en un proceso constante que involucra la recopilación ordenada de información relacionada con indicadores específicos. Este proceso tiene como objetivo brindar una medición en curso del progreso de un programa, evaluando tanto los indicadores relacionados con el cumplimiento de los objetivos establecidos como aquellos vinculados a la utilización de los recursos financieros.

Por otro lado, la evaluación conlleva un análisis metódico y gradual de una política pública en su totalidad. Este análisis abarca desde su diseño hasta su ejecución y los resultados obtenidos. En esencia, la evaluación proporciona una visión completa y exhaustiva del desempeño del proyecto, permitiendo una comprensión profunda de su efectividad y eficiencia en todos los aspectos considerados. Esto sugiere que la evaluación puede llevarse a cabo en varios momentos. Puede incluir el seguimiento del proceso de la política pública para medir el grado de cumplimiento de los indicadores y metas establecidos después de su implementación. Asimismo, la evaluación puede realizarse de manera transversal en distintos momentos de la política pública, e incluso puede llevarse a cabo durante la etapa de formulación o diseño de la política. En este caso, el enfoque se centra en la evaluación de diseño. Para esto, se hace una revisión sobre algunos modelos que plantean elementos medulares sobre este tipo de evaluación (Bamberger y Segone, 2012; Casillas et al, 2015; Fajardo, 2016).

Desde el surgimiento de la Nueva Gerencia Pública (NGP) en la década de los 80, la evaluación de políticas públicas se convirtió en una herramienta clave para mejorar su diseño y aplicación. Se promovió el desarrollo de técnicas y herramientas metodológicas, tanto cualitativas como cuantitativas, que midieran sistemáticamente todas las etapas del modelo para la toma de decisiones. Como destaca De la Fuente et al., (2021), “la evaluación de las políticas públicas es una herramienta imprescindible para asegurar su eficacia y eficiencia” (p. 4). De hecho, muchos autores contemporáneos consideran que la evaluación debe ser un ejercicio que se realice a lo largo del ciclo de las políticas públicas.

La evaluación de políticas públicas requiere de la aplicación de métodos sistemáticos y rigurosos para la recolección y análisis de información, para luego comprender integralmente los resultados y el impacto de las políticas implementadas por los gobiernos, con el fin de aprender, mejorar y evitar posibles fracasos gubernamentales (Urbanos 2012). Por lo tanto, la evaluación de las políticas públicas lleva a cabo un conjunto de actividades donde se debe evidenciar inequívocamente en qué medida y cómo se lograron los objetivos, y cuáles fueron los efectos producidos en la sociedad. En otras palabras, busca determinar en qué medida se alcanzó el valor público, lo que a su vez respalda la toma de decisiones sobre la continuidad, modificación o finalización de dichas políticas públicas.

Además de generar conocimiento, la evaluación de Políticas Públicas busca soluciones a los problemas sociales y analiza la emisión de juicios para la toma de decisiones. En este marco, la Procuraría General de la Nación de Colombia promueve en las entidades públicas la cultura de la evaluación con el objeto de diseñar, realizar y divulgar evaluaciones de las políticas y programas públicos. Estas evaluaciones pretenden confirmar el nivel de cumplimiento de los objetivos, siendo relevante reconocer que, al formular métodos de evaluación, también se contribuye a la generación de conocimiento como resultado de una investigación.

La evaluación en todas las etapas del ciclo de políticas públicas, gestación, diseño, implementación y evaluación (Sánchez, 2020) puede considerarse como una actividad que busca analizar exhaustivamente los resultados e impactos. Según el objeto de la evaluación que se precise, es un instrumento de fuente de conocimiento y aprendizaje organizativo (Bertranou, 2019). Al mismo tiempo es un ejercicio que permite justificar la implementación de una política pública y un instrumento integral de rendición de cuentas en la gestión pública (Vázquez, 2022).

La evaluación se puede llevar a cabo a través de diversos enfoques, por ejemplo, con enfoque en el objeto de estudio, lo que puede resultar en evaluaciones a nivel macro, meso y micro. Además, se puede adoptar un enfoque científico que abarca evaluaciones experimentales, pragmáticas, económicas y naturalistas. Del mismo modo, la evaluación puede llevarse a cabo según su propósito, incluyendo la evaluación de determinación de necesidades, la evaluación formativa o correctora y la evaluación de balance. La evaluación también puede tener una perspectiva temporal, que contempla evaluaciones ex-ante o prospectiva, intermedias y ex-post. Asimismo, la evaluación puede verse desde la perspectiva de quien evalúa, dividiéndose en una evaluación interna, externa o mixta. Finalmente, también se puede clasificar según el contenido de la evaluación, abarcando aspectos de diseño, evaluabilidad, proceso, resultados e impacto (Urbanos 2012).

La evaluación de diseño

La evaluación de diseño es un tipo de evaluación que se fue desarrollando a medida que crecía la necesidad de evaluar la efectividad de las políticas públicas para la toma de decisiones y el mejoramiento en la gestión pública. Se define como una acción que analiza sistemáticamente la conceptualización, el diseño, el problema (causas y efectos) y la forma de solucionarlo teniendo en cuenta los contextos: social, económico e institucional, también estudia la justificación de la intervención pública (Casillas et al., 2020).

Respecto al momento en el que debe realizarse la evaluación de diseño, el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL, s.f.), recomienda que se lleve a cabo al menos el primer año de implementada la política pública. Esto permite la detección de errores e identificación de situaciones que puedan afectar el alcance de los objetivos y a la par determina el nivel de coherencia y justificación de la intervención como la solución idónea a la problemática social diagnosticada. Además, facilita la toma de decisiones a tiempo para la corrección de tales inconsistencias (Casillas et al., 2020; Urbanos 2012).

Por consiguiente, este tipo de evaluación realiza un análisis exhaustivo y de coherencia global de la política pública e identifica en la planeación si los recursos físicos, humanos y financieros sirven para alcanzar los resultados. Es decir, que los resultados deben corresponder a la solución del problema descrito en el diagnóstico (Arenas 2021).

La evaluación de diseño tiene como objetivo principal identificar las fortalezas y debilidades en el diseño. Posteriormente, se elabora un informe técnico final con las recomendaciones necesarias para mejorar la formulación de la política pública, buscando así su efectividad y generación de valor público.

A partir de las anteriores premisas, la propuesta de evaluación de diseño para los programas públicos, el autor propone cinco elementos: i) alcance y objetivo, ii) equipo y plazo, iii) metodología, iv) descripción de los aspectos a evaluar del diseño y v) el análisis del diseño (Arenas, 2021).

Figura 1: Elementos de la evaluación de diseño

Fuente: elaboración propia a partir de la evaluación de programas públicos en Arenas (2021)

Alcance y objetivo

Acá se justifica el por qué financiar el programa o política pública como una acción ineludible para la erradicación de la problemática. También se expone a plenitud el problema y se presenta el cronograma describiendo insumos, actividades, productos, resultados e indicadores que forman la cadena de valor. Asimismo, este análisis cualitativo debe gozar de una coherencia global, por ejemplo, el análisis del problema debe relacionarse con la población a intervenir, conservar una cohesión normativa y ser coherente con los planes estratégicos. Del mismo modo, debe evidenciar el grado en que el programa o política pública soluciona la problemática social.

Equipo y plazo

Este modelo no requiere mayor inversión en equipos, pero sí es necesario contar con un equipo humano profesional con vasta experiencia en temáticas tales como: análisis de la cadena valor, políticas públicas con conocimientos de la problemática en el contexto nacional e internacional. Se considera que esta evaluación de diseño se puede llevar a cabo entre dos a cuatro meses aproximadamente.

Metodología

Por sus características es de orden cualitativo, se utiliza la información documental, donde se desarrollan técnicas tales como: entrevistas a los actores, entrevistas grupales, entre otras.

Descripción de los aspectos para evaluar del diseño

Estos deben estar elaborados detalladamente para que sean valorados posteriormente. Algunos de los aspectos a evaluar son:

1. Marco institucional. Corresponde a todos los elementos y características en cual se desarrollaría el programa, apoyado de los instrumentos administrativos y legales del ente gubernamental.

2. Problemática. Claramente identificada y se debe registrar cuantitativamente, apoyada de estadísticas e indicadores que expliquen la dimensión del problema, en ese apartado también se debe incluir la validación del problema, anexo a ello el núcleo problémico debe estar sujeto a una validación de antecedentes nacionales e internacionales que evidencien su nacimiento, evolución y relevancia.

3. Descripción del programa o descripción de la política pública. En esta sección se describen aspectos esenciales para los evaluadores. En la tabla 1 se detallan los ítems clave.

Tabla 1: Elementos a evaluar de la política pública

Fuente: elaboración propia a partir de la evaluación de programas públicos en Arenas (2021).

Análisis de diseño

Esta etapa se centra en el análisis exhaustivo del diseño, y es de suma importancia porque se consolida el ejercicio evaluativo. Se lleva a cabo después de haber recopilado todos los elementos que deben conformar el programa o en este caso la PP. Luego, la información debe ser evaluada de acuerdo con ciertos criterios que permiten determinar la calidad del diseño del programa o política pública como son: a) pertinencia del programa, b) fundamentación diagnóstica, c) población objetivo, d) consistencia externa, e) consistencia interna, f) indicadores, g) justificación del financiamiento público, h) justificación del programa. Es determinante iniciar este proceso con una evaluación de la pertinencia de la PP, para lo cual se analizan tres aspectos que se presentan en la tabla 2.

Tabla 2: Articulación para la pertinencia de la política pública

Fuente: elaboración propia a partir de la evaluación de programas públicos en Arenas (2021)

Respecto a los instrumentos de planificación es imperativo que haya una articulación con los planes de desarrollo, programas de Gobiernos, políticas públicas sectoriales, entre otros, pues facilita la gestión de recursos. Mientras que la vinculación con los ODS garantiza que las entidades gubernamentales y su acción pública estén alineadas a una perspectiva global de un futuro sostenible, justo y equitativo.

Modelos de evaluación de diseño

Los modelos de evaluación de diseño son fundamentales para determinar la efectividad de las políticas públicas y para garantizar que se alcancen los objetivos deseados. En este texto, se examinarán algunos de los principales modelos de evaluación de diseño, incluyendo los enfoques más relevantes y los métodos de evaluación más comunes.

En primer lugar, se debe tener en cuenta que la evaluación de diseño se centra en la evaluación de las políticas en su fase de diseño y planificación, antes de su implementación. En este sentido, la evaluación de diseño tiene como objetivo analizar si la política está bien estructurada y si está diseñada para alcanzar los objetivos deseados. Por lo tanto, se pueden distinguir varios enfoques y modelos de evaluación de diseño.

El enfoque tradicional de evaluación de diseño se centra en el análisis de la estructura y diseño de la política. Este enfoque se basa en la premisa de que una política bien diseñada, con objetivos claros y una estructura clara, será más efectiva en la consecución de sus objetivos. El enfoque tradicional se basa en la evaluación de la coherencia interna de la política y en la identificación de posibles inconsistencias.

Un segundo enfoque de evaluación de diseño es el enfoque participativo. Este enfoque se centra en la participación de los ciudadanos y de las partes interesadas en el proceso de diseño de la política. El enfoque participativo se basa en la premisa de que una política diseñada con la participación de los ciudadanos será más efectiva y tendrá un mayor impacto. La participación de los ciudadanos puede ser a través de consultas públicas, grupos de trabajo o encuestas.

Otro enfoque de evaluación de diseño es el enfoque de la teoría del cambio. Este enfoque se centra en la identificación de los elementos necesarios para lograr un cambio específico. El enfoque de la teoría del cambio se basa en la premisa de que una política bien diseñada debe tener una teoría clara de cómo se producirá el cambio y cuáles son los elementos necesarios para lograr ese cambio.

La guía de evaluación de diseño de políticas públicas, publicada por la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) del Gobierno de España, proporciona un marco detallado para la evaluación de diseño de políticas públicas. Esta guía se basa en tres pilares fundamentales: la claridad de los objetivos, la consistencia interna y la coherencia con el contexto. Se presentan a continuación tres modelos de evaluación de diseño:

Modelo 1: Enfoque de la Agencia Estatal de Evaluación de Políticas Pública y la Calidad de los Servicios de España (AEVAL).

Este modelo propuesto por Casillas et al. (2015), es una metodología de evaluación de enfoque tradicional que enfatiza en los aspectos políticos de la acción pública e indaga sobre la generación y alcance del valor público. Las siete fases principales del modelo se detallan en la figura 2.

Figura 2: Modelo 1. Evaluación de diseño-Enfoque AEVAL

Fuente: elaboración propia adaptado a partir de la guía práctica para el diseño y la realización de evaluaciones de políticas públicas en Casillas et al. (2015)

Es importante destacar que la fase I. Análisis del encargo de la evaluación establece los límites de la evaluación, alcance de la intervención y el enfoque metodológico. Esta fase es de nivel político-estratégico, allí se diagnostica el problema identificando a los actores involucrados, se proponen los objetivos, recursos, procesos y resultados e indicadores posibles de la intervención.

La fase II. Análisis y reconstrucción de la lógica de la intervención presenta un análisis de la intervención con el objeto de identificar los componentes esenciales y el proceso de la intervención en sí misma.

Se considera también una fase III. Diseño de la evaluación. En esta etapa se materializa la metodología y se desarrollan elementos esenciales de la evaluación tales como: a) La elaboración de la matriz de evaluación, conformada por las preguntas, criterios de evaluación y fuentes de verificación. Las preguntas tienen como propósito explorar diversos elementos del diseño. Los criterios son elementos que permiten emitir juicios valorativos sobre la formulación de la política pública. Las fuentes de verificación son herramientas o recursos que permiten la realización del análisis. b) Selección de técnicas y herramientas de análisis que abarcan técnicas tanto cuantitativas como cualitativas e incluso mixtas. c) Los términos de referencia que se componen de un conjunto de directrices que incluyen el objeto, ámbito, alcance y propósito de la evaluación, enfoque metodológico, matriz de preguntas, criterios y fuentes de verificación, equipo evaluador, estructura y presentación de los informes de evaluación, entre otros elementos.

Las fases IV, V, VI y VII contienen las actividades relacionadas con la recolección, condensación y análisis de los datos, la elaboración del informe final, la divulgación de los resultados y el seguimiento de la evaluación.

Modelo 2. Evaluación de diseño para mejorar las políticas públicas y el ejercicio del control político.

Fajardo (2016) en su trabajo “La evaluación de diseño, como instrumento para mejorar las políticas públicas y el ejercicio del control público” presenta una propuesta de evaluación de diseño que se gesta bajo el marco en Planificación Estratégica Situacional (PES) de Carlos Matus. Este modelo se considera innovador para el análisis continuo y sistemático, en el cual los actores clave, también conocidos como stakeholders, identifican problemáticas, proponen soluciones para generar los cambios necesarios y logran transformaciones en una situación específica (Reverol et al., 2008).

Fajardo (2016), emprende un análisis teórico acerca de la categorización de las políticas públicas, tomando como punto de partida su nivel de exploración y procesamiento de la problemática, expone una tipología de políticas públicas territoriales: i) políticas de primer nivel o de baja robustez. ii) políticas de segundo nivel con algún grado de procesamiento de la problemática. iii) políticas de tercer nivel con un nivel más avanzado de elaboración tanto técnica como política.

Para la evaluación de diseño, se toma en cuenta la estructura y el proceso metodológico que consta de cuatro momentos:

Primer momento. La identificación de fuentes secundarias se despliega tanto a nivel teórico como institucional. En primer lugar, se realiza una exhaustiva revisión documental de los fundamentos teóricos dentro del marco de la (PES) considerando variables tales como el grado de profundidad en el análisis de la problemática pública, la participación de los actores involucrados, la correspondencia con normativas establecidas, los niveles de efectividad en la gobernabilidad y la alineación con los objetivos políticos trazados.

A nivel institucional, se ejecuta una investigación preliminar con el fin de corroborar si la información gubernamental disponible se ajusta de manera apropiada a las exigencias de la evaluación de diseño. Esto incluye una evaluación de la pertinencia y suficiencia de los datos proporcionados por las instancias gubernamentales. De esta manera, la identificación de fuentes secundarias abarca tanto un análisis teórico riguroso como una evaluación crítica de la disponibilidad y adecuación de la información institucional, aportando a la integralidad y solidez del proceso evaluativo.

Segundo momento. Luego de la identificación de las fuentes, es necesario determinar las necesidades de información y realización de la evaluación de diseño, comprende la elección de los métodos y herramientas de análisis, incluyen técnicas cuantitativas, cualitativas o mixtas.

Tercer momento. Desarrollo de la evaluación propiamente dicha, esta fase está conformada por dos elementos fundamentales que son la definición de un modelo preestablecido de criterios y la identificación de fuentes y actores clave. El primero, se compone de un enfoque de evaluación basado en criterios mínimos que una política de tercer nivel debería contener para ser categorizada como de alta calidad. El segundo, corresponde a la identificación de actores stakeholders que participan en el proceso, clasificados así: actores legitimadores que son aquellos actores de alto nivel para la toma de decisiones. Actores ejecutores: quienes participan en la ejecución del programa de diversas maneras. Actores reactivos: son los actores sociales que reaccionan ante el programa ya sea como beneficiarios o como defensores de diferentes grupos (Monnier, 1995).

Cuarto momento. Rediseño de la política pública, esta etapa consta de la evaluación, análisis y reestructuración de la política en la cual participan distintos actores. Durante este proceso, se emplean herramientas y métodos de planificación para cumplir con los objetivos establecidos y como resultado se consolida un nuevo documento de política pública. El modelo expuesto por Fajardo (2016) se visualiza en la figura 3.

Figura 3: Modelo 2. Evaluación de diseño según Fajardo (2016)

Fuente: elaboración propia adaptado a partir de la evaluación de diseño, como instrumento para mejorar las políticas públicas y el ejercicio del control público por Fajardo (2016)

Modelo 3. Un modelo sugerido por la UNICEF (2012) en el Artículo de Trabajo de Evaluación (EWP por sus siglas en inglés) titulado “Cómo diseñar y gestionar evaluaciones centradas en la equidad, enfoque Unicef”

El tercer modelo considerado es el de Bamberger y Segone (2012) “Cómo diseñar y gestionar evaluaciones centradas en la equidad, enfoque Unicef”. Las evaluaciones centradas en la equidad realizan un análisis exhaustivo en las dimensiones relacionadas con los derechos humanos y la erradicación de la discriminación de los grupos vulnerables. Este proceso se considera esencial para el alcance de los logros de desarrollo sostenible de las naciones.

Según este modelo de evaluación centrado en la equidad se consideran para la evaluación de diseño los siguientes elementos:

1. La preparación de los términos de referencia se compone de un conjunto de directrices que abarcan la finalidad, descripción de los objetivos y el alcance de la evaluación. También lo conforman las preguntas basadas en los criterios de evaluación.

2. Selección del marco y diseño, se elige el marco de la evaluación de diseño, la teoría del cambio tiene como objetivo identificar los fundamentos lógicos que yacen bajo la estructura causal de la política pública (Casillas et al., 2020). Lo ideal es que la teoría del cambio se desarrolle durante el diseño de la política pública, ya que es un elemento esencial para la concepción, formulación y evaluación de políticas públicas. Respecto al diseño de la evaluación se insiste en la selección de métodos mixtos, recolección y análisis de datos, análisis de los factores contextuales (políticos, económicos, institucionales, jurídicos, ambientales).

3. Realización del informe final, consta de examinar minuciosamente los datos y elaborar el documento final de la evaluación de diseño. Un informe de evaluación de calidad incluye conclusiones y recomendaciones en detalle, en las cuales se identifica claramente a los destinatarios de dichas recomendaciones y se sugieren acciones específicas.

4. La difusión de la evaluación, comprende el desarrollo de un buen plan de difusión, acorde con las políticas de difusión de la organización. El modelo centrado en la equidad planteado por Bamberger y Segone (2012) se visualiza en la figura 4.

Figura 4: Modelo 3. Evaluación de diseño con enfoque en equidad

Fuente: elaboración propia adaptado a partir del artículo de trabajo de evaluación EWP cómo diseñar y gestionar evaluaciones centradas en la equidad en Bamberger y Segone (2012)

Metodología

Con el objetivo de abordar la pregunta sobre los criterios de evaluación que deben tenerse en cuenta en la formulación de políticas públicas para facilitar su implementación en los territorios, se empleó un enfoque metodológico basado en la investigación evaluativa comparativa.

Por un lado, la investigación evaluativa es un tipo de investigación transversal que se ocupa de valorar la calidad, la eficacia, la pertinencia y el impacto de programas, proyectos, políticas y sistemas en las que se apoyan las sociedades modernas para desarrollarse y mejorar la calidad de vida de sus ciudadanos. De otro modo, la influencia de los programas sociales en el desarrollo de la investigación evaluativa ha llevado a que con frecuencia se le equipare con la evaluación de programas. Sin embargo, el hecho de que el objeto de las evaluaciones se haya ampliado más allá de los programas, permite incluir en esta tipología a la evaluación de políticas (Bausela, 2003).

Por su parte, el método comparativo es el procedimiento de comparación sistemática de objetos de estudio que, por lo general, es aplicado para llegar a generalizaciones empíricas y a la comprobación de hipótesis, también busca analizar las similitudes y diferencias entre los distintos modelos, así como sus ventajas y desventajas. Este tipo de investigación puede seleccionar el modelo más adecuado para una situación específica, integrar elementos de varios modelos para crear uno nuevo o generar un conocimiento teórico y práctico sobre la evaluación de política. Además, el método comparado se asemeja al método estadístico en todos los aspectos excepto uno: el número de casos. El método comparado se caracteriza por el análisis de pocos casos, entre 2 a 20 (Guzmán-León, 2016).

En consecuencia, la investigación evaluativa comparativa puede entenderse como un tipo de investigación que mezcla y selecciona criterios de evaluación y comparación que permiten valorar la calidad, la eficacia, la pertinencia y el impacto de los programas, proyectos y políticas. Este proceso identifica problemas o desaciertos que pueden ser mejorados en la aplicación.

El proceso de la investigación consta de siete etapas, como se detalla en la tabla 3. Las dos primeras etapas corresponden a la revisión y selección de las evaluaciones de diseño que incluyen informes y ponencias sobre evaluación en la gestión pública de organizaciones internacionales y/ o entes gubernamentales. La etapa tres, se centra en la comparación de modelos, considerando la forma de valoración de las cualidades del diseño de la evaluación.

Tabla 3: Procedimiento de la investigación

Fuente: elaboración propia.

La etapa cuatro se enfoca en la construcción del modelo a través de una matriz triangular, como se detalla en la figura 5. En un plano donde se cruzan los criterios de cada modelo, el elemento m12 de la matriz representa los puntos en común del modelo 1 y 2, el elemento m13 la intersección de los modelos 1 y 3, y así sucesivamente. Por debajo de la línea a 45 grados (flecha celeste) se ubica el resultado de las múltiples comparaciones. De esta manera, el modelo de evaluación de diseño m123 es el propuesto y surge de la amalgama de los tres modelos estudiados como se visualiza en la matriz triangular.

Figura 5: Matriz triangular. Proceso de construcción del modelo de la evaluación de diseño

Fuente: elaboración propia

En la quinta etapa, se organizan las fases con los elementos seleccionados de los tres modelos y se definen las categorías y subcategorías.

En la etapa sexta, se elaboran las preguntas del modelo de la evaluación de diseño, acorde a los criterios de evaluación, indicadores y fuentes de verificación seleccionados.

En la etapa séptima, para el análisis de resultados de la evaluación, se elaboran instrumentos de medición como el rango de valoración de la calificación y la pirámide de la evaluación de diseño.

Estas etapas contribuyen a la construcción de una propuesta de evaluación de diseño que puede examinar y evaluar, de manera práctica, el diseño de las políticas públicas. El propósito es que los resultados obtenidos permitan la toma de decisiones para el mejoramiento, justificando así el financiamiento público en la implementación de soluciones a las problemáticas de las poblaciones demandantes de ofertas o servicios sociales en los territorios (Arenas, 2021).

Resultados

En esta sección, se delinea la ruta de la evaluación del diseño para adaptar políticas públicas en territorios, que de aquí en adelante se denominará DesignA-POLTER (por sus iniciales en inglés: Design para diseño, A para evaluación y adaptación, POLTER para políticas en territorios). En la figura 6 se presentan las cuatro fases de la evaluación de diseño propuesta.

Figura 6. : Fases de la evaluación de diseño para la adaptación de políticas públicas en territorios

Fuente: elaboración propia

A continuación, se desglosan las cuatro fases mencionadas, abordándolas mediante ocho categorías y nueve subcategorías con la aplicación de 53 preguntas detalladas.

Estructura de la Fase I: de fundamentación estratégica

La primera fase contiene las categorías de planificación, programación y metodología de la evaluación de diseño. En esta etapa, se elaboran los términos de referencia, los criterios, las preguntas de evaluación, los indicadores y se definen las fuentes de verificación, además del método cualitativo y la selección de las herramientas. En otras palabras, esta fase inicial establece las directrices generales del modelo de evaluación como se visualiza en la tabla 4.

Tabla 4: Fases, categorías, subcategorías del instrumento de la evaluación de diseño para la adaptación de políticas públicas en territorios

Fuente: elaboración propia.

Estructura de la Fase II: exploración y contextualización profunda en la evaluación de diseño.

En la segunda fase se abordan 47 preguntas con sus categorías y criterios de evaluación, tales como pertinencia, coherencia interna, equidad, participación, transparencia, coherencia externa, complementariedad, integralidad y relevancia. También se incorporan los indicadores y las fuentes de verificación.

Para responder a las 47 preguntas, se emplea una metodología de validación de respuestas. Esta metodología se fundamenta en un esquema de tres calificaciones: 0, 1 y 2. El proceso se lleva a cabo de acuerdo con la correspondiente rúbrica de calificación. Para que una calificación de 1 o 2 pueda ser validada, es necesario contar con las evidencias que respalden la respuesta dada. En caso contrario, se considerará como información inexistente y, por consiguiente, el evaluador otorgará una calificación de cero (0).

En la tabla 5, se muestra un resumen de los criterios de evaluación, indicadores y fuentes de verificación correspondientes a cada categoría y subcategoría. Estos elementos fueron elaborados para las 47 preguntas de la Fase II.

Tabla 5: Fase II del instrumento de la evaluación de diseño

Fuente: elaboración propia

Estructura de la Fase III: análisis de resultados de la evaluación

Una vez recopilados todos los datos de la evaluación, se inicia el proceso de análisis y procesamiento de las respuestas obtenidas. En la calificación se emplea la puntuación “2” como indicador de referencia para los niveles de valoración de la política propuestos en este estudio. Esto implica que el número de preguntas que se detallará a continuación estará asociado a esta calificación en todos los casos. Se puede apreciar en la figura 7 los diferentes niveles de valoración de esta propuesta.

En primer lugar, cuando el número de preguntas con esa puntuación oscile entre 0 y 25, la propuesta a nivel territorial se considera política para rediseño. Esta apreciación indica que la política requiere ser revisada y rediseñada en diversos aspectos para alcanzar su eficacia y propósito, y que no es posible ejecutar recursos para la adaptación de política en el territorio. En segundo término, si el número de las respuestas con la puntuación referencial está en un rango de 26 a 30 ítems se clasifica en la categoría de política para modificaciones. Lo que sugiere que la política posee una base sólida, pero aún necesita ajustes y modificaciones específicas para lograr una implementación exitosa; observaciones que son detalladas por el evaluador en el informe final, para que el formulador pueda hacer los ajustes correspondientes. En tercer lugar, el nivel de política bien diseñada, con modificaciones mínimas se asigna con un rango de 31 a 48 preguntas con la puntuación indicada. Este intervalo refleja que la política ha sido desarrollada con una estructura adecuada, aunque requiere ajustes menores para optimizar su funcionamiento y resultados. Finalmente, se emite el concepto de política bien diseñada cuando se alcanzan 53 preguntas con puntuación de 2. Esta cifra reflejará que la política ha sido concebida de manera efectiva, demostrando coherencia, solidez y una alta probabilidad de lograr sus objetivos sin necesidad de modificaciones significativas. Estos parámetros de evaluación proporcionan una guía clara para determinar la calidad y adecuación de una política en función de su diseño y sus posibles necesidades de ajustes.

Figura 7: Pirámide de la evaluación de diseño

Fuente: elaboración propia

Conclusiones

Este estudio ha abordado de manera integral el proceso de evaluación del diseño de políticas públicas con el objetivo de mejorar su adaptación a contextos territoriales. A través de una metodología comparativa evaluativa, se han estructurado cuatro fases distintas, cada una con sus categorías y subcategorías específicas, totalizando 53 preguntas que sirven como guía para el análisis y la toma de decisiones.

La fase I: de fundamentación estratégica, establece las directrices generales del modelo de evaluación, abordando aspectos cruciales como la planificación, programación y metodología para la evaluación de diseño. Esta fase sienta las bases para el desarrollo efectivo del modelo, con la elaboración de términos de referencia, criterios, preguntas de evaluación, indicadores y fuentes de verificación.

Una de las principales limitaciones encontradas en las políticas públicas radica en la falta de consideración exhaustiva de las fuentes de verificación. Es necesario establecer claramente cómo se recopilarán los datos, quién será responsable de verificar el cumplimiento y qué criterios se utilizarán para evaluar el impacto. Esta ausencia de un enfoque claro en las fuentes de verificación compromete la capacidad de evaluar con precisión el rendimiento de la política y entender su alcance real.

La necesidad de profundidad en el análisis desde las fuentes de verificación se vuelve evidente en esta metodología. Las preguntas de evaluación y los criterios están intrínsecamente ligados a la disponibilidad de datos precisos y confiables. Un análisis más profundo desde las fuentes de verificación puede revelar no solo la efectividad de la implementación de la política, sino también áreas específicas que requieren ajustes o mejoras.

Un segundo aspecto destacado es la importancia de definir con claridad el alcance de la política pública desde su concepción. Muchas políticas presentan deficiencias en términos de definición clara de objetivos, actores y resultados esperados. Esta falta de claridad en el alcance puede llevar a interpretaciones diversas, obstaculizando la implementación efectiva y dificultando la evaluación posterior.

La fase II: exploración y contextualización profunda en la evaluación de diseño se presenta como el núcleo de la evaluación, con 47 preguntas que abarcan criterios fundamentales como pertinencia, coherencia interna, equidad, participación, transparencia, coherencia externa, complementariedad, integralidad y relevancia. Esta fase se apoya en una metodología de validación de respuestas que refuerza la calidad y confiabilidad de los resultados obtenidos. La equidad, participación y transparencia son evaluadas como un conjunto trascendental de principios. Se busca determinar cómo la política fomenta la participación equitativa de diversos sectores y cómo se comunican y toman decisiones. Esta atención a la equidad y transparencia es esencial para garantizar que la política sirva a toda la comunidad de manera justa y abierta.

Asimismo, la coherencia externa y complementariedad son criterios intrínsecamente conectados que demandan una evaluación detallada de cómo la política se alinea con otros contextos, ya sea a nivel internacional u otros marcos legislativos y de desarrollo. La complementariedad se refiere a cómo la política se integra y mejora otras iniciativas existentes, evitando duplicidades o contradicciones.

La integralidad y relevancia refuerzan la necesidad de que la política sea comprensiva y aborde la problemática desde una perspectiva holística. Además, se evalúa si la política es relevante en el contexto particular, respondiendo efectivamente a las necesidades y demandas específicas del territorio.

La fase III: análisis de resultados de la evaluación marca el momento en el que se procesan y evalúan los datos recopilados. Se introduce un sistema de puntuación que categoriza las políticas públicas en función de su diseño, proporcionando una guía clara para determinar su calidad y adecuación. Este enfoque permite identificar políticas que requieren rediseño, ajustes específicos, optimización o que están efectivamente diseñadas. Este enfoque de evaluación no solo identifica las deficiencias, sino que también establece parámetros claros para el éxito y la efectividad de las políticas. Además, es una oportunidad para hacer los ajustes necesarios que propicien la adaptación adecuada de la política en los territorios evitando el fracaso.

En la fase IV, centrada en la elaboración y divulgación del informe final, cierra el ciclo evaluativo proporcionando una guía accionable para los formuladores de políticas. Se convierte en un mecanismo de referencia para la mejora y que abraza la posibilidad de que la política puede ser también inacción cuando el contexto así lo amerite.

El análisis de diversos modelos de evaluación de diseño revela que aún queda mucho por abordar en lo que respeta a la creación de herramientas destinadas a evaluar políticas públicas. En muchos de estos modelos, se pone un énfasis particular en la evaluación de programas sociales, mientras que se presta una atención limitada a la evaluación de políticas públicas a nivel territorial.

La evaluación de diseño dirigida a la adaptación territorial de una política pública debe abarcar las necesidades específicas de dichos territorios. Este enfoque dependerá de cómo se aborden e interpreten las problemáticas y necesidades de los beneficiarios o involucrados. Por lo tanto, la estructura misma de una evaluación de diseño de políticas debe prestar una atención especial en la gestación y análisis de la problemática pública.

De igual manera, se deben establecer criterios de evaluación claros y una rúbrica para la calificación. Resulta imperativo elaborar una escala de valoración con más de dos niveles de puntuación que den cuenta de la intensidad y alcance de cada elemento a evaluar. Un sistema de calificación binario no es el idóneo para realizar una evaluación de diseño de una política pública a nivel territorial.

En general, los resultados de la evaluación de diseño de la política pública deben ofrecer conceptos claros, ya que el formulador requiere determinar si puede proceder con la adaptación o si es necesario realizar las modificaciones a la política. Esto es esencial para asegurar el éxito de la implementación. Por esta razón, el modelo adoptó un enfoque práctico con el propósito de que los resultados sean claros y no den lugar a ambigüedades.

Finalmente, es claro que, las políticas públicas no solo constituyen un elemento estratégico de la intervención estatal, sino que también representan una garantía consagrada en la Constitución (1991). La obligación del Estado de actuar en defensa de los derechos fundamentales y en pro del interés general subraya la importancia crucial de estas políticas en la configuración de la sociedad. Este enfoque se alinea inequívocamente con la promoción del bienestar, especialmente para aquellos grupos considerados prioritarios.

En este contexto, la formulación de políticas públicas no solo se erige como una responsabilidad, sino como un compromiso hacia la generación de acciones efectivas que impulsen el bienestar y la equidad en la sociedad. Es en este escenario que la creación de un instrumento de evaluación de diseño para la adaptación de políticas públicas en los territorios se revela como una senda no solo no explorada, sino esencial y, por ende, reviste un valor de particular relevancia