EVALUACION CURRICULAR

EVALUACIÓN CURRICULAR
CAPACIDADES
· Identifica el modelo de evaluación que maneja su institución educativa.
· Elabora instrumentos para evaluar un programa educativo.
· Explica las características y el proceso de evaluación de aprendizaje.
· Propone aspectos relevantes que se debe considerar en la evaluación de docentes.


2.1. EVALUACIÓN DEL CURRICULO
Proceso permanente de investigación que permite analizar los diferentes componentes del currículum, en relación con la realidad de la institución y del entorno social en que se desarrolla el plan curricular.
2.1.1. MODELOS DE EVALUACIÓN CURRICULAR
Al analizar los diversos modelos de la evaluación curricular, debemos recordar que cada uno de ellos está inmediatamente relacionado con los paradigmas de la evaluación estudiada en el primer módulo. A continuación se representa un esquema donde se puede observar claramente esta relación.
Conductista -eficientista
Humanístico
Holístico
Cuantitativo
Cualitativo
Mixto
· Consecución objetivos (Tyler)
· Planificación educativa (Cronbach)
· CIPP (Stufflebeam)
· CSE (Alquin)
· Figura (Stake)
· Contraposición (Owens)
· Atención al cliente (Scriven)
· Critica artística (Elsner)
· Evaluación responderte (Stake)
· Evaluación iluminativa (Parlett y Hamilton)
· Evaluación Holística / Democrática (Mc Donal)
Paradigmas
Modelos
Métodos
SECUENCIA CONCEPTUALIZADA DE MODELOS

A. MODELO DE EVALUACIÓN ORIENTADA HACIA LOS OBJETIVOS
Se puede considerar como el primer modelo de evaluación sistémica. Su origen se remonta a los años 30 y Tyler es su representante principal.
La evaluación tiene como propósito determinar la congruencia entre los objetivos y los logros. El procedimiento propuesto por Tyler para evaluar queda reflejado en los pasos siguientes:
1. Establecer las metas u objetivos.
2. Ordenar los objetivos en amplias clasificaciones.
3. Definir los objetivos en términos de comportamiento.
4. Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los objetivos.
5. Explicar los propósitos de la estrategia.
6. Escoger o desarrollar las apropiadas medidas técnicas.
8. Comprobar los datos con los objetivos del comportamiento.
7. Recopilar los datos de trabajo.

Críticas al modelo
Considera a la evaluación como un proceso terminal que proporciona información cuando se ha cubierto el ciclo del programa perdiéndose la posibilidad de rectificar el programa, cuando se este desarrollando.
El énfasis en los objetivos preestablecidos provoca el olvido e ignorancia intencional de los efectos secundarios y de los acontecimientos accidentales, locales no previstos.
Es un modelo reduccionista interesa esencialmente el rendimiento-logro
Se centra en el comportamiento observable que no son indicadores simbólicos de procesos internos y aprendizajes complejos.
Es un modelo burocrático en el que la audiencia de la evaluación es la productora del programa, no sus usuarios.


B. MODELO DE TOMA DE DECISIONES
Este modelo se estructura y organiza en relación con las decisiones que se han de tomar a lo largo del desarrollo de un programa. Sus principales representantes son Stufflebeam y Sinkfield(1989).
Los conceptos claves del modelo CIPP(context-Imput-Process-Product), se articula en tres pasos:
1) Delimitar: Los evaluadores se reúnen con las personas responsables de la toma de decisiones en orden a identificar la información necesaria.
2) Obtener: Recoger y procesar la información.
3) Aplicar: Suministro de la información recogida y procesada a los responsables de las decisiones para que éstas sean más racionales.
Stufflebean distingue cuatro tipos de evaluaciones: de contexto, entrada, proceso y producto. A continuación se representa las características de cada uno de estos tipos de evaluación.

Cuatro tipos de evaluación (Stufflebeam,1987:194-195 )

Contexto
Entrada
Proceso
Producto
Objetivo
Definir el contexto institucional, identificar la población objeto de estudio y valor sus necesidades. Identificar sus necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar si los objetivos propuestos son suficientemente coherentes con las necesidades valoradas.
Identificar y valorar la capacidad del sistema, las estrategias del programa las alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los prosupuestos y los programas
Identificar o pronosticar durante el proceso, los defectos de la planificación del procedimiento o de su realización, proporcionar información para las decisiones preprogramadas y describir y juzgar las actividades y aspectos del procedimiento.
Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la información proporcionada por el contexto, por la entrada de datos y por el proceso e interpretar su valor y su mérito.
Método
Utilización de métodos como el análisis de sistemas, la inspección, la revisión de documentos, las audiciones, las entrevistas, los tests diagnósticos, la técnica Delphi…
Inventariar y analizar los recursos humanos y materiales disponibles, las estrategias de solución y las estrategias de procedimiento referentes a su aplicabilidad, viabilidad y economía. Y utilizar métodos como la búsqueda de bibliografía, las visitas a programas ejemplares, los grupos de asesores y ensayos piloto.
Controlar las limitaciones potenciales del procedimiento y permanecer alerta ante las que no se esperan, mediante la obtención de información especíica de las decisiones programadas, la descripción del proceso real, la continua interacción con el personal del proyecto y la observación de sus actividades.
Definir operacionalmente y valorar los criterios de los resultados, mediante recopilación de los juicios de los clientes y realización de análisis cuantitativos y cualitativos.
Relación con la toma de decisiones
Decidir el marco que debe ser abarcado, a las metas relacionas con la satisfacción de las necesidades o la utilización de las oportunidades y los objetivos relacionados con la solución de problemas. Y proporcionar una base para juzgar los resultados.
Seleccionar los recursos de apoyo, las estrategias de solución y las planificaciones de procedimientos esto es estructurar las actividades de cambio. Y proporcionar una base para juzgar la realización.
Llevar a cabo y perfeccionar la planificación y procedimientos del programa, esto es efectuar un control del proceso. Y proporcionar un esbozo del proceso real para usarlo mas tarde en la interpretación de resultados
Decidir la continuación, finalización, modificación o readaptación de la actividad del cambio. Y presentar un informe claro de los efectos(deseados y no deseados, positivos y negativos)



C. MODELO DE EVALUACIÓN SIN REFERENCIA A LOS OBJETIVOS
Este modelo es propuesto por Scriver(1973), ofrece la particularidad de obviar los objetivos del programa, creyendo que con esta ignorancia por parte del evaluador será mas objetivo al evaluar los resultados del programa, tanto los previstos como los imprevistos.
El modelo de Scriven se desarrolla de acuerdo con lo siguiente:
· Antecedentes, contexto recursos y función del programa servicio que se requiere evaluar.
· El sistema de distribución del programa/intervención.
· Descripción de los usuarios o población objetos de intervención.
· Necesidades de valores de los que se ven realmente afectados por la intervención.
· Existencia o no de normas/criterios previos para la evaluación
· El proceso de intervención social.
· Los resultados de la misma.
· Los costos de la intervención.
· La comparación con programas/servicios alternativos.
Para Scriven el modelo de objetivos es imperfecto y las evaluaciones propuestas potencialmente inútiles, ya que las metas y objetivos propuestos pueden ser inmorales, poco realistas y no representativas de las necesidades de los consumidores o demasiado limitados como para prever los efectos secundarios.
Según este autor la evaluación presenta dos funciones capitales: la formativa ayuda a desarrollar el programa y la Sumativa calcula el valor del objeto una vez que ha sido desarrollado.
Este modelo representa ciertas limitaciones ya que la evaluación sin metas conlleva un problema importante: la asignación de un significado valorativo a los resultados para verificar la eficacia y el valor de un programa. Además, Scriven introduce el concepto de necesidad coma base de la evaluación, considerando que la misma se hará con referencia a las necesidades del consumidor más que a los objetivos e intenciones de su productor. Sería importante preguntarse si, dados los resultados de una valoración de las necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas (JIMÉNEZ, B; s/a p.p. 52-53).
D. MODELO DE EVALUACIÓN BASADO EN LA CRÍTICA ARTÍSTICA
Este modelo de evaluación propuesto por Eisner se fundamenta en una concepción: la enseñanza como arte y el profesor como un artista, apoyándose en el currículum como una realidad cultural que encarna normas y reglas implícitas de la cultura.
La evaluación del currículum se basa, por tanto, en la crítica, a partir de la interpretación y compresión del contexto, de los símbolos y reglas y tradiciones de los que participan. La tarea del evaluador es develar la calidad de las situaciones curriculares cuando se transforman en intenciones y realidades.
Los conceptos claves de estos modelos son dos:
1) Connosseurship: capacidad de percepción walitakua, considerado como el arte de la percepción que posibilita la apreciación de la complejidad de las prácticas educativas. El evaluador, por su formación y experiencia, es capaz de apreciar y reconocer las características y cualidades de los fenómenos, lo que le permite ser sensible a las cualidades emergentes del programa que se esta evaluando.
2) Crítica artística: como “arte de revelación”, el evaluador, además de discernir el carácter o cualidades de un acontecimiento, debe ofrecer una representación de lo que ha encontrado para que otras personas que no posean su nivel puedan participar de ello, comprendiendo y valorando la calidad de la práctica educativa y sus consecuencias.
E. MODELO DE EVALUACIÓN SENSITIVA O RESPONDIENTE
Modelo elaborado por Stake(1976), enfatiza la acomodación a las necesidades de los clientes, es decir de la audiencia, por lo que la primera fase alude a los problemas, dudas y necesidades. Una forma de identificar problemas es hablando con los implicados. Estos problemas deben utilizarse para discusiones y posteriormente servirán para organizar el plan de recogida de datos, las acciones correspondientes y la búsqueda de soluciones.
La estructura funcional de la evaluación respondiente se concreta en doce pasos, que no siguen una estructura lineal:
· Hablar con los clientes, el personal del programa y las audiencias.
· Identificar el alcance del programa.
· Panorama de las actividades del programa.
· Descubrir los propósitos e intereses.
· Conceptualizar las cuestiones y problemas.
· Identificar los datos necesarios para investigar los problemas.
· Seleccionar observadores, jueces e instrumentos, si los hay.
· Observar los antecedentes, las transacciones y los resultados propuestos.
· Desarrollar temas, preparar descripciones y estudiar casos concretos.
· Validación: confirmación, búsqueda de evidencias para la no confirmación.
· Esquema para el uso de la audiencia.
· Reunir los informes formales, si los hay.


MODELO SENSITIVO DE STAKE
Tomado del libro de STENHOUSE, L.,La investigación y desarrollo del currículo, Ed. Morata, Madrid, 1984, y adaptado por Restrepo, Flores y Correa(1990)
La evaluación debe partir de una familiarización sólida con la sustentación del programa; es decir, con la concepción que le dió origen y con su filosofía, metas y objetivos.
También debe construirse una matriz descriptiva de antecedentes, de transacciones, de encuentros o procesos entre los agentes de la acción y los objetivos por lograr.
Los antecedentes son las condiciones preexistentes a la interacción de los alumnos con el profesor y con la materia de estudio; abarca las características de estos actores, las normas legales e institucionales, las necesidades y expectativas de la comunidad, el proyecto educativo institucional y los recursos disponibles. Esta información es imprescindible a la hora de evaluar si un propósito del programa o del currículo se cumplió, pues podía ocurrir, por ejemplo, que el nivel de habilidades intelectuales requerido por los estudiantes para procurar el logro de un objetivo importante del currículo no se hubiera dado, y entonces la información sobre aptitudes personales previas podría ayudar a explicar las fallas en el proceso o en el resultado.
Las transacciones es la interacción de los alumnos con los agentes que contribuyen con su educación, que incluye profesores, consejeros bibliotecarios y también textos escolares, materiales y recursos tecnológicos con los cuales el alumno interactúa en la clase y fuera de ella. Las transacciones planeadas para alcanzar algún propósito u objetivo curricular pueden ocurrir de manera no satisfactoria y explicar por qué ciertos logros no se alcanzaron o se alcanzaron en forma deficiente
La matriz descriptiva debe elaborarse en dos momentos. En el primero debe construirse las intenciones, la idealidad del programa, las expectativas planteadas al fundar el programa o al producirse cambios de importancia en el mismo. La elaboración de esta matriz descriptiva de intenciones debe efectuarse a través de un análisis de contingencias lógicas, esto es, de correspondencia o coherencia entre condiciones de entrada y procesos. Asimismo, debe evaluarse la coherencia entre logros esperados, procesos e insumos. Este análisis, eminentemente lógico, permite cambiar la consistencia interna del programa.
En un segundo momento, debe elaborarse variables e indicadores para observar en la realidad los antecedentes, las transacciones y los logros, es decir, lo realmente ejecutado.
Elaboradas estas sus matrices de intenciones y observaciones, a través de variables e indicadores apropiados, debe realizarse una segunda evaluación del análisis de congruencia o comparación entre realidad e idealidad. Esta matriz de observaciones debe evaluarse mediante un análisis de congruencia empírica o de correspondencia entre antecedentes, transacciones y logros que necesita complementarse con explicaciones acerca de las discrepancias resultantes del proceso de contrastar las variables.
La evaluación de las diferentes variables e indicadores elaborados para observar antecedentes, transacciones y logros se realiza mediante la aplicación de criterios valorativos y de estándares o medidas de desempeño de estos criterios en cada indicador, lo que demanda la elaboración de una matriz valorativa paralela a la descriptiva.
La valoración puede efectuarse con juicios absolutos o relativos, según se comparen internamente el programa con los criterios y estándares establecidos para la evaluación, o se compare su desempeño con otros programas afines en algún sentido (FLORES O. 2001; pp. 85-87)

F. MODELO DE EVALUACIÓN ILUMINATIVA
Este modelo propuesto por Parlett y Hamilton (1977) presenta como características más relevantes las siguientes:
· Los estudios sobre evaluación deben comprender una tendencia holística y tener en cuenta el amplio contexto en el que funciona.
· Se preocupa más de la descripción e interpretación que de la medida y la predicción.
· Se orienta más al análisis de los procesos que al análisis de los productos
· La evaluación se desarrolla bajo condiciones naturales o de campo y no bajo condiciones experimentales.
· Los métodos principales de recogida de datos son la observación y la entrevista.
En este modelo aparecen dos conceptos de capital importancia: el contexto de aprendizaje y el sistema de instrucción. El primero se refiere al contexto material, psicológico y social dentro del cual trabajan conjuntamente formadores y participantes; representan una red de variables culturales, sociales, institucionales y psicológicas que interactúan de forma compleja. El segundo concepto, sistema de instrucción como producto teórico de un conjunto de elementos que componen un plan coherente, que al aplicarse sufre modificaciones en función del medio. Los participantes y los formadores, por eso, deben evaluarse en función de las condiciones concretas de su aplicación.
La evaluación iluminativa puede adoptar diversas formas. Pretende ser adoptable para descubrir las dimensiones, metas y técnicas de evaluación, y ecléctica en el sentido de proporcionar al evaluador una serie de técnicas investigativas que dependerán del problema que debe investigarse.
Parlett y Hamilton distinguen tres fases en la evaluación iluminativa.
1) Observación: Se investiga toda una amplia gama de variables que afectan al resultado del programa.
2) Investigación: El interés de desplaza desde el reconocimiento hacia la selección y el planteamiento de investigación es de manera coherente, con el fin de realizar una lista sistemática y selectiva de los aspectos más importantes del programa en su contexto.
3) Explicación: En la que los principios generales subyacen a la organización son expuestos y se delinean los modelos causa-efecto en sus opciones.


G. MODELO DE EVALUACIÓN DEMOCRÁTICA
Este modelo propuesto por Mc Donald se sitúa dentro de una visión naturalista de la realidad. Para conocer la realidad y sus significados hay que sumergirse en el curso vivo de los acontecimientos y conocer las interpretaciones diversas que hacen de la misma los que en ella participan. Las opiniones de todos los afectados han de estar presentes y sólo un proceso de negociación que así lo considere es garante para llegar una evaluación realista.
A continuación destacamos algunas de sus características más importantes:
· La evaluación democrática es un servicio de información a la comunidad enterada de las características de un programa educativo.
· El patrocinio de la evaluación no concede derecho especial sobre el servicio.
· El evaluador democrático reconoce el pluralismo de valores y busca la presentación de intereses diferentes en su formulación de cuestiones el valor básico.
· El valor básico es la información a los ciudadanos, actuando el evaluador como agente de intercambio de evaluación entre diferentes grupos.
· Las técnicas de recogido y presentación de datos deben ser accesibles a audiencias no especializadas (entrevistas, debates, etc.).
· La principal actividad del evaluador es la recogida de definiciones del programa y de reacciones frente a él.
· El informante no proporciona recomendaciones. Las interpretaciones y opiniones que contiene surgen de un proceso de negociación con todos los implicados en el estudio.
· Los conceptos claves de la evaluación son “carácter confidencial”,”negociación” y “accesibilidad”. El concepto justificador es el “derecho a saber”.
2.1.2. CAMPO DE LA EVALUACIÓN DEL CURRÍCULO
La evaluación contribuye a determinar los conocimientos válidos de una disciplina. En este sentido, la evaluación legitima al currículum a aprender enseñar, seleccionar en un campo de conocimiento o disciplinas de una etapa educativa.
Dentro de la evaluación del currículum, hemos de incluir, aparte de dimensiones internas del currículum (contenidos, materiales, etc.), la evaluación de la innovación curricular, y la evaluación de programas (educativos, innovadores o formativos).
Podemos distinguir funcionalmente entre análisis del currículum y evaluación del currículum, cifrando el primero en describir el posible valor educativo del currículum, sus potencialidades curriculares y sus procesos de desarrollo; mientras que la "evaluación del currículum" en su dimensión sumativa, prioritariamente se centra en juzgar/valorar su éxito y resultados. La finalidad del análisis es describir y comprender una situación, independientemente de sus resultados, como base para clasificar el campo, contexto y situación a investigar. Ariav (1986) señala los siguientes propósitos y métodos de la evaluación del currículum:
A. El propósito de la evaluación del currículum es juzgar el éxito o fracaso de un currículum particular.
B. Los métodos aplicados, de igual manera, son diferentes en los modelos y fines.
C. La dirección de la evaluación del currículum se puede dirigir a la administración educativa, agencias patrocinadores, profesores, alumnos, comunidad escolar.
King (1991), refiriéndose a la evaluación del currículum en la práctica, señala las siguientes características iniciales:
A. La evaluación del currículum es dependiente de las múltiples perspectivas del currículum existente, y cubre un amplio rango de actividades curriculares (procesos y productos) que pueden ser objeto de evaluación. La evaluación puede dirigirse al uso de un material curricular específico, de un método de enseñanza o de personal.
B. Es dependiente de múltiples perspectivas filosóficas y metodológicas conjuntamente, pues las suposiciones metodológicas y alumnos han utilizado, están usando o van a usar en el futuro.
Desde la perspectiva de Apple y Beyer (1983), propugnan una "evaluación social del currículum", caracterizada por redefinir la unidad de evaluación dentro de un contexto más amplio y por focalizarse en las funciones sociales que cumplen el currículum escolar. Por ello, la evaluación del currículum es incompleta si se limita a la escuela investigando lo que se enseña o las experiencias de los alumnos con los programas escolares. Tres dominios, al menos, necesitarían de objeto de estudio en una evaluación social del currículum (Apple y Beyer, 1983, p.430) para ver las conexiones entre el currículum y las estructuras ideológicas y económicas.
A. Las interacciones cotidianas y regularidades de la vida escolar: lo que se ha llamado "currículum oculto", como modo en que se enseña y reproducen importantes valores y normas sobre trabajo, clase social, raza y género de nuestra sociedad.
B. El hábeas formal del conocimiento escolar:
Elcurrículum planificado, expresado en materiales curriculares y vivenciados por el profesor y los alumnos.
C. Las perspectivas, procedimientos y teorías fundamentales que los docentes utilizan para planificar, organizar y evaluar lo que sucede en las escuelas.
No obstante, el campo de la evaluación del currículum se ha ampliado considerablemente hasta poder abarcar otros campos, en cuanto son dependientes del currículum o influyen decisivamente en él (entorno escolar o apoyo externo). Así, en el reciente documento a debate presentado por el MEC (1994) sobre "Centros educativos y calidad de enseñanza", se señala:

Al adoptar una concepción más compleja e interactiva del currículo, ya no se justifica reducir la tarea de la evaluación exclusivamente al alumno y al proceso de enseñanza y aprendizaje. Los resultados de la educación vienen determinados por la actuación de los profesionales que en ella intervienen, por la organización y funcionamiento del centro escolar en el que aquella se cumple, por la propia definición y desarrollo del currículo, y por la actuación del aparato administrativo que debe proporcionar los recursos para el funcionamiento eficaz del sistema en su conjunto. En consecuencia, todos ellos se convierten en objeto de evaluación

EVALUACIÓN DE PROGRAMAS

1. PRESENTACIÓN
Una de las principales actividades de los orientadores es la de diseñar programas de intervención psicopedagógica, encaminados a satisfacer las necesidades de orientación de los sujetos. Junto al diseño de programas de intervención, surge de inmediato su aplicación y evaluación para conocer su efectividad y emprender la toma de decisiones sobre los posibles cambios, mejora y su aplicabilidad potencial.
Adentrarse en la evaluación de programas implica para los orientadores, el dominio de las teorías y metodologías sobre evaluación de programas sociales, conocer las teorías de evaluación, clarificar términos que usualmente se consideran sinónimos y no lo son y finalmente desarrollar habilidades aplicadas a la evaluación.
A fin de iniciarnos en este ámbito del conocimiento hacemos las siguientes precisiones conceptuales.

2. PRECISIONES CONCEPTUALES

En esta investigación entendemos por:
• Investigación Evaluativa
La aplicación de los principios y procedimientos de la investigación social para comprobar sistemáticamente la eficacia de un programa de intervención social. (De Miguel, 2000).
Es la investigación a través del método científico de los efectos, resultados y objetivos de un programa con el fin de tomar decisiones sobre él. (Fernández, 1996, p. 23).

• Evaluación de Programas
Es el conjunto de principios, estrategias y procesos que fundamentan la evaluación de toda acción o conjunto de acciones desarrolladas de forma sistemática en un determinado contexto con el fin de tomar decisiones pertinentes que contribuyan a mejorar las estrategias de intervención social. (De Miguel, 2000).
• Programa
Es el plan, proyecto o servicio mediante el cual se diseña, organiza y se pone en práctica un conjunto de acciones y recursos materiales dirigidos a la consecución de una meta. (De Miguel, 2000b).
Para Fernández (1999, p. 477), el programa es "el conjunto especifico de acciones humanas y recursos materiales diseñados e implementados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas."

• Pertinencia
Se define como la medida en la cual un programa responde a unas necesidades concretas de la población atendida.
• Suficiencia
Se define como la medida en la cual las acciones establecidas pueden ser suficientes y adecuadas para conseguir los propósitos que se persiguen.
• Evaluación de Progreso
Es la evaluación formativa o de proceso, realizada durante la implantación del programa pretendiendo determinar como éste, está actuando en los destinatarios.
• Eficiencia
Es la relación entre el valor de los resultados obtenidos y los medios puestos a contribución.
• Eficacia
Es la medida en la cual existe prueba de que los objetivos establecidos en el programa se han cumplido.
• Efectividad
Es la medida en la cual un programa ha alcanzado una serie de efectos.
• Evaluabilidad
Implica la medida en la cual un determinado programa esta listo para ser evaluado.

3. FUNCIONES DE LA EVALUACIÓN
Fernández (1996) sostiene que la evaluación tiene una función esencial y unas funciones especificas.
3.1 FUNCIÓN ESENCIAL
Toda evaluación fundamentalmente se propone hacer una toma de decisiones en torno a una determinada intervención, esta sería la función esencial de la evaluación.
3.2. FUNCIONES ESPECÍFICAS DE LA EVALUACIÓN
La autora plantea como funciones de la evaluación las siguientes:
1. Contabilidad pública y base para nuevas decisiones presupuestarías. El gasto debe hacerse no sólo con arreglo a principios legales sino ha de tomarse en cuenta unos principios de eficacia y eficiencia económica. Así, cuando se justifica un gasto estipulado para un programa y se han conseguido los objetivos previstos según unos determinados indicadores, con base en ellos, se tomaran nuevas decisiones presupuestarías.
2. Justificación de las decisiones. Una valoración positiva de un programa, avala las decisiones que sobre él, se toman. En algunas oportunidades se solicita la evaluación del programa para tomar decisiones sobre él.
3. Actuaciones sobre el programa. La evaluación es el medio a través del cual se toman decisiones sobre el programa. Así, la evaluación puede realizarse para eliminarlo, sustituirlo o mejorarlo.
4. Contrastación de teorías. Como la evaluación de programas precisa de una metodología científica y en todo programa subyace una determinada teoría, una de las funciones de la evaluación de programas es la contrastación de teoría.

4. LOS OBJETIVOS DE LA EVALUACIÓN
Conocidas las necesidades que se pretenden satisfacer mediante un programa, surge de inmediato la jerarquización de ellas. Seguidamente se da el establecimiento de un listado de objetivos y metas que de acuerdo con los recursos asignados puedan lograrse. Este procedimiento es el comúnmente seguido para la determinación de los objetivos de una intervención social. Entendemos que los objetivos de una intervención corresponde a lo que se desea conseguir, para demostrar que se ha solventado la situación problema, que dio origen a la planificación de la intervención. En este sentido compartimos la definición que Fernández (1996, p. 54), sostiene sobre objetivo: "es la especifica descripción de un determinado resultado que se pretende conseguir porque pone de manifiesto que ha mejorado un estado de necesidad de un individuo o grupo de individuos."
Para que un objetivo sea tomado como tal, ha de reunir una serie de condiciones y características, entre ellas:
Estar claramente definidos.
Ser específicos.
Ser medibles.

Ser fácilmente identificables.
Ser factibles.
Los objetivos no pueden ser incompatibles con otros objetivos.
Ser cuantificados.
En la planificación de la intervención social y la evaluación de programas, conviene hacer la distinción entre la evaluación sobre la base de sus metas que se plantea con respecto a un programa y la evaluación libre de metas, pues los evaluadores al determinar si la evaluación que programa es de acuerdo con sus objetivos o metas o es libre de ellas, determinan también el procedimiento a seguir.

4.1. OBJETIVOS PROPIAMENTE DICHOS DE LA EVALUACIÓN DE PROGRAMAS.

Los objetivos de la evaluación de programas están determinados de acuerdo a las funciones de los programas, con este criterio podemos establecer como objetivos de la evaluación los siguientes:
Si el programa tiene como función verificar una teoría, los objetivos de la evaluación están encaminados ha probar si determinada teoría es eficaz y adecuada para la resolución de los problemas sociales concretos.
Si el programa centra su interés en los procesos de instrumentación de las estrategias de intervención y en los problemas prácticos de su aplicación, pues ellas determinan su eficacia, los objetivos de la evaluación estarán referidos a:
Estimar el mérito de las metas que se propone cada estrategia.
Determinar la calidad del diseño y planificación de las actuaciones a realizar.
Determinar el grado de cumplimiento y adecuación con que la planificación ha sido implementada.
Determinar la calidad y la utilidad de los resultados e impacto generado por el programa.
Si el programa esta centrado en promover un cambio social, el objetivo de la evaluación estará centrado en determinar a través de ella, si el cambio o transformación se ha logrado
En términos generales podemos precisar como objetivos de una evaluación de programa los siguientes:
Obtener información pertinente, válida y fiable que actúe como soporte para la emisión de juicios de valor.
Estimar los resultados y la eficacia de los programas.
Obtener conocimiento sobre los problemas específicos de la aplicación del programa.
Contribuir a mejorar el programa.
• • • • • • • • • • •
5. SUPUESTOS O FUNDAMENTOS TEÓRICOS QUE JUSTIFICAN LA EVALUACIÓN DE PROGRAMAS
Inicialmente se suele determinar como paradigma que justifica la evaluación de programas, los paradigmas clásicos que emplea la investigación social, a saber: el paradigma positivista, el naturalista, y el crítico. Pero estos paradigmas han resultado insuficientes y cuestionados en la fundamentación teórica de la evaluación de programas. Surge, entonces, la propuesta de un nuevo paradigma que explique la realidad social. Este paradigma se conoce con el nombre de diversidad paradigmática, donde el posicionamiento de la evaluación de programas está fundamentado en distintas informaciones a partir de estudios y métodos diversos que permitan obtener conocimientos más complejos, fiables y válidos.
Así mismo, esta diversidad paradigmática es asumida por Cook (1985) cuando propone el multiplismo como crítica y renovadora al simplismo paradigmático. El autor establece algunos puntos básicos del multiplismo, entre ellos:
La utilización múltiple de enfoques teóricos.
Probar múltiples modelos causales multivariados.
Plantear múltiples hipótesis rivales.
Establecer múltiples definiciones operacionales de las múltiples variables implicadas.
Establecer objetivos múltiples que permitan múltiples análisis de resultados.
Utilizar múltiples métodos de evaluación.
Realizar múltiples análisis de datos y contraste de hipótesis.

Con respecto a los procedimientos metodológicos para la obtención de la información, surge igual cuestionamiento y limitación, si asumimos la defensa del procedimiento metodológico deductivo o inductivo. La posición asumida por el evaluador va a depender de lo que se quiera lograr con la evaluación; así, si lo que se busca es comprobar las relaciones entre los inputs y outpus u obtener conocimientos generalizables, es recomendable una metodología deductiva rigurosa; si lo que se quiere es comprobar y explicar lo que sucede en la aplicación para contribuir a mejorar el programa, se utilizará una metodología inductiva.
Entonces, no cabe en la evaluación de programas un posicionamiento unilateral frente a las metodologías cuantitativas y cualitativas, ambas son necesarias, de manera que la evaluación de programas como investigación social aplicada ha superado el debate entre metodología cuantitativa y cualitativa.

6. LA EVALUABILIDAD DE UN PROGRAMA
La evaluabilidad de un programa esta referida a la medida en la cual un determinado programa puede ser evaluado, la evaluabilidad puede ser considerada como un pre-requisito para proceder a hacer una evaluación de programa.
El considerar un programa inevaluable significa que ha sido mal planificado y que existen barreras que dificultan su evaluación.
Wholey (1979, 1983, 1987) ha identificado cuatro áreas problemáticas en la evaluación de programas que maximizan su dificultad e inoperancia:
1. Falta de definición del problema atendido por el programa implicado y los objetivos y resultados preestablecidos.
2. Carencia de base en la teoría del programa.
3. Carencia de claridad en los propósitos de la evaluación.
4. Carencia de claridad en las prioridades de la evaluación.

Asimismo, Fernández, R. y Hernández (1989) han elaborado un listado de cuestiones relevantes en la evaluación de programas, referido a calidad y obstáculos.
Por calidad entienden el rigor con que se lleva a cabo el ciclo de investigación y por obstáculo entienden los distintos problemas que pueden preverse existan durante la evaluación.
Dimensiones de calidad
• La evaluación de necesidades.
• El establecimiento de objetivos.
• La definición del programa.
• Los criterios de selección del programa.
• El nivel de implantación.
• El diseño de la evaluación.
• La calidad de las operaciones a observar.
• La información sobre el contexto.
Dimensiones de Obstáculos
• La aceptabilidad de la evaluación.
• La implicación del evaluador.
• La finalidad de la evaluación.
• Los costes de la evaluación.

7. LOS MODELOS DE LA EVALUACIÓN DE PROGRAMAS
La evaluación de programas requiere del cumplimiento de dos condiciones básicas iniciales. Por una parte, hay que precisar el marco conceptual desde el cual se aborda el objeto de la evaluación y por otra, es necesario especificar los supuestos teóricos que fundamentan el modelo evaluativo adoptado para emitir juicios de valor sobre el programa.

En otras palabras, al elegir un modelo de evaluación estamos determinando la finalidad que justifica la evaluación que tenemos planteado llevar a cabo y centramos el paradigma que fundamenta el análisis desprendido de la evaluación hecha.
Existen diferentes enfoques a la hora de plantearnos una clasificación de los modelos de evaluación de programas. A saber:

A) Enfoques centrados sobre la finalidad
Este enfoque plantea la diversidad de propósitos a la hora de especificar la finalidad de la evaluación.
Con la intención de centrar por razones prácticas y hasta didácticas el abordaje sobre los propósitos de la evaluación de programas nos identificamos con el planteamiento de los autores Stecher y Davis (1991). Para ellos, los principales fines que determinan los procesos de evaluación se pueden agrupar en tres grandes bloques:
Comprobar si los objetivos del programa han sido alcanzados.
Recabar opiniones fundamentales sobre la valoración que hacen del programa las audiencias implicadas.
Obtener información cualificada a partir de la cual se pueda tomar decisiones sobre el futuro de un programa específico.
• • •
Estos fines han dado lugar a la clasificación de los siguientes modelos de evaluación de programas:

7.1. MODELO CENTRADO EN LA EVALUACIÓN DE LOS RESULTADOS
Para este modelo de evaluación, la finalidad reside en determinar si se han cumplido los propósitos o metas previstas. Si no se han logrado, cabria investigar la causa para determinar el origen del fallo. ¿Se debe a la teoría que sustenta el programa? ¿Diseño y aplicación del programa? Estas serían algunas de las interrogantes que habría que responder.

7.2. MODELOS ORIENTADOS A LAS AUDIENCIAS IMPLICADAS
En este modelo, el criterio fundamental a la hora de estimar la calidad y rentabilidad de un programa de intervención social, es la valoración que efectúa las personas implicadas y beneficiadas con el programa. Siendo los programas sociales una forma de intervenir para satisfacer las necesidades sociales, se entiende como hoy es muy importante tener en cuenta cuando se hace una evaluación, la implicación de la dimensión humana.

7.3. MODELOS ENFOCADOS HACIA LAS DECISIONES
Para este modelo, la evaluación de programas es el proceso más idóneo para recabar información relevante sobre los ámbitos del programa relativos al contexto, diseño, aplicación y resultados susceptibles de mejora.
Inferimos que estos tres modelos centrados sobre la finalidad, al relacionarlos con los fines de la investigación social cuáles son: verificar, comprender y transformar, guardan estrecha aproximación con los paradigmas clásicos de la investigación científica, a saber: El paradigma positivista, naturalista y crítico.

7.4. MODELO EVALUATIVO SOBRE COSTES-RESULTADOS
Toda intervención social mediante programas involucra la utilización de recursos que en la mayoría de los casos son públicos, necesarios de contrastar desde el punto de vista: costes-beneficios, costes-efectividad. Esta es la razón por lo que es incluido dentro de este enfoque, este modelo economicista orientado a determinar la relación entre los recursos empleados y los beneficios obtenidos.

B) Enfoques centrados sobre el criterio de valor

Es condición de una evaluación de programas la utilización de un criterio de valor establecido previamente, para evaluar la información recogida sobre el programa. Al respecto De Miguel (2000, p. 6), sostiene que cuando asumimos un criterio de valor, estamos tomando partido de una determinada posición teórica que nos orienta sobre la organización del proceso y sobre la valoración propiamente dicha de la evaluación de programas. Esta es la razón por la cual se usa como enfoque para clasificar los modelos desde otro punto de vista distinto a la finalidad.
Partiendo de los criterios de valor, podemos clasificar los modelos de evaluación de programas de la siguiente manera:
7.5. MODELOS CENTRADOS SOBRE LA EFICACIA
Cuando los entes públicos entran a evaluar un programa, deben tener claro que lo que quieren evaluar es la cantidad y la calidad de los objetivos alcanzados con la aplicación del programa. En pocas palabras, las evaluaciones de los programas sociales públicos buscan la eficacia. Estos modelos pueden aplicar tres procedimientos distintos, a saber:
Evaluar el grado de consecución de los objetivos previstos.
Evaluar los efectos colaterales del programa.
Evaluar en forma abierta, evaluando los resultados esperados y no esperados. De Miguel (2000).
• • • • •
7.6. MODELOS CENTRADOS SOBRE LA EFICIENCIA
A la hora de evaluar un programa puede ser que el interés esté centrado en saber cuáles son los beneficios del programa en función de los recursos empleados. Cuando este es el criterio de valoración asumido, se procede a usar una metodología basada en la eficiencia. Estos modelos usualmente proceden mediante:
Enfoques basados en la relación costes-beneficios, donde tanto el inicio como la terminación de la aplicación de un programa se calcula en términos monetarios.
Enfoques coste-eficiencia, donde se evalúa el inicio del programa en términos económicos y la terminación de la aplicación en función de impacto real. (Rossi y Freeman 1993).
185 Evaluación de Programas
7.7. MODELOS CENTRADOS EN LOS PARTICIPANTES
En estos modelos el criterio para evaluar los programas, es la respuesta que ellos dan a la satisfacción de las necesidades, a las expectativas y a los intereses de las personas participantes. En pocas palabras, el criterio para evaluar la efectividad está centrado en los participantes. Son modelos descriptivos que se agrupan así:
Modelos basados en los participantes a quienes va dirigido el programa.
Modelos basados en las expectativas e intereses de los destinatarios del programa (Lincoln y Guba 1985)
• •
7.8. MODELOS PROFESIONALES
Tienen estos modelos su razón de ser, en la falta de concreción de los objetivos del programa, cuando no se ha pautado un proceso de evaluación desde la planificación del programa. Entonces, el evaluador es la persona encargada de fijar los criterios de valor que utilizará en la evaluación del programa. Definitivamente, la calidad de estas evaluaciones va a depender de muchas variables externas al programa, entre ellas: la formación y experiencia del evaluador, el rol y papel del evaluador, si es interno o externo, si la evaluación es formativa o sumativa,...

7.9. MODELOS ORIENTADOS HACIA LA CALIDAD TOTAL

Por último, dentro de este enfoque de criterios de valor podemos situar los modelos que buscan determinar la calidad del programa, donde el enfoque asumido es integral, en el sentido de abarcar todos los aspectos del programa, así como todos los implicados. En estos modelos es muy importante clarificar lo que se entiende por calidad del programa, de sus procesos y de sus resultados. (Martín 1993, Martín y Kettner 1996)

C) Enfoques en función del rol que desempeña el evaluador

La acción del evaluador y el procedimiento que ha de aplicar en la evaluación de programas, constituye otro factor a tener en cuenta a la hora de clasificar los modelos de evaluación de programas. Este enfoque contempla los siguientes modelos:
186 Evaluación de Programas
7.10. MODELOS DE EVALUACIÓN EX ANTES/EX POST
El criterio utilizado para hacer la presente clasificación de los modelos de evaluación de programas es la previsión o no del proceso de evaluación. En tal sentido, si el proceso de evaluación del programa está pautado desde la etapa inicial de planificación de la intervención, el evaluador podrá realizar el procedimiento y tomar las previsiones necesarias en dicho procedimiento de evaluación. Mas esto no suele suceder regularmente, de allí que el evaluador ha de ajustarse al momento en que se encuentra el programa objeto de evaluación e iniciar su trabajo. Estas consideraciones son significativas cuando se evalúa un programa, pues determina el modelo que debe seguir el evaluador y su papel en el mismo.

7.11. MODELOS DE EVALUACIÓN INTERNA / EXTERNA
¿Qué relación guarda el evaluador con el programa? Constituye otro interrogante que determina el papel ejercido por el evaluador en la evaluación. Si el especialista se encuentra frente a una evaluación que ha sido planificada en la etapa de planificación de la intervención, su papel será más interno, orientado a evaluar el programa en función a los objetivos previstos del servicio que promueve la intervención. Si, por el contrario, el evaluador se sitúa fuera del programa y realiza una tarea más de valoración sobre las estrategias llevadas a cabo en función de las necesidades de los destinatarios, sus planteamientos sobre el proceso son distintos, y los criterios que orientan sus juicios serán mas o menos objetivos, dependiendo de la condición de su papel interno o externo frente al programa objeto de evaluación.

7.12. MODELOS ORIENTADOS HACIA LA EVALUACIÓN SUMATIVA/FORMATIVA
Otro criterio importante que marca el papel del evaluador dentro de su función es la utilización que se haga del proceso de evaluación. Para Scriven (1967), existe diferencia entre la evaluación sumativa y formativa.
La evaluación formativa, denominada también de seguimiento o de proceso, es la evaluación llevada a cabo durante la aplicación del programa y se usa esencialmente para la mejora y perfeccionamiento del programa. Por otra parte, la evaluación sumativa también llamada de resultado o de impacto, se realiza al final de la aplicación de la intervención y se usa para emitir juicios sobre el programa y sobre la contabilidad y justificación del mismo. Estos modelos constituyen dos tipos de evaluación complementaria, pues un programa necesita tanto la evaluación formativa de todos los elementos que lo conforman en su elaboración, como de una evaluación de sus resultados finales.
El papel de cara a estos dos modelos de evaluación es distinto y determinará el procedimiento a seguir y la emisión de juicios de valor.

D) Enfoques en función a los propósitos o funciones de la evaluación .
7.13. MODELOS DE EVALUACIÓN PROACTIVO Y REACTIVOS
Este enfoque es planteado por Stufflebeam y Shinkfield (1987).
Cuando el propósito o función de la evaluación es asistir a la toma de decisiones sobre el programa, estaremos frente a una evaluación Proactiva, y si el propósito o función de la evaluación es la contabilidad del programa, entonces la evaluación es reactiva y se usa para justificar la asignación presupuestaria. Estos criterios tampoco son opuestos, ambos se complementan y son necesarios en al evaluación de las intervenciones sociales.
Frente a esta clasificación de los modelos de evaluación, todo posicionamiento unilateral resulta estrecho a la hora de evaluar un programa, y aparece más apropiada una postura fundamentada en la complementariedad de enfoques y modelos en función de los fines y de la realidad concreta del programa. (Pawson y Tilley, 1997; Stake y Mabry, 1997; Fernández R, 1996).
188

8. DISEÑOS DE LA EVALUACIÓN DE PROGRAMAS
Partiendo de la definición de diseño de Anguera (1992) se entiende por diseño: "La estrategia o plan que se sigue, donde se especifican las secuencias de decisiones a cerca de cómo recoger, ordenar y analizar los datos en función de los fines del programa." El diseño lo podemos considerar como sinónimo de plan o estrategia metodológica que guía el proceso de evaluación de un programa.
Con respecto a la clasificación de los diseños existen tantos criterios como estudiosos del tema. En esta investigación desarrollamos la clasificación de diseños de De Miguel, M. (2000).

A) Diseños en función del enfoque o paradigma adoptado
El evaluador al asumir un posicionamiento cualitativo o cuantitativo frente al proceso de evaluación de programa, también asume un determinado diseño. En este sentido autores como Guba y Linclon (1981), Cronbach (1982), Guba y Linclon (1987) han planteado que de acuerdo con este criterio existen dos tipos de diseños de evaluación de programas:
8.1. EL DISEÑO PREORDENADO
Es un diseño de evaluación de programas detallado de todos los elementos del proceso: objetivos, audiencias, información necesaria, instrumentos utilizados en la recolección de la información, fuentes, técnicas de análisis, criterios de comparación,...
Todo está previamente detallado en el proyecto de la evaluación. Es un plan cerrado que guía la ejecución de la evaluación y que genera validez en los resultados.

8.2. EL DISEÑO RESPONDENTE
Cuando la finalidad de la evaluación del programa es lograr la participación y valoración de los implicados, estamos frente a un diseño respondente que no puede estar previamente determinado, es flexible a lo largo del proceso evaluativo, toma en cuenta las valoraciones de las personas implicadas en función de sus necesidades y expectativas y utiliza una metodología y estrategias cualitativas e interpretativas. Son diseños que se reacomodan conforme al devenir del proceso de evaluación.

B) Diseños en función del nivel de control sobre las variables del programa
Si asumimos el término diseño como estrategia metodológica mediante la cual se pretende probar el efecto de una o más variables manipulables, la elaboración de esta estrategia metodológica implica establecer el procedimiento que permita probar los efectos de un programa de intervención.
Si asumimos el término diseño desde el punto de vista experimental, estaremos en presencia de un diseño de evaluación de programas que manipula las variables, tiene grupo de control y sus destinatarios son escogidos mediante procedimientos aleatorios. De esta consideración se desprenden los siguientes diseños:

8.3. LOS ESTUDIOS OBSERVACIONALES
Estos diseños se caracterizan por ser muy flexibles, no hay manipulación del programa, los individuos observados no son seleccionados mediante procedimientos aleatorios y la aplicación del programa evaluado se da en un ambiente natural, los instrumentos de recolección de datos son elaborados para la evaluación del programa específico, a fin de realizar el tratamiento estadístico mediante parámetros primarios y secundarios.

8.4. LOS ESTUDIOS SELECTIVOS
Son planes de evaluación de programas prefijados, donde se especifican los procedimientos a utilizar en la comparación de los grupos sobre los cuales se ha aplicado el programa. Sin embargo, son diseños donde no hay control externo y los colectivos sobre los cuales se hace la evaluación no han sido elegidos mediante procedimientos aleatorios. En tal sentido, son variables y se concretan previamente los instrumentos utilizados en la recolección de la información necesaria como de la información requerida para hacer la comparación entre los grupos.

8.5. LOS ESTUDIOS CUASI EXPERIMENTALES
Son diseños que requieren elevado control en la aplicación del programa, pero los sujetos o grupos a quienes se le aplica no son escogidos mediante procedimientos aleatorios y los contextos de aplicación son difíciles de controlar. Este diseño se construye de conformidad con la nomenclatura y modalidades estándar de los estudios cuasiexperimentales en al investigación social.

8.6. LOS ESTUDIOS EXPERIMENTALES
Cuando los programas que se evalúan permiten la metodología experimental, el diseño elaborado para su evaluación es experimental, requiriéndose de programas altamente estructurados, manipulables, con grupos de control y selección de sujetos por los procedimientos aleatorios, en consecuencia la evaluación es decidida previamente y el diseño responde a las características de la metodología experimental, todos estos diseños están centrados en los resultados y/o el impacto de los programas.

C) Diseños en función del proceso de control
Si la evaluación del programa esta encaminada a la valoración del diagnóstico de necesidades, del diseño del programa, y a la implementación práctica, es necesario diseñar también un procedimiento, es decir, una metodología de control sobre el proceso que permite afirmar la objetividad y validez de los juicios de valor emitidos. De acuerdo con este criterio los diseños pueden ser:
8.7. EL DISEÑO COMPARATIVO
En los diseños comparativos como su nombre lo indica, la información procesada sobre el programa es comparada con la información obtenida de otros grupos no sometidos a la intervención, existe grupo de control y la forma como se selecciona este grupo determina la calidad del sistema de control. Podemos afirmar que es importante en estos diseños clarificar si los grupos de ensayo y de control son seleccionados al azar o mediante procedimientos aleatorios, matemáticos; pues de ello depende la rigurosidad del diseño.

8.8. EL DISEÑO NO COMPARATIVO
En algunas ocasiones no se establecen grupos de control en los diseños de evaluación de programas porque es poco práctico o imposible de hacerlo. En estos casos, transitamos los espacios del paradigma naturalista y de la investigación cualitativa. En este diseño se hace necesario precisar si la comparación se efectúa de acuerdo con normas sobre la población de referencia (controles genéricos) o de acuerdo con la valoración que hacen los implicados con el programa, la que hacen los expertos, la hecha por los que administran los programas,... (controles de sobra)
Al concluir esta apretada síntesis sobre las diferentes clasificaciones de los diseños, nos atrevemos a decir con respecto a ellos que: el posicionamiento más apropiado en la evaluación de programas es el diseño ecléctico, y que le corresponde al evaluados decidir el diseño de la evaluación de acuerdo con el objetivo de la evaluación y el enfoque teórico que lo fundamenta.

9. RELACIÓN ENTRE LOS MODELOS Y LOS DISEÑOS DE LA EVALUACIÓN DE PROGRAMAS
Existe una marcada relación entre los modelos y los diseños, ambos constituyen dos momentos del procedimiento a seguir en la evaluación de programas. Todo modelo determina el criterio teórico seguido por el evaluador en cuanto a la naturaleza del programa objeto de la evaluación, la finalidad de la evaluación, y el control que el evaluador tiene sobre las diferentes fases del programa.
De acuerdo con la decisión que el evaluador ha hecho respecto al modelo, se asume el diseño o plan del proceso de evaluación, se determina la información que se necesita, asimismo, los instrumentos que van a permitir la recolección de dicha información y se determina el criterio que va servir de fundamento a los juicios de valor que se van a emitir.

En otras palabras, se trata del posicionamiento teórico y práctico del evaluador frente al proceso de evaluación del programa, hecho sobre la base de la finalidad de la evaluación, el paradigma asumido, y el papel desempeñado por el evaluador en el proceso. Cuando se elige un diseño para una evaluación, es importante que se precise el nivel de planificación, la metodología que se utilizará y el sistema de control que garantiza la validez de los juicios que se emiten.
Creemos que toda evaluación de programas tiene como fin último la toma de decisiones sobre su mejora y, en consecuencia, se requiere que los evaluadores se posicionen de enfoques integradores, comprensivos y eclécticos que integren aproximaciones teóricas y estrategias metodológicas.

10. EL PROCESO DE EVALUACIÓN DE PROGRAMAS

Fernández (1996, p. 75), sostiene "que la evaluación de programas se lleva a cabo mediante un proceso de toma de decisiones a través del cual se planifica, se recogen datos y se informa sobre el valor o mérito del objeto de la evaluación". La autora propone seis etapas o fases básicas en el proceso de evaluación de programas:
Fase 1. Planteamiento de la evaluación.
Fase 2. Selección de operaciones a observar.
Fase 3. Selección del diseño de evaluación.
Fase 4. Recogida de información.
Fase 5. Análisis de datos.
Fase 6. Informe.
A continuación siguiendo el planteamiento de Fernández Ballesteros (1996, pp. 76-112) desarrollamos las fases propuestas sobre el proceso de evaluación de programas.

10.1. FASE 1: PLANTEAMIENTO DE LA EVALUACIÓN
El planteamiento de la evaluación constituye el punto de partida del proceso de evaluación. En esta fase se recoge información sobre el programa, sobre todas las condiciones que le rodean y sobre los que dirigen la evaluación. Las interrogantes que centran esta fase son:
1. ¿Quién solicita la evaluación?
2. ¿Para qué se solicita?
3. ¿Qué se pretende evaluar?
4. ¿Qué obstáculos pudieran producirse durante la evaluación?
5. ¿Es posible llevar a cabo la evaluación?

¿Quién solicita la evaluación?
Esta primera interrogante plantea la confección del organigrama del trabajo. En él se organizan las funciones, los cargos, los solicitantes y las implicaciones de los sujetos en el proceso de evaluación y en el programa. Se inicia la recolección de la información mediante la consulta de documentos sobre la elaboración del programa y su planificación, se entrevista tanto a los solicitantes de la evaluación como a los implicados en el programa.
¿Para qué se solicita la evaluación?
Corresponde este interrogante a la clarificación sobre los propósitos que persigue la evaluación propuesta, es fundamental que el evaluador tenga muy claro qué se propone lograr a través del proceso de evaluación, y esto se puede conseguir a través de una entrevista con la persona o institución que solicita la evaluación del programa.
¿Qué se pretende evaluar?
En esta primera fase, es tarea del evaluador especificar el objeto a evaluar precisando tanto el punto en el que se encuentra el programa, como la amplitud contextual; esta clarificación se puede lograr a través del análisis sobre documentos relativos al programa así como entrevistas con los planificadores, gestores e instituciones donde se aplicó el programa. En síntesis, este proceso de indagación debe llevar al evaluador a obtener una pormenorizada especificación del programa objeto de la evaluación.

¿Qué obstáculos pueden aparecer durante la evaluación?
La información recabada durante esta primera fase del procedimiento de evaluación le permite al evaluador poder hacer algunas previsiones a fin de evitar posibles obstáculos en el desarrollo del proceso. Los obstáculos pueden venir de parte de los destinatarios del programa, de los implicados en la evaluación, del propio programa porque no reúne las condiciones para que un programa sea evaluado ..., luego de hacer el respectivo análisis de la información lograda hasta este momento, se vislumbraran los obstáculos y las posibles soluciones.

¿Es posible llevar a cabo la evaluación?
Esta interrogante está vinculada con la evaluabilidad del programa. Es el resumen de todo lo actuado hasta este momento. Determinar si un programa puede ser evaluado o no tiene que ver con dos condiciones básicas: por una parte, la calidad del programa, es decir, como ha sido su planificación y ejecutado y, por otra, que obstáculos y barreras pueden surgir en el proceso de evaluación. El examen sobre la calidad del programa, su planificación, implantación, y ejecución proporcionan al evaluador información importante para determinar la viabilidad del proceso. De allí que toda información relacionada con las cuestiones siguientes, pueden ayudar a determinar la evaluabilidad del programa.
¿El programa surgió como consecuencia de una evaluación de necesidades?
¿El programa tiene formulados los objetivos y las metas a alcanzar?
¿Existe información sobre su potencial suficiencia o adecuación?
¿El programa está bien definido y especificado?
¿Existen datos sobre su nivel de implicación?
¿Qué calidad de diseño de evaluación permite?
¿Qué tipo de operaciones a observar necesita?
¿Existen ya datos tomados sobre el contexto?

La previsión de las barreras que puedan surgir en el proceso de evaluación es el otro examen que se requiere hacer previamente y con respecto a esto, cabe preguntar:
¿Los implicados aceptan la evaluación?
¿Algunos pueden poner obstáculos?
¿Cuál es la implicación del evaluador con el programa?
¿Puede el evaluador ser objetivo e imparcial?
¿Qué costos lleva implícito la evaluación?
Al concluir esta primera etapa, el evaluador estará en condiciones de determinar si procede o no la evaluación del programa.

10.2. FASE 2: SELECCIÓN DE LAS OPERACIONES A OBSERVAR
Se entiende por operaciones a observar: "Las manifestaciones que se registran en las unidades que han recibido el programa y que suponen expresan sus efectos". (Cronbach, 1982). Esta fase la integra: la recolección de la información, la elaboración de instrumentos, el procedimiento para recoger la información, las técnicas utilizadas, los implicados que pueden suministrar distintas informaciones, la triangulación de la información. En síntesis, en esta etapa del proceso de evaluación, el evaluador debe asumir su posicionamiento sobre qué evaluar, con qué evaluar, y que fuentes de evaluación va a utilizar. En esta fase Fernández B. (1996) plantea unas preguntas que clarifican el procedimiento a seguir:
Dada la finalidad de la evaluación, los objetivos y las metas del programa, ¿Qué operaciones de las unidades expresan mejor los cambios producidos en ellas como consecuencia del programa?
¿Han de ser considerados otros efectos del programa potencialmente evaluables?
¿Existen indicadores o medidas de los posibles cambios del programa fácilmente accesibles y/o habrá que proceder a la construcción de instrumentos ad hoc para poder hacer la observación de tales operaciones?
¿Qué fuentes de información son las que ofrecen más garantía?
¿Qué criterios de bondad van a ser requeridos o son potencialmente exigibles?
¿Qué datos sobre la implantación se pueden recoger?
En la primera pregunta la autora hace el siguiente análisis:
La evaluación puede tener como objetivo constatar si los objetivos del programa se han logrado. Frente a este requerimiento el evaluador debe determinar si dichos objetivos han sido descritos pormenorizadamente. Si así resultan, ellos deben ser tomados como operaciones a observar; en caso contrario, el evaluador ha de especificar los objetivos según medidas concretas e indicadores. También puede darse el caso de que el programa no tenga descripción ni general ni pormenorizada de los objetivos. En este caso, el evaluador tendrá que especificarlos mediante entrevistas, cuestionarios y reuniones con los destinatarios implicados. Resumiendo: si el objetivo de la evaluación es emitir juicios de valor sobre el programa de acuerdo con el logro de sus objetivos, el evaluador tendrá que hacer la indagación sobre los objetivos pautados en programa por los planificadores o tendrá que especificarlos a través de los diferentes implicados, mediante medidas o indicadores concretos que reporten ser los adecuados para determinar los efectos del programa.
En la pregunta ¿han de ser considerados otros efectos del programa potencialmente evaluables?, el examen sobre la literatura del programa, los implicados, y otros expertos en el tema son una fuente de información muy rica a la hora de establecer las operaciones observables tanto positivas como negativas. La diversidad de consultas que el evaluador haga sobre los efectos potenciales del programa, los instrumentos a utilizar en la recolección de la información, las medidas, los indicadores, aquilatan los criterios emitidos sobre las bondades o perversidades del programa evaluado.
¿Existen indicadores o medidas de los posibles cambios del programa fácilmente accesibles y/o habrá que proceder a la construcción de instrumentos para proceder a la observación ad hoc de tales operaciones?
Generalmente la evaluación de programas sociales debe confrontar la limitación económica. Esta es la razón por la cual el evaluador ha de tener muy claro los indicadores que le demuestren el logro previamente establecidos y los instrumentos a través de los cuales se obtendrá la información en la valoración del programa.
¿Qué fuentes de información son las que ofrecen más garantías?
En la recolección de la información, también es de significativa importancia las fuentes que puedan brindar información, proveniente de diferentes audiencias con distintos grados de credibilidad, fiabilidad y validez. De allí que los indicadores, los medios y las fuentes de información han de ser registradas adecuadamente y apropiadas a las operaciones que queremos observar. Estas aclaratorias son de fiel cumplimiento para el evaluador, quien debe valorar la credibilidad de las fuentes de información con antelación a la toma de decisión sobre que operaciones tiene que observar para emitir el juicio de valor que se le está solicitando a través de la evaluación.
¿Qué criterios de bondad van a ser requeridos o son potencialmente exigibles?
Las garantías de las operaciones a observar están determinadas por las ciencias sociales, y los requisitos que deben cumplir son diferentes, dependiendo de los niveles de complejidad, simplicidad, de la medida o el indicador que dará muestra de haberse cumplido el resultado deseado; por ello, al preguntarse sobre las garantías que deben ser exigibles para su utilización como operación a observar, hay que tener en cuenta estas consideraciones: la sensibilidad de las operaciones que se observan, la objetividad de las operaciones a observar, la estabilidad de la medida que se adopta y la validez de la variable, la medida y el indicador.
¿Qué datos sobre el contexto de implantación se puede recoger?
El contexto es de suma importancia en la evaluación de programas porque debe describirse el ámbito de observación de las operaciones relevantes que demostrarán los logros del programa. Además, en la decisión sobre el diseño de la evaluación seguramente dicho contexto se ha de tomar en cuenta. Todo contexto en la evaluación de programas incluye la localización geográfica y político-administrativa del programa así como cualquier otra variable socio-ambiental relevante durante el proceso de implantación y de evaluación del programa.

10.3. FASE 3: SELECCIÓN DEL DISEÑO DE EVALUACIÓN
El diseño de evaluación garantiza una recolección de información sobre el programa y su circunstancia de forma organizada, ha de estar en relación con los propósitos y objetivos de la evaluación y con la parte presupuestaria, y debe plantear una evaluación sumativa y formativa. El evaluador, al emprender la selección del diseño de evaluación, debe preguntarse: ¿El programa tiene un diseño de evaluación previamente establecido? ¿Qué otros diseños se pudieran aplicar? ¿Qué amenazas de validez interna y externa pueden existir? ¿Qué unidades de observación van a ser seleccionadas? Seguramente la respuesta a estas cuestiones guiará adecuadamente la selección del diseño.

10.4. FASE: 4 RECOGIDA DE INFORMACIÓN
Esta fase presupone la decisión sobre las operaciones a observar, y el diseño a utilizar, mas, es importante que se tenga en cuenta antes de proceder a la recolección de información pertinente a la evaluación del programa las siguientes cuestiones: ¿cuál es la lógica que debe seguir la recolección de información? y ¿qué potenciales sesgos van a producirse durante la recogida de la información?
En cuanto a la lógica de la recolección de información, hay la exigencia de determinar los calendarios, la formación de los observadores, la solicitud de autorización para la obtención de datos de archivo, la selección de instrumentos, medidas, indicadores fiables y validos, la selección de las fuentes de información, determinar diferentes tipos de procedimientos para recoger la información, preparar protocolos de recogida de información, contar con la aprobación y preparación de los implicados en el proceso. En síntesis, esta fase es de capital importancia en el proceso de evaluación, pues de ella va a depender la solvencia total del proceso y la calidad de los juicios de valor emitidos sobre el programa,

10.5. FASE 5: ANÁLISIS DE DATOS
Constituye esta fase el proceso por el cual se elaboran en forma racional y estadística los datos, con el fin de sintetizar la información y dar respuesta a los propósitos de la evaluación. El tipo de análisis que se haga va a depender en parte de la naturaleza de los datos (cuantitativos, cualitativos) y del propósito de la evaluación. En esta fase, el evaluador ha de saber cómo se almacenará y codificará la información, qué tipo de análisis se realizará en función de los datos que se disponen y de las relevantes, y cuál es el criterio que sustenta los análisis.

10.6. FASE 6: EL INFORME
Constituye esta fase, la transmisión de los resultados en forma oral o escrita a las personas o instituciones que solicitaron la evaluación y a todos aquellos interesados o potencialmente beneficiarios de ella. La elaboración del informe va a depender de los propósitos de la evaluación, de las personas o instituciones que ordenaron la evaluación, y de las potenciales audiencias implicadas que haya que informar.
Esta apretada síntesis constituye una presentación de un tema de capital importancia en la tesis doctoral, donde la autora tiene toda la motivación de ir accediendo cada día a un conocimiento más elaborado sobre el tema de evaluación y fundamentalmente sobre la evaluación de programas de orientación psicopedagógica y vocacional.

REFERENCIAS BIBLIOGRAFICAS SEGUN CITAS.