Guía de Evaluación para proyectos dentro del AIA-IYA2009

¿Qué es la Evaluación?

La evaluación es el análisis de las actividades en curso o ya finalizadas, y una forma efectiva de aprender cómo hacer mejor las cosas. Es una manera de recopilar información que ayuda a aquellos que dirigen proyectos a entender y justificar los resultados y el impacto, así como generar mejores prácticas.

¿Por qué evaluar?

Muchas organizaciones, particularmente en los sectores público y de voluntariado, la utilizan como una fuente de aprendizaje, así como para justificar el uso de subvenciones.

A través de la evaluación, podemos:

Determinar si los objetivos de nuestro proyecto se alcanzaron;
Obtener información sobre los resultados de una actividad y sugerencias de mejora;
Identificar los cambios resultantes de la implementación de nuestro proyecto;
Identificar modos en los que nuestro proyecto podría haber sido más efectivo y eficiente;
Identificar resultados inesperados;
Cristalizar ideas acerca del evento y lo que se está pretendiendo lograr;
Conocer quién asistió a nuestra actividad, junto con sugerencias para mejorarla;
Proporcionar un estímulo para demostrar que nuestros esfuerzos han merecido la pena.

¿Qué evaluar?

Deberíamos empezar definiendo lo que la actividad o el proyecto intenta lograr:

AUDIENCIA O PÚBLICO. ¿Quién ha asistido? ¿Niños con sus padres? ¿Grupos escolares? ¿Cuántas personas no estaban en ese momento interesadas en astronomía? ¿Periodistas? ¿Una mezcla de grupos diferentes?

NÚMEROS. ¿Cómo esperas que sea la audiencia de numerosa?

EXPERIENCIAS. ¿Cuáles serán sus experiencias en la actividad? ¿Únicamente se lo pasarán bien? ¿Mejoran los esfuerzos del grupo de trabajo? ¿Resolución de problemas?

EDUCACIÓN. ¿Qué aprenderán de astronomía en la actividad? ¿Mejora la comprensión de los principios? ¿Hechos específicos?

ACTITUDES. ¿Esperas un cambio de actitud de tu audiencia respecto a la astronomía gracias a la actividad? ¿Aspiras a un soporte mayor para la astronomía, o a una toma de decisiones con más información?

SEGUIMIENTO. ¿Qué esperas que haga tu público después de la actividad? ¿Hacerse socio de una sociedad científica, o llevar a cabo proyectos en el aula o en casa?

La evaluación quizá debería apuntar a cada una de estas cuestiones, pero concéntrese en aquellas que sean más importantes para usted. Puede que tenga objetivos formales para su propio evento, como por ejemplo aumentar la conciencia del público acerca de su institución y trabajo.

Para fijar sus objetivos, conviene también recordar los objetivos principales del Año Internacional de la Astronomía.

Objetivos del AIA-IYA2009:

El AIA-IYA2009 representa una oportunidad única para transmitir a los ciudadanos la emoción del descubrimiento, el placer de compartir el conocimiento básico del Universo, el valor de nuestro lugar en él y la importancia de la cultura científica. El AIA-IYA2009 será, por encima de todo, una actividad para los ciudadanos del planeta Tierra.

Los objetivos principales del AIA-IYA2009 son:

1. Aumentar el conocimiento científico de la sociedad a partir de la comunicación de resultados en Astronomía y ciencias afines, así como del proceso de investigación y de pensamiento crítico que ha llevado a tales resultados.

2. Promover el acceso al conocimiento universal de las ciencias fundamentales a través de la emoción que produce la observación y descubrimiento del cosmos.

3. Fomentar el crecimiento de comunidades astronómicas en países en vías de desarrollo mediante la estimulación de colaboraciones internacionales.

4. Apoyar y mejorar la educación en Ciencias tanto en las escuelas como a través de los centros de investigación, planetarios y museos.

5. Ofrecer una imagen moderna de la ciencia y los científicos con el fin de estimular la presencia de jóvenes en carreras científicas y tecnológicas.

6. Fortalecer las ya existentes y favorecer la aparición de nuevas redes que unan a astrónomos aficionados, educadores, científicos y profesionales de la comunicación mediante actividades locales, regionales, nacionales e internacionales.

7. Mejorar la paridad de género dentro del mundo científico y promover una mayor representación de las minorías en las carreras científicas y de ingeniería.

8. Facilitar la preservación y protección de la herencia natural y cultural que supone un cielo oscuro en lugares tales como parques naturales, "oasis" urbanos y centros astronómicos mediante la transmisión de la importancia que supone preservar dicha herencia.

Debemos evaluar la calidad del contenido, el proceso de implementación, y el impacto sobre nuestra audiencia. La evaluación debe llevarse a cabo antes, durante y después de nuestro proyecto.

Además de la evaluación de nuestras actividades, deberíamos prestar atención sobre indicadores más generales que pueden ayudarnos a contextualizar los resultados de nuestra evaluación:

Número promedio por año de noticias relacionadas con la astronomía (interés de la prensa en general y de las publicaciones científicas);
Tiempo dedicado a las noticias relacionadas con la astronomía en TV y radio;
Miembros en las asociaciones amateur de astronomía;
Número de “clubes de astronomía” en los colegios y sus miembros;
Sondeo sobre el “conocimiento general sobre astronomía” que tienen los estudiantes;
Proporción de proyectos escolares de astronomía apoyados por las Instituciones;
Número de sitios Web dedicados a la astronomía en español, y su número de visitas, descargas, etcétera;
Número de estudiantes universitarios en Física y Astronomía.

¿Cómo evaluar?

Existen diversos métodos que pueden utilizarse según las necesidades, público, tipo de actividad, objetivos, personal, tiempo disponible, y presupuesto.

Cuando elijamos un método de evaluación, tendremos que sopesar cuidadosamente las ventajas y desventajas de nuestra elección, así como la adecuación de nuestra propia situación y objetivos de evaluación.

**Métodos de Evaluación**
MÉTODO	VENTAJAS	DESVENTAJAS
Observación	Apropiado para recoger datos relacionados con el comportamiento. Funciona bien cuando los sujetos están implicados en una actividad y no pueden proporcionar opiniones objetivas / detalladas (por ejemplo, niños).	Los sujetos pueden cambiar su comportamiento si notan que están siendo observados. Potente para observación parcial o diferencias de interpretación entre observadores. Difícil observar y registrar simultáneamente.
Entrevista	Apropiada para situaciones complejas. Permite recopilación de información en profundidad. Se pueden pedir explicaciones a las respuestas. Las preguntas pueden aclararse.	Potente para entrevistador/a parcial. Requiere habilidad por parte del entrevistador para obtener respuestas honestas. Consume tiempo y por tanto es caro.
Focalización sobre un grupo	Fuente de datos muy “rica”. Permite interacciones con el grupo a observar así como reunir opiniones. La situación grupal permite intercambiar opiniones y aclaraciones.	Consume tiempo y es caro. Requiere habilidad por parte del entrevistador y la dinámica grupal es crucial para recoger datos útiles.
Cuestionario	Barato. Puede ser completamente anónimo. Posibilidad de grandes muestras. Puede distribuirse de varias maneras.	Un diseño apropiado del cuestionario es crucial para que tenga éxito. No es apropiado para niños, adultos con poca capacidad de lectura o de escritura, etc. Potencialidad de baja proporción de respuestas. Muestra parcial auto-selectiva. No es posible aclarar cuestiones.
Fuentes Secundarias	Inclusión de documentos tales como informes o estudios previos. Generalmente barato. Conveniente.	Problemas de validez y fiabilidad. El formato de los datos puede no ajustarse al formato requerido por el evaluador.

La siguiente tabla le ayudará a definir qué tipo de información queremos, dependiendo del método seleccionado que estemos utilizando y el tipo de evento, para intentar alcanzar nuestros objetivos:

**Tipos de información**
	Discusión / Reunión / Charla	Sitio Web	Productos, por ejemplo Póster / CD-ROM / Vídeo	Exhibición / Jornada de puertas abiertas	Exposición / Obra	Concurso
Monitorización de datos
Número de asistentes Tipo de asistentes	Contar asistentes a la entrada. Categorizar a la gente al registrarse, o por observación o a través de un cuestionario.	Contabilizar las entradas. Colgar cuestionarios en el sitio Web o procedimientos de registro.	Número distribuido. Uso de formularios de petición / solicitud y cuestionarios.	Contabilizar el público asistenta a la entrada. Categorizar a la gente a la entrada por registro o a través de un cuestionario.	Contabilizar a la audiencia. Utilizar venta de entradas o mecanismos de reserva para recoger información.	Contar las entradas. Utilizar entradas para recoger datos sobre los tipos de asistentes.
Evaluación de Datos
Punto de Referencia	Para medir el cambio se necesita tener una línea de base previa de la audiencia que encaje con el proyecto y otro conjunto de datos tomados después de haber tomado parte en el mismo. Será necesario hacer las mismas cuestiones antes y después.
Cambio de puntos de vista / actitudes Cambio de comportamiento Aumento del Interés Aumento del conocimiento	Preguntar a la gente por sus puntos de vista iniciales a través de un cuestionario en papel mientras esté esperando que comience el evento o cuando hagan el registro.	Cuestionario de registro en la página Web para recoger información.	Los métodos de distribución afectarán a la capacidad de reunir datos iniciales. Utilizar un mecanismo de petición permite recopilar datos.	Preguntar puntos de vista iniciales por medio de cuestionarios en papel o electrónico cuando la gente se registre para asistir o comprar las entradas.	Preguntar puntos de vista iniciales por medio de cuestionarios en papel o electrónico cuando la gente compre o reserve las entradas.	Incorporar en el proceso del concurso un ejercicio inicial de recolección de datos permitirá recoger datos de base.
Calidad / Adecuado para el propósito
Puntos fuertes Puntos débiles	Observar el evento. Usar cuestionarios a la salida y/o focalización sobre grupos o cuestionarios.	Incluir preguntas sobre ésto en un cuestionario hospedado en el sitio Web. Registrar el tiempo empleado por página y páginas solicitadas.	Seguimiento de los cuestionarios y de los grupos focalizados.	Cuestionarios de seguimiento o a la salida. Entrevistas breves cara a cara durante el evento. Observación.	Cuestionarios de seguimiento. Grupos de discusión.	Utilización de mecanismos de entrada para registrar la reacción.
Interacción con el proyecto	La observación de la dinámica le ayudará a planificar mejor eventos en el futuro.	Registrar el orden en que se accede a las páginas y el tiempo empleado por página.	Observación de los usuarios y cuestionarios.	Observación. Entrevistas en profundidad o focalización sobre grupos y cuestionarios. Feedback del personal / compañeros.	Observación. Cuestionarios.	Implícito al participar, usar números de entrada como una medida.
Diálogo
Obtener puntos de vista del asunto	Escuchar las conversaciones, registrar los puntos clave.	Un correo electrónico interactivo facilitará esto.	No es un buen medio para obtener los puntos de vista de la gente. Puede usar éstos como estímulo y entonces utilizar grupos de discusión y cuestionarios.	Libro de sugerencias y cuestionarios a la salida. Crear oportunidades para que el personal / compañeros enganchen con los visitantes.	No diseñado comúnmente para registrar la reacción. Puede utilizarse un debate después de la función.	Puede hacerse en el proceso de ingreso para participar, pero no un mecanismo normal para conseguir los puntos de vista de la gente.

Comunicación de Resultados

Después de recoger y analizar los datos para nuestra evaluación, debemos comunicar nuestros descubrimientos, no sólo a nuestros patrocinadores o administradores, sino también para nosotros y nuestro equipo de trabajo, como una forma de auto-análisis.

Así como en los métodos de recogida de datos y en el nivel de evaluación, será necesario elegir el formato más adecuado para la comunicación de resultados, en longitud, detalle, etc.

Algunos puntos que deberíamos incluir son:

1.   Detalles de la financiación. Si el evento o proyecto recibió cualquier tipo de financiación, debería hacerse referencia a la cantidad, incluyendo a los colaboradores tanto en financiación como en material o personal aportado.
2.   Detalles del proyecto. Incluir los propósitos y un resumen de los objetivos propuestos.
3.   Distribución de las tareas del proyecto. Comentar los aciertos y los cambios con el reparto de tareas.
4.   Cuantificación de los resultados. Proporcionar los resultados numéricos de la audiencia, acompañados por figuras y comentarios.
5.   Impacto de los resultados. Poner de manifiesto el impacto del proyecto a partir de los resultados obtenidos y cualquier otro impacto registrado.
6.   Información adicional. Comunicación de la evaluación o del proyecto que proporcione más detalle.
7.   Cobertura en los medios. Enumerar la cobertura dada por los medios de comunicación generada por el proyecto.
8.   Diseminación. Describir cómo fue divulgado el proyecto.
9.   Trabajo futuro. Describir el legado del proyecto, si existe.

Plan de Trabajo

Para finalizar, en la siguiente figura se muestra un plan de trabajo para implementar y evaluar un proyecto, que puede adaptarse a unas necesidades específicas y objetivos particulares:

Plan de trabajo para la implementación y la cronología de evaluación