SIEVAS. Plataforma Informática Facilitadora en la Mejora Continua de la Educación Superior

SIEVAS. Platform Computing Facilitator in the Continuous Improvement of Higher Education

SIEVAS. Platform Computing Facilitador Melhoria Contínua no Ensino Superior

DOI: http://dx.doi.org/10.23913/reci.v6i11.59

Francisco Bernabé Ramos
Costa Sur University Center, University of Guadalajara, México
fbernabe@cucsur.udg.mx

Alfredo Luna Soto
Costa Sur University Center, University of Guadalajara, México
alfred@cucsur.udg.mx

Jorge Arturo Pelayo López
Costa Sur University Center, University of Guadalajara, México
jorgep@cucsur.udg.mx

Donato Vallín González
Costa Sur University Center, University of Guadalajara, México
dvallin@cucsur.udg.mx

Resumen
La plataforma informática denominada: “Sistema de Evaluación de Acreditación y Seguimiento (SIEVAS) para la Educación Superior”, es una herramienta construida y utilizada para facilitar en las Universidades los procesos de evaluación continua de tipo cíclico y circular, para fines de acreditación internacional en programas de pregrado y postgrado. SIEVAS es utilizada en la organización y Generación de Recursos para la Acreditación en las Naciones de América (GRANA). Está compuesta por 10 elementos fundamentales: el contexto científico, las referencias bibliográficas, las secciones FODA (fortalezas, oportunidades, debilidades y amenazas), las tablas estadísticas, un sistema decimal para asignación de la calidad, gráficas para procesos y estados de la calidad; laboratorios de monitoreo continuo para impulsar la calidad permanente, manuales de operación, el foro permanente para evaluadores, y la metaevaluación. Esta plataforma fue construida a lo largo de 20 años mediante procesos complejos de análisis y discusión con expertos en distintas áreas del conocimiento que van desde educadores, antropólogos, informáticos, abogados, sociólogos, hasta ingenieros. Fue registrado el código fuente ante el Instituto Nacional del Derecho de Autor (INDAUTOR) de México, el 24 de septiembre de 2013. Esta herramienta ha sido utilizada en procesos de evaluación en Universidades de Centro, Sur y Norteamérica por más de 100 evaluadores en 50 programas educativos de diversos niveles y disciplinas.

Palabras claves: SIEVAS, evaluación interna, evaluación externa, mejora continua, escala decimal.

Abstract
The computing platform called: “Evaluation Accreditation and Monitoring System (SIEVAS by its name in Spanish) for Higher Education”, it is a tool built and used to facilitate the processes of continuous evaluation of cyclic and circular type, for purposes of international accreditation in undergraduate and postgraduate programs in universities. SIEVAS is used in the organization and Generation of Resources for Accreditation in Nations of the America (GRANA). Consists of 10 fundamental elements: the scientific context, references, sections SWOT (strengths, weaknesses, opportunities and threats), statistical tables, system decimal for allocation of quality graphics for processes and States of quality; laboratories of continuous monitoring to promote permanent quality, operation manuals, the Permanent Forum for evaluators, and the meta-evaluation. This platform was built over 20 years through complex processes of analysis and discussion with experts in different fields of knowledge ranging from educators, anthropologists, computer scientists, lawyers, sociologists, to engineers. This tool has been used in evaluation at Universities of Central, South and North America by more than 100 evaluators in 50 educational programs of different levels and disciplines.

Resumo
Plataforma de computação chamado de "Sistema de Avaliação de Credenciamento e Monitoramento (SIEVAS) para o Ensino Superior" é uma ferramenta construída e utilizada para facilitar as Universidades processa avaliação contínua da cíclico e circular para fins de acreditação internacional programas de graduação e pós-graduação. SIEVAS é utilizado na organização e Geração de Recursos de Acreditação nas Nações Americanas (Grana). É composto por 10 elementos básicos: o contexto científico, as referências, as seções SWOT (forças, fraquezas, oportunidades e ameaças), os quadros estatísticos, um sistema decimal para gráficos de qualidade de mapeamento de processos e estados de qualidade; laboratórios de monitoramento contínuo para promover a qualidade consistente, manuais de operação, o fórum permanente para os avaliadores, ea meta-avaliação. Esta plataforma foi construída ao longo de 20 anos através de complexos processos de análise e discussão com especialistas em diferentes áreas do conhecimento que vão desde educadores, antropólogos, cientistas da computação, advogados, sociólogos, para engenheiros. Foi gravado o código fonte para o Instituto Nacional de Copyright (INDAUTOR) do México, em 24 de Setembro de 2013. Esta ferramenta tem sido utilizada em processos de avaliação em universidades Central, do Sul e América do Norte há mais de 100 avaliadores 50 programas educacionais de vários níveis e disciplinas.
Palavras-chave: SIEVAS, a avaliação interna, a avaliação externa, a melhoria contínua, escala decimal.

Fecha recepción:   Julio 2016          Fecha aceptación: Diciembre 2016

1. Antecedentes

Los procesos de evaluación en la educación superior ocupan un lugar especial entre la investigación y la práctica educativa, constituyendo una base para la toma de decisiones institucionales entre la teoría y la práctica asociada a las políticas y estrategias de las Instituciones de Educación Superior en la búsqueda de mejorar particularmente la calidad y pertinencia de sus programas educativos enfocados a la evaluación de los resultados, la evaluación de las necesidades, la evaluación del proceso y la evaluación de sus programas. Tradicionalmente, los procesos de evaluación realizados en Programas Educativos o carreras de las Universidades con fines de acreditación, se llevan a cabo mediante procesos y procedimientos presenciales en un porcentaje considerable, que conlleva un lapso de un año para cubrir todas las fases del proceso, como son: la construcción de la autoevaluación o evaluación interna, la evaluación externa, la visita de evaluadores externos a la institución evaluada y la entrega de resultados de la evaluación externa. Regularmente la evaluación es realizada por una entidad externa denominada: “consejo evaluador acreditador”, “agencia evaluadora acreditadora” o “comité evaluador acreditador”. Cada entidad posee criterios e indicadores particulares para realizar evaluaciones conforme a los contextos nacionales asociados a políticas establecidas en los ministerios y secretarias de educación.
Cuando una Institución de Educación Superior aspira a un reconocimiento de acreditación más allá del contexto nacional, tiene dos opciones a elegir: someterse a una evaluación mediante criterios de otro país (evaluación extranjera) o someterse a una evaluación internacional cuyos criterios de evaluación se asocian a políticas de organismos internacionales (UNESCO, OCDE, Banco Mundial, OMC) establecidas, producto del resultado de distintos espacios de análisis científicos en el tema de la calidad de la educación superior: conferencias, foros, congresos, cátedras internacionales, que orientan la evaluación en una visión y prospección global. GRANA es un organismo de acreditación internacional cuya matriz se localiza en la ciudad de Albuquerque, Nuevo Mexico, Estados Unidos. El soporte científico y tecnológico de GRANA se basa en la plataforma denominada Sistema de Evaluación y Seguimiento (SIEVAS) para la mejora continua en la educación superior. Esta plataforma es evaluada y seleccionada constantemente por expertos académicos de 25 países de tres continentes (América, Europa y Oriente Medio), utilizando el observatorio localizado en la plataforma de SIEVAS como se observa en la figura 1.
La cantidad y tipo de información solicitada en procesos de evaluación varía de acuerdo a criterios e indicadores vinculados a los contextos culturales, sociales, económicos, de cada organismo evaluador en cada país o región.

Las fases de la evaluación se realizan invariablemente iniciando por la autoevaluación, también denominada evaluación interna, realizada por un Comité Evaluador Interno (CEI) de la institución evaluada, compuesta por profesores y directivos del programa educativo, en algunos casos es incluido un estudiante; de este comité se elige un coordinador que permite orientar el proceso interno de la evaluación. La mecánica de trabajo de esta fase se inicia con la capacitación del Comité Evaluador Interno para interpretar los indicadores, los procesos y los procedimientos, integra la matriz de fortalezas, debilidades, amenazas y oportunidades (análisis FODA) del Programa Educativo, así como la información estadística y los documentos probatorios o evidencias requeridas por cada indicador o ítem establecido por la entidad evaluadora externa. Posteriormente, es integrado un Comité Evaluador Externo (CEE) denominado “par evaluador” compuesto por tres académicos cuyo perfil se asocia a la disciplina del programa a evaluar, el cual es seleccionado de acuerdo a los criterios y políticas establecidas por la entidad evaluadora. El coordinador del CEE es uno de los tres evaluadores y puede ser elegido por el propio comité o bien por la entidad evaluadora externa. Este comité es capacitado previamente para operar el proceso evaluador con base en los criterios, procesos y procedimientos de la entidad evaluadora externa. Una vez capacitado el CEE se inicia la evaluación externa, verificando y analizando en principio la evaluación interna, la cual es constatada visitando la institución evaluada. Dentro de las actividades de la visita se realizan entrevistas a estudiantes, profesores, directivos, trabajadores, egresados, empleadores y directivos de organizaciones e instituciones vinculadas al programa educativo, haciendo más aproximada la apreciación, el estatus académico y administrativo del programa evaluado con los criterios e indicadores de la entidad evaluadora externa. Posteriormente, es integrado un informe amplio de la evaluación externa denominado “dictamen de resultados”.
Es muy usual que la entidad evaluadora externa tenga cuatro tipos de dictámenes según el nivel de calidad que los evaluadores externos consideren: la acreditación por cinco años, por tres años, programa emplazado o bien no acreditado. Obviamente, a mayor plazo sea el periodo de la acreditación, es mayor su calidad y viceversa. Un programa emplazado se concibe como aquel programa que requiere de un mínimo básico de cumplimiento de calidad y se le otorga un tiempo para cumplir con el mínimo, que va desde tres meses a seis meses. Cuando el programa educativo no es acreditado, se le indica a la institución que al menos debe cumplir con un mínimo de nivel de calidad y se le indica los tiempos para solicitar nuevamente su evaluación. Como parte de los entregables de la entidad evaluadora externa está la certificación emitida por el consejo evaluador externo, además del dictamen final de la evaluación externa en la que se indican las recomendaciones, las observaciones y propuestas, para que sean atendidas por la institución evaluada. El proceso realizado que inicia con la evaluación interna y concluye con la entrega de resultados de la evaluación externa tiene una duración de un año. Por otro lado, es muy usual la existencia de un vacío en el seguimiento de las atenciones en las observaciones y recomendaciones emitidas de la evaluación externa, un desinterés de la institución evaluada por la obtención de la acreditación y el cumplimiento a la norma o política educativa del estado, en la mejora continua y objetiva del programa educativo, acentuándose más este fenómeno en las instituciones públicas.
Los organismos evaluadore GRANA y SIEVAS fueron ideas y concepciones obtenidos en distintas reuniones de trabajo entre académicos de la Universidad de Guadalajara y la Universidad de Nuevo Mexico en Albuquerque, Nuevo Mexico, Estados Unidos. Se inicia en el seno de un taller organizado por el Consorcio Iberoamericano para la Educación en Ciencia y Tecnología (ISTEC por sus siglas en Inglés) y el portal de las Américas de la Organización de las Naciones Unidas en febrero de 1996, en una visita realizada a las oficinas centrales del ISTEC, siendo uno de los objetivos de este consorcio impulsar la investigación, la innovación y el desarrollo de la ciencia y la tecnología en Iberoamérica, parte de este objetivo fue la aplicación de procesos de evaluación en las Universidades miembros del ISTEC, para diagnosticar el estado de la pertinencia, la calidad y la innovación de la Educación Superior en la región Iberoamericana en programas educativos de ingenierías. Un efecto de este propósito fue la creación de Ingeniería para las Américas (EftA por sus siglas en Inglés) del ISTEC, impulsado por la Organización de Estados Americanos (OEA).

1. Impacto

GRANA y SIEVAS han logrado impactar en 50 programas educativos de niveles de pregrado y postgrado evaluados en Centroamérica, Sudamérica y Norteamérica, con la participación de 91 evaluadores externos de 25 países de tres continentes, como se muestra en la Tabla 1.

Tabla 1: Programas Educativos evaluados por el SIEVAS de GRANA

Así también, se ha propuesto sea implementado GRANA y particularmente SIEVAS en la Federación Internacional de Escuelas e Instituciones de Ingeniería (IFFES por sus siglas en Inglés), en el Consorcio de Instituciones de Ingeniería de America Latina y el Caribe (LACCEI por sus siglas en Inglés), y en el taller internacional de la Red Global de Innovación para el Emprendimiento y la Tecnología (GINET por sus siglas en Inglés) de Estados Unidos, en la Universidad de Massachusetts de Estados Unidos mediante Webinar, y en la Organización de Estados Americanos, en 30 congresos, foros y talleres dentro y fuera de México.
Existe un registro de 600 personas participantes en la creación del SIEVAS bajo la coordinación del Dr. Donato Vallín como se observa en la muestra de la Tabla 2.

Tabla 2: Muestra de participantes y colaboradores iniciales en la creación del SIEVAS.

Mediante las experiencias obtenidas en espacios académicos internacionales, GRANA y SIEVAS han sido pioneros en crear una cultura de la mejora continua de la calidad, la pertinencia y la innovación en Programas Educativos bajo la aplicación de elementos que permiten significativamente superar la eficiencia y la eficacia aplicada en procesos formativos desde la evaluación de los resultados, la evaluación de las necesidades, la evaluación del proceso, hasta la evaluación de los programas con una dimensión internacional innovadora basado en un modelo cíclico y circular como se muestra en la Figura 2, que permite formar un ecosistema de calidad y pertinencia continuo a nivel de los distintos usuarios: evaluadores internos, evaluadores externos, instituciones evaluadas y la propia organización GRANA en sus herramientas y secciones virtuales del SIEVAS.

En lo relativo al uso del SIEVAS, se analizó mediante una comparativa, la diferencia entre la evaluación tradicional (nacional o extranjera) de entidades evaluadoras externas y la evaluación internacional de GRANA utilizando el sistema SIEVAS como se muestra en la Tabla 3, concluyendo la importancia que tiene realizar los procesos de evaluación con esquemas y modelos actualizados de visión internacional creados por expertos académicos en materia de calidad de la educación superior proveniente de 25 países y tres continentes.

Tabla 3. Comparativo entre la evaluación tradicional y la evaluación GRANA del SIEVAS

En esta comparativa entre evaluaciones se muestra los beneficios que tiene la opción de ser evaluado por GRANA desde los programas educativos hasta una institución de educación superior.

1. Elementos que componen la plataforma de SIEVAS

El SIEVAS está compuesto por 10 elementos o secciones que se interrelacionan entre sí:

1. Sistema decimal de evaluación: 10 dimensiones o rubros, 100 ítems, 1000 indicadores de calidad de primera, segunda y tercera generación.
2. Significado de las dimensiones.
3. Contexto científico y escenarios prospectivos de las dimensiones.
4. Soporte bibliográfico.
5. Soporte tutorial.
6. Código de ética.
7. Sección estadística.
8. Escala decimal para la asignación de niveles, subniveles de la calidad y gráficas dinámicas.
9. Laboratorios de monitoreo continuo de la calidad.
10. Sección para la reacreditación.

1. Sistema decimal de evaluación: 10 dimensiones o rubros, 100 ítems, 1000 indicadores de calidad de primera, segunda y tercera generación

Las dimensiones o rubros en que se divide la evaluación son: impacto social de la formación, resultados de la investigación vinculados a la formación, ingreso, permanencia y eficiencia terminal en la formación, profesores vinculados a la formación, pertinencia del modelo educativo, estrategias metodológicas de aprendizaje en los procesos formativos, infraestructura, equipamiento, tecnologías y bibliografía en la formación, impacto de las actividades de extensión, vinculación y difusión en la formación, reconocimiento internacional de la formación, impacto en la pertinencia de la normatividad, la administración y las finanzas como facilitadoras en la formación. Lo anterior se muestra en la Figura 3 tomada de la plataforma del SIEVAS.

A su vez cada dimensión está conformada por 10 ítems.

Estos indicadores de calidad permiten conocer puntualmente la información solicitada al CEI, que a su vez requerirá de su análisis por parte del CEE, para ello se tienen asignados 10 indicadores por ítem como se muestra en la Figura 5, tomada de la plataforma del SIEVAS.

En resumen, son 1000 los indicadores de primera, segunda y tercera generación que permiten conocer con puntualidad los requerimientos de información del programa educativo evaluado.

1. Significado de las dimensiones

El SIEVAS cuenta con varias herramientas de apoyo para facilitar el desarrollo de las evaluaciones interna y externa, para precisar los requerimientos de información que se solicitan en cada dimensión, como la sección del significado, que se muestra en la Figura 6.

1. Contexto científico y escenarios prospectivos de las dimensiones

Otra herramienta de apoyo es la consulta del contexto por dimensión que sirve para clarificar la idea y directriz de la evaluación desde una perspectiva internacional vinculada a los resultados, estrategias, políticas de las distintas organizaciones internacionales de prestigio y de los distintos círculos, medios y foros científicos sobre la calidad de la educación superior desde el presente hasta posibles escenarios prospectivos y tendencias del desarrollo y requerimiento de la educación superior, como se muestra en la Figura 7, tomada de la plataforma del SIEVAS.

1. Soporte bibliográfico

Para procesos complejos de evaluación se cuenta con la sección de bibliografía, que es una extensión de la sección de contexto, y permite contar con una extensión significativa de elementos bibliográficos de base para los procesos de evaluación, como se muestra en la Figura 8.

Así también, SIEVAS cuenta con un glosario que facilita la comprensión de términos en los procesos y procedimientos de las evaluaciones entre evaluadores multinacionales, como se muestra en la Figura 9.

1. Soporte tutorial

Se cuenta con un manual de operación como facilitador del usuario. Ver Figura 10.

1. Código de ética

También se cuenta con un código de ética que permite concientizar a los usuarios de la plataforma SIEVAS en los procesos de evaluación para que en el ejercicio de sus actividades de evaluación sea siempre con apego a la honestidad, legalidad, justicia y moralidad, con el objetivo de que su trabajo sea comprometido, formal, neutral e imparcial, a fin de ubicar el proceso en beneficio de la institución de educación superior o programa evaluado (Figura 11).

1. Sección estadística

Cada una de las 10 dimensiones está compuesta de formatos o tablas estadísticas que permiten conocer cuantitativamente el programa educativo evaluado como se observa en la Figura 12.

1. Escala decimal para la asignación de niveles, subniveles de la calidad y gráficas dinámicas

La escala decimal para la medición cualitativa y cuantitativa se refiere a niveles de capacidad, competitividad, pertinencia, cobertura, e innovación del programa educativo o institución evaluada, en que se establecen los valores de calidad asociados al juicio de valor otorgado por los evaluadores internos y externos. La escala se observa en niveles y subniveles en la Figura 13.

Así mismo, los niveles y subniveles de calidad del SIEVAS cuentan con gráficos dinámicos que permiten visualizar en línea y en tiempo real el nivel de calidad con que la evaluación interna y externa del Programa Académico (PA) va desarrollándose, como se muestra en la Figura 14: el circulo al centro de color rojo representa el nivel bajo, el circulo amarillo céntrico representa el nivel medio de calidad, y el último circulo de color verde representa el nivel alto de calidad, la sección de color azul representa las fortalezas del PA evaluado, mientras la zona no cubierta de azul son las oportunidades del PA.

1. Laboratorios de monitoreo continuo de la calidad

Los laboratorios de monitoreo continuo de la calidad son tecnología informática aplicada que permite mantener informada a la institución o programa académico evaluado de manera instantánea mediante algún dispositivo digital, tal como el teléfono inteligente, la tableta, el computador portátil o fijo como puede apreciarse en la Figura 15.

1. Sección para la reacreditación

La reevaluación con fines de reacreditación como ya se mencionó, es una fase que se aplica como parte del proceso de mejoramiento continuo o permanente del programa académico evaluado en la búsqueda del aseguramiento e impulso a su calidad y pertinencia, y se aplica para ello el modelo circular y cíclico mencionado anteriormente. El SIEVAS cuenta con la tecnología y las herramientas para realizar procesos permanentes y continúos las veces que se requiera.

1. Conclusiones

La utilización continua del SIEVAS permite, como se ha mencionado y demostrado en el presente artículo, crear una cultura de mejora continua de la calidad, la pertinencia y la innovación en programas educativos bajo la aplicación de elementos que permiten significativamente superar la eficiencia y la eficacia desde la evaluación de los resultados, la evaluación de las necesidades, la evaluación del proceso y la evaluación de los programas con una dimensión internacional innovadora como se observa en la Tabla 4.

Tabla 4: Conclusiones sobre los procesos y enfoques de la evaluación tradicional y  la evaluación GRANA usando el SIEVAS.

Bibliografía
La internacionalización de la educación superior. Reforming Higher Education, Seminar 11: Mobility in Higher Education, pp. 37-49, Paris: European Commission/ OECD(OECD/Gc(94)112).
Díaz Barriga, A. (1997). Didáctica y Currículo, Editorial Paidos, México.
Díaz Barriga, A. (2003). “Curriculum. Tensiones conceptuales y prácticas”. Revista electrónica de Investigación Educativa.
Declaración Mundial Sobre la Educación Superior en el Siglo XXI: Visión y Acción, de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO, por sus siglas en inglés), del nueve de octubre de 1998.
Gacel, A. J. (2003). La internacionalización de la educación superior, paradigma para la ciudadanía global, Universidad de Guadalajara, México.
Información tomada el 6 de octubre de 2016 de http://www.certification-grana.org