Adaptación al español del Cuestionario de Usabilidad de Sistemas Informáticos CSUQ

Spanish adaptation of Computer System Usability Questionnaire CSUQ

María Isolde Hedlefs Aguilar
Universidad Autónoma de Nuevo León, México
lab.cognitive@gmail.com

Arturo de la Garza González
Universidad Autónoma de Nuevo León, México
agarza7@gmail.com

Martha Patricia Sánchez Miranda
Universidad Autónoma de Nuevo León, México
Marpa30@gmail.com

Andrea Abigail Garza Villegas
Universidad Autónoma de Nuevo León, México
agarza.v@hotmail.com

Resumen  
Se adaptó el cuestionario CSUQ en una población mexicana donde se habla el español, con el propósito de que pudiera ser utilizado en investigaciones posteriores. Se aplicó el cuestionario CSUQ versión 3 a una muestra de 237 estudiantes de una universidad pública mexicana a través de Internet.  Los resultados mostraron que el coeficiente de alfa de Cronbach fue de .96, que indica que el cuestionario tiene una muy buena confiabilidad. El análisis factorial manifestó la presencia de tres factores como se menciona en la literatura, los cuales fueron Calidad del Sistema, Calidad de la información y Calidad de la interfaz, cumpliendo así con la validez de constructo. El cuestionario quedó conformado por 13 ítems. Se concluye que el CSUQ adaptado al español cuenta con la adecuada validez y confiabilidad para ser utilizado como un instrumento apto para medir la usabilidad general de una plataforma.

Palabras clave: usabilidad, CSUQ, adaptación, confiabilidad, validez.

Abstract
The CSUQ questionnaire was adapted to Spanish language in a Mexican population, with the purpose to be used in further research. The version 3 of the CSUQ questionnaire was applied to a 237 students of a Mexican public university, through the Internet. The results show a Cronbach’s alpha of .96, indicating a good statistical reliability. The factorial analysis indicated a 3 factor structure: System quality, information quality and interface quality, fulfilling with the construction validity. The questionnaire was integrated with 13 ítems. In conclusion, the Spanish adaptation of the CSUQ have the appropriate validity and reliability to be used as an instrument to measure the general usability of a system.

Key words: usability, CSUQ, adaptation, reliability, validity.
Fecha recepción:   Enero 2015           Fecha aceptación: Junio 2015

Introducción
Uno de los problemas que hemos enfrentado los investigadores latinos en el área de  la evaluación de la usabilidad a través de los cuestionarios, es que no contamos con este tipo de herramientas adaptadas a la lengua española. Es por esto que el objetivo de la investigación, fue la adaptación del Cuestionario de Usabilidad en Sistemas Informáticos CSUQ (Computer System Usability Questionnaire) en una población mexicana donde se habla el español.

El Cuestionario CSUQ surgió de otro denominado Estudio Posterior del Cuestionario de Usabilidad en Sistemas Informáticos PPSUQ (de sus siglas en inglés Post-Study System Usability Questionnaire), (Lewis, 1995). La construcción de los ítems del cuestionario PPSUQ fue a partir de un grupo de evaluadores de usabilidad, donde ellos seleccionaron los más adecuados de acuerdo a su contenido sobre la base de lo que ellos consideraban usabilidad. Para esto tomaron en cuenta las características del sistema, como son facilidad de uso, facilidad de aprendizaje, sencillez, eficacia, información e interfaz de usuario.

El  instrumento PPSUQ fue diseñado para evaluar la satisfacción percibida de los usuarios con sus sistemas informáticos (Lewis, 2002) y este fue un proyecto interno de IBM llamado SUMS (System Usability MetricS), encabezado por Suzanne Henry (Sauro & Lewis, 2012).
A partir de este cuestionario surgieron tres versiones, la primera versión contaba con 18 ítems, la segunda versión contaba con 19 y en esta misma versión, Lewis encontró que tres ítems (3, 5, 13) no contribuyeron para la confiabilidad de la escala; por lo cual surgió la versión número 3, en donde el cuestionario PPSUQ cuenta con tan solo 16 ítems (Lewis, 2002). Otro punto importante a mencionar, es el hecho que este cuestionario fue aplicado en un laboratorio de usabilidad, es decir, los usuarios tenían que manipular la interfaz a través de una serie de escenarios y al final responder este cuestionario. Lo que menciona la literatura es que en la primera versión solo lograron aplicar a 48 participantes, ya que la muestra fue muy pequeña y esta fue aplicada en un laboratorio de usabilidad, Lewis en 1995 desarrolló el cuestionario CSUQ, que es casi igual al PPSUQ que se aplicó a 325 participantes.
Con respecto al análisis factorial que se realizó de la tercera versión del PSSUQ, se encontraron los mismos tres factores localizados en las versiones anteriores (Sauro & Lewis, 2012):

1. Calidad del sistema: conformado por los ítems del 1 al 6.
2. Calidad de la información: conformado por los ítems del 7 al 12.
3. Calidad de la interfaz: conformado por los ítems del 13 al 15.

El CSUQ fue desarrollado para poder recopilar un mayor número de cuestionarios aplicados y así observar si la estructura factorial encontrada para el PSSUQ en un entorno de pruebas de usabilidad (laboratorio), era el mismo para un cuestionario enviado por correo (en el campo) (Sauro & Lewis, 2012).
Los cuestionarios PPSUQ y el CSUQ han presentado niveles altos de confiabilidad a través del tiempo, lo cual es evidencia de una buena estabilidad en su consistencia interna a través de las diferentes versiones (PPSUQ v1 .97, PPSUQ v2 .96, PPSUQ v3 .94 y el CSUQ .95) (Lewis, 1995, 2002; Sauro & Lewis, 2012).
Se ha podido observar en las investigaciones de Lewis (1995), que tanto el cuestionario CSUQ y el PPSUQ muestran una muy buena validez de constructo. Por lo cual, con estos resultados se demuestra que se pueden utilizar estos dos cuestionarios para realizar evaluaciones con respecto a la satisfacción general que tienen los usuarios con una interfaz. Por lo tanto, el CSUQ y PPSUQ son cuestionarios que evalúan en general la satisfacción del usuario.
En un estudio comparativo entre diferentes instrumentos de evaluación de usabilidad, Tullis y Stetson (2004), encontraron que el CSUQ tiene un buen desempeño midiendo las reacciones de los participantes a un sitio web, en comparación con otros instrumentos, como son: el Words (Benedek & Miner, 2002), el QUIS (Chin, Diehl, & Norman, 1988), el SUS (Brooke, 1996) y uno desarrollado por Tullis y Stetson (2004). Además, encontraron que realizaba evaluaciones válidas aun con muestras pequeñas. Esto demuestra la capacidad del instrumento en el ámbito de los estudios de usabilidad.
La diferencia que marca Lewis (1995) entre los dos cuestionarios, es que el PPSUQ es adecuado para utilizarse en situaciones de pruebas de usabilidad en el entorno controlado de un laboratorio, mientras que el CSUQ es adecuado para utilizarlo en pruebas de campo, es decir, donde el participante pueda responder el cuestionario sin que necesite realizar ninguna tarea con la interfaz, solo se requiere que haya interactuado anteriormente con ella.
Otro punto importante a notar con los dos cuestionarios, es que hay unos pequeños cambios en la redacción de los ítems, ya que el PPSUQ se refiere a situaciones de pruebas de usabilidad, mientras que el CSUQ no hace referencia a ello, sino a la calidad del sistema como la satisfacción general.
La escala utilizada por los autores en la presente investigación, fue la de CSUQ Versión 3 (Sauro & Lewis, 2012), la cual se encuentra en el apéndice. En esta investigación se les pidió a los participantes que evaluaran la plataforma NEXUS, la cual es utilizada para facilitar la comunicación y colaboración entre alumnos y maestros dentro del proceso de enseñanza y aprendizaje, en las tres modalidades que son: presencial, a distancia y mixto.

Método

Participantes
Se aplicó a 237 participantes, 129 del sexo femenino y 108 del sexo masculino, con una media de edad de 21 años. Fueron obtenidos de cuatro carreras, 119 de Ingeniero Administrador de Sistemas (IAS), 3 de Ingeniero en Tecnología de Software (ITS), 26 de Ingeniero Mecánico Administrador (IMA) y 89 de Licenciado en Psicología.
Instrumento
Se aplicó el CSUQ versión 3 que consta de 16 ítems (Sauro & Lewis, 2012), el cual presentó una confiabilidad de .89 y validez de constructo de tres factores (calidad de sistema, calidad de la información y calidad de la interfaz). Para la adaptación, se utilizó el procedimiento de traducción inversa, con tres expertos bilingües en usabilidad, donde dos de ellos tradujeron al español el cuestionario, después estos dos cotejaron sus traducciones y el tercer experto realizó la traducción al inglés del cuestionario traducido. A continuación, los tres expertos cotejaron sus versiones hasta llegar a un acuerdo, para así obtener la versión final.
Esta traducción se implementó en línea a través de la plataforma de Google Forms, con la intención de poder capturar las respuestas de los participantes. Se utilizó una escala Likert de 7 niveles de respuesta, donde iban de totalmente en desacuerdo (1) a totalmente de acuerdo (7), aunque en el cuestionario en inglés se utilizaba al revés, de totalmente de acuerdo en 1 y totalmente en desacuerdo en 7 (Lewis, 1995, 2002; Tullis & Stetson, 2004; Sauro & Lewis, 2012). Sauro y Lewis (2012) indicaron que la escala utilizada en el cuestionario es apta para poder ser invertida en sus respuestas, sin que se vea afectada su efectividad. Se tomó la decisión de cambiar de orden de escala por la familiaridad que se tiene en nuestro contexto cultural, donde se está acostumbrado que del extremo derecho se encuentra de acuerdo y del extremo izquierdo en desacuerdo.
Se agregaron algunas preguntas a la sección de los datos de los participantes, relacionadas con su edad, tiempo de experiencia en el uso de la plataforma y la carrera que estaban cursando.
Procedimiento
Se invitó a los asistentes a participar de manera voluntaria en la investigación a través de la red Facebook, así como por correo electrónico. A través de estos medios electrónicos se les envió una dirección web desde la cual ellos accedían a la plataforma Google Forms, donde se encontraban los ítems a contestar. Para responder este cuestionario los participantes tardaron menos de diez minutos.

Resultados

Se obtuvieron los siguientes resultados del cuestionario CSUQ. En el cuestionario global de 16 ítems se encontró que el coeficiente alpha de Cronbach fue de .97, en la prueba de esfericidad de Bartlett salió significativo p < .001 y el índice de Kaiser-Meyer-Olkin (KMO) fue de .95, lo cual significa que es viable realizar el análisis factorial. A continuación se procedió a realizar el análisis factorial exploratorio (AFE) y se encontró un solo factor; su porcentaje de varianza explicada fue de 66.98 %. Por último, se realizó el AFE forzando este análisis a tres factores, ya que en la literatura marca su existencia, por lo tanto se quería comprobar. En AFE nos arrojó que sí se presentan los factores antes mencionados (ver figura 1), y que la varianza explicada fue de 77.48 %. En el análisis factorial exploratorio se encontraron los tres factores con sus respectivos ítems, los cuales se pueden observar en la tabla I.

Figura 1. Gráfica de sedimentación del Cuestionario CSUQ de 16 ítems

Tabla I. Matriz de componentes rotados con los 16 ítems

En el factor 1 (calidad de la información) el coeficiente alpha de Cronbach fue de .93, en el factor 2 (calidad de la información) el coeficiente de alpha fue de .94 y en el factor 3 (calidad del sistema) su coeficiente fue de .88.
Por tanto, se observó que tres ítems (1, 3 y 4), según los antecedentes (Lewis & Sauro, 2012), se encuentran agrupados en el factor 3 (calidad del sistema) y en nuestro estudio estos tres ítems cargaron en el factor 2 (calidad de la interfaz). Esto lo podemos observar en la tabla II de la matriz de correlación, donde los ítems 4 y 14 muestran una correlación de .78 y los ítems 4 y 16 tienen correlación de .79 (en negritas).

Tabla II Matriz de correlación.

Así que se procedió a realizar los mismos análisis, pero eliminando estos tres ítems, quedando en el cuestionario solo 13 por evaluar.

Los resultados del cuestionario de 13 ítems fueron que el coeficiente de alpha fue de .96, la prueba de esfericidad de Bartlett salió significativo p < .001 y el índice de KMO fue de .95. En el análisis factorial exploratorio salió un solo factor con 67.9 % de varianza explicada, después se procedió a realizar un análisis factorial de tres factores (ver figura 2), cuyo resultado fue de 79.7 % de varianza explicada. En este análisis se encontraron los tres factores con sus respectivos ítems, los cuales se pueden ver en la tabla III.

Figura 2. Gráfica de sedimentación del Cuestionario CSUQ de 13 ítems

Tabla III Matriz de componentes rotados con 13 ítems

En el factor 1 (calidad de la información) el coeficiente alpha fue de .93, en el factor 2 (calidad de la información) el coeficiente de alpha fue de .93 y el factor 3 (calidad de sistema) su coeficiente fue de .88.
Por lo que se puede observar que el cuestionario de 13 ítems mostró mejores resultados tanto en la varianza explicada, como en la distribución de los ítems con sus respectivos factores como lo señala la literatura. Cabe mencionar que el ítem 16, cambió del factor 2 al 1, sin embargo, su contenido es de una evaluación general, por lo que es posible aceptar este cambio en su ubicación, sin que afecte en el resultado final.

Conclusiones
Como se pudo observar en los resultados de los análisis correspondientes al cuestionario CSUQ, hubo muy buen coeficiente alpha, lo que significa que el cuestionario cuenta con muy buena confiabilidad, tanto el conformado por 16 ítems (original) como el conformado por 13 ítems.
Adicionalmente, el análisis factorial mostró evidencia de un solo factor, con elevadas cargas y varianza explicada. Pero, siguiendo los antecedentes, se forzó a tres factores, los cuales manifestaron una distribución muy semejante a lo que marca la literatura. Sin embargo, tres de los ítems presentaron inconsistencias con respecto a su pertenencia en los factores. Al revisar el contenido de estos ítems (1, 3 y 4) se pudo observar que su redacción es muy semejante a la de los ítems 14 y 16, donde se expresa la percepción de agrado o satisfacción con respecto a la plataforma evaluada. Los autores planteamos que esta situación es el causante de la modificación de la estructura factorial, donde estos ítems podrían ser incluidos en cualquiera de los factores, ya sea el 2 o 3 (ítems 1 y 3). Por otro lado, en el caso del ítem 4, su contenido es muy parecido al del ítem 14, motivo por el cual aparecen juntos. Esto se ve apoyado por los análisis estadísticos, en particular las correlaciones entre estos ítems, las cuales fueron de valores muy elevados, indicando así la cercanía de las respuestas (ver tabla II).
La opinión de los autores de la presente investigación es que la redacción original de dichos ítems induce a los participantes a una respuesta semejante y, por lo tanto, a que se agrupen en el análisis factorial. Por tal motivo, proponemos una escala reducida a 13 ítems que permite evaluar, de forma semejante al original en inglés, la usabilidad. Esto estaría apoyado por los altos valores de confiabilidad de los análisis estadísticos.
En resumen, se puede afirmar que la adaptación de la escala CSUQ al idioma español, mostró ser confiable en términos estadísticos al igual que una adecuada validez de constructo, haciendo apropiada su utilización para la evaluación de las diferentes plataformas web. Por lo tanto, reafirmamos que en nuestra opinión, la redacción de algunos ítems (1, 3, 4, 14 y 16) de la escala original (inglés), inducen a los participantes a dar el mismo tipo de respuesta, haciendo que sea redundante su utilización. Por ello, proponemos una reducción del número de ítems del cuestionario, sin que esto afecte la confiabilidad y validez del instrumento.

Bibliografía
Benedek, J. & Miner, T. (2002). Measuring Desirability: New methods for evaluating       desirability in a usability lab setting. Proceedings of Usability Professionals Association, 2003.
Brooke, J. (1996). SUS: A Quick and Dirty Usability Scale. In: P. W. Jordan, B. Thomas, B. A. Weerdmeester, & I. L. McClelland (Eds.), Usability Evaluation in Industri. London: Taylor & Francis.
Chin, J. P., Diehl, V. A., & Norman, K. L. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. Proceedings of SIGCHI '88, (pp. 213-218), New York: ACM/SIGCHI. doi:10.1145/57167.57203
Lewis, J. R. (1995). IBM Computer Usability Satisfaction Questionnaires: Psychometric Evaluation and Instructions for Use. International Journal of Human-Computer Interaction, 7(1), 57-78. doi:10.1080/10447319509526110
Lewis, J. R. (2002). Psychometric evaluation of the PSSUQ using data from five years of usability studies. International Journal of Human-Computer Interaction,14(3-4), 463-488. doi:10.1080/10447318.2002.9669130
Sauro, J., & Lewis, J. R. (2012). Quantifying the user experience: Practical statistics for user research. Elsevier, USA. doi:10.1016/B978-0-12-384968-7.00001-1
Tullis, T. S., & Stetson, J. N. (2004). A Comparison of Questionnaires for Assessing Website Usability. Usability Professional Association Conference, 1-12