Methodological design of instruments for assessing teachers' digital competence and pedagogical integration in higher education
DOI:
https://doi.org/10.65705/RHOMU.v3i2.120Keywords:
competencia digital, educación superior, integración pedagógica, instrumentos, validez de contenidoAbstract
Measuring teachers’ digital competence and the pedagogical integration of technology in higher education requires instruments that capture the pedagogical and institutional complexity of the phenomenon, avoiding the temptation to reduce it to the availability of resources or frequency of use. This article presents the methodological design of two structured questionnaires—one for faculty and a complementary one for students—aimed at assessing digital competence, the pedagogical use of digital tools, institutional conditions, and pedagogical integration in planning, teaching, assessment, and feedback processes. The development of the instruments was based on the operationalization of variables and the correspondence between objectives, dimensions, indicators, and items, using Likert-type scales differentiated according to the construct being measured. To strengthen the quality of the instrument, content validation was incorporated through expert judgment and a pilot test with participants sharing characteristics similar to the target population, in addition to conducting internal consistency analyses. As a contribution, this paper systematizes a design and technical review process that facilitates more interpretable and comparable techno-pedagogical studies, with attention to criteria of validity, reliability, and academic integrity.
References
Alanazi, F. K., Sim, J., & Lapkin, S. (2022). Systematic review: Nurses’ safety attitudes and their impact on patient outcomes in acute-care hospitals. Nursing Open, 9(1), 30–43. https://doi.org/10.1002/nop2.1061
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
Balladares Burgos, J., & Valverde Berrocoso, J. (2022). El modelo tecnopedagógico TPACK y su incidencia en la formación docente: Una revisión de la literatura. RECIE: Revista Caribeña de Investigación Educativa, 6(1), 63–72. https://doi.org/10.32541/recie.2022.v6i1.pp63-72
Basilotta-Gómez-Pablos, V., Matarranz, M., Casado-Aranda, L.-A., & Otto, A. (2022). Teachers’ digital competencies in higher education: A systematic literature review. International Journal of Educational Technology in Higher Education, 19, Article 8. https://doi.org/10.1186/s41239-021-00312-8
Becerra, I. J., & Segovia Cifuentes, Y. (2020). Models of didactic integration with ICT mediation: Some innovation challenges in teaching practices. Culture and Education, 32(3), 399–440. https://doi.org/10.1080/11356405.2020.1785140
Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best practices for developing and validating scales for health, social, and behavioral research: A primer. Frontiers in Public Health, 6, Article 149. https://doi.org/10.3389/fpubh.2018.00149
Cabero-Almenara, J., & Palacios-Rodríguez, A. (2020). Marco Europeo de Competencia Digital Docente «DigCompEdu»: Traducción y adaptación del cuestionario «DigCompEdu Check-In». EDMETIC, 9(1), 213–234. https://doi.org/10.21071/edmetic.v9i1.12462
Cani, J. B. (2020). Proficiência digital de professores: Competências necessárias para ensinar no século XXI. Revista Linguagem & Ensino, 23(2), 402. https://doi.org/10.15210/rle.v23i2.17110
Carranza-Marchena, P., & Tapia-Loría, C. (2022). Implementation of oral production activities through remote learning: A case study of EFL students at Universidad Nacional, Costa Rica. Revista Ensayos Pedagógicos, 17(1), 369–386. https://doi.org/10.15359/rep.17-1.16
Costa, N. M. L. da. (2021). Formação de professores de matemática e os conhecimentos necessários à docência com tecnologias digitais. Revista Venezolana de Investigación en Educación Matemática (REVIEM), 1(2), ene–20. https://doi.org/10.54541/reviem.v1i2.30
Cuevas Montero, R., Huertas-Abril, C. A., & Álvarez Jurado, M. (2024). Formación en competencia digital docente: Percepciones docentes del aprendizaje de español como lengua extranjera asistido por dispositivos móviles en el contexto prepandémico. Revista Tecnología, Ciencia y Educación, 91–116. https://doi.org/10.51302/tce.2024.18673
Cunha, F., Pérez Garcías, A., & Casero Martínez, A. (2023). Competencias TPACK de docentes que publican WebQuest. Revista e-Curriculum, 21, e60996. https://doi.org/10.23925/1809-3876.2023v21e60996
DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). SAGE Publications.
Dias-Trindade, S., & Moreira, J. A. (2018). Avaliação das competências e fluência digitais de professores no ensino público médio e fundamental em Portugal. Revista Diálogo Educacional, 18, 58. https://doi.org/10.7213/1981-416x.18.058.ds02
Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: The tailored design method (4th ed.). Wiley.
Guerrero, C. S., Ros Garrido, A., & Lizandra, J. (2021). Aproximación a la competencia digital docente en la formación profesional. Revista de Educación a Distancia (RED), 21(67). https://doi.org/10.6018/red.431821
Hamilton, E. R., Rosenberg, J. M., & Akcaoglu, M. (2016). The substitution augmentation modification redefinition (SAMR) model: A critical review and suggestions for its use. TechTrends, 60(5), 433–441. https://doi.org/10.1007/s11528-016-0091-y
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
Lopera Pérez, M., Arias Gil, V., Jiménez Narváez, M. M., Pineda, D., & Valderrama Muñoz, Á. M. (2021). Aportes de la revisión de literatura al diseño de una ruta de apropiación TIC, vinculada con el modelo tecnológico-pedagógico-disciplinar. Revista Virtual Universidad Católica del Norte, (62), 276–307. https://doi.org/10.35575/rvucn.n62a11
López-Núñez, J.-A., Alonso-García, S., Berral-Ortiz, B., & Victoria-Maldonado, J.-J. (2024). A systematic review of digital competence evaluation in higher education. Education Sciences, 14(11), Article 1181. https://doi.org/10.3390/educsci14111181
Manzanarez, B. A. J. (2024). Formación continua en la educación: Evolución, modelos y competencias digitales. Revista Científica de Estudios Sociales, 3(5), 87–106. https://doi.org/10.62407/rces.v3i5.137
Martín Párraga, L., Llorente Cejudo, M. del C., & Barroso Osuna, J. (2023). La competencia digital docente: Estudio documental mediante la cartografía conceptual. Bordón. Revista de Pedagogía, 75(4), 53–74. https://doi.org/10.13042/bordon.2023.96306
Mishra, P., & Koehler, M. J. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. Teachers College Record, 108(6), 1017–1054. https://doi.org/10.1111/j.1467-9620.2006.00684.x
Moreira, H., & Lara Freire, M. L. (2024). Promoting formative assessment with Quizizz: A classroom action research study. Ciencia Latina Revista Científica Multidisciplinar, 8(2), 590–604. https://doi.org/10.37811/cl_rcm.v8i2.10511
Muñiz, J., & Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1), 7–16. https://doi.org/10.7334/psicothema2018.291
Perez, G., Norzagaray Benítez, C. C., Sotelo Castillo, M. A., & Fraijo Figueroa, J. A. (2023). Adaptación y validación de una escala de uso tecnológico docente universitario. Sinéctica. Revista Electrónica de Educación, (61). https://doi.org/10.31391/s2007-7033(2023)0061-015
Perneger, T. V., Courvoisier, D. S., Hudelson, P. M., & Gayet-Ageron, A. (2015). Sample size for pre-tests of questionnaires. Quality of Life Research, 24, 147–151. https://doi.org/10.1007/s11136-014-0752-2
Pinto Santos, A. R., Pérez-Garcías, A., & Darder Mesquida, A. (2022). Formulación y validación del modelo tecnológico empoderado y pedagógico para promover la competencia digital docente en la formación inicial del profesorado. Formación Universitaria, 15(1), 183–196. https://doi.org/10.4067/s0718-50062022000100183
Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489–497. https://doi.org/10.1002/nur.20147
Redecker, C. (2017). European framework for the digital competence of educators: DigCompEdu (Y. Punie, Ed.). Publications Office of the European Union. https://doi.org/10.2760/159770
Serrano Fernández, L., Vela Llauradó, E., Martín Martínez, L., & Rodríguez García, C. (2022). La competencia digital en la atención del alumnado con necesidades educativas especiales: Una visión general del marco europeo para la competencia docente digital “DigCompEdu”. Digital Education Review, (41), 284–305. https://doi.org/10.1344/der.2022.41.284-305
Tondeur, J., Howard, S. K., Van Zanten, M., Gorissen, P., Van der Neut, I., Uerz, D., & Kral, M. (2023). The HeDiCom framework: Higher education teachers’ digital competencies for the future. Educational Technology Research and Development, 71, 33–53. https://doi.org/10.1007/s11423-023-10193-5
Vieira, M. de F., & Pedro, N. (2021). Docência online, um novo desafio na contemporaneidade: Competências de docentes universitários de Portugal e Brasil. Revista Eletrônica de Educação, 15, e4974049. https://doi.org/10.14244/198271994974
Willis, G. B. (2005). Cognitive interviewing: A tool for improving questionnaire design. SAGE Publications.
Zhao, Y., Pinto Llorente, A. M., & Sánchez Gómez, M. C. (2021). Digital competence in higher education research: A systematic literature review. Computers & Education, 168, Article 104212. https://doi.org/10.1016/j.compedu.2021.104212
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Altagracia Josefina Suárez Galán (Autor/a)

This work is licensed under a Creative Commons Attribution 4.0 International License.
- Los autores/as conservan los derechos de autor y ceden a la revista el derecho de la primera publicación, con el trabajo registrado con la licencia de atribución de Creative Commons 4.0, que permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo y a la primera publicación en esta revista.
- Los autores/as pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en esta revista (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro) siempre que indiquen claramente que el trabajo se publicó por primera vez en esta revista.
- Se permite y recomienda a los autores/as a compartir su trabajo en línea (por ejemplo: en repositorios institucionales o páginas web personales) antes y durante el proceso de envío del manuscrito, ya que puede conducir a intercambios productivos, a una mayor y más rápida citación del trabajo publicado.

