Bài viết trình bày ba phương pháp tiếp cận chính hiện nay trong đánh giá năng lực số của sinh viên bao gồm: phương pháp tự đánh giá, phương pháp đánh giá dựa trên kiến thức và phương pháp đánh giá dựa trên sự thực hiện cùng với một số bộ công cụ đánh giá năng lực số dựa trên khung DigComp tương ứng với từng phương pháp tiếp cận. Qua đó, bài viết phân tích các tiêu chí, thang đo và quy trình phát triển bộ công cụ đánh giá năng lực số, để gợi mở hướng tiếp cận trong thiết kế các bộ công cụ đánh giá năng lực số cho sinh viên.
g thực tiễn [Sparks, Katz & Beile, 2016] Ví dụ, đánh giá dạng kiểm tra kiến thức biểu tượng e-mail trông cách gửi e-mail có tập tin đính kèm Hơn nữa, hầu hết đánh giá tập trung vào kỹ máy tính để bàn máy tính xách tay, số kỹ chuyển sang thiết bị di động cần thực mơi trường kiểm sốt để có mức độ đo lường xác cao THƠNG TIN VÀ TƯ LIỆU - 1/2023 Công cụ NorthStar Digital Literacy Assessment Bài đánh giá lực số theo phương thức đánh giá dựa kiến thức đo lường lực số sinh viên thông qua câu hỏi kiến thức Tham khảo công cụ đây: https://assessment digitalliteracyassessment.org/ Sinh viên chọn kỹ cần thiết để đánh giá, câu hỏi kiến thức liên quan đến chủ đề mà sinh viên chọn hiển thị Các câu hỏi dạng trực quan, chọn vào vị trí đúng, điền khuyết, xem hình ảnh tìm đáp án Sau hồn thành đánh giá, sinh viên nhận kết đánh giá, rõ kỹ bạn mà bạn cần cải thiện 1.3 Phương pháp đánh giá thực Phương pháp đo lường mức độ lực số thơng qua việc thực tình thực tế cách sử dụng cơng cụ trình duyệt web, phần mềm máy tính, mơ thí nghiệm [Kluzer & Pujol Priego, 2018] Ví dụ phương pháp xem đây: https://nanglucso.hcmute.edu.vn/exams Phương thức đánh giá phức tạp mặt kỹ thuật, tốn chi phí thực hiện, tốn nhiều thời gian cho người dùng thực đánh giá, điều khiến cho việc thực quy mơ lớn trở nên khó khăn [Kluzer & Pujol Priego, 2018] Chính thế, kiểm tra dạng thường triển khai sở giáo dục, nơi tồn quy trình kiểm tra quốc gia Tuy vậy, phương pháp đem lại kết đo lường lực số xác [International Telecommunication Union (ITU), 2018], kết đánh giá thường sử dụng để cấp chứng nhận lực số cho người học Hiện nay, nhiều sở giáo dục đại học xem lực số thuộc tính tốt nghiệp (graduate attributes) sinh viên hồn thành chương trình đào tạo [Sharpe, 2018; University, 2014], có xu NGHIÊN CỨU - TRAO ĐỔI hướng sử dụng phương thức để đánh giá cấp chứng nhận lực số cho sinh viên Thị trường lao động có nhiều cơng ty yêu cầu sinh viên bổ sung chứng nhận lực số hồ sơ xin việc [ESCO, 2017] Do đó, phương pháp nên sở giáo dục đại học trọng triển khai nhằm hỗ trợ sinh viên thuận lợi việc sở hữu chứng nhận lực số, đáp ứng yêu cầu ngày cao thị trường lao động lực số Công cụ MATPlatform MATPlatform công cụ tiếng Việt nay, hỗ trợ sinh viên đánh giá lực số, cho phép khảo sát mức độ đạt sinh viên cho thành tố lực số thông qua đánh giá lực số theo phương thức đánh giá thực Bộ câu hỏi thiết kế với ba mức độ đo lường lực số gồm: mức bản, mức trung bình mức nâng cao Tham khảo công cụ đây: https://nanglucso hcmute.edu.vn/exams Hệ thống đo lường lực số cho sinh viên đại học Việt Nam theo hình thức đánh giá thực với 100 câu hỏi thiết kế ban đầu dùng để đánh giá lực số sinh viên năm lĩnh vực lực số dựa khung lực số Digcomp Mỗi sinh viên thực năm khảo sát trực tuyến tương ứng với năm thành tố lực số Thời gian thực khoảng 30 phút cho năm đánh giá Mỗi lực thành phần thành tố lực số đánh giá thông qua năm câu hỏi kiến thức, kỹ thái độ, điều chỉnh theo thang điểm 10 Việt Nam, gồm: - Ba câu hỏi kiến thức với ba cấp độ mức điểm khác nhau: mức độ (1 điểm); trung bình (2 điểm) nâng cao (3 điểm) - Một câu hỏi kỹ (4 điểm) - Một câu hỏi thái độ (hiện chưa tính điểm), sử dụng để so sánh mức độ tin cậy người trả lời với kết thực Để đánh giá xác hiểu biết mức độ thành thạo kỹ người trả lời tương ứng với biểu lực số, câu hỏi thiết kế thành nhiều dạng khác câu hỏi trắc nghiệm đa lựa chọn, trắc nghiệm đúng-sai, điền đáp án sau xử lý yêu cầu kỹ thuật, câu hỏi mô thao tác kỹ thuật Mức độ lực số sinh viên đánh giá dựa ba mức độ thành thạo mà khung lực số mô tả gồm: mức bản, mức trung bình mức nâng cao Thang đánh giá xây dựng dựa thang điểm 10 Việt Nam, cụ thể sau: - Mức bản: từ - điểm - Mức trung bình: từ - điểm - Mức nâng cao: từ -10 điểm Sau hoàn thành đánh giá, sinh viên biết mức độ mà đạt cho lực thành phần mức độ chung cho thành tố lực số Mức độ đạt lực thành phần đánh giá dựa tỷ lệ phần trăm, đạt 10% xem trình độ Mức xuất phát CÁC TIÊU CHÍ ĐỂ ĐÁNH GIÁ NĂNG LỰC SỐ Thơng qua việc phân tích ba phương pháp tiếp cận với công cụ đánh giá lực số tương ứng, thấy để xây dựng cơng cụ/bộ tiêu chí đánh giá lực số, câu hỏi sau cần phải trả lời đầu tiên: - Mục đích việc đánh giá lực số để làm gì? (Bối cảnh sử dụng) - Đối tượng cần đánh giá lực số ai? (Đối tượng đánh giá) - Khung lực số phù hợp với đối tượng cần đánh giá? - Phương pháp tiếp cận đánh giá lực số phù hợp? Sau xác định rõ ràng mục đích đối tượng cần đánh giá, lựa chọn khung lực số phương pháp tiếp cận phù hợp, công cụ đánh giá lực số bắt đầu nhóm chun gia thiết kế xây dựng Bộ cơng cụ đánh giá lực số bao gồm nhiều tiêu chí đánh giá khác nhau, thiết kế xây dựng dựa theo cấu trúc khung lực số lựa chọn, với nội hàm cần mô tả đặc điểm thành tố THÔNG TIN VÀ TƯ LIỆU - 1/2023 NGHIÊN CỨU - TRAO ĐỔI lực số, với mức độ phù hợp với đối tượng cần đánh giá bối cảnh sử dụng, đồng thời thể tính chất phương pháp tiếp cận đánh giá lực số Việc xây dựng công cụ đánh giá lực số trình địi hỏi nhiều thời gian cơng sức, trải qua nhiều giai đoạn khác Chẳng hạn quy trình phát triển công cụ đánh giá lực số cho đối tượng người làm người khởi nghiệp dự án ERAMUS+ 2016 [Bartolomé et al., 2022], gồm giai đoạn sau: Phân tích yêu cầu hồ sơ lực số: bước cần làm việc với chuyên gia lĩnh vực để xác định yêu cầu bối cảnh sử dụng đối tượng cần khảo sát Phát triển câu hỏi đánh giá tảng để triển khai câu hỏi: câu hỏi thiết kế dựa khung lực số phương pháp tiếp cận đánh giá lực số Thẩm định: công cụ gửi cho chuyên gia thẩm định triển khai thử với người dùng cuối Thực hiệu chỉnh cải tiến: dựa góp ý chuyên gia phản hồi từ người dùng thử nghiệm Triển khai thí điểm: với số lượng lớn người dùng cuối để kiểm tra độ giá trị tin cậy nội dung đánh giá, tính ổn định tảng (platform) triển khai hệ thống Kiểm tra độ tin cậy công cụ: thực phép toán thống kê từ liệu triển khai thí điểm để đánh giá độ tin cậy cơng cụ Hình Quy trình phát triển công cụ đánh giá lực số Thông qua quy trình gồm nhiều bước, tiêu chí đánh giá lực số rà soát, hiệu chỉnh cải tiến, đồng thời tiếp tục kiểm tra độ tin cậy qua nhiều lần triển khai khác để xây dựng nên cơng cụ đánh giá lực số đảm bảo tính giá trị độ tin cậy Các tiêu chí đánh giá phải dựa khung lực định Hiện khung THÔNG TIN VÀ TƯ LIỆU - 1/2023 DigComp khung tham chiếu nhiều nhất, với lý do: Thứ nhất, khung DigComp thiết kế với hai mục tiêu vừa khung lực số, vừa khung tham chiếu cho công cụ đánh giá lực số, có mức độ khái quát cho phép bên liên quan tinh chỉnh lựa chọn lực thành phần phù hợp với mục tiêu, bối NGHIÊN CỨU - TRAO ĐỔI cảnh đối tượng sử dụng [Carretero et al., 2017] Thứ hai, khung DigComp UNESCO công nhận khung lực số cập nhật toàn diện Kết luận UNESCO đưa sau tiến hành nghiên cứu thực nghiệm đánh giá 47 khung lực số quốc gia đa dạng mặt kinh tế châu lục, cuối khẳng định tất lực mô tả 47 khung lực số khảo sát ánh xạ tới khung DigComp [Jashari et al., 2021] Thứ ba, khung DigComp nhiều sở giáo dục đại học không châu Âu sử dụng công bố kết [Kluzer & Pujol Priego, 2018] Thứ tư, việc giới thiệu loại công cụ đánh giá lực số khác phát triển khung lực số, giúp sinh viên dễ dàng so sánh nhận rõ ý nghĩa phương pháp tiếp cận Cấu trúc thang đo khung lực số sở để thiết kế câu hỏi đánh giá cho công cụ Cấu trúc lực số khung DigComp gồm năm lĩnh vực lực với 21 tiêu chí mơ tả bảng sau: Bảng Cấu trúc lực số khung DigComp Lĩnh vực lực Năng lực thông tin liệu Giao tiếp cộng tác Mô tả khái quát Năng lực Khả xác định rõ nhu cầu thơng tin, tìm kiếm thơng tin tài nguyên môi trường số; tổ chức, xử lý, phân tích, diễn giải thơng tin; so sánh, đánh giá cách nghiêm túc độ tin cậy nguồn gốc thông tin Khả sử dụng cơng nghệ số cách hiệu có trách nhiệm để giao tiếp, kết nối, cộng tác môi trường học thuật sống; thể thân thông qua phương tiện số 1.1 Lướt, tìm kiếm lọc liệu, thơng tin nội dung số 1.2 Đánh giá liệu, thông tin nội dung số 1.3 Quản lý liệu, thông tin nội dung số 2.1 Tương tác thông qua công nghệ số 2.2 Chia sẻ thông qua công nghệ số 2.3 Tham gia vào quyền công dân thông qua công nghệ số 2.4 Cộng tác công việc thông qua công nghệ số 2.5 Quy tắc ứng xử qua mạng 2.6 Quản lý danh tính số 3.1 Phát triển nội dung số 3.2 Tích hợp tái tạo nội dung số 3.3 Bản quyền giấy phép 3.4 Lập trình 4.1 Bảo vệ thiết bị 4.2 Bảo vệ liệu cá nhân quyền riêng tư 4.3 Bảo vệ sức khỏe hạnh phúc 4.3 Bảo vệ môi trường Khả sửa đổi, tạo nội dung số với định dạng khác nhau; biết cách tra cứu quyền giấy phép nội dung số; khả lập trình Khả hiểu rủi ro mối đe dọa đến sức khỏe thể chất tinh thần mơi trường số; biện pháp an tồn bảo mật để bảo vệ liệu cá nhân quyền riêng tư; An toàn hiểu cách sử dụng chia sẻ thơng tin đảm bảo an tồn cho cá nhân người khác; nhận thức tác động công nghệ số đến môi trường, cách sử dụng cơng nghệ số an tồn có trách nhiệm Sáng tạo nội dung số THÔNG TIN VÀ TƯ LIỆU - 1/2023 NGHIÊN CỨU - TRAO ĐỔI Giải vấn đề Khả xác định vấn đề kỹ thuật cách giải vận hành thiết bị sử dụng mơi trường số; xác định, đánh giá, lựa chọn sử dụng công nghệ số để giải nhiệm vụ vấn đề định theo cách sáng tạo để tạo tri thức; biết cách cập nhật lực thân người khác Thang đo mức độ thành thạo lực số khung DigComp ban đầu thiết kế gồm ba mức độ: bản, trung bình, nâng cao Phiên DigComp 2.1 mở rộng mức độ thành thạo chi tiết lên tám 5.1 Giải vấn đề kỹ thuật 5.2 Nhận diện nhu cầu đáp ứng công nghệ 5.3 Sử dụng công nghệ số cách sáng tạo 5.4 Nhận diện khoảng trống lực số mức để hỗ trợ việc phát triển tài liệu học tập đào tạo lực số Mỗi mức độ thành thạo xác định thông qua việc học tập, sử dụng động từ đo lường theo thang đo Bloom [Carretero et al., 2017] Bảng Các mức độ thành thạo lực số khung DigComp Mức độ thành thạo (DigComp 1.0, 2.0) Cơ Mức độ thành thạo (DigComp 2.1) Sự phức tạp nhiệm vụ Sự tự chủ Miền nhận thức Các nhiệm vụ đơn giản Cần hướng dẫn Ghi nhớ Các nhiệm vụ đơn giản Tự xử lý với hướng dẫn cần Ghi nhớ Trung bình Nâng cao Chuyên gia Các nhiệm vụ thường xuyên xác định rõ Các nhiệm vụ vấn đề xác định rõ không thường xuyên Các nhiệm vụ vấn đề khác Của riêng Hiểu Độc lập phù hợp với thân Hiểu Hướng dẫn người khác Có khả thích Các nhiệm vụ thích hợp nghi với người khác ngữ cảnh phức tạp Tích hợp đóng Giải vấn đề góp cho thực hành phức tạp với giải chuyên nghiệp pháp hạn chế hướng dẫn người khác Giải vấn đề phức tạp với nhiều yếu tố tương tác 10 THÔNG TIN VÀ TƯ LIỆU - 1/2023 Đề xuất ý tưởng quy trình cho lĩnh vực Áp dụng Đánh giá Sáng tạo Sáng tạo NGHIÊN CỨU - TRAO ĐỔI Các công cụ đánh giá lực số với câu hỏi thiết kế dựa nội hàm thành tố lĩnh vực lực mà khung lực số DigComp mô tả, theo mức độ thành thạo thang đo, phù hợp với đối tượng mục đích đánh giá Tuy nhiên, cơng cụ đánh giá lực số đa phần thiết kế với ba mức (cơ bản, trung bình, nâng cao) bốn mức tổng quát chưa sâu vào thiết kế câu hỏi theo mức mà khung DigComp mô tả ĐÁNH GIÁ VÀ KẾT LUẬN Nghiên cứu Saltos-Rivas cộng (2021) đề cập đến chất lượng công cụ đánh giá lực số không gian giáo dục đại học, cho thấy có nhiều công cụ đánh giá lực số cho sinh viên đại học, nhiên gần 80% công bố sử dụng công cụ đánh giá lực số theo phương thức tự đánh giá thường cho kết xác, với tiêu chí đưa không đồng nhất, số công cụ lược bớt thành tố cấu thành lực số, nhiều công cụ chưa công bố tính giá trị độ tin cậy Điều điểm yếu lớn cho việc tái sử dụng cải tiến công cụ quy mô rộng hơn, gây khó khăn cho việc đưa kết luận chung xác từ kết cơng bố đánh giá lực số Zhao cộng (2021) có kết luận tương tự liệu tự đánh giá không phản ánh mức độ thực lực số Do vậy, để đánh giá xác lực số nhóm đối tượng tham gia khảo sát, nghiên cứu cần tiếp tục phát triển hoàn thiện công cụ đánh giá lực số với trải nghiệm mang tính thực tế gần gũi với giới thực hơn, đồng thời trọng việc kiểm chứng độ giá trị tin cậy công cụ Đây bước quan trọng làm sở cho nghiên cứu kế thừa tiếp tục hồn thiện cơng cụ Do vậy, xây dựng khung đánh giá công cụ đánh giá lực số nhiệm vụ nhà khoa học Việt Nam sau có khung lực số cho sinh viên Đây nhiệm vụ khó, cần có tham gia phối hợp bên liên quan Mục tiêu có cơng cụ đánh giá lực số với độ tin cậy xác cao, đáp ứng nhu cầu đào tạo phát triển lực số sinh viên Bài viết tìm hiểu ban đầu gợi mở cho ý tưởng việc tiếp cận thiết kế xây dựng công cụ đánh giá lực số cho sinh viên dựa khung lực số DigiLit 1.0 hành trình hồn thiện khung lực đề xuất giải pháp phát triển lực số cho sinh viên Việt Nam từ việc phân tích phương pháp tiếp cận, tiêu chí cơng cụ đánh giá khung lực số DigComp TÀI LIỆU THAM KHẢO Bartolomé, J., Garaizar, P., & Larrucea, X (2022) A Pragmatic Approach for Evaluating and Accrediting Digital Competence of Digital Profiles: A Case Study of Entrepreneurs and Remote Workers Technology, Knowledge and Learning, 27(3), 843-878 https://doi org/10.1007/s10758-021-09516-3 Bergdahl, N., Nouri, J., & Fors, U (2020) Disengagement, engagement and digital skills in technology-enhanced learning Education and Information Technologies, 25(2), 957-983 https://doi org/10.1007/s10639-019-09998-w Carretero, S., Vuorikari, R., & Punie, Y (2017) DigComp 2.1: The Digital Competence Framework for Citizens With eight proficiency levels and examples of use, EUR 28558 EN In Joint Research Centre (Issue May, pp 1-48) https://doi org/10.2760/38842 Đỗ Văn Hùng, Trần Đức Hòa, Nguyễn Thị Kim Dung, Bùi Thanh Thủy, Nguyễn Thị Kim Lân, Đào Minh Quân, Đồng Đức Hùng, Bùi Thị Anh Tuyết, Bùi Thị Thanh Huyền, Trần Thị Thanh Vân, Trịnh Khánh Vân (2022) Khung lực số dành cho sinh viên Hà Nội Nxb Đại học Quốc gia Hà Nội ESCO (2017) European classification of skills, competences, occupations and qualifications http://ec.europa.eu/social/ THÔNG TIN VÀ TƯ LIỆU - 1/2023 11 NGHIÊN CỨU - TRAO ĐỔI main.jsp?catId=1326&langId=en [Google Scholar] He, T., Zhu, C., & Questier, F (2018) Predicting digital informal learning: an empirical study among Chinese University students Asia Pacific Education Review, 19(1), 79-90 https://doi.org/10.1007/ s12564-018-9517-x Hiltz, S R., & Turoff, M (2005) The Evolution of Online Learning and the Revolution in Higher Education In October (Vol 48, Issue 10, pp 59-64) International Telecommunication Union (ITU) (2018) Digital Skills Toolkit Jashari, X., Fetaji, B., Nussbaumer, A., & G tl, C (2021) Assessing Digital Skills and Competencies for Different Groups and Devising a Conceptual Model to Support Teaching and Training Advances in Intelligent Systems and Computing, 1231 AISC, 982-995 https:// doi.org/10.1007/978-3-030-52575-0_82 10 Kim, H J., Hong, A J., & Song, H D (2018) The relationships of family, perceived digital competence and attitude, and learning agility in sustainable student engagement in higher education In Sustainability (Switzerland) (Vol 10, Issue 12) https://doi.org/10.3390/su10124635 11 Kluzer, S., & Pujol Priego, L (2018) DigComp into action - Get inspired, make it happen A user guide to the European Digital Competence Framework In European Commission (JRC Science for Policy Report) Publications Office of the European Union 10.2760/112945 https:// doi.org/10.2760/112945 12 Litt, E (2013) Measuring users’ internet skills: A review of past assessments and a look toward the future New Media and Society, 15(4), 612-630 https://doi org/10.1177/1461444813475424 13 López-Meneses, E., Sirignano, F M., Vázquez-Cano, E., & RamírezHurtado, J M (2020) University students’ digital competence in three areas of the DigCom 2.1 model: A comparative study at three European universities Australasian Journal of Educational 12 THÔNG TIN VÀ TƯ LIỆU - 1/2023 Technology, 36(3), 69-88 https://doi org/10.14742/AJET.5583 14 Mosa, A A., Naz’ri bin Mahrin, M., & Ibrrahim, R (2016) Technological Aspects of E-Learning Readiness in Higher Education: A Review of the Literature In Computer and Information Science (Vol 9, Issue 1, p 113) https://doi.org/10.5539/cis v9n1p113 15 Saltos-Rivas, R., Novoa-Hernández, P., & Rodríguez, R S (2021) On the quality of quantitative instruments to measure digital competence in higher education: A systematic mapping study PLoS ONE, 16(9 September) https://doi.org/10.1371/ journal.pone.0257344 16 Sánchez-Caballé, A., GisbertCervera, M., & Esteve-Mon, F (2020) The digital competence of university students: A systematic literature review In Aloma (Vol 38, Issue 1, pp 63-74) https://doi org/10.51698/aloma.2020.38.1.63-74 17 Sharpe, R (2018) Digital literacy: from a definition to a graduate attribute to a measure of learning gain Queen’s Learning and Teaching Conference 2018 on Creativity and Innovation in Teaching, June 18 Sillat, L H., Tammets, K., & Laanpere, M (2021) Digital competence assessment methods in higher education: A systematic literature review Education Sciences, 11(8) https://doi.org/10.3390/ educsci11080402 19 University, L B (2014) Embedding digital literacy as a graduate attribute at Leeds Beckett University https://www leedsbeckett.ac.uk/partners/files/UG_ Embedding_Digital_Literacy.pdf 20 Zhao, Y., Pinto Llorente, A M., & Sánchez Gómez, M C (2021) Digital competence in higher education research: A systematic literature review Computers and Education, 168(August 2020), 104212 https://doi.org/10.1016/j compedu.2021.104212 (Ngày Tòa soạn nhận bài: 15-122022; Ngày phản biện đánh giá: 7-01-2023; Ngày chấp nhận đăng: 15-01-2023)