1. Trang chủ
  2. » Luận Văn - Báo Cáo

ĐÁNH GIÁ CHẤT LƯỢNG CHƯƠNG TRÌNH ĐÀO TẠO THEO CHUẨN QUỐC TẾ- HOẠT ĐỘNG TỰ ĐÁNH GIÁVÀ CHUẨN BỊ CHO ĐÁNH GIÁ NGOÀI

103 533 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 103
Dung lượng 0,94 MB

Nội dung

v Hỗ trợ xác định các tiêu chuẩn cho những trường hoạt động xuyênquốc gia;vi Hỗ trợ hệ thống chuyển đổi tín chỉ nhằm thúc đẩy sự các hoạt độnggiáo dục xuyên biên giới quốc gia; viiHỗ trợ

Trang 1

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

TÀI LIỆU TẬP HUẤN ĐÁNH GIÁ CHẤT LƯỢNG CHƯƠNG TRÌNH ĐÀO TẠO THEO CHUẨN QUỐC TẾ - HOẠT ĐỘNG TỰ ĐÁNH GIÁ

VÀ CHUẨN BỊ CHO ĐÁNH GIÁ NGOÀI

(TÀI LIỆU LƯU HÀNH NỘI BỘ)

Hà Nội, tháng 9 năm 2014

Trang 2

1 HỆ THỐNG ĐẢM BẢO CHẤT LƯỢNG VÀ KIỂM ĐỊNH CHẤT LƯỢNG GIÁO DỤC Ở CHÂU Á – THÁI BÌNH DƯƠNG

Trong bối cảnh giáo dục đại học thế giới và Châu Á - Thái Bình Dươnggia tăng về số lượng người học, nhất là ở các nước phát triển, giáo dục đại họcngày càng đa dạng hóa, đại chúng hóa Do đó, yêu cầu về chất lượng và kiểmsoát chất lượng buộc thiết lập các Quality Assurance Agencies (QAAs) Hiệnnay ở Châu Á – Thái Bình Dương có hơn 100 nước có hệ thống QA, tạo sự liênkết giữa các tổ chức INQAAHE (hiện có hơn 200 tổ chức QA), APQN, BolognaProcess, Washington Accord… nhằm hướng tới sự đa dạng hóa/quốc tế hóatrong thống nhất

Trong số các nước ở Châu Á - Thái Bình Dương bao gồm: Australia, NewZealand, Hồng Kông, Ấn Độ, Nhật Bản, Hàn Quốc, Trung Quốc, Mông Cổ,Indonesia, Malaysia, Thái Lan, Philipine và Việt Nam Những quốc gia tiếp cậnsớm nhất với công tác đảm bảo chất lượng (ĐBCL) và kiểm định chất lượng(KĐCL) bao gồm: Australia, New Zealand, Hồng Kông, Ấn Độ; sau đó lan dầnsang các quốc gia khác như Nhật Bản, Hàn Quốc, Trung Quốc, Singaporev.v vàhiện nay có 15 tổ chức ĐBCL cấp quốc gia đang hoạt động; trong đó tổ chứcđược thành lập đầu tiên là vào năm 1991 Những tổ chức này có những nhiệm vụ

và chức năng khác nhau, nhưng chức năng chung nhất là đây là các tổ chức hợppháp được công nhận để thực hiện việc KĐCL chương trình đào tạo, hoặc KĐCLcác trường đại học (cấp trường) và cao đẳng trong quốc gia mình Các tổ chứcchính bao gồm:

1 Australia: Tổ chức ĐBCL các trường đại học của Australia (The

Australian Universities Quality Agency); viết tắt là AUQA

2 Hong Kong: Hội đồng Kiểm định chất lượng học thuật Hong Kong

(Hong Kong Council on Academic Accreditation); viết tắt là HKCAA

3 Ấn Độ: Hội đồng Đánh giá và Kiểm định chất lượng Ấn Độ (National

Assessment and Accreditation Council); viết tắt là NAAC

4 Indonesia: Uỷ Ban Quốc gia Kiểm định chất lượng giáo dục đại họcIndonesia (The National Accreditation Board for Higher Education); viết tắt làBAN

Trang 3

6 Hàn Quốc: Hội đồng các Trườ ng đại học Hàn Quốc (The Korean

Council for University Education); viết tắt là KCUE

7 Malaysia: Uỷ ban Kiểm định chất lượng Malaysia (National

Accreditation Board); viết tắt là LAN

8 Mông Cổ (Mongolia): Hội đồng Kiểm định chất lượng giáo dục đại

học Mông Cổ (National Council on Higher Education Accreditation); viết tắt làNCHEA

9 Tân Tây Lan (New Zealand): Tổ chức Kiểm định chất lượng học

thuật Tân Tây Lan (Academic Audit Unit); viết tắt là AAU

10 Cộng hoà Nhân dân Trung Hoa (People’s Republic of China):

Hỗn hợp giữa các tổ chức ĐBCL do Chính phủ thành lập mang tính tập trung vàbán tập trung (a combination of centralized and decentralized quality assurancebodies)

11 Philippines: Các tổ chức chính gồm:

- Tổ chức Kiểm định chất lượng các trường đại học & cao đẳng Philipin(do Chính phủ thành lập) (Accrediting Agency of Chartered Colleges andUniversities in the Philip-pines (Governmental); viết tắt là AACCUP

- Hiệp hội các trường phổ thông, cao đẳng và đại học Philipin (tổ chứcphi chính phủ) (Philippine Accrediting Association of Schools, Colleges andUniversities (Non-governmental); viết tắt là: PAASCU

12.Thailand: Ban Tiêu chuẩn giáo dục Quốc gia và Kiểm định chất

lượng (Office of National Educational Standards and Quality Assessment); viếttắt là ONESQA

13.Việt Nam:

- Cục Khảo thí và Kiểm định chất lượng giáo dục, Bộ GD&ĐT ;

- Trung tâm Kiểm định chất lượng giáo dục - Đại học Quốc gia Hà Nội;

Trang 4

- Trung tâm Kiểm định chất lượng giáo dục - Đại học Quốc gia thànhphố Hồ Chí Minh.

14.Campuchia (2003): Hội đồng Kiểm định chất lượng Cămpuchia

15.Lào (Laos) (2005): Nhóm công tác Kiểm định chất lượng ở ĐHQG

Lào, mới thành lập HĐKĐCL quốc gia

16 Singapore: Mời các cơ sở giáo dục và đào tạo, các tổ chức kiểm định

chất lượng nước ngoài kiểm định hoặc thực hiện kiểm toán nội bộ (như trườnghợp Nanyang University of Technology)

1.1 Asia-Pacific Quality Network – APQN

Trong khu vực Châu Á – Thái Bình Dương, một mạng lưới chất lượnggọi là APQN (Asia-Pacific Quality Network) cũng được thành lập nhằm mụcđích phục vụ sự kết nối trong hoạt động ĐBCL của các tổ chức ĐBCL trongvùng có ½ dân số thế giới với sứ mạng “nâng cao chất lượng giáo dục đại họctrong khu vực châu Á và Thái Bình Dương thông qua việc tăng cường hoạt độngcủa các tổ chức ĐBCL và mở rộng hợp tác giữa chúng” APQN hiện có hơn 100thành viên từ 31 quốc gia Có thể thấy các thành viên này phát triển không đồngđều giữa các quốc gia và lãnh thổ APQN hỗ trợ các tổ chức thành viên trongnhiều hoạt động, nhất là các hội thảo chia sẻ kinh nghiệm về ĐBCL APQN đã

tổ chức nhiều hội thảo về ĐBCL GDĐH, trong đó có những hội thảo tổ chức tạiViệt Nam APQN cũng đã chủ trì để soạn thảo những định hướng chính sách vềĐBCL giáo dục đại học như “Các nguyên tắc ĐBCL” (Hội thảo Chiba) Thôngqua APQN nhiều tài liệu về hoạt động của các tổ chức đảm bảo chất lượng củacác tổ chức thành viên cũng được chia sẻ rộng rãi, qua đó các tổ chức của nhữngquốc gia, khu vực kém phát triển hơn về ĐBCL giáo dục có thể tham khảo

Mục đích hoạt động của APQN hướng tới:

i) Khuyến khích các thực hành về du y trì và nâng cao CLGD;

ii) Hỗ trợ đưa các nghiên cứu vào quản lý chất lượng trong giáo dục;iii) Cố vấn & cung cấp kiến thức để hỗ trợ sự phát triển của các tổ chứcĐBCL mới trong khu vực;

iv) Hỗ trợ tạo kết nối giữa các tổ chức ĐBCL, công nhận các quyết định

và những phán xét của nhau; Tạo sự thừa nhận rộng rãi hơn về chấtlượng;

Trang 5

v) Hỗ trợ xác định các tiêu chuẩn cho những trường hoạt động xuyênquốc gia;

vi) Hỗ trợ hệ thống chuyển đổi tín chỉ nhằm thúc đẩy sự các hoạt độnggiáo dục xuyên biên giới quốc gia;

vii)Hỗ trợ cảnh báo về các thực hành hoặc các tổ chức KĐCL đáng ngờ.Nguyên tắc ĐBCL của APQN là đảm bảo chất lượng bên trong (Nguyêntắc Chiba) Nguyên tắc này đặt ra các tiêu chí sau:

i) Hệ thống ĐBCL bên trong được xây dựng, có các chính sách, quytrình triển khai;

ii) Thực hiện việc phê duyệt, giám sát và định kỳ rà soát các chươngtrình giáo dục;

iii) Xây dựng, triển khai chiến lược không ngừng nâng cao CLGD;

iv) Duy trì cơ chế ĐBCL đội ngũ giảng viên;

v) Công bố công khai, chính xác và cập nhật các thông tin về trường,các chương trình giáo dục và các văn bằng được cấp;

vi) Định kỳ thực hiện các hoạt động ĐBCL (trường, CTGD);

vii)Những người hưởng lợi tham gia xây dựng các tiêu chuẩn, tiêu chíđánh giá;

viii) Tiêu chuẩn, tiêu chí được công bố công khai, sử dụng ổn định;ix) Có quy trình thẩm định các đánh giá viên để tránh xung đột lợi ích;x) Các hoạt động đánh giá gồm: Tự đánh giá của trường; đánh giá ngoàibởi nhóm chuyên gia và các khảo sát tại chỗ do hai bên thống nhất;công bố báo cáo đánh giá ngoài kể cả các quyết định và kiến nghị củacấp có thẩm quyền; có quy trình tiếp theo để đánh giá mức độ trườngthực hiện các kiến nghị; có cơ chế tiếp nhận và xử lý các khiếu nại và

tố cáo Độc lập, tự chủ, không bị ảnh hưởng bởi bên thứ 3 trong q uátrình hoạt động và đánh giá; Có sứ mạng, mục đích, mục tiêu đượctuyên bố rõ ràng bằng văn bản; Có đủ các nguồn nhân lực và tài chínhđáp ứng yêu cầu; Các chủ trương, quy trình, báo cáo rà soát và đánhgiá đầy đủ, được công bố công khai; Các tiêu chuẩn đang sử dụng, cácphương pháp đánh giá, các quá trình, các tiêu chí đưa ra quyết định vàquá trình phê duyệt được xác định rõ ràng, bằng văn bản; Trường định

Trang 6

kỳ thực hiện các đợt tự đánh giá và đánh giá ngoài để rà soát các hoạtđộng, sự hiệu quả và các giá trị; Báo cáo tổng kết về các kết quả đạtđược, công bố công khai.

1.2 ASEAN QualityAssurance Network - AQAN

AQAN được thành lập vào ngày 8 tháng 7 năm 2008 theo sáng kiến và nỗlực của 11 lãnh đạo các nước thành viên trong khu vực ASEAN tại KualaLumpur Declaration nhằm nỗ lực hướng tới tiếng nói chung về ĐBCL GDĐHtrong ASEAN

AQAN được ra đời hướng tới sự chia sẻ và tăng cường những thực hànhtốt và năng lực phát triển quốc gia trong các nước thành viên Do đó, AQANcàng phát triển, sẽ là cách hướng tới Khung đảm bảo chất lượng ASEAN(ASEAN Quality Assurance Framework) trong toàn khu vực Và tất nhiên, đó sẽ

là mục tiêu để chia sẻ sự thành công của các mạng lưới ĐBCL quốc tế khác nhưAsia Pacific Quality Network (APQN), European Association for QualityAssurance in Higher Education (ENQA) và International Network for QualityAssurance Agencies in Higher Education (INQAAHE)

Mặc dù AQAN mới được thành lập không lâu, nhưng Mạng lưới được điềuhành bởi các nhà lãnh đạo đầy nhiệt huyết và dưới tôn chỉ hoạt động thống nhất nên

hy vọng trong tương lai không xa AQAN sẽ phát triển mạnh và làm tròn sứ mạngcủa mình

Trang 7

2 HỆ THỐNG ĐẢM BẢO CHẤT LƯỢNG

VÀ KIỂM ĐỊNH CHẤT LƯỢNG GIÁO DỤC Ở ĐÔNG NAM Á

2.1 Lịch sử hình thành và phát triển của AUN-QA

Một trong các biện pháp cơ bản để thúc đẩy GDĐH trong khu vực ĐôngNam Á là xây dựng Mạng lưới các trường đại học Đông Nam Á (A SEANUniversity Nework - AUN), đặc biệt là hệ thống ĐBCL của mạng lưới cáctrường đại học Đông Nam Á (AUN-QA) Việc xây dựng hệ thống ĐBCL củaAUN được khởi xướng từ năm 1998 bởi Chủ tịch đầu tiên của Hội đồng quản trịAUN (AUN-BOT) là giáo sư, tiến sĩ Vanchai Sirichana Từ khi thành lập, AUN

có 13 thành viên là các trường hàng đầu của 10 nước trong khu vực; đến nay đã

có 30 trường thành viên (Trong đó Việt Nam có Đại học Quốc gia Hà Nội , Đạihọc Quốc gia thành phố Hồ Chí Minh và gần đây vừa kết nạp thêm Đại học CầnThơ) Cuộc họp lần thứ IV của Hội đồng quản trị AUN tổ chức tháng 6/1998 đãđánh giá hệ thống ĐBCL của AUN là vấn đề quan trọng hàng đầu cần ưu tiênphát triển Để thực hiện cam kết này, Hội đồng quản trị AUN đã coi năm 1999 lànăm chất lượng giáo dục của AUN và thành lập một nhóm đặc trách của Mạnglưới Nhóm đặc trách này bao gồm các cán bộ nòng cốt quản lý chất lượng tạicác trường đại học thành viên Hệ thống ĐBCL của Mạng lưới các trường đạihọc Đông Nam Á có mục đích xây dựng một bộ tiêu chuẩn chất lượng chungthông qua việc chia sẻ kinh nghiệm và các điển hình tốt

Hệ thống ĐBCL của Mạng lưới các trường đại học Đông Nam Á đã minhchứng cho những tiềm năng lớn trong việc hợp tác quốc tế về ĐBCL giữa cáctrường đại học ở Đông Nam Á Đây là quá trình phát triển từ “không có một nỗlực nào” tới “có nỗ lực không chính thức”, “nỗ lực có tổ chức” và cuối cùng là

“nỗ lực đã hoàn chỉnh” Thỏa ước Bangkok (Bangkok Accord) về ĐBCL của

AUN đã chính thức khởi động nỗ lực chung của các trường đại học thành viên

để thực hiện mục đích nâng cao chất lượng giáo dục đại học Chính sách và cáctiêu chí chung của Hệ thống ĐBCL của Mạng lưới các trường đại học ĐôngNam Á đã đề ra các mục tiêu và định khung sứ mạng cho các cán bộ ĐBCL chủchốt thông qua việc đưa ra nguyên tắc giải quyết các khó khăn bằng một hệthống có chỉnh lý cho phù hợp với từng nước, đồng thời tuân thủ những tiêu chí

Trang 8

cơ bản của AUN Thông qua hệ thống ĐBCL của AUN không còn biên giới họcthuật giữa các trường đại học thành viên, hệ thống và chuẩn mực GDĐH đượchài hoà hoá, việc trao đổi giảng viên và sinh viên sẽ được khuyến khích nhiềuhơn, hỗ trợ các hợp tác nghiên cứu và chuyển đổi tín chỉ giữa các thành viên củamạng lưới các trường đại học trong mạng lưới AUN và tiến tới trong cảASEAN.

Một trong những vấn đề trọng tâm trong hoạt động ĐBCL được AUN tậptrung đầu tư là chính sách, tiêu chí chất lượng và hợp tác ASEAN với Hội đồngChâu Âu (European Union – EU) về ĐBCL giáo dục đại học Cuộc họp củanhóm đặc trách của Mạng lưới ĐBCL của AUN được tổ chức tháng 11 năm

2000, đã song hành cùng với cuộc họp lần thứ 9 của Hội đồng Quản trị AUNngày 12-13 tháng 11 năm 2000 tại Đại học Chulalongkorn, Băng Cốc, Thái Lan

Tại cuộc họp này đại diện của các trường thành viên đã đưa ra Thỏa ước Băng cốc về vấn đề ĐBCL của AUN Thỏa ước này nhằm mục đích thúc đẩy sự phát

triển của hệ thống ĐBCL như một công cụ để củng cố và nâng cao chất lượnghoạt động giảng dạy, nghiên cứu khoa học và toàn bộ các chuẩn về chất lượngcủa các trường thàn h viên trong mạng lưới Nội dung chính của Thoả ước nàynhư sau:

- Mỗi trường thành viên bổ nhiệm một cán bộ cốt cán chịu trách nhiệm

về chất lượng (Chief Quality Officer -CQO) để điều phối các hoạt động ĐBCLnhằm hướng tới mục đích nói trên Cán bộ cốt cán này sẽ chịu trách nhiệm tham

dự các hội thảo về ĐBCL của AUN Các hội thảo này hướng đến việc xây dựngnhững tiêu chí (criteria) chung về chất lượng cũng như các qui trình định chuẩn(benchmarking) thông qua những đoàn đánh giá trong và đánh giá ngoài các đạihọc thành viên

- Các tiêu chí và qui trình định chuẩn về chất lượng được xây dựng từ hộithảo lần thứ nhất, bao gồm: (i) giảng dạy và học tập; ii) nghiên cứu; iii) dịch vụcông đồng; iv) các phương tiện giảng dạy; v) các tiện nghi học tập; vi) tỷ lệgiảng viên/người học v.v.) được tất cả các trường thành viên nhất trí

- Các trường thành viên sẽ xác định và khuyến khích việc thực hiệnnhững thực hành tốt (good practices) trong lĩnh vực ĐBCL giáo dục đại học

Trang 9

- Các trường thành viên sẽ tiếp tục hợp tác và trao đổi thông tin với nhauthông qua các kênh truyền thông và chia sẻ thông tin thường xuyên.

- Một trường thành viên có thể mời các trường thành viên khác hoặc cơquan đánh giá bên ngoài để thực hiện việc thẩm định chất lượng (auditing), việcđánh giá, và rà soát về chất lượng

Một bước tiến lớn hơn trong công tác ĐBCL của AUN thể hiện qua Hộithảo lần thứ I các cán bộ nòng cốt về chất lượng ( CQOs) của các trường thànhviên AUN, được tổ chức tại Đại học Malaya, Malaysia từ ngày 18 đến ngày 20tháng 4 năm 2001 Các bộ nòng cốt về chất lượng đã tích cực tham gia vào việcsoạn thảo các chính sách và tiêu chí chung đồng thời tham gia vào việc xây dựngchiến lược dài hạn về ĐBCL cho AUN Các chính sách và tiêu chí của AUNđược các bộ nòng cốt về chất lượng thống nhất và sau đó được các trường thànhviên tán thành và áp dụng

Từ ngày 18 đến ngày 20/11/2001, Hội thảo thứ II về ĐBCL của các cán

bộ nòng cốt về chất lượng được tổ chức tại Đại học Chulalongkorn, ĐạihọcBurapha và Bộ Các vấn đề đại học của Thái Lan Hội thảo đã tập trung vàovai trò của ĐBCL, phong trào ĐBCL, tài liệu, hướng dẫn điện tử và hệ thốngtriển khai các hoạt động ĐBCL Tất cả các hoạt động này đã đóng góp một cáchtích cực vào sự phát triển của qui trình định chuẩn về ĐBCL của AUN

Từ ngày 28 đến 30/3/2002, Hội thảo lần thứ III các cán bộ nòng cốt vềchất lượng của AUN với chủ đề “Thực hành ĐBCL: dạy cái tốt nhất, học cái tốtnhất” với trọng tâm là việc chia sẻ những thực hành tốt trọng việc giảng dạy vàhọc tập được tổ chức tại Yangon, Myanmar Hội thảo đã rất thành công khi cáctrường thành viên đã rất tích cực chia sẻ kinh nghiệm và kiến thức trong việcdạy và học

Hội thảo lần thứ IV các các cán bộ nòng cốt về chất lượng của AUN được

tổ chức tại Đại học Indonesia và Đại học Gadjah, Indonesia từ ngày 14 đến ngày16/10/2002, đại diện của các trường tiếp tục thảo luận về các thực hành tốt vềnghiên cứu, dịch vụ, và phát triển nguồn lực thông qua việc chia sẻ kinh nghiệmgiữa các thành viên Một điểm quan trọng của Hội thảo lần này đó là các trườngthành viên đã nhất trí biên soạn và ban hành các Hướng dẫn về ĐBCL của AUNvới tư cách như là một Sổ tay cho các trường thành viên AUN

Trang 10

Tiếp tục các nỗ lực theo hướng này, Hội thảo lần thứ V các các cán bộnòng cốt về chất lượng của AUN được tổ chức từ n gày 24 đến 25/3/2003 tại Đạihọc Brunei Darussalam, Brunei Darussalam Hội thảo đã thảo luận về cácHướng dẫn về ĐBCL và đánh giá về ĐBCL thông qua kinh nghiệm được chia sẻgiữa các trường thành viên và những bài học thu được từ Hội đồng Đánh giá vàKiểm định Quốc gia của Ấn Độ Bên cạnh đó, các cán bộ nòng cốt về chất lượngcũng thống nhất về các công cụ đánh giá về ĐBCL mà sẽ được sử dụng như lànhững chỉ số để đánh giá trên thực tế.

Hội thảo lần thứ VI các cán bộ nòng cốt về chất lượng của AUN được tổchức tại Singapore từ ngày 23 đến ngày 25/2/2004 để kiểm tra các các chỉ sốđánh giá (Assessment Indicators) thông qua các nghiên cứu trường hợp tại Đạihọc Quốc gia Singapore và Đại học Công nghệ Nanyang Khi rà soát việc tậphợp các công cụ đánh giá về ĐBCL của AUN, các trường thành viên đã thốngnhất rằng các hình thức của chỉ số đánh giá cần có sự điều chỉnh để sao chochúng phù hợp hơn với thực tiễn và các quá trình ĐBCL bên trong của mỗitrường thành viên AUN Nhằm mục đích đưa ra những hướng dẫn thực hành của

Hệ thống ĐBCL của mạng lưới các trường đại học Đông Nam Á, các cán bộĐBCL chủ chốt của các nước (CQO) đã soạn thảo Hướng dẫn của AUN để sửdụng làm sổ tay tham khảo cho hoạt động ĐBCL đặc sắc và duy nhất ở ĐôngNam Á Trên thực tế, AUN-QA là hoạt động ĐBCL cấp khu vực đầu tiên và duynhất đang diễn ra hiện nay Các hướng dẫn của Hệ thống ĐBCL của Mạng lướicác trường đại học Đông Nam Á được thông qua tại cuộc họp thứ 16 của Hộiđồng quản trị AUN, tổ chức tại Siem Reap, Cam-pu-chia tháng 11/2004

Hội thảo lần thứ VII các cán bộ nòng cốt về chất lượng về “Đánh giá chấtlượng bên trong” được tổ chức tại Đại học Burapha University từ ngày 3 đếnngày 4/5/2007 để thực hành đối với Sổ tay Thực hiện các hướng dẫn về ĐBCLcủa AUN thông qua việc đánh giá mô hình ĐBCL ở 3 cấp là “cấp hệ thốngĐBCL bên trong” (IQA), “cấp cơ sở đào tạo” và cấp “chương trình đào tạo(ngành đào tạo)” Các các cán bộ nòng cốt về chất lượng đã thu nhận đượcnhững kinh nghiệm và thống nhất sẽ hoàn thiện thêm Bảng kiểm (checklist)trong Sổ tay để việc thực hiện được tốt hơn Một bộ phận đặc trách (The TaskForce) đã được thành lập để thúc đẩy hệ thống ĐBCL bên trong các trường

Trang 11

thành viên AUN cũng như các trường bên ngoài AUN trong ASEAN và cáctrường bên ngoài ASEAN.

Hội thảo lần thứ VIII các cán bộ nòng cốt về chất lượng được tổ chức tạiĐại học Malaya, Kuala Lumpur vào các ngày 13-14/12/2007 Mục đích của Hộithảo là nhằm thảo luận và hợp tác hơn nữa về hệ thống ĐBCL của AUN tậptrung vào đánh giá chất lượng trên thực tế ở cấp độ chư ơng trình

Hội nghị lần thứ IX, tổ chức tại Đại học Burapha, Thái Lan đã hoàn thànhviệc thử nghiệm công cụ đánh giá và AUN-QA đã quyết định triển khai việcđánh giá thực tế tại một số ngành của các trường thành viên Hiện nay, AUNđang cố gắng triển khai áp dụng bộ tiêu chuẩn chất lượng và khuyến khích cáctrường thành viên đăng ký kiểm định theo "Nhãn hiện AUN" (AUN label) Đã

có một số ngành học (chủ yếu là khoa học tự nhiên và kỹ thuật) của các trườngnhư ĐH De la Salla, Đai học Inodonesia, Đại học Philipine, Viện Công nghệBandung, Indonesia, v.v đã được đánh giá theo bộ tiêu chuẩn của AUN

Như vậy, từ tháng 12/2007, AUN đã thực hiện đánh giá chất lượng cácchương trình giáo dục, thực hiện kiểm định chất lượng thí điểm 2 chương trìnhgiáo dục; cho đến tháng 05/2014 thực tế đã thực hiện 18 đợt đánh giá với tổng

số hơn 48 chương trình giáo dục đã được KĐCL

Ở Việt Nam, Đại học Quốc gia Hà Nội là đơn vị tiên phong (từ năm2009), tiếp theo là Đại học Quốc gia thành phố Hồ Chí Minh, sau đó có thêm 2đơn vị là Trường Đại học Bách khoa Hà Nội và Đại học Cần Thơ đã đăng kýKĐCL theo bộ tiêu chuẩn chất lượng của AUN cho một số ngành đào tạo củamình Việc KĐCL các chương trình giáo dục theo chuẩn đánh giá của AUN tạiViệt Nam được bắt đầu tại ĐHQGHN với các hoạt động tự đánh giá vào năm

2008 và thực hiện đánh giá ngoài vào năm 2009 Cho đến nay, Việt Nam đã có

21 chương trình giáo dục được công nhận KĐCL của AUN Cụ thể, ở Đại họcQuốc gia Hà Nội có 11 chương trình, ở ĐHQG TP HCM có 8 chương trình và 6chương trình được đánh giá trong khuôn khổ Dự án của DAAD và AUN-QAchương trình của Dự án (ở Trường ĐHBK Hà Nội, Đại học Cần Thơ)

2.2 Chính sách về đảm bảo chất lượng của AUN

Các chính sách đảm bảo chất lượng của AUN thể hiện qua các nội dung

cụ thể sau:

Trang 12

i) Các trường thành viên AUN sẽ liên tục phấn đấu để cải thiện việc ápdụng hệ thống ĐBCL.

ii)Các trường thành viên AUN sẽ thiết lập sự trao đổi về ĐBCL vàchương trình đào tạo theo nội dung đã được Cán bộ nòng cốt về chấtlượng của các trường thành viên

iii) Các Cán bộ nòng cốt về chất lượng của các trường thành viên sẽ lập kếhoạch để cải thiện Hệ thống ĐBCL của các trường thành viên và được thừanhận chung trong AUN

iv) Các trường thành viên AUN sẽ chào đón việc kiểm toán chất lượngliên trường (cross-external audits) với việc sử dụng những công cụkiểm toán đã được thống nhất để tạo thuận lợi cho sự thừa nhận toàncầu và định chuẩn của các trường thành viên

v) Tiêu chí chất lượng (quality criteria) của các hoạt động nòng cốt trongAUN (giảng dạy/học tập, nghiên cứu và dịch vụ) sẽ là những nền tảngcủa bất kỳ công cụ kiểm toán nào do AUN xây dựng

2.3 Hợp tác ASEAN-EU về đảm bảo chất lượng (2003-2013)

Để phát triển hơn nữa về công tác ĐBCL của AUN nhằm mục đích đạt tới

sự thừa nhận quốc tế, AUN cũng đã hợp tác với Liên minh Châu Âu (EU) vềĐBCL thông qua Chương trình Mạng lưới Trường đại học ASEAN -EU (gọi tắt

là (AUNP) AUNP được điều hành chung bởi Ban thư ký của AUN và Uỷ banChâu Âu (EC) thông qua Văn phòng Quản lý Chương trình tại Băng Cốc Năm

2003, Văn phòng Quản lý Chương trình đã tổ chức Hội nghị bàn tròn lần thứnhất về “đảm bảo chất lượng giáo dục đại học” tại Đại học Chulalongkorn Cuộchọp đã qui tụ các chuyên gia về ĐBCL của ASEAN và của EU đến chia sẻ kinhnghiệm, để học hỏi lẫn nhau từ những nghiên cứu trường hợp cụ thể cũng nhưthảo luận về các khả năng hợp tác về ĐBCL giữa hai khu vực

Trong Chương trình Mạng lưới các trường đại học ASEAN -EU, pháiđoàn hỗ trợ kỹ thuật về ĐBCL đã được thành lập để hỗ trợ AUN tổng kết đánhgiá các hướng dẫn của Hệ thống ĐBCL AUN Nhiệm vụ của phái đoàn là hỗ trợcác trường đại học xây dựng hệ thống ĐBCL bên trong và thúc đẩy phương ánĐBCL khu vực, đánh giá những hình thức áp dụng các tiêu chí của Hệ thốngĐBCL của AUN Phái đoàn đã tổ chức một hội thảo vùng tại Việt Nam cho các

Trang 13

cán bộ nòng cốt về chất lượng của các trường thành viên Tiếp theo đó là mộtloạt các hội thảo quốc gia được tổ chức cho cán bộ của các trường đại học thànhviên của mạng lưới và các trường đại học khác tại 9 nước Đông Nam Á Tổng s ố

có 543 người tham dự đến từ 129 trường đại học

Với sự hỗ trợ tài chính một phần của Hội nghị các Hiệu trưởng của Đức(HRK), Ban chỉ đạo dự án “Hướng tới một sổ tay ĐBCL” đã được thành lập vàhọp tại Đại học Chulalongkorn vào tháng 5 năm 2006 Tại cuộc họp này, Banchỉ đạo đã đưa ra văn bản chỉnh sửa tài liệu Hướng dẫn cho Hệ thống ĐBCL củaAUN và cấu trúc của Sổ tay thực hành Gần đây các nhóm làm việc nhỏ baogồm các cán bộ nòng cốt về chất lượng và tiến sĩ Ton Vroeijenstijn, một chuyêngia châu Âu đã hoàn thành bản thảo về Sổ tay hướng dẫn cho Hệ thống ĐBCLcủa mạng lưới các trường đại học Đông Nam Á Sổ tay này đưa ra những hướngdẫn cho Hệ thống đảm bảo chất lượng của AUN, xây dựng một hệ thống ĐBCLhài hoà ở cấp trường, cấp quốc gia và cấp khu vực Tại cuộc họp lần thứ 20 củaHội đồng quản trị mạng lưới các trường đại học Đông Nam Á tổ chức tháng 11năm 2006, Hội đồng quản trị đã ủng hộ việc xuất bản Sổ tay hướng dẫn cho Hệthống ĐBCL của mạng lưới các trường đại học Đông Nam Á như là một ấnphẩm của AUN

Hiện nay, AUN-QA đã có nhiều cải tiến để phù hợp với sự phát triển kinh

tế, xã hội trong khu vực, vừa có thể hội nhập với quốc tế Sau nhiều nghiên cứu

và thảo luận, Bộ tiêu chuẩn đánh giá chất lượng của AUN đã được chỉnh sửa vàban hành vào tháng 7/2011 Bên cạnh đó, để mở rộng và hội nhập dần với chuẩnđánh giá chất lượng thế giới, Mạng lưới ĐBCL của Mạng lưới các trường ởĐông Nam Á đã xây dựng nhiều dự án được phối hợp thực hiện giữa ASEAN và

EU, cụ thể như: “Initiative for ASEAN Integration (IAI-CLMV) Project”,

“ADB-CLM Project (Supported by Asia Development Bank)”, “ASEAN-QAProject (Collaboration with DAAD, Germany)”, “Training for Non-memberUniversities”…

Tóm lại, các quốc gia thành viên ASEAN và các quốc gia trong khu vựcChâu Á - Thái Bình Dương nói chung cũng như các trường thành viên AUN nóiriêng đang có những nỗ lực đáng kể nhằm thu hẹp khoảng cách về mặt chấtlượng giữa các trường với nhau Đồng thời, thông qua các hoạt động ĐBCL

Trang 14

AUN cũng đang một mặt thực hiện KĐCL một số ngành đào tạo của các trườngthành viên, mặt khác, AUN cũng hướng đến việc định chuẩn chất lượng cáctrường thành viên của mình theo những chuẩn mực quốc tế để có được sự thừanhận rộng rãi hơn trên thế giới.

Trang 15

3 CÁC MÔ HÌNH ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC CỦA AUN -QA

3.1 Các khái niệm về đảm bảo chất lượng (QA) trong giáo dục đại học

Chất lượng trong giáo dục đại học không phải là một khái niệm học thuậtđơn nghĩa về chất lượng Chất lượng trong giáo dục đại học là một khái niệm đachiều được xem xét qua việc đáp ứng nhu cầu và sự mong đợi của các bên liênquan

Trong tuyên bố Giáo dục đại học toàn cầu cho thế kỷ XXI: Tầm nhìn và hànhđộng (tháng 10 -1998), mục 11 về Đánh giá chất lượng đã xem xét chất lượngtrong giáo dục đại học là “một khái niệm đa chiều, bao gồm tất cả các chức năng

và hoạt động; các chương trình giảng dạy và học thuật; nghiên cứu và học bổng,đội ngũ cán bộ, sinh viên, khuôn viên, trang thiết bị, phương tiện, dịch vụ đếncộng đồng và môi trường học thuật Tự đánh giá chất lượng nội bộ và đánh giángoài bởi các chuyên gia độc lập, hoặc có thể của chuyên gia quốc tế là việcquan trọng để nâng cao chất lượng”

Để phát triển, tiến hành, duy trì và cải thiện thang bậc chất lượng, mộttrường đại học cần thiết lập hệ thống đảm bảo chất lượng Báo cáo của khu vựcChâu Á và Thái Bình Dương (UNESCO, 2003) xác định đảm bảo chất lượnggiáo dục đại học như là “quy trình quản lý và đánh giá một cách hệ thống đểkiểm soát hiệu quả của các cơ sở giáo dục đại học”

3.2 Các mô hình đảm bảo chất lượng của AUN-QA

AUN công nhận tầm quan trọng về chất lượng trong giáo dục đại học vànhu cầu để phát triển một hệ thống đảm bảo chất lượng chuẩn để phát triểnnhững tiêu chuẩn học thuật và nâng cao chất lượng giáo dục, nghiên cứu và dich

vụ giữa những trường thành viên AUN Vào năm 1998, nhu cầu này hướng đến

sự phát triển của mô hình AUN-QA Vào thập kỷ trước, AUN-QA đã đượckhuyến khích, phát triển và tiến hành đảm bảo chất lượng dựa trên quy trìnhkinh nghiệm nơi mà các hoạt động đảm bảo chất lượng được chia sẻ, kiểm tra,đánh giá và cải tiến liên tục Tiến trình hoạt động của AUN QA được mô tả theoHình 1 dưới đây:

Trang 16

Hình 1: Tiến trình hoạt động của AUN-QA

Mô hình đảm bảo chất lượng của AUN-QA bao gồm các khía cạnh liênquan đến chiến lược, hệ thống và chiến thuật (xem Hình 2) và phụ thuộc vào cảđảm bảo chất lượng bên trong và đảm bảo chất lượng bên ngoài trong đó cókiểm định chất lượng

Hình 2: Mô hình đảm bảo chất lượng của AUN -QA

Đảm bảo chất lượng bên trong đảm bảo rằng một đơ n vị đào tạo, hệ thốngđảm bảo chất lượng hoặc chương trình đào tạo có chính sách và cơ chế để chắcchắn rằng nó đảm bảo được mục tiêu và các tiêu chuẩn đặt ra

Đảm bảo chất lượng bên ngoài được thực hiện bởi các tổ chức hoặc cánhân bên ngoài đơn vị Các đánh giá viên đánh giá các hoạt động của đơn vị đào

Trang 17

Đảm bảo chất lượng và đ ối sánh mốc chuẩn trong nước (quốc tế)

Sứ

quảđạtđược

Sự hài lòng của các bên liên quan

Kế hoạch Chính sách Quản lý

Nguồn nhân lực Ngân sách

Các hoạt động đào tạo Nghiên cứu

Phục vụ cộng đồng

Mô hình đảm bảo chất lượng của AUN - QA được áp dụng cho cáctrường đại học của ASEAN và thống nhất giữa khung đảm bào chất lượng vùng

và quốc tế

3.3 Mô hình đảm bảo chất lượng cấp đơn vị của AUN-QA

Chiến lược đảm bảo chất lượng cấp đơn vị bao gồm 11 tiêu chuẩn:

10 Sự hài lòng của các bên liên quan

11 Đảm bảo chất lượng và định chuẩn (đối sánh) quốc tế

và được minh họa theo Hình 3 dưới đây:

Hình 3: Mô hình đảm bảo chất lượng và định chuẩn (đối sánh) quốc tế

Trang 18

Chiến lược đảm bảo chất lượng cấp trường với các yêu cầu của các bên liênquan được coi là tầm nhìn, sứ mệnh, mục đích và mục tiêu của trường Điều này

có nghĩa là đảm bảo chất lượng và đánh giá chất lượng sẽ luôn luôn bắt đầu vớicâu hỏi về sứ mệnh và mục tiêu (Cột 1) và kết thúc với thành quả (Cột 4) để đápứng sự hài lòng của các bên liên quan

Cột 2 là cột nói về nhà trường làm cách nào để đạt được các mục tiêu đề ra:

 chuyển từ mục tiêu sang chính sách bằng văn bản và chiến lược

 cơ cấu quản lý và hình thức quản lý của nhà trường

 quản lý nguồn lực: đầu vào của cán bộ nhằm đạt được mục tiêu

 ngân sách để đạt được các mục tiêu

Cột 3 nói về các hoạt động chủ chốt của nhà trường:

 các hoạt động giảng dạy và học tập

 các hoạt động nghiên cứu

 đóng góp cho xã hội và hỗ trợ cho sự phát triển của cộng đồng

Để tiếp tục cải tiến, nhà trường nên thực hiện hiệu quả hệ thống đảm bảochất lượng và đối sánh để đạt được sự hiệu quả trong giáo dục

3.4 Mô hình hệ thông đảm bảo chất lượng bên trong (IQA) của AUN-QA

Mô hình của AUN-QA cho hệ thống đảm bảo chất lượng bên trong (IQA)(xem Hình 4 bên dưới) gồm 11 tiêu chuẩn bao phủ những lĩnh vực sau:

 Khung đảm bảo chất lượng trong;

 Các công cụ giám sát;

 Các công cụ đánh giá;

 Các quy trình đảm bảo chất lượng đặc biệt;

 Các công cụ đảm bảo chất lượng đặc biệt (Specific QA Instruments) vàcác hoạt động tiếp theo để cải tiến chất lượng

Cụ thể là:

1 Chính sách

2 Giám sát

3 Định kỳ rà soát các hoạt động cốt lõi

4 Đảm bảo chất lượng trong việc đánh giá người học

5 Đảm bảo chất lượng đối với cán bộ, nhân viên

6 Đảm bảo chất lượng các tài nguyên học tập

Trang 19

7 Đảm bảo chất lượng các dịch vụ hỗ trợ người học

Hình 4: Hệ thống đảm bảo chất lượng bên trong

Một hệ thống đảm bảo chất lượng bên trong là hệ thống tổng thể , trong đónguồn lực và thông tin dùng để thiết lập, duy trì và cải tiến chất lượng cũng nhưcác tiêu chuẩn về giảng dạy của giảng viên, kinh nghiệm học tập, nghiên cứucủa người học, và các dịch vụ cộng đồng Đó là một hệ thống mà các nhà quản

lý và cán bộ hài lòng rằng nó vận hành, duy trì và nâng cao chất lượng giáo dụcđại học

3.5 Mô hình đảm bảo chất lượng cấp chương trình của AUN -QA

Mô hình đảm bảo chất lượng của AUN -QA cho cấp chương trình tậptrung vào giảng dạy và học tập với những yếu tố sau:

 chất lượng đầu vào

ĐẢM BẢO CHẤT LƯỢNG BÊN TRONG

Tiến bộ của sinh viên lệ đỗ tốt nghiệpTỷ lệ bỏ học, tỷ thị trường laoPhản hồi của

động

Hiệu quả nghiên cứu

Đánh giá sinh viên Đánh giá khóahọc + Chương

trình học

Đánh giá nghiên cứu Đánh giádịch vụ

ĐBCL việc đánh giá sinh viên

ĐBCL đội ngũ nhân viên trang thiết bịĐBCL các ĐBCL hỗ trợSV

Phân tích SWOT Thẩm định giữacác trường Hệ thốngthông tin Sổ tay chấtlượng

CÁC VIỆC TIẾP THEO

Trang 20

Hình 5 Mô hình đảm bảo chất lượng của AUN-QA cho cấp chương trình (cũ)

Hình 6 – Bản chỉnh sửa Mô hình ĐBCL AUN cho cấp chương trình

Sự hài lòng của những người có liên quan

Chuẩn đầu ra Nội dung và cấu

trúc chương trình Chiến lược dạyvà học Đánh giá SVChất lượng

GV Chất lượng củacán bộ hỗ trợ Chất lượng

SV Hỗ trợ SV Cơ sở vật chất

và trang thiết bị ĐBCL dạy và học Các hoạt động phát

triển đội ngũ Phản hồi của những ngườicó liên quan

Tỉ lệ đỗ tốt nghiệp Tỉ lệ bỏhọc Thời gian đểtốt nghiệp Khả năng đượctuyển dụng Nghiên cứu

Trang 21

Bảng so sánh về tiêu chuẩn cũ với tiêu chuẩn đã chỉnh sửa theo Mô hìnhAUN-QA được mô tả ở Hình 7.

Hình 7: Bảng so sánh về tiêu chuẩn c ũ với tiêu chuẩn đã chỉnh sửa theo

Mô hình AUN-QA

Tiêu chuẩn cũ Tiêu chuẩ n đã chỉnh sửa

1 Mục têu, mục đích; kết quả h c tập mon

2.Khungchươngtrìn 2.Bảnmôtảchươngtrình(3)

3.Nộidu gchươn trình 3. Nội dun và c u trúc chương trình

(7)

4.Tổchứcchươngtrình

5 Khái niệm giáo dục học/chiến lược dạy và

6.Đánhgiásin viên 5.Đánhgiásinhviên(7)

7.Chất ượngnhânviên 6.Chấtlượn đ in ũgiảngviên(1 )

8.Chất ượngcủanhânviênph cvụ 7.Chấtlượn củanhânviênhỗtrợ(4)

9.Chất ượngsinhviên 8.Chấtlượn sinhviên(3)

10.Tưvấnvàhỗtrợsinhviên 9.Tưvấnvàh trợsinhviên(4)

Sự hài lòng của những người có liên quan

Chuẩn đầu ra Nội dung và cấu

trúc chương trình Chiến lược dạyvà học Đánh giá SV

Chất lượng

GV Chất lượng củacán bộ hỗ trợ Chất lượng

SV Hỗ trợ SV Cơ sở vật chấtvà trang thiết bị

ĐBCL dạy và học Các hoạt động phát

triển đội ngũ Phản hồi của những ngườicó liên quan

Tỉ lệ đỗ tốt nghiệp Tỉ lệ bỏhọc Thời gian đểtốt nghiệp Khả năng đượctuyển dụng Nghiên cứu

Trang 22

1 Trangthiếtbịvàcơsởvậtchất 1 Trangthiếtbịvàcơsởvậtchất(5)

12.Quytrìn ĐBCLdạyvàh c

1 QuytrìnhĐBCLdạyvàhọc(7)

13.Sinhviênđánhgiá

14.Thiếtkếchươn trìnhmônh c

15.Cá hoạtđộngphát riểnđ ing 1 Cá hoạtđộ gpháttriểnđộingũ(2)

16.Phảnhồicủac cbênlênq an 1 Phảnh icủac cbênlênquan(3)

17.Kếtquảđầura 1 Kếtquảđầura(4)

18.Sựhàilòn củac cbênlênquan 1 Sự hài lòng của c c bên lên quan

3 Nộidungvà c utrúc chươngtrình(7)

4 Chiếnlược dạyvà học(4)

5 Đánhgiásinhviên(7)

6 Chất lượngđộingũgiảngviên(10)

7 Chất lượngcủa nhânviênhỗtrợ(4)

8 Chất lượngsinhviên(3)

9.Tư vấnvàhỗtrợ sinhviên(4)

10.Trangthiếtbịvàcơsởvậtchất(5)

1 Quytrìnhđảmbảochấtlượngdạyvà học (7)

12.Cá hoạtđộngpháttriểnđộingũ(2)

13.Phảnhồi của c cbênlênquan(3)

14.Kếtquảđầura (4)

15.Sựhàilòngcủac cbênl ênquan(1)

Nội dung mỗi tiêu chuẩn được đặt trong các hộp, các con số trong dấungoặc đơn ( ) là số thứ tự trong danh sách tiêu chí của tài liệu Hướng dẫn AUN -

QA bản gốc Để thuận tiện cho việc hướng dẫn và đánh giá, mỗi tiêu chuẩn

Trang 23

được chia thành các tiêu chuẩn con Mỗi số trong ngoặc vuông [ ] đặt sau cáctiêu chí con tương ứng với các thông tin của các mục trong hộp.

Mô hình của AUN-QA đảm bảo chất lượng cấp chương trình (xem H ình8) được bắt đầu với chuẩn đầu ra của chương trình (kết quả học tập mong đợi)(Cột 1) Có 4 dòng ở giữa của mô hình:

- Dòng đầu tiên là câu hỏi làm thế nào để chuyển hóa kết quả học tậpmong đợi vào chương trình; và làm thế nào để thực hiện chiến lượcgiảng dạy và học tập và đánh giá sinh viên

- Dòng thứ hai liên quan đến “đầu vào” của quá trình bao gồm đội ngũgiảng viên và nhân viên hỗ trợ; chất lượng sinh viên; tư vấn và hỗ trợsinh viên; cơ sở vật chất và trang thiết bị

- Dòng thứ 3 gồm quy trình đảm bảo chất lượng giảng dạy và học tập,hoạt động phát triển đội ngũ và phản hồi của các bên liên quan Dòngthứ tư liên quan đến kết quả quá trình học tập bao gồm tỉ lệ tốt nghiệp,

tỉ lệ thôi học, thời gian tốt nghiệp trung bình, khả năng có việc làm củasinh viên tốt nghiệp và hoạt động nghiên cứu

- Cột cuối cùng là những kết quả đạt được để đáp ứng yêu cầu của cácbên liên quan và tiếp tục cải tiến để đảm bảo chất lượng và đối sánh

Hình 8: Mô hình của AUN-QA đảm bảo chất lượng cấp chương trình

Sự hài lòng của những người có liên quan

Chuẩn đầu ra Nội dung và cấu

trúc chương trình Chiến lược dạyvà học Đánh giá SV

Chất lượng

GV Chất lượng củacán bộ hỗ trợ Chất lượng

SV Hỗ trợ SV Cơ sở vật chấtvà trang thiết bị

ĐBCL dạy và học Các hoạt động phát

triển đội ngũ Phản hồi của những ngườicó liên quan

Tỉ lệ đỗ tốt nghiệp Tỉ lệ bỏhọc Thời gian đểtốt nghiệp Khả năng đượctuyển dụng Nghiên cứu

Trang 24

4 BỘ TIÊU CHUẨN ĐÁNH GIÁ CHẤT LƯỢNG CHƯƠNG TRÌNH

GIÁO DỤC THEO CHUẨN CỦA AUN-QA (năm 2011)

1.1 Chuẩn đầu ra được xác định rõ

ràng và được thể hiện trong

chương trình đào tạo

1.2 Chương trình đào tạo khích lệ

việc học tập suốt đời

1.3 Chuẩn đầu ra bao trùm được các

kỹ năng và các kiến thức chung

cũng như các kỹ năng và kiến

2.3 Bản mô tả chương trình được

cung cấp, truyền đạt tới các bên

3.1 Nội dung chương trình chỉ ra sự

cân đối giữa kiến thức và kỹ năng

chung và chuyên ngành [1]

3.2 Chương trình phản ánh tầm nhìn

và sứ mệnh của nhà trường [2]

Trang 25

3.3 Mỗi môn học trong chương trình

ràng các hoạt động của các môn

học cơ bản, các môn trung gian,

4.2 Các chiến lược dạy và học cho

phép sinh viên thu nhận và làm

Trang 26

5.1 Đánh giá sinh viên qua các bài thi

đầu vào, các bài kiểm tra trong

tiến trình học tập, các bài thi tốt

nghiệp [1]

5.2 Việc kiểm tra đánh giá thực hiện

dựa theo các tiêu chí [2]

5.3 Việc kiểm tra đánh giá sinh viên

sử dụng nhiều phương pháp [3,5]

5.4 Việc kiểm tra đánh giá phản ánh

các kết quả học tập mong muốn

và nội dung chương trình [3]

5.5 Các tiêu chí kiểm tra đánh giá rõ

ràng và được sinh viên biết [3,6]

5.6 Các phương pháp đánh giá bao

trùm hết các mục tiêu của chương

trình môn học [4]

5.7 Các tiêu chuẩn áp dụng trong việc

kiểm tra đánh giá rõ ràng và nhất

quán [7,8,9,10]

Đánh giá chung

6 Chất lượng đội ngũ giảng viên

6.1 Giảng viên có đủ năng lực thực

hiện nhiệm vụ [1]

6.2 Có đủ giảng viên để giảng dạy

các môn học trong chương trình

[2]

6.3 Việc tuyển dụng và bổ nhiệm dựa

trên thành tích giảng dạy và

nghiên cứu [3]

6.4 Các vai trò và quan hệ giữa các

giảng viên được xác định rõ và

được hiểu rõ [4]

6.5 Việc phân công nhiệm vụ phù

Trang 27

hợp với trình độ, kinh nghiệm và

kỹ năng [5]

6.6 Có quy định về khối lượng công

việc và chế độ khen thưởng để

nâng cao chất lượng dạy và học

[6]

6.7 Quy định rõ trách nhiệm của các

giảng viên [7]

6.8 Có sự chuẩn bị về đánh giá, tư

vấn và bố trí lại cán bộ giảng dạy

Trang 28

chất lượng đáp ứng yêu cầu thực

hiện chương trình giáo dục

9 Tư vấn và hỗ trợ sinh viên 1 2 3 4 5 6 7

9.1 Có hệ thống thích hợp theo dõi sự tiến

bộ của sinh viên

9.2 Sinh viên nhận được phản hồi, tư vấn,

hỗ trợ thích hợp về việc học tập của

mình

9.3 Hoạt động cố vấn cho người học được

triển khai thích hợp

9.4 Môi trường cảnh quan, xã hội và tâm

lý dành cho sinh viên học tập là phù

Trang 29

khoẻ và an toàn đáp ứng các tiêu

11.1 Chương trình giảng dạy được thiết kế

bởi đội ngũ giảng viên, nghiên cứu

viên, chuyên gia giáo dục và cán bộ

quản lý

11.2 Việc thiết kế chương trình học có sự

tham của sinh viên

11.3 Việc thiết kế chương trình giảng dạy

có sự tham của các nhà tuyển dụng

lao động

11.4 Chương trình giảng dạy được định kỳ

đánh giá theo chu kỳ thích hợp

11.5 Các môn học và chương trình giảng

dạy được người học đánh giá một

cách có hệ thống

11.6 Các thông tin phản hồi của các bên

liên quan được sử dụng để cải tiến

chất lượng chương trình

11.7 Quy trình dạy và học, quy trình kiểm

tra đánh giá, phương pháp kiểm tra

đánh giá và tự đánh giá được thực

hiện thường xuyên và đảm bảo và cải

tiến chất lượng

Đánh giá chung

12 Hoạt động phát triển đội ngũ 1 2 3 4 5 6 7

12.1 Có kế hoạch đào tạo và bồi dưỡng rõ

ràng dựa trên nhu cầu phát triển đội

ngũ giảng viên, nghiên cứu viên và

nhân viên hỗ trợ

Trang 30

12.2 Các hoạt động đào tạo và bồi dưỡng

đội ngũ giảng viên, nghiên cứu viên

và nhân viên hỗ trợ phù hợp và dựa

trên các nhu cầu đã được xác định

Đánh giá chung

13 Hoạt động phát triển đội ngũ 1 2 3 4 5 6 7

13.1 Có hệ thống thu thập thông tin phản

hồi phù hợp từ thị trường lao động

(các nhà tuyển dụng)

13.2 Có hệ thống thu thập thông tin phản

hồi phù hợp từ sinh viên và cựu sinh

viên

13.3 Có hệ thống thu thập thông tin phản

hồi phù hợp từ đội ngũ giảng viên,

nghiên cứu viên và nhân viên

14.4 Các hoạt động nghiên cứu khoa học

của giảng viên, nghiên cứu viên và

người học đáp ứng yêu cầu

Đánh giá chung

15 Sự hài lòng của các bên liên quan 1 2 3 4 5 6 7

15.1 Các bên liên quan hài lòng về chương

trình đào tạo

Đánh giá chung

Trang 31

5 NGUYÊN TẮC VÀ QUY TRÌNH ĐÁNH GIÁ CHẤT LƯỢNG CỦA AUN -QA

5.1 Cách tiếp cận

Đánh giá có thể được xác nhận như một thu ật ngữ chung bao quát tất cảcác phương pháp được sử dụng để đánh giá thành tích của một cá nhân, tổ chứchoặc công ty Tự đánh giá là quy trình tự xem xét chất lượng của một tổ chức, hệthống hoặc cấp độ chương trình… Đánh giá chất lượng trong giáo dục đại học vìthế cũng có thể được xem như một cách xem xét và đánh giá hoạt động giảng dạy,học tập và sản phẩm đầu ra dựa trên một kỳ kiểm tra chi tiết về khung chươngtrình, cấu trúc, và sự hiệu quả về tổ chức, hệ thống hoặc chương trình Mục đíchcủa đánh giá chất lượng là để xác định tổ chức, hệ thống hoặc chương trình nhìnchung có đáp ứng các tiêu chuẩn chất lượng hay không

5.2 Chức năng và nguyên tắc đánh giá chất lượng

Tự đánh giá cùng với đánh giá ngoài, kiểm định hoặc kiểm định chất lượng

là những khái niệm đi cùng nhau nhau khi nhắc đến giáo dục đại học Trong nhiềutrường hợp, tự đánh giá được xem như là sự chuẩn bị cho một cuộc đánh giángoài được thực hiện bởi các chuyên gia đánh giá ngoài và báo cáo tự đánh giá(TĐG) cung cấp thông tin cơ bản cho các chuyên gia này Tuy nhiên, báo cáoTĐG tự nó có giá trị cụ thể đối với bản thân nhà trường muốn thực hiện công tác

tự đánh giá Nó mang lại cơ hội để khám phá chất lượng Những câu hỏi dưới đâyđược xem là quan trọng:

 Tại sao chúng phải làm công việc mà chúng ta đang làm? Chúng ta cóthực sự làm đúng những việc cần làm không?

 Chúng ta có làm đúng mọi việc theo đúng cách hay không ?

 Quy trình mà chúng ta muốn làm có thực sự được thông qua?

 Chúng ta có thực sự đạt được điều chúng ta mong muốn ?

Hoạt động TĐG hiệu quả đòi hỏi phải đầu tư nhiều thời gian, sự nỗ lực củađội ngũ cán bộ và sinh viên Thường đó là yêu cầu sự đầu tư về thời gian được lấy

từ những hoạt động khác Tuy nhiên, sự phản hồi và lợi ích nhận được từ côngviệc này thường rất cao

TĐG thường sẽ cung cấp thông tin chưa được biết đến cho mọi người.Thông tin thường có sẵn nhưng chỉ có một nhóm nhỏ biết; thực tế phạm vi thông

Trang 32

và sinh viên bàn thảo về chất lượng giáo dục; bàn thảo sẽ vượt xa hơn mối quantâm không chỉ của những cá nhân tham gia tích cực trong ban xây dựng hoặc điềuphối chương trình; quan điểm về chất lượng của đồng nghiệp và sinh viên sẽ đượcxác định để thiết lập hoặc đề xuất chính sách cho nhà trường.

Những nguyên tắc cơ bản được mô tả trong tiêu chuẩn ISO 19011 có liênquan đến đánh giá chất lượng của AUN-QA Đối với các đánh giá viên có banguyên tắc làm việc như sau:

 Tư cách đạo đức - cơ sở về nghề nghiệp

 Phong cách diễn đạt tốt - báo cáo trung thực và chính xác

 Thực thi chuyên nghiệp - ứng dụng tỉ mỉ và phán quyết đúng khi đánhgiá

Có hai nguyên tắc khác liên quan đến quy trình đánh giá là:

 Độc lập - cơ sở cho kết luận đánh giá công bằng và khách quan

 Minh chứng – cơ sở cho kết luận đánh giá tin cậy, hợp lýtrong quy trìnhđánh giá có hệ thống Minh chứng được dựa trên những thông tin vànhận địnhthực tế hoặc hoặc liên quan đến tiêu chí đánh giá và có thể xácminh được

Kết hợp các nguyên tắc cơ bản này sẽ là điều kiện tiên quyết đảm bảo sự tincậy của tiến trình và sản phẩm đánh giá

Đối với một báo cáo tự đánh giá cần tuân thủ các những nguyên tắc cơ bảnsau:

 Đầu tiên, bộ phận quản lý của nhà trường cần hỗ trợ hoàn thành báo cáoTĐG Thông tin liên quan rất cần cho chính sách hiệu quả và sự điềuhành tốt Báo cáo tự đánh giá giúp nhận biết cấu trúc bên trong và cáchbiến nó thành cơ chế và sự điều hành của nhà trường

 Tuy nhiên, Báo cáo TĐG sẽ không đầy đủ nếu bộ phận quản lý của nhàtrường không làm rõ ý tưởng chung về báo cáo Mở rộng thành phần các

bộ phận tham gia chuẩn bị cho báo cáo là điều thực sự cần thiết Toànthể đơn vị cần chuẩn bị cho báo cáo Việc xem xét về chất lượng quantrọng hơn là việc đánh giá về hiệu suất Điều đó cũng có nghĩa là yêu cầuđội ngũ cán bộ cần có trách nhiệm đối với chất lượng của nhà trường vàtất cả mọi người cần phải thực sự tham gia làm công tác tự đánh giá và

Trang 33

chuẩn bị cho viết báo cáo TĐG.

 Viết một báo cáo TĐG đòi hỏi phải có sự tổ chức tốt Ban đầu, chỉ cầnmột người điều phối tiến trình; người đó phải đáp ứng được các yêu cầusau:

 Có mối quan hệ tốt trong nội bộ trường, với ban điều hành, cũng như vớicác khoa và đội ngũ cán bộ;

 Cần có khả năng thâm nhập sâu vào các mảng hoạt động của trườn g đểnắm được những thông tin yêu cầu;

- Cần được có thẩm quyền để đưa ra những việc cần thực hiện

 Bên cạnh đó điều cần thiết là lập nhóm chuyên trách về báo cáo TĐG;nhóm cần được phân công phụ trách theo các mảng lĩnh vực; lãnh đạo bộphận ĐBCL phải là phụ trách nhóm Nhiệm vụ của nhóm là chịu tráchnhiệm chính về báo cáo TĐG, thu thập dữ liệu, phân tích số liệu, và viếtkết luận

 Báo cáo TĐG được xem như là bản phân tích được hỗ trợ bởi toàn thểđơn vị Bởi thế, điều quan trọng là để mọi người biết được nội dung củabáo cáo và xem nó như là tư liệu của bộ phận, cơ quan mình Nhóm làmviệc có thể thiết kế seminar hoặc hội thảo để thảo luận về dự thảo củabáo cáo

 Không phải tất cả mọi người đều đồng tình với các quan điểm trong báocáo TĐG Vì thế sẽ có bất đồng khi xác định nội dung này là điểm mạnh,nội dung kia là điểm yếu và cái được cho là nguyên nhân của điểm yếu.Nếu có sự khác biệt lớn trong quan điểm giữa các nhóm hoặc vài nhiều

cá nhân trong Báo cáo TĐG cũng nên nêu rõ các vấn đề này

Hội đồng tự đánh giá

Khi thiết kế bản báo cáo tự đánh giá, nên xem xét các vấn đề sau:

 Tự đánh giá không phải là công việc đơn thuần của một cá nhân

 Cần thành lập một nhóm chuyên trách chịu trách nhiệm chính về Báocáo TĐG

 Nhóm chuyên trách nên bao gồm từ 3 đến 5 người; lãnh đạo nhóm làcần được khoa hoặc trường đề cử

 Cần thiết lập một thời gian biểu rõ ràng, tính toán khoảng thời gian hợp

Trang 34

lý từ 5 - 6 tháng tại thời điểm được thông báo đánh giá chính thức chođến thời điểm đánh giá thực tế

 Các tiêu chuẩn đánh giá cần được xem xét trong báo cáoTĐG nên đưa

ra trao đổi, thống nhất giữa các thành viên trong Hội đồng tự đánh giá

và mỗi thành viên cần có trách nhiệm thu thập thông tin, phân tích vàđánh giá tình huống Mỗi thành viên cần nắm rõ về các tiêu chuẩn đánhgiá chất lượng của AUN-QA

 Kết quả dự thảo cần thảo luận trong phạm vi càng rộng càng tốt Khôngcần thiết tất cả đều đồng ý với báo cáo; nhưng cần thiết có càng nhiềungười biết về nội dung của báo cáo càng tốt

 Càng có nhiều sinh viên và những người có liên quan khác (như nhàtuyển dụng hay cựu học viên) tham gia chuẩn bị cho báo cáo TĐG càngtốt

Kế hoạch tổ chức tự đánh giá

8 tháng trước khi đánh giá Chọn người phụ trách

Thành lập bộ phận đánh giá (bao gồm sinhviên và nội dung công việc)

6 tháng tiếp theo Mỗi cá nhân chịu trách nhiệm thu thập thông

tin và dữ liệu của thông tin đóViết dự thảo cho chủ để đó

4 tháng sau khi bắt đầu Thảo luận về dự thảo trong nhóm

Chỉnh sửa, hoàn thiện dự thảo lần 2Khoảng 5 tháng sau khi bắt đầu Thảo luận về dự thảo thứ 2 với tất cả các cán

bộ khoa và sinh viên

6 tháng sau khi bắt đầu Biên tập lời bình cho dự thảo sau cùng

8 tháng sau khi bắt đầu Hoàn thiện báo cáo

Điều kiện để được đánh giá chất lượng theo chuẩn của AUN

• Có tối thiểu 3 khóa sinh viên tốt nghiệp

• Nộp Báo cáo TĐG tối thiểu 1.5 - 2 tháng trước khi được đánh giá;

• Dịch những tài liệu và minh chứng cơ bản ra tiếng Anh;

Trang 35

• Tất cả tài liệu và minh chứng cơ bản cần được mã hóa và tập hợp vào mộtđịa điểm;

• Cung cấp phiên dịch và cán bộ hướng dẫn cho cả đợt đánh giá;

• Đáp ứng mọi yêu cầu về đánh giá, thủ tục và hậu cần của Thư ký đoànAUN và các đánh giá viên phục vụ cho việc đánh giá chất lượng hiệu quả;

• Trả phí đánh giá trước khi được đánh giá chính thức;

• Đề nghị danh sách các quan sát viên từ các trường ĐH thành viên của AUN

và từ các trường ĐH khác

Yêu cầu về các hoạt động sau đánh giá

• Sau khi được ĐGCL, từ 9-12 tháng đơn vị cần gửi về Thư ký AUN báocáo giữa kỳ về những cải tiến dựa trên những kiến nghị của Đoàn ĐGN;

• Công bố và chia sẻ những thực tiễn đánh giá với các ĐH thành viên củaAUN và các ĐH khác

Trang 36

6 CÁC QUY ĐỊNH VỀ BÁO CÁO TỰ ĐÁNH GIÁ

(Self-Assessment Report)

Chuẩn bị một Báo cáo TĐG thường mất khoảng 8 tháng Tuy nhiên, cònphụ thuộc vào sự tiến triển, thu thập dữ liệu /thông tin và sự sẵn sàng của đơn vị.Tại thời điểm bắt đầu, điều quan trọng là sự tài trợ, nhóm cán bộ thực hiện và độingũ cần có chung một nhận thức và sự hiểu biết về các tiêu chuẩn đánh giá vàhướng dẫn của AUN-QA Vì vậy nên tổ chức tập huấn và hội thảo để củng cốđiều này

Báo cáo TĐG là sản phầm của thực hành tự đánh giá, và nên được viết mộ tcách khách quan, thực tế và hòan chỉnh lần lượt theo các tiêu chuẩn của AUN-QAnhư trong bộ tiêu chuẩn

Hoạt động tự đánh giá phải kết thúc bằng một báo cáo TĐG Để viết đượcmột báo cáo TĐG tốt đòi hỏi phải có kỹ năng và thời gian Sau đây là một số cácgợi ý để chuẩn bị tốt báo cáo TĐG:

 Bản báo cáo là sự miêu tả hoạt động TĐG Điều đó nói rằng, báo cáoTĐG không chỉ là bản mô tả mà còn là những phân tích Nó bao gồm sựđánh giá các vấn đề, đồng thời chỉ ra các vấn đề được xác định đó sẽđược giải quyết như thế nào Hãy sử dụng những câu hỏi chuẩn đoánđược cung cấp trong từng tiêu chí đánh giá của AUN-QA để thực hiệnđiều này

 Vì báo cáo TĐG rấtquan trọng đối với đoàn đánh giá ngoài, do đó điềuthực sự quan trọng đối với báo cáo TĐG là phải tuân theo các quy định

và yêu cầu về nội hàm của tiêu chí và bộ tiêu chuẩn đánh giá của QA

AUN- Cần minh họa rõ ràng cái gì, ở đâu, khi nào, ai, và bằng cách nào cơ cấu

và công cụ đảm bảo chất lượng được thực hiện và quản lý để miêu tả vàđánh giá đầy đủ nội hàm của tiêu chí Điều đó sẽ giúp bạn kết nối cácthông tin lại với nhau

 Hãy tập trung vào thông tin và dữ liệu (minh chứng khách quan) trựctiếp của tiêu chí Báo cáo cần đảm bảo ngắn gọn và súc tích Kế t quảphân tích, thống kê sẽ cho thấy kết quả và hiệu quả có được của trường

Trang 37

Cần chú ý tới các dữ liệu định lượng Cách trình bày dữ liệu rất quantrọng giúp làm rõ các dữ liệu đó Rõ ràng chúng ta rất cần chuẩn hoá dữliệu như số lượng sinh viên, giảng viên, tỷ lệ sinh viên/giảng viên, tỷ lệtrúng tuyển, v.v

 Báo cáo TĐG sẽ là điểmbắt đầu để Hội đồng tự đánh giá và các đơn vị

tự xem xét, cải thiện và cũng là tư liệu sử dụng cho đánh giá liên đơn vị.Khi thực hiện tự đánh giá, điều quan trọng là phác thảo ra tiêu chí và tiêuchuẩn của chính đơn vị, nhưng cũng nên tham khảo những tiêu chí đượcthiết kế bởi các tổ chức bên ngoài, như các tổ chức kiểm định chất lượngđộc lập Khi phân tích chất lượng của chính đơn vị mình điều quan trọng

là tìm minh chứng phù hợp cho với tiêu chí Nếu ở trong nước hay khuvực không có những bộ tiêu chuẩn chính thức nào, thì sử dụng bộ tiêuchuẩn đang được áp dụng để áp dụng và thực hiện so chuẩn đối sánh

 Báo cáo TĐG nên được viết và dịch ra tiếng Anh; điều này sẽ giúp cácchuyên gia đánh giá ngoài hiểu được nội dung đánh giá Nên cung cấpbảng chú giải về các từ viết tắt và thuật ngữ được sử dụng trong báo cáo.Báo cáo TĐG là một bản tự liệu sau cùng đóng vai trò quan trọng trong việcthiết lập một kế hoạch chất lượng cho những năm tiếp theo Bản báo cáo này cũng

sẽ cung cấp đầu vào để kiểm định chất lượng hoặc đánh giá đồng cấp

Nội dung của báo cáo TĐG bao gồm:

Phần 2: Trình bày việc đáp ứng các yêu cầu về tiêu chuẩn chất lượng của

Trang 38

 Tóm tắt những điểm mạnh – là những điểm mà đơn vị xem là điểm nổibật và xác định những điểm khiến trường tự hào.

 Tóm tắt những điểm yếu là chỉ ra những điểm mà đơn vị xem là điểm còntồn tại, cần khắc phục

 Kế hoạch cải tiến – Đề xuất các kế hoạch hành động để khắc phục, cảitiến những điểm còn tồn tại

 Bảng tự chấm điểm (theo mẫu)

Phần 4: Phụ lục

- Chú giải và các tài liệu và minh chứng kèm theo ;

- Các tài liệu gửi kèm báo cáo cho AUN: Chương trình đào tạo; Chuẩn đầu

ra của chương trình; Ma trận các môn học; Sơ yếu lí lịch tóm tắt của giảngviên và nhân viên hỗ trợ; Quy định về kiểm tra đánh giá; Quy định về tuyểnsinh

Trang 39

7 CÁC BƯỚC TIẾN HÀNH THỰC HIỆN TỰ ĐÁNH GIÁ

THEO BỘ TIÊU CHUẨN CỦA AUN-QA

Bước 1: Trước khi thu thập minh chứng

1 Đọc kỹ tiêu chuẩn, tiêu chí

2 Nghiên cứu các yêu cầu trong nội hàm của tiêu chí

3 Nghiên cứu các minh chứng: các minh chứng này có nội hàm đáp ứng cácyêu cầu tiêu chí không?

4 Cần bổ sung thêm những minh chứng gì? Nếu có , ghi thêm minh chứng

đó vào mục “Các tài liệu, văn bản liên quan khác”

5 Ghi tên người và nguồn có thể thu thập đư ợc các minh chứng này

Bước 2: Triển khai thu thập minh chứng

6 Các thành viên của nhóm công tác chuyên trách thu thập minh chứng từnhiều nguồn

7 Huy động các bộ phận khác trong đơn vị cùng tham gia thu thập hoặccung cấp các minh chứng

Bước 3: Nghiên cứu và phân tích minh chứng

8 Chọn lọc ra các minh chứng có những nội hàm phù hợp đáp ứng các yêucầu của các tiêu chí tương ứng trong từng tiêu chuẩn kiểm định chất lượng

9 Phân tích và chứng minh các “nội hàm” đáp ứng các yêu cầu của từng tiêuchí tương ứng

10 Điền thông tin (nội hàm) trong minh chứng vào biểu bảng thống kê t ươngứng hoặc lưu giữ minh chứng trong Hộp Hồ sơ minh chứng theo yêu cầu

cụ thể của từng tiêu chí

Bước 4 Viết báo cáo tự đánh giá

11 Mô tả, phân tích để khẳng định nội hàm của các minh chứng được chọ nlọc đáp ứng những yêu cầu trong nội hàm của từng Tiêu chí Cần nêu rõnhững điểm mạnh, những diểm còn tồn tại và kế hoạch phát triển cácđiểm mạnh và khắc phục những mặt còn tồn tại

12 Căn cứ theo phần phân tích “nội hàm” của các minh chứng thu thập được,khẳng định Mức đạt được với mỗi tiêu chí

Lưu ý:

Mức 1 điểm: Nothing (no documents, no plans, no evidence) present

Trang 40

Trường hoàn toàn không có hoạt động gì, không có kế hoạch hoạt động, không có kết quả thực hiện, không có minh chứng.

 Mức 2 điểm: This subject is in the planning stage

Hoạt động này đang trong giai đoạn chuẩn bị, chưa thực hiện

 Mức 3 điểm: Documents available, but no clear evidence that they areused

Hoạt động có kết quả, nhưng không có minh chứng

 Mức 4 điểm: Documents available and evidence that they are used

Hoạt động có kết quả và có minh chứng

 Mức 5 điểm: Clear evidence on the efficiency of the aspect

Có minh chứng rõ ràng về tính hiệu quả của hoạt động

 Mức 6 điểm: Example of best practices

Là ví dụ điển hình tốt Mức 6

 Mức 7 điểm: Excellent (world-class or leading practices)

Hoàn hảo

Bước 5 Tổng hợp kết quả tự đánh giá

Sau khi đã viết xong báo cáo TĐG, tổng hợp kết quả tự đánh giá đạt đượctrong từng tiêu chí vào Phiếu tổng hợp kết quả tự đánh giá

Ngày đăng: 28/03/2016, 15:29

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w