MÔ HÌNH HỆ THỐNG TÀI TRỢ NGHIÊN CỨU CÔNG TRONG CÁC TRƯỜNG ĐẠI HỌC DỰA TRÊN CƠ SỞ ĐÁNH GIÁ HIỆU QUẢ

TỔNG LUẬN THÁNG 03/2011 MƠ HÌNH HỆ THỐNG TÀI TRỢ NGHIÊN CỨU CÔNG TRONG CÁC TRƢỜNG ĐẠI HỌC DỰA TRÊN CƠ SỞ ĐÁNH GIÁ HIỆU QUẢ CỤC THÔNG TIN KHOA HỌC VÀ CÔNG NGHỆ QUỐC GIA Địa chỉ: 24, Lý Thường Kiệt Tel: 8262718, Fax: 9349127 Ban Biên tập: TS Tạ Bá Hƣng (Trưởng ban), ThS Cao Minh Kiểm (Phó trưởng ban), ThS Đặng Bảo Hà, Nguyễn Mạnh Quân, ThS Nguyễn Phương Anh, Phùng Anh Tiến MỤC LỤC Trang BẢNG CHỮ CÁI VIẾT TẮT GIỚI THIỆU I MƠ HÌNH HỆ THỐNG TÀI TRỢ NGHIÊN CỨU CƠNG DỰA VÀO ĐÁNH GIÁ HIỆU QUẢ Cơ cấu tổ chức hệ thống tài trợ nghiên cứu công Đánh giá nghiên cứu mơ hình hệ thống tài trợ nghiên cứu công dựa vào hiệu (PRFS) Đặc điểm hệ thống PRFS 14 Cấp kinh phí hệ thống PRFS 19 II CÁC CHỈ SỐ ĐO HIỆU SUẤT ĐƢỢC SỬ DỤNG TRONG CÁC HỆ THỐNG PRFS 23 Khái niệm hiệu suất số đo 23 21 Xây dựng PRFS quốc gia 33 30 Ưu nhược điểm hệ thống tài trợ nghiên cứu dựa vào hiệu 45 KẾT LUẬN 49 TÀI LIỆU THAM KHẢO 52 Bảng chữ viết tắt PRFS Hệ thống tài trợ nghiên cứu công dựa vào hiệu CNRS Trung tâm nghiên cứu khoa học quốc gia Pháp CSIC Hội đồng nghiên cứu quốc gia Tây Ban Nha CEA Ủy ban lượng nguyên tử lượng thay Pháp INRA Viện nghiên cứu nông nghiệp quốc gia Pháp HEFCE Hội đồng Tài trợ Giáo dục Đại học Anh VSNU Hiệp hội trường đại học Hà Lan REF Khuôn khổ nghiên cứu xuất sắc Anh VTR Hệ thống Đánh giá ba năm nghiên cứu Italia ERA Xuất sắc nghiên cứu Ôxtralia RAE Thực hành đánh giá nghiên cứu Anh GIỚI THIỆU Các trường đại học trụ cột hệ thống nghiên cứu đổi quốc gia Là phận hệ thống nghiên cứu cơng, chúng nắm giữ nhiều vai trị: giáo dục, đào tạo, phát triển kỹ năng, giải vấn đề, sáng tạo truyền bá tri thức, phát triển công cụ mới, lưu giữ chuyển giao kiến thức Chi tiêu cho hoạt động NC-PT tiến hành khối trường đại học chiếm phần tương đối nhỏ tổng chi tiêu NC-PT quốc gia, ví dụ số nước OECD trung bình chiếm 0,4% GDP năm 2008, tương đương với khoảng 17% tổng chi tiêu nước cho NC-PT Tuy nhiên, tổ chức giáo dục đại học thường tiến hành hoạt động nghiên cứu dài hạn có tính rủi ro cao, với khoảng cách dài để dẫn đến thương mại hóa, mà tổ chức đảm nhiệm đóng góp quan trọng thiết yếu vào tảng kiến thức bổ sung cho hoạt động nghiên cứu tiến hành khu vực tư nhân Trước tầm quan trọng tổ chức giáo dục đại học thành nghiên cứu đổi nước, phủ cần suy nghĩ cách nghiêm túc việc làm để thiết kế phương cách tốt việc điều hành cung cấp kinh phí cho khu vực Việc tài trợ cho nghiên cứu dựa vào hiệu cơng cụ sách tương đối mới, nhằm vào việc cung cấp kinh phí nghiên cứu dựa vào đánh giá hồi cố (ex post) đầu kết nghiên cứu tổ chức Với mối quan tâm mạnh mẽ đến việc học hỏi kinh nghiệm thực phân bổ tài trợ công dựa đánh giá hiệu cho nghiên cứu tiến hành trường đại học tổ chức nghiên cứu công khác, đặc biệt để hiểu sâu tác động tích cực tiêu cực hệ thống tài trợ tìm hiểu xem liên quan đến tính đa dạng thể chế, lĩnh vực chuyên môn, độ lớn ngân sách tổ chức, CỤC THÔNG TIN KH&CN QUỐC GIA biên soạn tổng quan "HỆ THỐNG TÀI TRỢ NGHIÊN CỨU CÔNG TRONG CÁC TRƢỜNG ĐẠI HỌC DỰA TRÊN CƠ SỞ ĐÁNH GIÁ HIỆU QUẢ" Hy vọng đem đến cho độc giả hướng giải vấn đề hoạch định sách nghiên cứu, với nguồn kinh phí hạn chế thúc đẩy xuất sắc nghiên cứu Xin trân trọng giới thiệu độc giả! CỤC THÔNG TIN KH&CN QUỐC GIA I MƠ HÌNH HỆ THỐNG TÀI TRỢ NGHIÊN CỨU CÔNG DỰA VÀO ĐÁNH GIÁ HIỆU QUẢ Cơ cấu tổ chức hệ thống tài trợ nghiên cứu công Một hệ thống tài trợ nghiên cứu công chia thành bốn lớp tổ chức (Hình 1), gồm: lớp sách, quan cấp kinh phí, tổ chức thực nhóm/cá nhân nhà nghiên cứu, phân chia theo hai phương thức phân bổ chủ yếu: nguồn kinh phí hạt nhân (core funding) cho tổ chức nghiên cứu kinh phí dự án cho nhóm nghiên cứu Lớp sách Chính phủ Cơ quan cấp tài trợ Lớp quan cấp kinh phí Các tổ chức giáo dục đại học nghiên cứu công Lớp tổ chức thực Lớp nhóm nghiên cứu cá nhân Phân bổ nội Tài trợ Tài trợ dự án Hình 1: Mơ hình tổng qt hệ thống nghiên cứu công Việc xác định lớp dựa khái niệm truyền thống sử dụng nghiên cứu đánh giá sách khoa học, chúng phân biệt cấp trị, nơi nguyên tắc chiến lược hoạch định, cấp thực gồm quan chịu trách nhiệm thực thi sách; cuối mối quan hệ ủy thác-nhậm thác (người có vốn người đại diện) thực dựa mối quan hệ ba bên nhà nước, quan cấp tài trợ người thực nghiên cứu Khái niệm "chính phủ" lại chia lớp xét đến trường hợp Liên minh châu Âu (EU) với vai trị nhà điều phối sách liên quan đến nghiên cứu, bên cạnh làm tăng vai trò tổ chức khu vực (đặc biệt bang thuộc liên bang) Ngoài ra, thuật ngữ "cơ quan" (agency) sử dụng theo nghĩa rộng nhất, bao gồm tất loại hình quan, tổ chức phận hoạt động phụ trách việc phân bổ phần kinh phí công, kể quan cấp kinh phí giáo dục đại học Trong số người hiểu quan đơn vị độc lập, mức độ tự chủ họ (cũng vai trò trung gian với cộng đồng khoa học) khác biệt tùy theo trường hợp quốc gia cụ thể Sự gia tăng theo cấp số nhân quan cấp tài trợ với công cụ điều tiết lên cấp siêu quốc gia châu Âu cấp khu vực liên quan đến tài trợ nghiên cứu dẫn đến thay ý tưởng sở sách tổng thể điều phối nguồn kinh phí cơng cách tiếp cận dựa tập hợp rộng chủ yếu gồm quan công cụ độc lập Trong trật tự này, phối hợp mềm đảm bảo thông qua chế Phương pháp Phối hợp Mở, phát huy tác dụng phối hợp lẫn quan (như chứng kiến với thành lập Hội đồng Nghiên cứu châu Âu) Việc đưa vào lớp thứ ba mang tên "các tổ chức thực hiện", trường đại học hay tổ chức nghiên cứu công, với cấu tổ chức gồm phịng thí nghiệm nhóm nghiên cứu giải thích vai trị ngày tăng họ liên quan đến tài trợ, chủ yếu hệ sở sách trao cho họ quyền tự chủ Các tổ chức nghiên cứu không nắm giữ vai trò then chốt việc kết nối lớp hệ thống, họ ngày có khả huy động cách có lựa chọn nhân lực hướng tới hội tài trợ, mà họ tương tác cách trực tiếp với quan sách cấp tài trợ Ngồi ra, sách phân bổ nội quan thực với độ xác cao phù hợp với mục tiêu chiến lược chúng thiết lập nên mối đan xen mạnh tài trợ cho quan thực tài trợ dự án cho nhóm cá nhân, việc áp dụng vịng thơng tin phản hồi hệ thống Cuối cùng, lớp thứ tư bao gồm nhóm nghiên cứu hay tập thể nghiên cứu, coi thành phần chiến lược chủ yếu việc phát triển chương trình nghiên cứu việc điều tiết mối quan hệ lẫn bên nguồn tài lực nhân lực bên nơi sản sinh tri thức Điều cần nhấn mạnh phân chia lớp thể chức năng, cấu tổ chức: chí hầu hết trường hợp chúng khác biệt mặt tổ chức, trường hợp tổ chức trải dọc theo lớp đề cập đến: ví dụ đáng ý tổ chức nghiên cứu cơng nắm giữ số chức quan cấp tài trợ cho phịng thí nghiệm họ thông qua đánh giá nội thủ tục phân bổ cạnh tranh Tài trợ theo hướng từ xuống (top-down): Hầu hết nghiên cứu sách khoa học có quan điểm phương pháp cung cấp tài trợ từ xuống hệ thống cấp kinh phí, nhà nước phân bổ nguồn lực để đạo nghiên cứu Các vấn đề chủ yếu việc lựa chọn công cụ tốt tiêu chuẩn phân bổ để đạt mục tiêu sách, có chế kiểm sốt thích hợp nhằm tránh việc quan thực trốn tránh trách nhiệm Tuy nhiên, nhiều thảo luận sách rằng, quan điểm cần có phát triển nữa: bối cảnh nơi mà quan cấp tài trợ, tổ chức nghiên cứu phận nghiên cứu thành phần bán tự chủ, họ hành động theo cách chiến lược để đạt mục tiêu mình, khai thác nguồn lực hội tạo nên môi trường, khơng có giả thuyết ưu tiên loại thành phần tham gia chi phối tiến hóa hệ thống coi đóng vai trị người có vốn cấu người ủy thác nhậm thác: ví dụ, lập luận cạnh tranh phịng thí nghiệm xung quanh nguồn lực quan trọng, mua sản phẩm hay dịch vụ nghiên cứu đẩy ngược trở quan cấp tài trợ Cũng có cách lập luận rằng, tổ chức nghiên cứu công trường đại học cấp cao chi phối phân bổ kinh phí dự án đến nhóm cá thể thơng qua tiếng tổ chức khả thu hút nhà nghiên cứu tốt Tất nhiên, đặt phân bổ vậy, chức nhà nước điều khiển người thực theo cách cá nhân được, nhiên họ nắm giữ vai trò bật: thứ nhất, hệ thống nghiên cứu cho để cung cấp hàng hóa cơng, vượt xa mục tiêu người thực cá thể, nguồn tài trợ công cung cấp cho mục tiêu đó; nghiên cứu sách khoa học ra, mục đích trị khác nước thời điểm Thứ hai, nhà nước nắm giữ vai trò trung tâm việc thiết kế số quy định tương tác: vậy, việc lựa chọn hình thức tổ chức chủ yếu cấp tài trợ công, tỷ lệ nguồn lực dành cho kênh chủ yếu định trị Tuy nhiên, chất mối tương tác hình thành người thực nội sinh hệ thống, hai liên quan đến số lượng loại hình người tham gia ("cơ cấu thị trường") môi trường thể chế rộng lớn chi phối hành vi người thực Có bốn phương thức tài trợ cho tổ chức nghiên cứu công trường đại học sau: Tài trợ dự án phân bổ trực tiếp đến nhóm nghiên cứu hay cá nhân quan cấp tài trợ cho hoạt động nghiên cứu với giới hạn thời gian phạm vi thực Nhà nước kiểm soát phân chia lại nguồn tài trợ quan công cụ, tức định rõ danh sách đầu tư, chừng mực tiêu chuẩn phân bổ, kiểm sốt việc lựa chọn người thụ hưởng Cơ chế tạo nên không gian tương tác bao gồm số quan cấp tài trợ với phối hợp lỏng số lượng lớn nhóm nghiên cứu đăng ký để tài trợ Các trật tự hệ thống, Mạng lưới Xuất sắc châu Âu (European Networks of Excellence) việc cấp tài trợ dựa vào dự án cho trung tâm xuất sắc (centre-ofexcellence) với quy mô lớn triển vọng lâu dài thường thích hợp với dạng mơ hình này, chúng thể đặc điểm riêng biện hộ cho việc coi chúng phương thức tổ chức khác biệt Tài trợ (core funding) cho tổ chức giáo dục đại học, phương thức nhà nước phân bổ nguồn ngân sách tổng thể cho trường đại học để bảo đảm hoạt động chức Kinh phí phân bổ để đảm bảo cho tồn tổ chức nguyên tắc không hạn chế thời gian Thông thường, tài trợ cho trường đại học cấp quốc gia đảm nhiệm có cạnh tranh tiềm tổ chức cá thể, có nhà cấp tài trợ nên điều cho phép ban lãnh đạo tổ chức định phân bổ nội nguồn tài trợ cho phận cá thể (việc gắn với yếu tố cụ thể xảy ra, thường giới hạn tỷ lệ tài trợ thấp) Phương thức tạo nên cấu trúc lồng với khả nảy sinh cạnh tranh nội bên ngồi tổ chức Mơ hình hợp theo phương thẳng đứng (vertically integrated), nơi có "tổ chức chủ quản" (umbrella organization) cử làm đại diện cho nhà nước ngân sách toàn phân bổ Ngân sách phân bổ cho phận nội vừa nguồn kinh phí tổ chức sử dụng cách thức cạnh tranh Ở phân biệt hai nhóm: thứ nhất, tổ chức định hướng học thuật (academic-oriented) mà số nước tổ chức đóng góp khối lượng nghiên cứu học thuật lớn, CNRS Pháp, CSIC Tây Ban Nha, Max-Planck Gesellschaft Đức tổ chức Viện hàn lâm khoa học tồn nhiều nước Trung Đông Âu trước giai đoạn chuyển tiếp; thứ hai, tổ chức định hướng nhiệm vụ (mission-oriented) trọng vào lĩnh vực cụ thể CEA INRA Pháp Hiệp hội Fraunhofer Đức Trong số khía cạnh, phương thức giống với phương thức tài trợ cho trường đại học, có đặc điểm khác biệt: cạnh tranh diễn tổ chức bảo trợ mà chuyên ngành chế, giống tài trợ giáo dục đại học Ngồi ra, tổ chức bảo trợ đóng vai trị rộng lớn ngồi việc cấp tài trợ, xác định chiến lược, thành lập giải thể phận thiết lập quy định việc làm vị trí nghề nghiệp nội bộ; việc cấp tài trợ thường diễn với chế đánh giá nội Tài trợ (core funding) cho phịng thí nghiệm nghiên cứu cơng: Ví dụ điển hình phương tiện quốc gia cung cấp sở hạ tầng đặc biệt (như trung tâm siêu máy tính), trung tâm nghiên cứu ứng dụng thuộc lĩnh vực quan tâm quốc gia (như nông nghiệp) hay tổ chức dịch vụ cơng, ví dụ vật liệu thử nghiệm hay lĩnh vực đo lường Không giống tổ chức thuộc loại hình trên, tổ chức thông thường nhỏ với nhiệm vụ cụ thể, hầu hết trường hợp đặt nơi trì mối liên kết riêng với hay cục quan tài trợ tổ chức Đánh giá hoạt động nghiên cứu mơ hình hệ thống tài trợ nghiên cứu công dựa vào hiệu quả: Đánh giá hoạt động nghiên cứu lên vấn đề then chốt nhiều nước công nghiệp hóa, nơi trường đại học phải đối mặt với yêu cầu lớn trách nhiệm giải trình hạch tốn cao với nguồn tài trợ thu hẹp Các trường đại học ngày yêu cầu phải vừa hiệu vừa phải chịu trách nhiệm giải trình Các áp lực làm cho việc đánh giá kết nghiên cứu trở thành thiết yếu Trong hai thập kỷ qua, mối quan tâm ngày tăng chi tiêu gia tăng tài trợ cho nghiên cứu trường đại học cần thiết phải thu "giá trị đồng tiền" chi tiêu phủ dành cho khu vực đại học Để hưởng ứng, nhiều phủ tiến hành thực chế nhằm liên kết việc cung cấp tài trợ với hiệu suất mà trường đại học đạt Việc tiến hành đánh giá quốc gia hoạt động nghiên cứu thực trường đại học tổ chức nghiên cứu công khác trở nên thường xuyên nhiều quốc gia giới Nhìn chung, công việc thực nhằm cung cấp thông tin để phân bổ tài trợ cách chọn lọc, kích thích hiệu suất nghiên cứu tốt hơn, để làm giảm tình trạng bất tương xứng nhà cung cấp tri thức khách hàng họ (sinh viên, cơng ty, quan phủ, ), điều quan trọng để chứng tỏ đầu tư vào nghiên cứu có hiệu mang lại lợi ích cơng cộng Đánh giá nghiên cứu Mặc dù số tài liệu cố gắng phân biệt hai thuật ngữ "đánh giá" (evaluation - lượng giá vật hay người có liên quan) với "giám định" (assessment - thành phần evaluation), hai thuật ngữ sử dụng việc đo lường định lượng chất lượng đầu quan nghiên cứu Trên thực tế, thuật ngữ "đánh giá" chia thành hai dạng đánh giá trước (ex ante) đánh giá sau (ex post), thực chức đánh giá tổng thể (summative - có cho điểm số) hay đánh giá thành phần (formative - khơng thiết có điểm số) Đánh giá trước (ex ante evaluation) thực trước nghiên cứu, nhằm đánh giá tầm quan trọng tiềm khả thành công Đánh giá sau (ex post evaluation) tiến hành nghiên cứu hoàn thành tiến hành đánh giá đầu tác động Đánh giá tổng thể liên quan đến việc thực việc phán định hiệu đơn vị cách so sánh với đơn vị tương tự Các kết đánh giá ngày sử dụng đầu vào quản lý nghiên cứu "Đánh giá chiến lược" thực cấp quốc gia cấp tổ chức, ví dụ "hệ thống đánh giá chất lượng" Đánh giá sử dụng để định cấp tài trợ, đánh giá hiệu nhà nghiên cứu, dự án, chương trình, khoa tổ chức Giả định cho rằng, nguồn kinh phí phân bổ sau hiệu đánh giá gặt hái hoàn trả lớn Trong đánh giá thành phần, mục đích để hỗ trợ đơn vị việc đạt hồn trả Đã có nhiều tranh luận ưu điểm đánh giá coi cơng cụ sách nghiên cứu Đánh giá số hình thức điều khơng tránh khỏi có báo đệ trình để xuất hay có giáo sư bổ nhiệm hay đề bạt, hay hiệp hội nghiên cứu quan phủ phân bổ tài trợ Trong có nhiều tài liệu viết số hiệu quả, lại có trí phép đo phù hợp Cùng lúc, mục đích đánh giá thường có xu hướng xác định quan đánh giá Tại Anh, điều thuộc trách nhiệm Hội đồng Tài trợ Giáo dục Đại học (Higher Education Funding Council for England - HEFCE), Hà Lan, công việc đánh giá thực Hiệp hội trường đại học Hà Lan (VSNU) HEFC sử dụng đánh phương pháp để phân bổ tài trợ, VSNU sử dụng đánh công cụ quản lý Các quan khác áp dụng tiêu chuẩn khác Họ thường trọng vào bốn thước đo đầu đặc trưng, là: khối lượng, chất lượng, tác động tính hữu dụng Bình duyệt (Peer review) trắc lượng thư mục (bibliometrics) phương pháp chủ yếu Trong phương pháp bình duyệt, đơn vị đánh giá thường dự án hay cá nhân Tuy nhiên, phân tích trắc lượng thư mục lại khơng thể áp dụng rộng rãi tất chuyên ngành số lượng lớn trường đại học, nên bình duyệt trở thành phương pháp để đánh giá trường đại học Khi bổ sung thêm xuất phẩm, liệu trích dẫn thông tin khác, phương pháp gọi bình duyệt dựa thơng tin (informed peer review) Trong phần hai tài liệu phân tích sâu số đánh giá nghiên cứu Căn vào phương pháp bình duyệt, sản phẩm nghiên cứu tổ chức nghiên cứu đệ trình đánh giá nhóm chun gia định Nhìn chung, đánh giá mang lại tác dụng lớn đến chất lượng đầu Nhưng phát triển gần số trắc lượng thư mục (bibliometric indicators), đặc biệt cách đo chất lượng cơng trình cơng bố dẫn đến việc nhiều phủ bắt đầu áp dụng phạm vi nhiều hay việc sử dụng số đánh giá nghiên cứu Việc sử dụng tiêu chuẩn đánh giới hạn lĩnh vực khoa học tự nhiên khoa học hình thức (formal sciences), nơi mà cơng bố tạp chí quốc tế kỷ yếu hội nghị dạng chấp nhận việc phổ biến kết nghiên cứu, nơi mà cơng trình công bố coi đại diện đáng tin cậy kết nghiên cứu Trong lĩnh vực nghệ thuật khoa học nhân văn hầu hết lĩnh vực khoa học 10 Mơ hình Na Uy dường Cộng đồng Flemish Bỉ áp dụng Cộng đồng tiến hành phát triển sở liệu thư mục dành cho khoa học xã hội nhân văn Cơ sở gồm loại hình đầu nghiên cứu khác nhau, gồm: báo tạp chí, sách tác giả, sách chủ biên, chương sách báo kỷ yếu Cơ sở liệu dự kiến sử dụng cho số đầu công thức tài trợ nghiên cứu tương lai quyền Flemish cho trường đại học từ năm 2012, hệ thống số BOF cân nhắc lại Mơ hình số cấp một: giám sát hiệu Bảng trình bày tổng quan hệ thống PRFS Thụy Điển số hiệu phận quan trọng Bảng PRFS sử dụng số bậc để giám sát hiệu Nƣớc Thụy Điển PRFS Từ năm 2009 Các số Tỷ trọng Hai: - trắc lượng thư mục: Chỉ số cơng trình nghiên cứu số lượng trích dẫn - tài trợ ngồi (tồn nguồn tài trợ ngồi có tỷ trọng tương đương) Trắc lượng thư mục tài trợ số quan trọng tương đương Các nguồn liệu ISI Web of Science, công bố cơng trình nghiên cứu số lượng trích dẫn chuẩn hóa theo lĩnh vực Sự khác biệt Các lĩnh vực khoa học gán tỷ trọng khác để phản ánh khác biệt chúng khuynh hướng đạt điểm trích dẫn tài trợ Tại Thụy Điển, Sách trắng năm 2007 đề xuất phát triển mơ hình dựa hiệu Mục đích nhằm phân bổ nguồn lực theo hiệu suất chất lượng nhằm kích thích nâng cao chất lượng Đề xuất nhằm phân bổ tổng lượng tài trợ cho trường đại học phủ cho khắp trường dựa tảng đánh giá chất lượng nghiên cứu (50%), thống kê số lần trích dẫn chuẩn hóa theo lĩnh vực (20%), khả thu hút nguồn lực (20%), tỷ lệ tiến sỹ số cán (5%) số lượng giáo sư nữ (5%) Do thời điểm đó, đánh giá chất lượng thực số quan giáo dục bậc đại học cao học nên đề xuất phân bổ cách ngắn hạn 50% nguồn lực có sở số liên quan tới trích dẫn, tài trợ cán 40 Năm 2009, nước định đưa hệ thống cải biên phân bổ nguồn lực dựa tảng công trình cơng bố số lượng trích dẫn tài trợ Các yếu tố cán bộ, gồm cân giới tính, khơng gộp vào Ở mơ hình Thụy Điển, lấy ý tưởng từ kế hoạch dự trù thời điểm thay RAE hệ thống tạo số mức độ suất sắc nghiên cứu có độ tin cậy mạnh sử dụng toàn quốc cho tất ngành nước Anh, số trắc lượng thư mục dựa Web of Science gán tỷ trọng tương đương với thống kê tài trợ Một mục tiêu quan trọng phát triển mơ hình áp dụng cho tất lĩnh vực theo quy trình Nhằm để giải thách thức khác biệt ngành mức độ bao quát Web of Science, công trình cơng bố số lượng trích dẫn chuẩn hóa theo lĩnh vực, cơng trình cơng bố lĩnh vực khoa học xã hội nhân văn có tỷ trọng cao đáng kể so với cơng trình cơng bố lĩnh vực khác Kết là, mơ hình phức tạp hồn tồn khơng rõ ràng, ngoại trừ chun gia trắc lượng thư mục Mơ hình gây nhiều tranh cãi tới mức vào năm 2009 Hội đồng Nghiên cứu Thụy Điển thúc giục tạm hỗn sử dụng Kinh nghiệm nước Anh cho thấy phát triển hiệu suất giám sát nhiệm vụ dễ dàng Ở nước Anh, Hội đồng Tài trợ Giáo dục bậc Cao (HEFCE) tiến hành nghiên cứu để phát triển hệ PRFS thứ hai, gọi Khuôn khổ Xuất sắc Nghiên cứu Năm 2006, phủ tuyên bố hệ thống thay cho RAE vào năm 2008 Tại thời điểm đó, ý tưởng nhằm tạo số vững tính suất sắc nghiên cứu sử dụng cho tất ngành toàn nước Anh Kế hoạch nhằm tạo tập hợp hoàn chỉnh số cho ngành khoa học năm 2009 số ảnh hưởng tới phân bổ tài trợ từ 2010 tới 2011 Đối với khoa học xã hội nghệ thuật, kế hoạch nhằm dần thực hệ thống theo giai đoạn tiếp tục sử dụng phương pháp peer review Trong trình phát triển, HEFCE yêu cầu chuyên gia trắc lượng thư mục Trung tâm Nghiên cứu Khoa học Công nghệ Trường đại học Leiden cố vấn phương pháp trích dẫn gây bàn cãi Một báo cáo Trung tâm công bố vào năm 2008 cho thấy không khoa học xã hội nghệ thuật bao quát phần sở liệu Web of Science, mà nhiều phần thuộc khoa học kỹ thuật lẫn máy tính chưa bao quát tốt Các thảo luận trích thách thức phương pháp luận buộc HEFCE cải tiến chừng mực hỗn kế hoạch lại Hệ thống PRFS nước Anh cấu với hội đồng chuyên gia bình xét ngành Tuy nhiên, 41 số lượng ban giảm giống số lượng cơng trình nghiên cứu cán giảng dạy đại học công bố giảm Các ban hội đồng phải tận dụng số định lượng, gồm số lần trích dẫn Các hội đồng yêu cầu xếp hạng khoa, với tỷ trọng 60% cho chất lượng nghiên cứu, 25% cho tác động rộng nghiên cứu 15% cho sinh lực môi trường nghiên cứu Hiện tại, hệ thống thực thí điểm, định cấu hội đồng phương pháp đánh giá tác động chưa thực Tuy vậy, thấy nước Anh dường xu hướng tiến tới mơ hình peer review tri thức với phận dựa số hiệu PRFS sử dụng số cấp ba Bảng 10 trình bày tổng quan kinh tế sử dụng PRFS chủ yếu dựa số cấp ba Mô hình Ơxtralia chưa thực hồn tồn q trình phát triển Cả mơ hình Ôxtralia lẫn Ba lan túy mơ hình bình duyệt dựa thơng tin Các chun gia bình xét ngành khơng bắt buộc phải đọc cơng trình nghiên cứu mà dựa vào số thích hợp với ngành thơng tin Các số Ôxtralia dự kiến nắm bắt hoạt động lẫn cường độ nghiên cứu thông qua thống kê lợi nhuận nghiên cứu (đầu vào), số hoàn thành chương trình học tiến sỹ cơng trình nghiên cứu (đầu ra), chất lượng nghiên cứu thông qua phân tích trích dẫn (hiệu quả, tác động) nghiên cứu ứng dụng việc chuyển hóa đầu Bảng 10 PRFS sử dụng số cấp ba Nền kinh tế Ôxtralia PRFS Các số Sự xuất sắc Nghiên cứu Ôxtralia (ERA): hội đồng chuyên gia bình xét ngành dựa vào Các số thích hợp với ngành gồm loại sau: - Chất lượng nghiên cứu (các đầu sản phẩm xếp hạng, phân tích trích dẫn, bình duyệt ERA, lợi nhuận nghiên cứu bình duyệt; - Khối lượng hoạt động nghiên cứu (đầu ra, lợi nhuận); Tỷ trọng Nguồn Sự khác biệt liệu Vẫn chưa Đang Mơ hình xác định phát triển Ơxtralia khác biệt cách thức lớn theo lĩnh liên hệ với vực số tài trợ chuẩn hóa theo ngành 42 Hồng Kông (Trung Quốc) Ba Lan số - Ứng dụng nghiên cứu thích hợp (lợi nhuận thương mại với ngành hóa nghiên cứu); - Sự cơng nhận (các thống kê mức độ coi trọng) Hệ thống Đánh giá chất lượng lấy ý hiệu suất gần thông tưởng từ qua đánh giá cán RAE nghiên cứu tích cực trung tâm giám định chi phí Chỉ số Các đơn vị đánh hiệu giá theo loại hình sử dụng Các đơn vị loại hình cho có số hiệu đạt đơn vị 30% mức nghiên trung bình đơn vị cứu gốc, đơn vị loại hình có 70% mức trung bình Khơng thích hợp Hệ thống phức hợp gồm tỷ trọng nhiều điểm số Các sản phẩm nghiên cứu bản, cơng trình hàng đầu Một câu hỏi điều tra hàng năm nghiên cứu lẫn ứng dụng thực tiễn nghiên cứu Khác biệt theo 19 loại hình đơn vị gốc, theo loại hình lĩnh vực gốc: 1) Khoa học xã hội, nhân văn nghệ thuật, 2) khoa học kỹ thuật xác, 3) Khoa học sống Thơng tin Ba Lan thu thông qua bảng câu hỏi đơn vị nghiên cứu bao gồm thông tin đầu vào (ví dụ, tài chính), thơng tin quy trình cấu (ví dụ, tham gia vào dự án nghiên cứu quốc tế, hạ tầng) thông tin đầu hiệu (ví dụ, cơng trình khoa học, sáng chế quyền) Cả hai mơ hình có đặc trưng mơ hình số bậc ba chúng có hội đồng chun gia bình xét ngành với vai trị điểm trọng tâm Ngồi nước nêu trên, Tây Ban Nha có hệ thống đánh giá số bậc ba mang tên Sexenio hệ thống thực năm lần Hệ thống Tây Ban Nha đánh giá đầu nghiên cứu giảng viên biên chế (tenured professor) thành lập nên chế lương thưởng cho giai đoạn đánh giá tích cực Do khơng phải hệ thống tài trợ có chức phân bổ tài trợ cho quan giáo dục bậc đại học, nên theo định nghĩa OECD, khơng phải PRFS PRFS số hỗn hợp Italia New Zealand nước có pha trộn yếu tố mơ hình khác Năm 2009, Italia định phân bổ 7% tài trợ trọn gói cho trường đại học dựa tảng hiệu suất Có ba số sử dụng gồm: 1) xếp hạng bình duyệt thực vào năm 2001-2003 công bố vào năm 2006, chiếm tỷ 43 trọng 50%; 2) khả thu hút tài trợ EU, giữ mức tỷ trọng 30%; 3) tỷ phần quỹ trợ cấp cạnh tranh nhà nước chiếm 20% New Zealand thực hệ thống PRFS từ năm 2001 Ba số sử dụng gồm: 1) Bình duyệt lấy ý tưởng từ RAE đánh giá hiệu suất nghiên cứu cán thay khoa, giữ tỷ trọng 60%; 2) số lượng sinh viên tốt nghiệp, giữ tỷ trọng 25%; 3) khả thu hút tài trợ ngoài, giữ tỷ trọng 15% Đánh giá bình duyệt thực theo chu kỳ Một vào năm 2003 vào năm 2006 kỳ dự định thực vào năm 2012 Hai số lại thống kê hàng năm Kỳ hạn tài trợ nằm niên lịch Tổng kết xu hướng sử dụng số PRFS Phân tích phương thức sử dụng số PRSF cho thấy xu hướng phát triển sau: - Thứ nhất, PRFS sử dụng số bậc một, đặc biệt số đầu vào kết quả, số bậc ba Các số bậc hai (Hệ số tác động tạp chí, số H) sử dụng trực tiếp sử dụng phi thống quy trình bình duyệt ảnh hưởng tới số bậc ba Mơ hình mà Cộng đồng Flemish Bỉ sử dụng ngoại lệ tính tới Hệ số tác động tạp chí nhằm điều chỉnh khác biệt theo ngành - Thứ hai, số số bậc một, số đầu vào kết dạng sử dụng Các số quy trình cấu trúc sử dụng Ba Lan đề xuất Thụy Điển nước số sử dụng trực tiếp - Thứ ba, dạng số kết quả, số đầu (cơng trình nghiên cứu) hiệu suất (số lần trích dẫn) sử dụng chủ yếu Các số tiếp cận cộng đồng, thương mại hóa coi trọng người dung đầu cuối sử dụng Các số sử dụng PRFS nói chung chủ yếu số gọi số cộng đồng hàn lâm Ba Lan sử dụng số cộng đồng hàn lâm lẫn số xã hội nước khác tranh luận khả sử dụng số phi cộng đồng hàn lâm, số sử dụng Có thể có vài lý cho tượng Các số phi cộng đồng hàn lâm rõ ràng không dễ phát triển coi tính thống cộng đồng hàn lâm - Thứ tư, dường có thêm nhiều số đưa vào sử dụng theo thời gian Các số đầu để thống kê số cơng trình nghiên cứu cách có hệ thống phát triển số hiệu ngày tích 44 - - - hợp vào hệ thống vừa với vai trò tảng cho bình duyệt thống vừa với vai trò giám sát hiệu dạng thống kê số lượng trích dẫn Thứ năm, theo thời gian có thêm nhiều số sử dụng, số lượng số thường giảm khoảng thời gian từ lúc tranh luận phương pháp xây dựng hệ thống PRFS đến thành lập Thứ sáu, hệ thống số bậc ba dựa bình duyệt phát triển từ hệ thống bình duyệt cải biên thành hệ thống bình duyệt dựa thơng tin Việc củng cố hệ thống cách khiến cho chúng trở nên minh bạch công Tuy nhiên, việc dường kèm theo mức giảm số lượng hội đồng bình duyệt, kết việc giảm mức độ bao quát lĩnh vực nghiên cứu bình xét chuyên gia ngành Việc khiến cho quy trình bình duyệt trở nên học Thứ bảy, việc sử dụng số bị biến đổi, nên nguồn liệu cách thức xử lý khác biệt theo lĩnh vực thay đổi Sự thay đổi tổng kết Bảng 11 Bảng 11 Các nguồn liệu khác biệt theo lĩnh vực Mơ hình Mơ hình số bậc giám Mơ hình số bậc Mơ hình số bậc sát cơng trình nghiên cứu giám sát trích dẫn ba Các Các sở liệu quốc gia (tự Các sở liệu trích Được tạo nguồn báo cáo, xác thực) dẫn quốc tế (mua về) khoa yêu cầu liệu vòng đánh giá Sự khác Được chuyên gia bình xét Cần thiết thống kê Được hội đồng biệt theo ngành giải cách số lần trích dẫn khơng chun gia bình xét lĩnh vực phân nhóm tạp chí nhà thích hợp với số ngành giải xuất nhằm để tạo điểm lĩnh vực- phần lớn cách số công bố so sánh khoa học nhân văn, chuyển hóa đánh giá Được thực vừa theo kiểu số tiểu lĩnh vực định tính thành xếp khơng có khác biệt (ví dụ Na khoa học xã hội hạng Uy) lẫn theo kiểu có khác biệt số thuộc khoa học lĩnh vực (ví dụ, Đan Mạch) kỹ thuật Cuối cùng, mục đích nước việc áp dụng PRFS giống tổng thể, liên quan tới việc trì thúc đẩy tính xuất sắc nghiên cứu trực tiếp gián tiếp liên quan tới khả cạnh tranh so với nước khác Tuy nhiên, tranh luận nước lựa chọn cấp độ mơ hình lại khác Tính quán phép đo hiệu suất Các nhà nghiên cứu thảo luận tính chất số thích hợp hay tiêu tốt (good indicators), họ lập luận số không đáp ứng tiêu 45 chuẩn số tốt chúng hữu dụng Bảng 12 tổng kết ba đề xuất tiêu chuẩn Các tiêu chuẩn đề xuất có số đặc điểm chung có khác biệt Thứ nhất, mặt phương pháp luận số thiết kế có số điểm chung Các số tốt cần thích hợp, xác thực, đáng tin cậy kiểm tra Thứ hai, chúng phải phù hợp với mục đích sử dụng chúng Chúng phải rõ ràng, tương xứng, phù hợp với mục đích đặc biệt số nghiên cứu chúng phải thuận tiện cho việc so sánh Thứ ba, chúng phải chấp nhận tin cậy, chừng mực đó, dễ hiểu cơng Cuối cịn có số tiêu chuẩn "kỹ thuật" Các số tốt cần kinh tế, giám sát khả dụng Bảng 12 Đặc trƣng tiêu tốt Các số nói chung: Kiểm tra CREAM (Kusek Rist, 2004) Các số tốt là: - Rõ ràng (chính xác khơng mập mờ) - Thích đáng (thích hợp với chủ đề xử lý) - Kinh tế (ở mức chi phí hợp lý) - Đầy đủ (cung cấp tảng đầy đủ để đánh giá hiệu suất) - Có thể giám sát (tuân theo xác thực độc lập) Các số nói chung (Mayne, 2010) Các số tốt là: - Thích đáng - Khả dụng (hợp thời) - Dễ hiểu (rõ ràng, minh bạch) - Xác thực - Tin cậy Các số nghiên cứu (Ủy ban Châu Âu, 2010) Các số nghiên cứu tốt là: - Phù hợp với mục đích - Có thể xác minh - Cơng - Thích đáng - Có khả tạo điều kiện thực so sánh ngành quan Tranh luận trước cho thấy tiêu chuẩn tạo thách thức phát triển PRFS Không phải tất số rõ ràng Bên cạnh đó, quan nghiên cứu ngành hay lĩnh vực nghiên cứu đa dạng Không số đơn có khả nắm bắt tồn tính chất phức tạp chúng Để giải phải cần có số số Nhưng việc làm tăng chi phí lẫn tính phức tạp Tương tự, so sánh cách công tượng đa dạng thách thức Nếu sử dụng số hiệu quả, ví dụ PRFS Thụy Điển, làm chuẩn hóa liệu hiệu chỉnh biệt hóa trở nên cần thiết Việc khiến cho hệ thống trở nên phức tạp, minh bạch khó hiểu người có kỹ “kỹ thuật” 46 Bình duyệt sử dụng để đối phó với đa dạng chuyển hóa đánh giá định tính thành xếp hạng, dùng để phân bổ tài trợ Tuy nhiên, vừa tốn lại dễ sai Vì cần phải nghiên cứu số đặc biệt phù hợp với số khác Ƣu nhƣợc điểm hệ thống tài trợ nghiên cứu dựa vào hiệu Trong số cách tiếp cận tài trợ cho nghiên cứu, có hai cách tiếp cận đặc trưng tài trợ cho nghiên cứu cơng, cách thứ hồn tồn dựa vào hiệu để phân bổ tài trợ, mơ hình ex post (đánh giá sau); cịn cách việc phân bổ nguồn lực dựa sở quy mô giáo dục trường đại h 47