Cách tiếp cận và phương pháp thực hiện đánh giá tổ chức nghiên cứu

Bài viết này mô tả cách tiếp cận và phương pháp thực hiện đánh giá các tổ chức nghiên cứu. Đây là phương pháp mới được xây dựng để áp dụng cho Việt Nam, bởi những phương pháp được sử dụng ở các quốc gia khác không phù hợp với yêu cầu và điều kiện khoa học và công nghệ (KH&CN) của Việt Nam, quốc gia đang trong quá trình chuyển đổi.

Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu 26 CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP THỰC HIỆN ĐÁNH GIÁ TỔ CHỨC NGHIÊN CỨU CN Nguyễn Thị Thu Oanh, TS Michael Braun Viện Đánh giá khoa học Định giá cơng nghệ, Bộ KH&CN Tóm tắt: Bài viết mô tả cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu Đây phương pháp xây dựng để áp dụng cho Việt Nam, phương pháp sử dụng quốc gia khác không phù hợp với yêu cầu điều kiện khoa học công nghệ (KH&CN) Việt Nam, quốc gia trình chuyển đổi Đánh giá tổ chức nghiên cứu công cụ hữu ích hỗ trợ cơng tác quản lý KH&CN, kết đánh giá thơng báo cho quan quản lý tài trợ hiệu hoạt động tổ chức nghiên cứu, xác định tổ chức hoạt động tốt Đồng thời, kết đánh giá giúp tổ chức nghiên cứu nắm phương thức cải thiện hiệu suất hoạt động đơn vị Từ khóa: Đánh giá; Tổ chức nghiên cứu; Phương pháp; Tiêu chí; Quy trình đánh giá; Kết hoạt động Mã số: 14061601 Tại cần phải đánh giá tổ chức nghiên cứu? Các tổ chức nghiên cứu cơng đóng vai trò quan trọng phát triển quốc gia Họ có nhiệm vụ xác định, giải vấn đề kinh tế xã hội đưa định hướng phát triển Chính phủ cấp kinh phí cho tổ chức KH&CN để thực nghiên cứu nhằm tạo tri thức khoa học phát triển công nghệ mới, chuyển giao tri thức công nghệ đến người sử dụng thương mại hóa chúng thành cơng Nhưng làm để quan cấp kinh phí (các Bộ, ngành) biết kinh phí mà họ cấp cho hoạt động nghiên cứu phát triển (R&D) tổ chức có sử dụng hiệu khơng? Các tổ chức nghiên cứu có thực nghiên cứu tiên phong khơng? Họ có tạo công nghệ chuyển giao cách hiệu cho người sử dụng để tạo sản phẩm, dịch vụ cải thiện sản phẩm có khơng? Các tổ chức nghiên cứu có làm việc hiệu không? Tổ chức cần phải phân bổ kinh phí nhiều hơn, họ thực công tác nghiên cứu phát triển tốt? Tổ chức cần phải cải thiện chiến lược phương thức hoạt động để mang lại hiệu hơn? JSTPM Tập 3, Số 3, 2014 27 Để trả lời câu hỏi này, cần tiến hành đánh giá tổ chức nghiên cứu Định nghĩa “Đánh giá”: Đánh giá việc phân tích cách hệ thống chất lượng, giá trị tầm quan trọng chiến lược, tổ chức, chương trình, dự án sáng kiến Đánh giá phân tích liệu mục tiêu có hợp lý, sáng kiến có lập kế hoạch tốt triển khai thực hiệu không, liệu việc đầu tư nguồn lực có sử dụng cách tốt khơng Ngồi việc phân tích, đánh giá cần phải hỗ trợ trình định việc xác định cần thiết để thay đổi tương lai đưa khuyến nghị cải thiện cần thiết (Chuyển thể nhóm thực từ www.wikipedia.org Sarah del Tufo, "Đánh giá gì?", mức độ tin cậy đánh giá) Đánh giá tổ chức nghiên cứu việc phân tích cách hệ thống hiệu làm việc tại, điểm mạnh điểm yếu, lợi ích mà tổ chức nghiên cứu mang lại cho kinh tế - xã hội, đồng thời xem xét tổ chức hoạt động hiệu Việc đánh giá giúp xếp hạng tổ chức nghiên cứu, xác định khả cải tiến tối đa hóa lợi ích KH&CN kinh tế - xã hội Qua nghiên cứu lý thuyết quan sát thực tế, nhóm nghiên cứu nhận thấy để đạt kết tốt tạo giá trị cho kinh tế - xã hội Việt Nam, tổ chức nghiên cứu phải hoàn thành nhiệm vụ quan trọng: (1) Thực nghiên cứu khoa học chất lượng cao để tạo kiến thức có giá trị; (2) Phát triển công nghệ mới, sản phẩm, phương pháp, dịch vụ mới; (3) Chuyển giao kiến thức KH&CN đến người sử dụng thương mại hóa kiến thức, cơng nghệ thành công; (4) Cung cấp dịch vụ tư vấn dựa khả KH&CN; (5) Hỗ trợ phát triển KH&CN thông qua giảng dạy đào tạo Nếu tổ chức nghiên cứu hoàn thành tất nhiệm vụ này, tức là, họ đạt hiệu suất làm việc cao KH&CN, thu kết KH&CN có giá trị, giúp kinh tế tăng suất khả cạnh tranh, tăng doanh thu lợi nhuận từ sản phẩm dịch vụ Vì lý này, tất quốc gia hàng đầu nhiều quốc gia khác ngày phát triển việc thực đánh giá tổ chức nghiên cứu họ Ví dụ: Đánh giá viện nghiên cứu Viện Hàn lâm Khoa học Trung Quốc (CAS) Với gần 100 viện nghiên cứu thuộc tất ngành khoa học tự nhiên khoảng 60.000 cán bộ, Viện Hàn lâm Khoa học Trung Quốc - CAS Viện nghiên cứu quốc gia độc lập hàng đầu Trung Quốc 28 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu Kể từ thành lập năm 1949, CAS đạt tiến to lớn nghiên cứu khoa học Số lượng viện nghiên cứu nhà nghiên cứu CAS tăng cách đáng kể Tiếp theo mở rộng số lượng, CAS tập trung vào cải tiến chất lượng sản lượng nghiên cứu viện Phần đông viện nỗ lực để theo kịp viện nghiên cứu mang tầm quốc tế nước đầu Để tăng cường tính cạnh tranh bền vững tầm quốc tế, việc phân tích hiệu suất làm việc nhận điểm mạnh, điểm yếu viện nghiên cứu Trung Quốc quan trọng Do đó, CAS đề xướng nghiên cứu đánh giá, so sánh viện nước với viện quốc tế hàng đầu CAS muốn biết khác biệt so với viện nghiên cứu tương đồng giới, vị trí điểm mạnh, điểm yếu viện Hiện trạng đánh giá tổ chức nghiên cứu Việt Nam mục tiêu phát triển Trước Luật KH&CN năm 2013 ban hành, Việt Nam chưa có quy định đánh giá tổ chức nghiên cứu Hàng năm, tổ chức nghiên cứu xây dựng báo cáo tổng kết hoạt động để báo cáo cấp quản lý, chưa thực đánh giá cách theo phương pháp tiêu chí chuẩn mực Luật KH&CN (sửa đổi) thông qua ngày 18/6/2013, Điều 16 Điều 17 qui định tổ chức KH&CN, bao gồm tổ chức nghiên cứu cần phải đánh giá Luật KH&CN số 29/2013/QH13: Mục Đánh giá, xếp hạng tổ chức KH&CN Điều 16 Mục đích, nguyên tắc đánh giá, xếp hạng tổ chức KH&CN Đánh giá tổ chức KH&CN việc sử dụng kiến thức, nghiệp vụ chuyên môn để xác định lực hiệu hoạt động tổ chức KH&CN Việc đánh giá tổ chức KH&CN nhằm mục đích sau đây: a) Tạo sở để xếp hạng tổ chức KH&CN; b) Phục vụ hoạt động hoạch định sách phát triển KH&CN, quy hoạch mạng lưới tổ chức KH&CN; c) Làm sở xem xét việc tuyển chọn, xét giao trực tiếp cho tổ chức chủ trì thực nhiệm vụ KH&CN, thực sách ưu tiên đầu tư từ ngân sách nhà nước, cho vay, tài trợ, bảo lãnh vốn vay quỹ lĩnh vực KH&CN Việc đánh giá, xếp hạng tổ chức KH&CN thực theo nguyên tắc sau đây: JSTPM Tập 3, Số 3, 2014 29 a) Có phương pháp, tiêu chí đánh giá phù hợp; b) Độc lập, bình đẳng, trung thực, khách quan, pháp luật; c) Kết đánh giá, xếp hạng phải công bố công khai, minh bạch Điều 17 Đánh giá tổ chức KH&CN phục vụ quản lý nhà nước Tổ chức KH&CN công lập phải đánh giá để phục vụ quản lý nhà nước Việc đánh giá tổ chức KH&CN phục vụ quản lý nhà nước quan quản lý nhà nước KH&CN thực thông qua tổ chức đánh giá độc lập Việc đánh giá tổ chức KH&CN thực dựa tiêu chí phương pháp đánh giá Bộ trưởng Bộ KH&CN quy định loại hình tổ chức KH&CN Thực yêu cầu điều khoản thách thức Đánh giá tổ chức KH&CN nói chung, tổ chức nghiên cứu nói riêng phương pháp quản lý KH&CN Việt Nam, đến nay, phương pháp chưa hoàn thiện Việt Nam chưa có kinh nghiệm loại hình đánh giá phương pháp luận cần thiết chưa giới thiệu thiếu chuyên gia có kinh nghiệm để thực đánh giá Nhưng triển khai thực Điều 16 Điều 17 Luật KH&CN năm 2013 cách hiệu quả, kết đánh giá hữu ích việc hỗ trợ cơng tác quản lý tổ chức nghiên cứu, vì: (1) Các bộ, ngành, địa phương quan chủ quản tổ chức nghiên cứu nhận thông tin thường xuyên hiệu quả, kết hoạt động giá trị mà tổ chức nghiên cứu tạo Họ biết tổ chức làm việc hiệu tới đâu so với yêu cầu đặt so với tiêu chuẩn quốc tế Nếu việc đánh giá tiến hành đặn, kiểm tra xem chất lượng làm việc tổ chức cải thiện qua thời gian (2) Các tổ chức nghiên cứu phân loại xếp thứ bậc theo hiệu hoạt động đơn vị Những tổ chức tốt khen thưởng để khuyến khích cho nỗ lực họ Những thơng tin có từ kết đánh giá sử dụng để cải tiến cấu trúc hệ thống KH&CN, thông qua việc tái cấu tổ chức hợp tổ chức có hiệu hoạt động thấp (3) Thơng qua đánh giá, tổ chức nghiên cứu nhận mạnh, điểm yếu lĩnh vực mà họ đạt tiến Từ đó, đơn vị có phương thức tổ chức lại hoạt động để nâng cao hiệu công việc 30 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu Để đạt điều này, cần phải xây dựng phương pháp luận đánh giá tiêu chuẩn điều kiện cần thiết, phù hợp cho hoạt động đánh giá Việt Nam Bên cạnh đó, nhà lãnh đạo nhà quản lý KH&CN phải biết cần phải đánh giá tổ chức nghiên cứu, cách chọn phương pháp đánh giá sử dụng kết đánh giá để quản lý KH&CN tốt Những phương pháp khả thi để đánh giá tổ chức nghiên cứu Theo kết phân tích việc số quốc gia tổ chức nghiên cứu lớn thực đánh giá viện nghiên cứu họ, cho thấy rằng, khơng có phương pháp coi tiêu chuẩn Mỗi quốc gia có phương pháp riêng việc tổ chức đánh giá viện nghiên cứu họ Một vài quốc gia tổ chức nghiên cứu ưu tiên đánh giá quy mô rộng, số khác lại không muốn đầu tư nhiều thời gian nguồn lực vào công việc Điều minh họa ví dụ cách khác để thực hành đánh giá tổ chức nghiên cứu Theo phương pháp bình duyệt (peer review), chuyên gia am hiểu lĩnh vực nghiên cứu tổ chức đến thăm tổ chức từ 1-3 ngày để đánh giá dựa tảng kiến thức họ Trước đoàn chuyên gia đến thăm, tổ chức chuẩn bị tất liệu cần thiết Những liệu chiến lược KH&CN, cách thức hoạt động, quản lý, kết quả,… đơn vị thảo luận buổi làm việc đội ngũ cán quản lý đơn vị nhà nghiên cứu nhóm bình duyệt Thơng tin kết luận từ buổi làm việc sở để nhóm bình duyệt chuẩn bị báo cáo đánh giá bao gồm nội dung thu thập ý kiến đánh giá Lợi phương pháp tốn thời gian sử dụng kiến thức uyên thâm chun gia nhóm bình duyệt Nhưng phương pháp lại yêu cầu thành viên nhóm đánh giá phải có kinh nghiệm loại đánh giá đó, phương pháp thường khơng áp dụng cho đánh giá định lượng nên xếp thứ bậc tổ chức nghiên cứu Có cách để tổ chức bình duyệt Cách thứ nhất, lần tổ chức bình duyệt mời chuyên gia khác tham gia thực Tuy nhiên, tổ chức Max-Planck-Society lại có xu hướng thành lập ủy ban tư vấn đánh giá chuyên gia cố định, thường xuyên tham gia buổi đánh giá định kỳ Lợi ích việc mời chuyên gia cố định thành viên hiểu rõ tổ chức nghiên cứu có điều kiện để xem xét khuyến nghị từ lần đánh giá trước thực hiệu Phương pháp đánh giá kiểm toán (evaluation audit), phương pháp sử dụng đội ngũ chuyên gia đánh giá chuyên nghiệp thực đánh giá Loại đánh giá sử dụng phương pháp luận đánh giá tiêu chuẩn cao với bảng câu hỏi, liệu, báo cáo phân tích mẫu biểu để JSTPM Tập 3, Số 3, 2014 31 thuyết trình kết đánh giá Lợi ích phương pháp tốn cơng sức đưa lại kết có độ tin cậy, cho phép đo lường, so sánh hiệu làm việc tổ chức nghiên cứu khác Kết cải tiến có chuyên gia lĩnh vực khoa học tổ chức nghiên cứu tham gia vào đánh giá Phương pháp tự đánh giá (self-assessment), tổ chức nghiên cứu tự đánh giá hiệu hoạt động đơn vị Các tổ chức cung cấp mẫu hướng dẫn tự đánh giá thực theo mẫu này, đồng thời cung cấp thông tin cần thiết làm chứng để chứng minh cho đánh đơn vị đưa Lợi ích phương pháp cơng sức bỏ ít, nhiên kết thu thực hữu ích đơn vị cung cấp thông tin tin cậy thực đánh giá nghiêm túc hiệu làm việc yêu cầu cải thiện Như vậy, cần phải cân nhắc để lựa chọn phương pháp đánh giá phù hợp Những phương pháp tốn cơng sức phương pháp tự đánh giá có lợi ích tối thiểu hóa cơng việc phụ, nhà lãnh đạo tổ chức nghiên cứu nhận thông tin hiệu công việc Tuy nhiên, phương pháp cung cấp thơng tin điểm mạnh, điểm yếu, nhu cầu tiềm cải thiện Những phương pháp yêu cầu nhiều công sức thường đem lại thông tin đáng tin cậy hơn, cung cấp nhiều thông tin điểm mạnh, điểm yếu, nhu cầu tiềm cải tiến.Tuy nhiên, phương pháp đòi hỏi phải đầu tư đáng kể thời gian nguồn lực Ở nhiều quốc gia, đánh giá tổ chức nghiên cứu hệ đánh giá thực tế Về sau, nhiều phương pháp đánh giá phức tạp phát triển hồn thiện Ví dụ: Đánh giá viện nghiên cứu phủ Hàn Quốc Văn phòng Thủ tướng Chính phủ bắt đầu thực đánh giá viện nghiên cứu phủ (GRIs) lần năm 1991 Dựa kết đánh giá này, vài viện nghiên cứu phủ phải giải thể, tái cấu hợp Từ năm 1999 đến năm 2005, có Hội đồng nghiên cứu thành lập Mỗi Hội đồng thực đánh giá viện nghiên cứu phủ lĩnh vực nghiên cứu họ Kể từ năm 2006, Hàn Quốc giới thiệu hệ thống đánh giá viện nghiên cứu phủ dựa hiệu hoạt động, theo việc hồn thành nhiệm vụ, mục tiêu, công tác quản lý viện nghiên cứu phủ đánh giá Việc cấp kinh phí hoạt động cho viện tăng giảm dựa kết đánh giá này, viện nghiên cứu phủ phân loại thành 3-4 nhóm theo lĩnh vực nghiên cứu Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu 32 Để tổ chức đánh giá hiệu quả, phải xác định người thực đánh giá Những quốc gia khác có cách giải khác Một số quốc gia thành lập tổ chức đánh giá nghiên cứu chuyên nghiệp, ví dụ Trung tâm Đánh giá KH&CN Trung Quốc (NCSTE) hay Cục Đánh giá Nghiên cứu Giáo dục đại học Pháp (AERES) Phương pháp luận cách thức thực phù hợp để đánh giá tổ chức nghiên cứu Việt Nam? Nhóm nghiên cứu phân tích phương pháp luận sử dụng số quốc gia thuộc khối OECD hợp tác với chuyên gia quốc tế để nắm cách mà họ đánh giá viện nghiên cứu Tại Việt Nam, Viện Đánh giá khoa học Định giá công nghệ phối hợp với chuyên gia CHLB Đức thực đánh giá thí điểm tổ chức nghiên cứu năm 2013 Bài học rút từ đánh giá thí điểm là: Việt Nam khơng thể bắt chước phương pháp luận đánh giá nước khác, mà cần phải có phương pháp luận riêng Phương pháp luận phải đáp ứng tiêu chuẩn sau: (1) Phương pháp luận đánh giá tổ chức nghiên cứu phải thực tế, đơn giản dễ thực Rất nhiều liệu sử dụng để đánh giá nước phát triển không phù hợp Việt Nam Cán nghiên cứu, cán quản lý tổ chức nghiên cứu, chuyên gia đánh giá bên liên quan khác cần thời gian để làm quen với công cụ quản lý KH&CN học cách áp dụng cách hiệu quả; (2) Phương pháp luận đánh giá tổ chức nghiên cứu phải xét đến hoàn cảnh kinh tế - xã hội, khung hành trị Việt Nam Cách thức quản lý viện cấu trúc KH&CN Việt Nam khác với nước phương Tây, nơi có phương pháp luận phát triển Để phù hợp với hoàn cảnh Việt Nam, phương pháp cần phải điều chỉnh Để đáp ứng tiêu chuẩn trên, đề xuất sử dụng phương pháp thuộc hệ đánh giá tổ chức nghiên cứu phương pháp đánh giá kiểm toán (evaluation audit) Đây phương pháp hiệu để đạt kết nhanh chóng thực tiễn để xây dựng lực tới hạn cần thiết Những phương pháp đánh giá chi tiết phức tạp giới thiệu sau Phương pháp miêu tả cụ thể khung phương pháp chung áp dụng loại hình tổ chức nghiên cứu khác Việc xác định khung phương pháp chung cần thiết khó đánh giá tất loại hình tổ chức KH&CN cách xác theo cách Những ví dụ sau phải tạo khác biệt loại tổ chức khác nhau: JSTPM Tập 3, Số 3, 2014 33 (1) Các tổ chức tập trung vào nghiên cứu phát triển (R&D) đánh giá dựa tảng kết R&D Nhưng tổ chức KH&CN khác phải đánh giá dựa loại hình hoạt động KH&CN mà họ thực hiện; (2) Các tổ chức nghiên cứu tập trung vào thành tựu nghiên cứu khoa học phải đánh giá kết hoạt động thông qua kết nghiên cứu Đối với tổ chức nghiên cứu ứng dụng, hoạt động họ tạo công nghệ mới, việc sử dụng thương mại hóa cơng nghệ họ tạo sử dụng để đánh giá kết hoạt động tổ chức này; (3) Các lĩnh vực khoa học khác có cách khác để thực nghiên cứu đo mức độ thành cơng chúng Ví dụ, nghiên cứu khoa học tự nhiên thường thực phòng thí nghiệm, sử dụng thiết bị khoa học phức tạp tạo kết công bố quốc tế Nghiên cứu khoa học xã hội nhân văn lại sử dụng phương pháp hoàn toàn khác thường phát triển cơng nghệ sản phẩm Nhưng dịch vụ mà họ cung cấp, chẳng hạn đề xuất, ý kiến tư vấn cho nhà hoạch định sách có giá trị nên ghi nhận cơng nghệ sản phẩm Vì lí này, cần khung đánh giá linh hoạt áp dụng cho loại tổ chức KH&CN khác Phần sau miêu tả khung mẫu đề xuất cho việc đánh giá tổ chức nghiên cứu Việt Nam Phương pháp luận đánh giá tổ chức nghiên cứu Việt Nam Nhóm nghiên cứu phân tích phương pháp luận sử dụng quốc gia khác phối hợp với chuyên gia CHLB Đức xây dựng phương pháp luận đánh giá dựa ý tưởng tổ chức nghiên cứu hoạt động hiệu phải đạt yếu tố thành cơng1 Nếu tổ chức hồn thành tốt tất yếu tố đó, tổ chức có kết hoạt động tốt, tạo kết có giá trị, có chiến lược nguồn lực mạnh Mức độ đạt yếu tố thành công đo lường theo tiêu chí cụ thể Kết tất tiêu chí tổng hợp đưa thang đo hiệu hoạt động tổng thể tổ chức Phương pháp cho phép nhận định điểm mạnh, điểm yếu, yêu cầu cải tiến, đồng thời cho phép đo lường định lượng hiệu hoạt động so sánh với tổ chức khác yếu tố thành công cách đo lường yếu tố sau: Stefan Kuhlmann, Doris Holland (1995) Erfolgsfaktoren der wirtschaftsnahen Forschung Physica Publishers, Heidelberg, Germany, ISBN 978-3-7908-0845-2 34 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu 5.1 Chiến lược phát triển Mục tiêu đánh giá liệu tổ chức có làm nhiệm vụ nghiên cứu khơng, có tổ chức thực cách hệ thống nhằm phát huy hết khả năng, lực sử dụng nguồn lực cách hiệu để thành cơng Ví dụ, tổ chức triển khai hoạt động theo nghiên cứu không liên quan tạo kiến thức KH&CN Hoặc tổ chức khơng có kế hoạch xây dựng phát triển lực cán khoa học không đạt tiến hiệu hoạt động khả cạnh tranh Để đánh giá yếu tố này, chiến lược nghiên cứu tổ chức phải phân tích chuyên gia 5.2 Hiệu hoạt động đầu nghiên cứu khoa học Mục tiêu đánh giá xem tổ chức có tạo kết nghiên cứu khoa học có giá trị khơng Tiêu chuẩn quốc tế đo lường kết ấn phẩm khoa học công nhận từ nhà nghiên cứu khác (ví dụ: trích dẫn, tác động,…) Yếu tố thành cơng đạt tổ chức chứng minh lực nghiên cứu khoa học giá trị kết nghiên cứu thông qua số lượng ấn phẩm quốc gia quốc tế, ấn phẩm công nhận nhà nghiên cứu khác 5.3 Hiệu hoạt động đầu cơng nghệ Mục đích đánh giá xem tổ chức có tạo cơng nghệ có giá trị hữu ích kinh tế xã hội khơng, hay có chuyển giao cơng nghệ cách hiệu thương mại hóa chúng thành cơng khơng Với quốc gia có hệ thống KH&CN phát triển, thường số sáng chế tổ chức sử dụng để đánh giá đầu công nghệ Nhưng cách đánh giá sử dụng điều kiện Việt Nam, nay, tổng số sáng chế đăng ký Việt Nam ít, nhà nghiên cứu thường khơng đăng ký sáng chế cho sáng chế Vì lúc cần phải sử dụng biện pháp đánh giá khác Một cách khả thi để thực đánh giá nguồn thu mà tổ chức đạt hàng năm từ việc bán hay cấp phép cơng nghệ tổ chức (bởi tổ chức tạo nhiều cơng nghệ có giá trị cao tìm khách hàng sẵn sàng chi trả) 5.4 Dịch vụ khoa học cơng nghệ Mục đích để đánh giá liệu tổ chức có cung cấp dịch vụ có giá trị, dựa lực KH&CN khơng, ví dụ kiểm tra đo lường JSTPM Tập 3, Số 3, 2014 35 dịch vụ kỹ thuật, đề xuất giải pháp ý kiến tư vấn,… Một loại dịch vụ KH&CN điển hình tư vấn cho quan phủ việc xây dựng thực sách Cách đánh giá đơn giản dịch vụ KH&CN tổ chức, ví dụ số lượng loại hình dịch vụ cung cấp (tư vấn cho nhà hoạch định sách, tư vấn cho doanh nghiệp,…) và/hoặc thu nhập hàng năm từ dịch vụ 5.5 Đào tạo, giảng dạy Mục đích đánh giá xem tổ chức có thực cơng tác đào tạo có chất lượng khơng (thường đào tạo sau đại học) và/ liệu tổ chức có cung cấp khóa đào tạo cho bên liên quan khác (ví dụ cho lãnh đạo doanh nghiệp hay quan phủ)? Việc giảng dạy đào tạo tổ chức đánh giá qua số lượng học viên thạc sĩ tiến sĩ đào tạo, hay số lượng tốt nghiệp hàng năm, số lượng khóa đào tạo và/ cán qua đào tạo 5.6 Nguồn nhân lực Mục đích để đánh giá xem đội ngũ cán khoa học tổ chức có đủ lực, kiến thức khoa học trình độ cần thiết để tiến hành nghiên cứu đại không? Một phương pháp đánh giá điển hình trình độ cán cấp chứng nhận (ví dụ % Tiến sĩ Thạc sĩ, % cán tốt nghiệp từ trường đại học tiếng nước ngoài,…) Phương pháp đánh giá cấu nguồn nhân lực tỷ lệ giáo sư, phó giáo sư, tiến sĩ thạc sĩ tổng số cán độ tuổi họ 5.7 Trang thiết bị khoa học sở hạ tầng Mục tiêu đánh giá xem tổ chức có trang thiết bị khoa học đại cần thiết để thực nghiên cứu tiên tiến hay không? Cơ sở hạ tầng khoa học tổ chức (ví dụ phòng thí nghiệm, thông tin, tài liệu khoa học,…) sở vật chất (trụ sở, thiết bị,…) có đầy đủ khơng? Điều đánh giá tốt nhà khoa học ngành (ví dụ: Trang thiết bị thí nghiệm có phù hợp để thực loại nghiên cứu khơng?) Các số hữu ích để đánh giá bao gồm tuổi thọ trung bình thiết bị, khấu hao hàng năm, kinh phí để trì bảo dưỡng đại hóa trang thiết bị, hay tận dụng thiết bị đắt tiền 5.8 Tài Mục đích đánh giá xem nguồn kinh phí tổ chức có đủ để thực nhiệm vụ cấu kinh phí có phù hợp khơng (ví dụ: tổ chức có đảm bảo kinh phí chi thường xuyên, có tạo nguồn thu từ đề tài, dự 36 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu án, từ việc chuyển giao công nghệ cung cấp dịch vụ không,…?) Để đánh giá xem tiêu chuẩn có đạt hay không, phát triển công cụ phân tích dựa Microsoft Office Excel, thu thập tất liệu nguồn cấu kinh phí tổ chức, phân tích theo câu hỏi nêu 5.9 Hợp tác quốc tế hóa Mục đích đánh giá xem tổ chức có hợp tác đầy đủ với nhà nghiên cứu khác Việt Nam nước ngồi, có tham gia thực dự án nghiên cứu trao đổi với nhà nghiên cứu quốc tế để hoàn thiện nghiên cứu không? Một câu hỏi tổ chức có hợp tác hiệu với người sử dụng kết nghiên cứu (ví dụ với doanh nghiệp) để đảm bảo kết nghiên cứu hữu ích chúng chuyển giao thành cơng khơng? Các phương pháp điển hình để đánh giá mức độ hợp tác tổ chức bao gồm số lượng mức độ hợp tác với nhà nghiên cứu khác (đánh giá theo mức độ hợp tác: thoả thuận thức dự án hợp tác có tầm quan trọng cao thăm viếng ngắn hạn), số lượng quy mô thoả thuận hợp tác thức với doanh nghiệp,… Phương pháp điển hình đánh giá mức độ quốc tế hóa tổ chức số lượng thời gian làm việc cán thuộc tổ chức viện nghiên cứu nước nhà nghiên cứu nước làm việc tổ chức, thành viên hiệp hội nghiên cứu quốc tế, mạng lưới khoa học, nguồn thu đạt từ dự án quốc tế hàng năm Về bản, yếu tố kể sử dụng để đánh giá tất loại hình tổ chức nghiên cứu Tuy nhiên, áp dụng cần phải điều chỉnh phù hợp với loại tổ chức dựa chất hoạt động lĩnh vực nghiên cứu họ Ví dụ, đánh giá tổ chức nghiên cứu bản, kết nghiên cứu khoa học đầu quan trọng Nhưng tổ chức nghiên cứu ứng dụng, ấn phẩm khoa học lại không quan trọng đầu có tính cơng nghệ cao, hoạt động chuyển giao công nghệ nguồn thu từ việc thương mại hóa chúng Việc thực đánh giá tổ chức nghiên cứu triển khai nào? Phương pháp luận đánh giá tổ chức nghiên cứu xây dựng thực dựa vào việc thu thập phân tích liệu cần thiết theo bốn bước sau: Bước 1: Thu thập liệu Đánh giá tổ chức thiết phải dựa thực tế Vì thế, bước phải thu thập liệu cần thiết, đảm bảo độ tin cậy Để làm điều đó, JSTPM Tập 3, Số 3, 2014 37 cần thiết kế phiếu điều tra gửi cho tổ chức nghiên cứu Phiếu điều tra khảo sát thông tin chung tổ chức, số liệu chi tiết thông tin liên quan đến yếu tố thành công đề cập phần trước Tổ chức nghiên cứu thu thập tài liệu, thông tin, trả lời câu hỏi theo yêu cầu phiếu điều tra Các chuyên gia đánh giá phân tích số liệu nhận chuẩn bị địa điểm đến thăm bước Bước 2: Đến thăm thảo luận chuyên gia đánh giá với đội ngũ cán tổ chức nghiên cứu Nhóm đánh giá từ bên ngồi đến làm việc với đội ngũ cán quản lý chủ chốt nhà nghiên cứu tổ chức nghiên cứu để thảo luận yếu tố thành công, sau thăm điều kiện sở vật chất, phòng thí nghiệm,… Bước 3: Dự thảo báo cáo tóm tắt kết đánh giá chuyên gia đánh giá từ bên Dựa liệu từ bảng điều tra, kết khảo sát tổ chức nghiên cứu nghiên cứu bổ sung cần thiết khác, chuyên gia đánh giá chuẩn bị dự thảo báo cáo kết đánh giá Để đánh giá đáp ứng theo yếu tố thành công, sử dụng nhiều tiêu chí, tiêu chí đánh giá hai cách: (1) Đánh giá định lượng Được sử dụng để đo lường việc đáp ứng tiêu chí Những số điểm nói lên mức độ hồn thành chức năng, nhiệm vụ đáp ứng tiêu chuẩn quốc tế tổ chức nghiên cứu Các tổ chức nghiên cứu đánh giá theo thang điểm từ (= kết hoạt động kém, khơng thể hồn thành chức năng, nhiệm vụ) tới (= kết hoạt động xuất sắc, kể so sánh với tổ chức tốt giới) Tổng điểm tổ chức tính cách cộng trung bình điểm đạt yếu tố đánh giá Để tính tốn theo tầm quan trọng khác nhau, điểm số yếu tố chia theo tỷ trọng Tỷ trọng khác loại tổ chức khác (ví dụ: với tổ chức nghiên cứu bản, đầu khoa học (ấn phẩm khoa học) quan trọng phải có tỷ trọng cao Nhưng với tổ chức nghiên cứu ứng dụng, đầu công nghệ (sáng chế) quan trọng phải có tỷ trọng cao hơn) Hình sau trình bày ví dụ minh họa số điểm tổ chức tính tốn từ điểm thành phần yếu tố thành công 38 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu Yếu tố thành công Trọng số Điểm x trọng số Điểm Chiến lược phát triển tổ chức X 10% = 0,4 Kết hoạt động đầu nghiên cứu KH X 20% = 0,8 Kết hoạt động đầu công nghệ X 5% = 0,05 Dịch vụ KH&CN X 10% = 0,3 Đào tạo giảng dạy X 10% = 0,4 Nguồn nhân lực X 15% = 0,45 Trang thiết bị sở hạ tầng X 10% = 0,2 Kinh phí X 10% = 0,3 Hợp tác quốc tế hóa X 10% = 0,3 Tổng số điểm tổ chức 3,2 Hình Ví dụ minh họa số điểm tổ chức tính tốn từ điểm thành phần yếu tố thành công Với hỗ trợ số điểm trên, tổ chức thấy rõ hoạt động tốt đến đâu kết hoạt động phải cải thiện nào, mối tương quan với chức nhiệm vụ Việt Nam, so sánh với tiêu chuẩn quốc tế với tổ chức khác Nếu đánh giá tương tự lại làm lại sau này, tổ chức biết họ có tiến khơng so sánh số điểm với số điểm cũ đánh giá trước (2) Đánh giá định tính Đối với lĩnh vực đánh giá, chuyên gia đánh giá đưa bình luận để giải thích điểm mạnh, điểm yếu yêu cầu phát triển Những giải thích quan trọng với Ban lãnh đạo tổ chức nghiên cứu, giúp họ hiểu cách nâng cao kết hoạt động Các chuyên gia đánh giá tóm tắt kết họ dự thảo báo cáo cuối Bước 4: Thảo luận kết báo cáo cuối Nhóm đánh giá từ bên ngồi trình bày kết họ với Ban lãnh đạo tổ chức nghiên cứu Cả hai bên thảo luận đến thống kết kết luận Nhóm đánh giá bên ngồi chuẩn bị hoàn thiện báo cáo cuối JSTPM Tập 3, Số 3, 2014 39 Để kết đánh giá cuối có hiệu lực, dự thảo báo cáo đánh giá phải thảo luận với tổ chức Tổ chức đưa phản hồi trình bày quan điểm Nếu tổ chức khơng đồng ý với ý kiến chuyên gia đánh giá, điểm khác biệt thảo luận hai bên phải tìm cách đến thống Sau đó, báo cáo đánh giá hoàn thiện đệ trình cho quan liên quan Chiến lược phát triển tổ chức Hợp tác quốc tế hóa Kết hoạt động đầu nghiên cứu… Tài Kết hoạt động đầu công nghệ Tổ chức Tổ chức Trang thiết bị sở hạ tầng Nguồn nhân lực Dịch vụ KH&CN Đào tạo giảng dạy Hình Ví dụ minh họa so sánh kết đánh giá tổ chức Trong ví dụ này, đánh giá rằng, tổ chức có kết nghiên cứu nguồn nhân lực tốt, thực nghiên cứu xuất sắc đạt nhiều thành công đào tạo Tuy nhiên, tổ chức không thành công việc tạo chuyển giao công nghệ, đồng thời cần phải cải thiện nguồn kinh phí phát triển trang thiết bị, sở hạ tầng Tổ chức tập trung vào đầu cơng nghệ, có nguồn tài trang thiết bị tốt Tuy nhiên, họ lại khơng có chiến lược KH&CN rõ ràng, đồng thời kết hoạt động khoa học, đào tạo dịch vụ hạn chế Thực đánh giá tổ chức nghiên cứu Việt Nam nào? Nhằm nâng cao kết hoạt động tổ chức KH&CN để tạo nhiều kết nghiên cứu có giá trị, đóng góp cho nghiệp phát triển kinh tế đổi mới, Bộ, ngành địa phương cần phải có thông tin kết hoạt động tổ chức nghiên cứu trực thuộc, nắm điểm mạnh, điểm yếu, vấn đề tồn tại, từ xây dựng sách phù hợp nhằm hỗ trợ tổ chức hồn thành nhiệm vụ Những thơng tin cung cấp cách hiệu thông qua hệ thống giám sát đánh giá tổ chức KH&CN, Việt Nam nên tiến hành áp dụng đánh giá thường kỳ tổ chức KH&CN 40 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu 7.1 Phương pháp cách tiếp cận Vì khơng có đủ chun gia có khả áp dụng phương pháp phức tạp tinh vi sử dụng số quốc gia tiên tiến, tổ chức KH&CN đối tác khác chưa quen tham gia vào công việc đánh giá, đó, nên bắt đầu đánh giá theo cách thiết thực đơn giản, dễ dàng thực khả có Các phương pháp phức tạp thực có nhiều kinh nghiệm Khơng thể thực đánh giá tất tổ chức KH&CN đòi hỏi nguồn kinh phí lớn thời gian dài Thời gian đầu nên tập trung vào đánh giá tổ chức nghiên cứu lớn quan trọng, rút kinh nghiệm sau phát triển áp dụng đánh giá cách có hệ thống 7.2 Phát triển song song điều kiện cần thiết Để đảm bảo công tác đánh giá tổ chức nghiên cứu thực hiệu có chất lượng, việc đánh giá phải lập kế hoạch thực chuyên gia đánh giá có kinh nghiệm, cần phải xây dựng phát triển lực, trình độ đánh giá, hình thành sở pháp lý, xây dựng hướng dẫn, mẫu biểu đánh giá Lãnh đạo, nhà quản lý tổ chức nghiên cứu cần phải hiểu mục đích hợp tác thực đánh giá Đánh giá thực tất bên tham gia hợp tác cung cấp thông tin, liệu cần thiết biết cách sử dụng kết đánh giá./ TÀI LIỆU THAM KHẢO Luật Khoa học Công nghệ số 29/2013/QH13 ngày 18/6/2013 Organisation for Economic Co-operation and Development (OECD) (2010) Performance-based Funding for Public Research in Tertiary Education Institutions Workshop Proceedings, OECD Publishing Organisation for Economic Co-operation and Development (OECD) (2013) Main Science and Technology Indicators Volume 2013, Paris, France, June 2013, http://www.oecd.org/sti/2013_1_documentation_e.pdf VSNU, KNAW and NWO (2010) Standard Evaluation Protocol 2009-2015Protocol for Research Assessment in The Netherlands Published by Royal Netherlands Academy of Arts and Sciences (KNAW), Association of Universities in the Netherlands (VSNU) and Netherlands Organisation for Scientific Research (NWO), The Hague, https://www.knaw.nl/nl/actueel/publicaties/standard-evaluationprotocol-sep-2009-2015/@@download/pdf_file/20091052.pdf JSTPM Tập 3, Số 3, 2014 41 Heinze, Thomas, Shapira, Philip, Senker, Jacqueline, Kuhlmann, Stefan (2007) Identifying creative research accomplishments: Methodology and results for nanotechnology and human genetics Scientometrics70, pages 125-152 Lebnitz Association Criteria for evaluating institutions in the Leibniz Association Berlin, Germany, http://www.leibniz-gemeinschaft.de/fileadmin/user_upload/downloads/Evaluierung/ Attachment_3_-_Criteria_for_evaluating_institutions.pdf Liu, W.B (2010) Evaluation and Ranking of National Research Institutes Project Group of National Research Institute Ranking Institute of Policy and Management, Chinese Academy of Science, paper presented at Kent Business School, University of Kent, Canterbury, UK, UK, 07.01 2010, http://de.slideshare.net/KentBusinessSchool/05-kent-steve-liu Max-Planck-Society (2010) Evaluation - the Procedures of the Max-Planck-Society Published by the General Administration of the Max-Planck-Society, Munich, Germany Fahrenkrog, Gustavo, Polt, Wolfgang, Rojo, Jaime, Tübke, Alexander, Zinöcker, Klaus (Editors) (2012) RTD Evaluation Toolbox IPTS Technical Report Series, EUR 20382 EN, Sevilla, Spain 10 Chai, Woo Chui (2012) Evaluation system of Government-Funded Research Institutes (GRIs) Technology Management for Emerging Technologies (PICMET), 2012 Proceedings of PICMET '12, p 3436 - 3458 Vancouver, Canada, July 29.2012Aug 2.2012 11 European Science Foundation, Indicators of Internationalisation for Research Institutions: a new approach Report by the ESF Member Organisation Forum on Evaluation: Indicators of Internationalisation, 2012 http://www.esf.org/activities/mofora/publications.html 12 Guthrie, Susan, WatuWamae, Diepeveen, Stepahanie, Wooding, Steven, Grant, Jonathan (2013) Measuring Research - A Guide to Research Evaluation Frameworks and Tools Published by the RAND Corporation, Santa Monica, USA 13 Ruegg, Rosalie, Feller, Irwin (2013) A Toolkit for Evaluating Public R&D Investment Report prepared forEconomic Assessment Office, Advanced Technology Program, National Institute of Standards and Technology, Gaithersburg, USA, July 2003, http://www.atp.nist.gov/eao/gcr03-857/contents.htm ... 978-3-7908-0845-2 34 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu 5.1 Chiến lược phát triển Mục tiêu đánh giá liệu tổ chức có làm nhiệm vụ nghiên cứu khơng, có tổ chức thực cách hệ thống... cấp cách hiệu thông qua hệ thống giám sát đánh giá tổ chức KH&CN, Việt Nam nên tiến hành áp dụng đánh giá thường kỳ tổ chức KH&CN 40 Cách tiếp cận phương pháp thực đánh giá tổ chức nghiên cứu. .. thực đánh giá tổ chức nghiên cứu 32 Để tổ chức đánh giá hiệu quả, phải xác định người thực đánh giá Những quốc gia khác có cách giải khác Một số quốc gia thành lập tổ chức đánh giá nghiên cứu