4. Nội dung nghiên cứu
3.2. Quy trình đánh giá
a) Quy trình tổng thể
Bước 1. Chuẩn bị đánh giá:
- Thành lập Tổ công tác (cơ quan đánh giá – Viện Đánh giá khoa học và Định giá công nghệ) thực hiện nhiệm vụ đánh giá
- Tổ công tác xác định chi tiết các nội dung sau: đối tượng đánh giá; mục đích đánh giá; thời gian tiến hành đánh giá (bắt đầu và kết thúc); đối tượng sử dụng kết quả đánh giá; những yêu cầu về bảo mật thông tin và tài liệu liên quan; …
Bước 2. Thiết kế đánh giá:
Tổ đánh giá có nhiệm vụ thiết kế nhiệm vụ đánh giá chi tiết cho đối tượng cụ thể phù hợp với mục đích đánh giá và tham khảo ý kiến của các chuyên gia khoa học và công nghệ. Mọi hoạt động thu thập thông tin, phân tích, đánh giá và xây dựng báo cáo đánh giá … đều phải được đề cập trong đó. Bản thiết kế đánh giá bao gồm các nội dung sau:
- Xác định các vấn đề cần phân tích và đánh giá, các tiêu chí chính và các khía cạnh được đánh giá
49 - Khung đánh giá: Trong khung đánh giá quy định rõ nội dung của từng cấu phần, bao gồm: tiêu chí cấp 1 (tiêu chí lớn), tiêu chí cấp 2 (tiêu chí nhỏ); Dữ liệu/chỉ số/các khía cạnh phản ánh từng tiêu chí. - Phương án thu thập thông tin với các nội dung sau: Các thông tin
cần thu thập (căn cứ vào khung đánh giá); xác định những nguồn thông tin cần tiếp cận; các phương pháp thu thập thông tin: bảng hỏi, phỏng vấn, nghiên cứu tài liệu liên quan,...; thời gian thu thập thông tin; nguồn lực để thu thập thông tin.
- Lựa chọn phương pháp đánh giá phù hợp với từng bước đánh giá - Lịch trình chi tiết thực hiện các bước đánh giá
Bước 3. Thu thập thông tin và lập Hồ sơ đánh giá: - Tiến hành thu thập thông tin;
- Phân tích sơ bộ và sau đó kiểm chứng, bổ sung thông tin (nếu cần); - Lập Hồ sơ đánh giá.
Bước 4. Tổ chức đánh giá
Cơ quan đánh giá thực hiện các công việc sau:
- Lựa chọn chuyên gia đánh giá phù hợp và ra quyết định thành lập Hội đồng đánh giá.
- Gửi Quyết định thành lập Hội đồng đánh giá và Hồ sơ đánh giá đến từng thành viên Hội đồng.
- Tập huấn chuyên gia (về mục tiêu, đối tượng, tiêu chí, quy trình đánh giá và cách thức thực hiện từng mục công việc)
Chuyên gia đánh giá thực hiện các công việc sau:
- Hội đồng họp phiên trù bị để thống nhất về phương thức làm việc của Hội đồng, thảo luận phương án khảo sát, đánh giá hiện trường; bố trí lịch họp Hội đồng.
- Tổ chức đánh giá hiện trường: chuyên gia đánh giá kiểm tra, khảo sát hiện trường và lập Báo cáo kết quả đánh giá hiện trường bổ sung vào hồ sơ đánh giá.
50 - Tổ chức họp hội đồng (phiên chính thức), xây dựng biên bản và kết
luận đánh giá
- Cơ quan đánh giá xem xét và ghi nhận kết quả đánh giá. Bước 5. Xây dựng báo cáo đánh giá và gửi cho các bên liên quan:
Báo cáo đánh giá phải bao gồm các nội dung chính sau đây: - Mục đích, đối tượng và nội dung đánh giá
- Nguyên tắc, phương pháp, quy trình và tiêu chí đánh giá
- Kết quả phân tích, đánh giá được trình bày theo từng khía cạnh - Kết luận đánh giá và các đề xuất, kiến nghị.
b) Quy trình rút gọn
TT Các bƣớc Nội dung thực hiện
1 Tự đánh giá: Tổ chức khoa học và công nghệ tự cung cấp mọi thông tin và tự đánh giá về hoạt động của bản thân tổ chức. Hội đồng khoa học của tổ chức có trách nhiệm thực hiện việc tự đánh giá.
Căn cứ vào thực trạng về tổ chức hoạt động và các chính sách đối với hoạt động của các tổ chức khoa học và công nghệ ở Việt Nam hiện nay, sự hợp tác của các tổ chức khoa học và công nghệ với công tác đánh giá là khó khăn. Đặc biệt là việc tự đánh giá của bản thân các tổ chức rất khó được thực hiện một cách hiệu quả. Do vậy, bước tự đánh giá có thể được thay thế bằng việc cung cấp thông tin đầy đủ, chi tiết về hoạt động của bản thân tổ chức theo yêu cầu của cơ quan đánh giá (Viện Đánh giá khoa học và Định giá công nghệ). Đồng thời, cơ quan đánh giá cần có hướng dẫn nhằm tăng cường vai trò của việc đánh giá từ bên ngoài (có thể bằng cách tăng
51 cường vai trò của công tác quan sát/đánh giá hiện trường – site-visit) và tìm kiếm sự công tác của (các/một số thành viên trong) Hội đồng khoa học của tổ chức khi duyệt báo cáo kết quả đánh giá.
2 Đánh giá từ bên ngoài: Cơ quan đánh giá tổ chức đánh giá bởi các chuyên gia. Bước đánh giá này bao gồm hai nội dung: (1) đánh giá hiện trường – site-visit; và sau đó là (2) họp hội đồng đánh giá
Bản báo cáo tự đánh giá từ chính bản thân tổ chức và báo cáo đánh giá hiện trường cùng với hồ sơ thông tin về hoạt động của tổ chức chính là những tài liệu cơ bản làm căn cứ để các chuyên gia đưa ra những nhận định tại buổi họp hội đồng đánh giá.
3 Kết luận đánh giá: kết luận đánh giá theo từng tiêu chí và kết luận đánh giá tổng hợp về hoạt động của tổ chức khoa học và công nghệ được đưa ra tại buổi họp hội đồng đánh giá.
Phần kết luận đánh giá phải bao gồm hai phần: (1) phần kết luận định lượng – cho điểm đánh giá; và (2) phần kết luận định tính – là những nhận định nổi bật về hoạt động của tổ chức được đánh giá.
Trong quy trình đánh giá này, vai trò của công tác đánh giá hiện trường rất quan trọng. Đánh giá hiện trường tổ chức khoa học và công nghệ nhằm mục đích kiểm chứng, làm rõ các thông tin đã được trình bày trong phiếu thông tin về tổ chức và khai thác thêm các thông tin về môi trường hoạt động của tổ chức (bao gồm: hệ thống hành chính và công tác quản lý; các yếu tố liên quan đến các nguồn lực; và các thông tin khác).
52 Hình thức thực hiện: các chuyên gia nghe thuyết trình của nhà quản lý về mọi mặt liên quan đến hoạt động của tổ chức; phỏng vấn các đối tượng cán bộ trong tổ chức; và thăm quan cơ sở.
Những thông tin trong báo cáo đánh giá hiện trường chủ yếu là định tính. Nội dung thông tin cần khai thác khi khảo sát, đánh giá hiện trường tổ chức phải đảm bảo trả lời được một cách rõ ràng các vấn đề liên quan để bổ sung thông tin đầy đủ và chính xác cho bản khai về hoạt động của tổ chức. Báo cáo đánh giá hiện trường cần bao gồm cả những nhận xét định tính và định lượng của chuyên gia đánh giá.
3.3. Phƣơng pháp đánh giá
Xuyên suốt quy trình đánh giá hoạt động của tổ chức khoa học và công nghệ, phương pháp đánh giá chủ yếu được sử dụng là phương pháp đánh giá bằng chuyên gia cùng ngành (peer review). Đây là phương pháp đặc biệt hữu hiệu trong đánh giá hệ thống khoa học và công nghệ nói chung và đánh giá các tổ chức khoa học và công nghệ nói riêng. Tùy từng bước thực hiện quy trình đánh giá mà có thể sử dụng phối hợp một số các phương pháp đánh giá khác nữa, như là: phương pháp điều tra, phân tích (survey and analysic), thư mục trắc lượng (bibliometric), phương pháp miêu tả (descriptive) hay còn gọi là phương pháp nghiên cứu thống kê, thư mục trắc lượng (bibliometric), phân tích mạng lưới xã hội (social network analysic), so sánh đối chuẩn (bench-mark), … Ví dụ, việc áp dụng và phối kết hợp áp dụng các phương pháp chủ yếu trong quy trình đánh giá như sau:
Thực hiện bước 1 - Chuẩn bị đánh giá: Khi xác định chi tiết các nội dung của hoạt động đánh giá (đối tượng đánh giá; mục đích đánh giá; thời gian tiến hành đánh giá; đối tượng sử dụng kết quả đánh giá; …), phương pháp phân tích mạng lưới xã hội được vận dụng. Đây là phương pháp phân tích mối quan hệ giữa các thành phần có quyền lợi liên quan.
53 Thực hiện bước 2 - Thiết kế đánh giá: Để xây dựng được khung đánh giá chi tiết, phương án thu thập dữ liệu phù hợp với từng đối tượng cụ thể và phù hợp với mục đích đánh giá, thì tổ công tác phải tham khảo ý kiến của các chuyên gia khoa học và công nghệ phù hợp.
Thực hiện bước 3 - Thu thập thông tin và lập Hồ sơ đánh giá: Phương pháp điều tra và phân tích được khái thác tối đa trong việc thu thập dữ liệu và việc phối kết hợp với phương pháp mô tả/nghiên cứu thống kê, phương pháp thư mục trắc lượng được sử dụng để phân tích sơ bộ dữ liệu để lập Hồ sơ đánh giá.
Thực hiện bước 4 - Tổ chức đánh giá: Phương pháp đánh giá chủ yếu thực hiện bước này là đánh giá bằng chuyên gia cùng ngành. Trong khi tác nghiệp, các chuyên gia đánh giá cần vận dụng phương pháp so sánh đối chuẩn (qua kinh nghiệm chuyên môn) và phương pháp thư mục trắc lượng. Các phương pháp hỗ trợ này cũng rất quan trọng trong việc đưa ra nhận định đánh giá của chuyên gia.
Thực hiện bước 5 - Xây dựng báo cáo đánh giá: Để một báo cáo đánh giá có chất lượng tốt, việc góp ý của các chuyên gia cùng lĩnh vực khoa học và công nghệ (trong và ngoài tổ chức được đánh giá) là thực sự cần thiết.
3.3. Tiêu chí và các chỉ số đánh giá
Các tiêu chí chủ yếu được sử dụng để đánh giá hoạt động của tổ chức khoa học và công nghệ là:
- Chất lượng: là thước đo sự xuất sắc của tổ chức thông qua sự thừa nhận cả trong nước và quốc tế và là thước đo tiềm năng đổi mới cũng như mức độ tiện nghi và trang thiết bị của tổ chức;
- Năng suất: kết quả hoạt động về mọi mặt, trong đó chủ yếu nói đến năng suất nghiên cứu và phát triển (thông qua việc công bố các công trình, bài
54 báo, sáng chế,…) và năng xuất đối với kinh tế - xã hội (chuyển giao công nghệ, cung cấp dịch vụ, đào tạo, …);
- Sự phù hợp: bao hàm cả ảnh hưởng về khoa học, kỹ thuật, kinh tế - xã hội;
- Khả năng tồn tại và tính khả thi: ở đay nói đến động lực bên trong và bên ngoài của tổ chức; mức độ hoàn thành chức năng, nhiệm vụ; và khả năng thích nghi với cơ quan chủ quản; …
Các khía cạnh đánh giá, câu hỏi đánh giá/các chỉ số đánh giá tương ứng với mỗi loại tổ chức - ở mức độ nào đó - có những điểm chung và có những điểm khác nhau. Nếu so sánh các viện nghiên cứu và phát triển với các tổ chức khoa học và công nghệ trong trường đại học thì sẽ có nhiều điểm tương đồng, do đó, các tiêu chí đánh giá/câu hỏi đánh giá có nhiều điểm chung. Đối với tổ chức dịch vụ khoa học và công nghệ, do đặc điểm hoạt động rất khác biệt so với hai loại tổ chức trên mà các tiêu chí đánh giá/câu hỏi đánh giá sẽ khác.
Để đánh giá được hoạt động của tổ chức khoa học và công nghệ theo các tiêu chí dưới đây, các chuyên gia đánh giá phải vận dụng tối đa kinh nghiệm chuyên môn của mình. Trong trường hợp cụ thể, nếu cần một mô hình chuẩn để so sánh thì cơ quan đánh giá sẽ xin ý kiến tư vấn của chuyên gia trong việc lựa chọn mô hình tổ chức để làm chuẩn so sánh.
a)Tiêu chí đánh giá hoạt động của các viện nghiên cứu và phát triển
Tiêu chí 1: Xem xét các khía cạnh về chức năng, nhiệm vụ và kế hoạch phát triển
- Mức độ phù hợp và gắn kết của kế hoạch/chiến lược phát triển với chức năng và nhiệm vụ của tổ chức
- Mức độ rõ ràng của kế hoạch/định hướng phát triển của tổ chức - Mức độ khả thi của kế hoạch/định hướng phát triển của tổ chức Tiêu chí 2: Xem xét các khía cạnh về cơ cấu tổ chức và hoạt động
55 - Mức độ phù hợp của việc tổ chức triển khai các hướng nghiên cứu so
với chức năng, nhiệm vụ của tổ chức
- Mức độ phù hợp của việc tổ chức triển khai các nhóm nghiên cứu so với các hướng nghiên cứu mà tổ chức đã xác định
Nhân lực
- Mức độ phù hợp của cơ cấu bố trí nhân lực với quá trình thực hiện chức năng và nhiệm vụ của tổ chức (số lượng cán bộ có đủ để đảm bảo hoàn thành chức năng, nhiệm vụ riêng của tổ chức?)
- Khả năng thu hút được cán bộ nghiên cứu trình độ cao ở bên ngoài hợp tác và làm việc cho tổ chức
- Mức độ nỗ lực vì sự phát triển nguồn nhân lực (sự tăng trưởng số lượng cán bộ ở các trình độ)
Tài chính
- Khả năng thu hút/mức độ tăng trưởng các hạng mục đầu tư từ ngân sách nhà nước
- Khả năng thu hút/mức độ tăng trưởng các hạng mục đầu tư ngoài ngân sách nhà nước
Cơ sở vật chất và điều kiện làm việc
- Mức độ đáp ứng về cơ sở hạ tầng cơ bản (sự đáp ứng về phòng làm việc, máy tính, internet theo tính chất của các hoạt động của viện, ...) - Mức độ đáp ứng của phòng thí nghiệm (căn cứ vào số lượng trang
thiết bị, kinh phí bảo trì so với yêu cầu của viện)
- Mức độ hiện đại/tiến tiến của trang thiết bị khoa học kỹ thuật phục vụ nghiên cứu
- Mức độ tiếp cận được các trang thiết bị nghiên cứu hiện đại (thông qua việc hợp tác với các tổ chức nghiên cứu và phát triển khác trong nước và nước ngoài)
56 - Mức độ đáp ứng, điều kiện truy cập/truy cứu thông tin, tài liệu và các
điều kiện phục vụ nghiên cứu khác (căn cứ vào kết quả kiểm tra, đánh giá hiện trường)
Tiêu chí 3: Xem xét thành tựu và kết quả (trong 5 năm lại đây):
Sự gắn kết với mục tiêu
- Mức độ phù hợp giữa các kết quả đạt được ứng với lĩnh vực hoạt động chủ yếu mà viện đã xác định
- Mức độ phù hợp giữa các kết quả đạt được ứng với loại hình nghiên cứu chủ yếu mà viện đã xác định
- Mức độ hoàn thành mục tiêu về loại kết quả chủ yếu mà tổ chức luôn muốn đạt được
- Mức độ đáp ứng của kết quả đối với đối tượng sử dụng mà tổ chức muốn hướng tới
- Mức độ tương xứng của các kết quả ứng với các hướng nghiên cứu
Đóng góp cho sự phát triển lĩnh vực KH&CN liên quan
- Sự thỏa đáng về số lượng các công bố khoa học trên các tạp chí quốc tế - Sự thỏa đáng về số lượng các công bố khoa học trên các tạp chí trong
nước
- Sự thỏa đáng về số lượng các báo cáo tại các hội nghị quốc tế và hội nghị lớn ở trong nước
- Tình trạng và sự thỏa đáng của chính sách của viện đối với các công trình công bố
- Sự thỏa đáng về số lượng sách và chương sách được xuất bản
- Sự thỏa đáng về số lượng các luận án tiến sỹ và luận văn thạc sỹ đang được thực hiện và đã được bảo vệ
- Sự thỏa đáng của các sáng chế và giải pháp hữu ích
- Khả năng của viện trong việc thiết lập các hợp đồng chuyển giao công nghệ và cung cấp dịch vụ
57 - Sự thỏa đáng của việc hỗ trợ của viện đối với việc ươm tạo và thành lập
các spin-off từ kết quả nghiên cứu
- Sự thỏa đáng về việc tổ chức đào tạo, tập huấn nghiệp vụ - Sự thỏa đáng về các sản phẩm riêng biệt
- Sự thỏa đáng về số lượng các giải thưởng KH&CN