- Nội dung khảo sát: được thể hiện trong bảng câu hỏi (xem Phụ lục). Trong
đó bao gồm hai phần:
Phần 1. Thông tin về người được khảo sát: những thông tin cá nhân về đối tượng khảo sát như tuổi, giới tính, trình độ, khu vực cơng tác, loại hình nhiệm vụ chính, lĩnh vực nghiên cứu…
Phần 2. Nội dung khảo sát: Những khó khăn và những nhu cầu của cán bộ nghiên cứu khoa học với quy trình quản lý nghiên cứu khoa học và quản lý kinh phí.
- Phương pháp và thời gian khảo sát: sử dụng khảo sát gián tiếp bằng bảng
câu hỏi được gửi qua email và khảo sát trực tuyến.
Khảo sát qua email: tác giả soạn thảo, hoàn thiện bảng câu hỏi và gửi cho các cán bộ nghiên cứu khoa học. Kết hợp với điện thoại đề nghị trả lời khảo sát, điện thoại nhắc lại, và điện thoại cảm ơn. Trong thời gian 9 ngày từ ngày 14-22/12/2015, tác giả nhận được phản hồi của 29 người qua email, 01 phản hồi gửi bản giấy. Trong thời gian này, nhận thấy có một số bất tiện cho người được khảo sát trong việc trả lời và trong thu thập kết quả, tác giả tìm hiểu và sử dụng phương pháp khảo sát trực tuyến, phương pháp khảo sát này phù hợp với đối tượng là cán bộ nghiên cứu khoa học.
Khảo sát trực tuyến thông qua Google Docs: ưu điểm của khảo sát trực tuyến là tạo thuận lợi cho người được khảo sát khi trả lời câu hỏi mà không làm mất nhiều thời gian như cách khảo sát qua email (người được khảo sát tải file về máy lưu lại, trả lời câu hỏi, gửi file trả lời bằng email). Ưu điểm nữa mà tác giả chọn khảo sát trực tuyến là kết quả tổng hợp khảo sát có thể được xem và tải về dưới dạng bảng tính (micrsoft excel) để xử lý, khơng mất thời gian nhập liệu và tránh được các sai
sót khi nhập liệu. Trong thời gian từ 17/12/2015 đến 04/01/2016, sau khi gửi liên kết khảo sát trực tuyến qua địa chỉ mail và điện thoại cho đối tượng nghiên cứu, tác giả nhận 93 phản hồi trực tuyến của các cán bộ nghiên cứu khoa học.
Tổng số cán bộ đã được gửi khảo sát bằng email và khảo sát trực tuyến là 200 người. Tổng số lượt trả lời của hai hình thức khảo sát là 123 lượt.
- Phương pháp xử lý và phân tích số liệu điều tra:
Xử lý số liệu điều tra: việc xử lý số liệu điều tra được thực hiện như sau:
+ Chuẩn bị dữ liệu: dữ liệu thu về trước khi nhập liệu, được mã hố, sau đó thiết kế định dạng nhập dữ liệu và nhập trực tiếp vào phần mềm máy tính.
+ Làm sạch dữ liệu: dữ liệu do chính tác giả thu thập, việc kiểm tra dữ liệu được thực hiện để kiểm tra tính chính xác của dữ liệu (về con số, logic của câu trả lời). Dữ liệu sau khi kiểm tra, được hiệu chỉnh (những câu trả lời không đầy đủ, những câu trả lời khơng thích hợp,.. được quay lại người trả lời để làm sáng tỏ, suy luận từ những câu trả lời khác, hoặc loại bỏ phiếu điều tra). Trong 29 phiếu trả lời qua mail, có 5 phiếu trả lời thiếu câu hỏi về giới tính (tác giả bổ sung giới tính do chính tác giả lập danh sách từ các lý lịch khoa học của cán bộ tham gia thực hiện đề tài. Có 01 phiếu trả lời bằng bản giấy khơng trả lời đầy đủ nhiều câu hỏi, phiếu trả lời không phù hợp bị loại bỏ. Trong 93 trả lời trực tuyến có 02 trả lời của 02 người bị trùng (TS Cao Minh Đệ và BS Tăng Kim Sơn trả lời hai lần), loại bỏ 02 lượt trùng.
Do đó, tổng số người đã trả lời được ghi nhận để phân tích trong nghiên cứu này là 123 – 03 = 120. Do 120 > 87, nên đảm bảo cỡ mẫu cần thiết cho nghiên cứu.
Xử lý dữ liệu: sử dụng phần mềm microsoft excel, SPSS 22 để tổng hợp, xử
lý số liệu.
Mô tả và phân tích dữ liệu: kết quả tại Chương 5 – Kết quả nghiên cứu.
3.2.2 Nghiên cứu tài liệu
Nghiên cứu hồ sơ, tài liệu liên quan đến KH&CN, các ĐTDA, các báo cáo ngành KH&CN, các số liệu thống kê để thu thập số liệu thứ cấp, ghi nhận và tổng hợp số liệu để tính tốn, phân tích.
3.3 Áp dụng mơ hình CIPP vào đánh giá cơng tác quản lý nghiên cứu khoa học
Nghiên cứu sử dụng phân tích theo mơ hình CIPP của Daniel Stufflebeam để đánh giá công tác quản lý NCKH tại thành phố Cần Thơ. Áp dụng phương pháp đánh giá tổng kết (hồi cứu) với bốn giai đoạn đánh giá gồm: đánh giá bối cảnh, đánh giá đầu vào, đánh giá quá trình và đánh giá kết quả.
Các nội dung đánh giá công tác quản lý NCKH tại thành phố Cần Thơ, giai đoạn từ 2011-2015 qua bốn bước sau:
- Đánh giá bối cảnh: Phân tích các mục tiêu, các ưu tiên trong lĩnh vực KH&CN tại thành phố Cần Thơ về Chương trình nghiên cứu và triển khai ứng dụng
các công nghệ trọng điểm và Chương trình nghiên cứu ứng dụng khoa học công nghệ vào sản xuất, đời sống, xã hội, mơi trường và an ninh quốc phịng.
- Đánh giá đầu vào: Phân tích, đánh giá kế hoạch để thực hiện mục tiêu dựa trên số lượng đề xuất nhiệm vụ và số lượng nhiệm vụ được xác định (phê duyệt) hàng năm.
- Đánh giá q trình: Phân tích, đánh giá việc thực hiện kế hoạch hàng năm thông qua số lượng hồ sơ nộp đề xuất thực hiện nhiệm vụ và số lượng nhiệm vụ (ĐTDA) được triển khai thực hiện hàng năm. Từ đó, tính tốn và phân tích, đánh giá 4 chỉ tiêu liên quan: tỷ lệ giải ngân, tỉ lệ thanh tốn, tỷ lệ nghiệm thu khơng gia hạn, tỉ lệ xếp loại nghiệm thu.
- Đánh giá sản phẩm: Đánh giá việc hoàn thành và chưa hoàn thành của giai đoạn 2011-2015 (so với các mục tiêu).
Nội dung và phương pháp thực hiện mơ hình đánh giá có thể tóm tắt theo bảng 3.1
Bảng 3.1: Tóm tắt nội dung và phương pháp đánh giá theo mơ hình CIPP
Chỉ tiêu Bối cảnh Đầu vào Quá trình Sản phẩm
Nội dung
Phân tích, đánh giá các mục tiêu, các ưu tiên trong phát triển ngành khoa học học Phân tích, đánh giá kế hoạch thực hiện mục tiêu. Phân tích, đánh giá việc thực hiện kế hoạch. Đánh giá các mục tiêu đã đạt được và chưa đạt được.
Chỉ tiêu Bối cảnh Đầu vào Q trình Sản phẩm và cơng nghệ của thành phố giai đoạn 2011-2015. Phương pháp
Nghiên cứu, phân tích văn bản, tài liệu về chủ trương, chính sách của Trung ương và địa phương đối với khoa học và công nghệ của thành phố Cần Thơ (Chương trình KH&CN)
Phân tích văn bản, tài liệu liên quan đến kế hoạch thực hiện (đề xuất nhiệm vụ, phê duyệt nhiệm vụ KH&CN). Tính tốn một số chỉ tiêu cụ thể dựa trên số liệu thứ cấp (tỷ lệ giải ngân, tỷ lệ thanh tốn, tỷ lệ nghiêm thu khơng gia hạn, tỷ lệ xếp loại nghiệm thu). So sánh kết quả đạt được với mục tiêu. 3.4 Phương pháp phân tích
3.4.1 Đối với phân tích nhu cầu của cán bộ nghiên cứu khoa học
3.4.1.1 So sánh trung bình nhóm
Dữ liệu thu thập sau khảo sát được phân tích tổng qt để tìm hiểu về các khó khăn của cán bộ NCKH đối với quy trình quản lý NCKH và quản lý kinh phí. Từ các khó khăn thực tế được đưa ra, tác giả phân tích tiếp theo các nhu cầu (trong đề tài này được hiểu là các mong muốn) của cán bộ NCKH đối với hai quy trình này. Nội dung phân tích khó khăn và nhu cầu dựa trên tất cả các biến định tính đã khảo sát như tuổi, giới tính, trình độ chun mơn, khu vực cơng tác, loại hình nhiệm vụ chính, lĩnh vực nghiên cứu chính của cán bộ NCKH. Ngồi ra, để làm rõ hơn về các nhu cầu của cán bộ NCKH (mục tiêu của đề tài), tác giả chọn đại diện ba chỉ tiêu tuổi, trình độ chun mơn, lĩnh vực nghiên cứu chính để phân tích sâu hơn thơng qua phương pháp so sánh trung bình nhóm. Nghĩa làl so sánh trung bình nhu cầu của cán bộ NCKH theo tuổi, trình độ, lĩnh vực nghiên cứu để xem xét có sự khác biệt hay khơng. Đối với các chỉ tiêu cịn lại, việc phân tích hồn tồn tương tự và do nội dung phân tích q nhiều nên tác giả khơng trình bày trong đề tài.
Trình độ: giữa nhóm tiến sĩ và nhóm cịn lại gồm thạc sĩ, đại học, trình độ khác.
Lĩnh vực nghiên cứu chính: giữa hai nhóm khoa học xã hội và nhân văn và nhóm các lĩnh vực cịn lại: khoa học tự nhiên, khoa học kỹ thuật và công nghệ, khoa học y dược, khoa học nông nghiệp.
Sử dụng kiểm định t (Independent Samples T-test) để so sánh trung bình giữa hai nhóm theo tuổi, trình độ, lĩnh vực nghiên cứu chính.
Kiểm định t (T-test) trung bình của hai mẫu độc lập được sử dụng khi muốn so sánh giá trị trung bình một biến phụ thuộc liên tục có phân phối chuẩn theo hai nhóm giá trị của một biến độc lập có bằng nhau hay khơng.
Với cơng thức tính:
Trong đó và là số trung bình của hai nhóm mẫu, và SED là độ lệch chuẩn của ( - ).
Trong kiểm định Independent-samples T-test, ta cần dựa vào kết quả kiểm định sự bằng nhau của 2 phương sai tổng thể (kiểm định Levene). Phương sai diễn tả mức độ đồng đều hoặc không đồng đều (độ phân tán) của dữ liệu quan sát.
Nếu giá trị Sig. trong kiểm định Levene (kiểm định F) < 0.05 thì phương sai của 2 tổng thể khác nhau, ta sử dụng kết quả kiểm định t ở dòng Equal variances not assumed.
Nếu Sig. trong kiểm định Levene (kiểm định F) ≥ 0.05 thì phương sai của 2 tổng thể không khác nhau, ta sử dụng kết quả kiểm định t ở dòng Equal variances assumed.
Nếu Sig. của kiểm định t ≤ α (mức ý nghĩa) có sự phác biệt có ý nghĩa về trung bình của 2 tổng thể.
Nếu Sig. của kiểm định t > α (mức ý nghĩa) khơng có sự khác biệt có ý
3.4.1.2 Phân loại quy trình
- Thang đo quy trình quản lý nghiên cứu khoa học
Đối với các khó khăn của cán bộ nghiên cứu khoa học trong quy trình quản
lý, thang đo theo 3 mức: khơng đồng ý, bình thường, đồng ý cho các nội dung: Giai đoạn xét duyệt, tuyển chọn quá khó. Thủ tục tuyển chọn, xét chọn phức tạp. Thủ tục thẩm định nội dung, kinh phí kéo dài. Hợp đồng thực hiện ràng buộc quá chi tiết về thời gian và kinh phí. Thủ tục nghiệm thu đề tài phức tạp. Thiếu kinh phí hỗ trợ ứng dụng sau nghiệm thu. Các thủ tục công bố công khai chưa thuận tiện cho việc đăng ký tham gia. Thanh toán/quyết toán kinh phí là giai đoạn gây áp lực nhất cho cán bộ nghiên cứu khoa học. (Trên thực tế, khi khảo sát, thang đo là 5 mức: rất không đồng ý, khơng đồng ý, bình thường, đồng ý, rất đồng ý. Tuy nhiên, khi thu thập kết quả, phân tích với thang đo 5 mức có số liệu nhỏ với mỗi mức khó đánh giá, tác giả phân tích số liệu theo thang đo 3 mức để phân tích rõ hơn mà khơng làm thay đổi nội dung và ý nghĩa).
Đối với các nhu cầu của cán bộ nghiên cứu khoa học trong quy trình quản
lý, thang đo theo 3 mức: chưa cấp thiết, cấp thiết, rất cấp thiết cho các nội dung: Giảm bớt khó khăn trong xét chọn, tuyển chọn. Đơn giản thủ tục xét chọn, tuyển chọn. Rút ngắn thời gian thẩm định nội dung, kinh phí. Chủ động điều chỉnh thời gian thực hiện và nội dung kinh phí cho phù hợp thực tế trong phạm vi được duyệt. Đơn giản, giảm thủ tục nghiệm thu. Hỗ trợ kinh phí ứng dụng sau nghiệm thu. Tập huấn các quy trình thực hiện từ đề xuất đến nghiệm thu, công bố kết quả nghiên cứu. Khuyến khích, động viên các nghiên cứu xuất sắc.
- Thang đo quy trình quản lý tài chính
Đối với các khó khăn của cán bộ nghiên cứu khoa học trong quy trình quản
lý tài chính, thang đo theo 3 mức: khơng đồng ý, bình thường, đồng ý cho các nội dung: Dự tốn kinh phí bị cắt giảm nhiều so với nội dung đề xuất ban đầu. Mức chi cho nghiên cứu thấp không đáp ứng thực tế. Chưa áp dụng khốn chi khơng khuyến khích ban chủ nhiệm. Thủ tục mua sắm vật tư hóa chất cịn phức tạp (đấu thầu mua sắm). Ràng buộc tỷ lệ thanh tốn cao gây thiếu kinh phí thực hiện nghiên cứu. Thủ
tục thanh quyết toán phức tạp (hoá đơn, chứng từ chứng minh…). Tương tự với phân tích các khó khăn đối với quy trình uản lý NCKH, trên thực tế, khi khảo sát, thang đo là 5 mức: rất khơng đồng ý, khơng đồng ý, bình thường, đồng ý, rất đồng ý. Tuy nhiên, khi thu thập kết quả, phân tích với thang đo 5 mức có số liệu nhỏ với mỗi mức khó đánh giá, tác giả phân tích số liệu theo thang đo 3 mức để phân tích rõ hơn mà khơng làm thay đổi nội dung và ý nghĩa.
Đối với các nhu cầu của cán bộ nghiên cứu khoa học trong quy trình quản
lý, thang đo theo 3 mức: chưa cấp thiết, cấp thiết, rất cấp thiết cho các nội dung: Hạn chế cắt giảm kinh phí trong nội dung đề xuất ban đầu. Áp dụng định mức chi cao hơn cho nghiên cứu. Áp dụng khoán chi cho một số nội dung. Đơn giản thủ tục mua sắm cho nghiên cứu. Chuyển kinh phí theo nhu cầu, kế hoạch nghiên cứu. Đơn giản thủ tục, chứng từ thanh toán. Hướng dẫn/tập huấn cụ thể quy định, quy trình thanh tốn.
3.4.2 Đánh giá cơng tác quản lý nghiên cứu khoa học
Sử dụng mơ hình CIPP để phân tích, đánh giá. Trong đánh giá quá trình, dùng phương pháp thống kê tỷ lệ theo thời gian và phỏng vấn chuyên gia để phân tích, đánh giá theo các tỷ lệ tính tốn được.
3.4.2.1 Thống kê tỷ lệ theo thời gian
Thống kê các chỉ tiêu đánh giá, bao gồm:
- Tỷ lệ giải ngân: Số kinh phí ngân sách cấp phát cho các ĐTDA trong năm/Kế hoạch kinh phí cho hoạt động nghiên cứu khoa học trong năm.
- Tỷ lệ thanh toán: Số kinh phí ngân sách các ĐTDA thanh toán trong
năm/Tổng số kinh phí đã cấp phát cho các ĐTDA trong năm.
- Tỷ lệ nghiệm thu không gia hạn: Số ĐTDA nghiệm thu không gia hạn trong
năm/tổng số ĐTDA nghiệm thu trong năm.
- Tỷ lệ xếp loại nghiệm thu: Số ĐTDA nghiệm thu được xếp loại mỗi mức/Tổng số ĐTDA nghiệm thu trong năm.
3.4.2.2 Phỏng vấn chuyên gia
Để đánh giá công tác quản lý theo các tỷ lệ thống kê theo thời gian tính tốn được, tham khảo ý kiến chuyên gia để chọn ra mức độ đánh giá tương ứng.
Tác giả tham khảo ý kiến của 9 chuyên gia (phụ lục – danh sách chuyên gia) trong lĩnh vực quản lý và nghiên cứu khoa học để đánh giá các mức độ dựa trên các tỷ lệ tính tốn được. Các chun gia có kinh nghiệm trong cơng tác quản lý đồng thời đã và đang là những cán bộ NCKH, am hiểu về vấn đề được phỏng vấn.
Nội dung phỏng vấn chuyên gia (phụ lục – nội dung phỏng vấn chuyên gia) là ý kiến của họ về các tỷ lệ phù hợp với mức độ đánh giá cho các nội dung: tỷ lệ giải ngân, tỷ lệ thanh tốn, tỷ lệ nghiệm thu khơng gia hạn, tỷ lệ xếp loại nghiệm thu. Phương án được đa số chọn là phương án dùng để đánh giá. Tổng hợp mức độ đánh giá các chỉ tiêu tương ứng với các tỷ lệ được tóm tắt trong bảng 3.2.
Bảng 3.2 Mức độ đánh giá các chỉ tiêu
STT Nội dung Mức độ đánh giá
Cao Trung bình Thấp 1 Tỷ lệ giải ngân Trên 65% Từ 40-65% Dưới 40% 2 Tỷ lệ thanh toán Trên 60% Từ 40-60% Dưới 40% 3 Tỷ lệ nghiệm thu không gia
hạn
Trên 40% Từ 30-40% Dưới 30%
4 Tỷ lệ xếp loại nghiệm thu (xuất sắc và khá)
Trên 50% Từ 40-50% Dưới 40%
Kết luận chương 3
Chương 3 trình bày chi tiết các phương pháp nghiên cứu của đề tài. Phương pháp chính để thu thập và đánh giá nhu cầu của cán bộ NCKH là điều tra khảo sát ý