Đánh giá định lượng kết quả nghiên cứu khoa học

Đánh giá định lượng kết nghiên cứu khoa học Hồ Tú Bảo Trường Khoa học Tri thức Viện Khoa học Công nghệ Tiên tiến Nhật Bản Giới thiệu Các hoạt động liên quan đến khoa học công nghệ gồm nghiên cứu, ứng dụng sản xuất, hoạt động nghiên cứu thường chia ba loại hình: nghiên cứu bản, nghiên cứu ứng dụng nghiên cứu phát triển Nghiên cứu nhằm tìm tri thức khoa học tảng thiên nhiên xã hội, việc chứng minh ức đoán Poincaré toán học hay việc xác định gien gây bệnh tật Nghiên cứu ứng dụng nhằm tìm tri thức khoa học cần cho nhu cầu thực tế cách làm nước vùng nước mặn hay cách chẩn đoán cấp độ bệnh viêm gan dựa xét nghiệm máu không làm sinh thiết Nghiên cứu phát triển nhằm tìm tri thức để làm sản phẩm cụ thể, việc làm hệ nhận dạng chữ Việt VnOCR hay việc hãng Microsoft nghiên cứu làm hệ điều hành máy tính Windows Kết chủ yếu nghiên cứu nghiên cứu ứng dụng ấn phẩm khoa học (chủ yếu báo, sách chuyên khảo, báo cáo kỹ thuật, …) sáng chế phát minh, kết chủ yếu nghiên cứu phát triển tri thức không công bố, tiềm ẩn sản phẩm có giá trị sử dụng Ở nước công nghiệp tiên tiến, nghiên cứu phát triển thường chiếm tỷ lệ khoảng hai phần ba toàn hoạt động kinh phí nghiên cứu, loại hình nghiên cứu chủ yếu doanh nghiệp thường có tỷ lệ cao viện nghiên cứu Trong nghiên cứu nghiên cứu ứng dụng loại hình chủ yếu đại học có tỷ lệ cao viện nghiên cứu [5] Nghiên cứu phát triển ta có tỷ lệ thấp phần lớn doanh nghiệp chưa đầu tư cho nghiên cứu khoa học công nghệ, sâu xa ta chưa có công nghiệp chế tạo Bài viết trao đổi việc đánh giá định lượng kết nghiên cứu khoa học công nghệ vấn đề gần đề cập nhiều, nước Kết nghiên cứu ứng dụng cá nhân, đại học hay viện nghiên cứu, … đánh giá số lượng ấn phẩm chất lượng chúng Số lượng ấn phẩm khoa học đếm dễ, đánh giá chất lượng chúng lại không đơn giản Có hai phương pháp làm việc này, đánh giá chủ quan qua hệ thống bình duyệt người (peer review), hai đánh giá khách quan dựa độ đo tính toán tự động Đánh giá chủ quan hệ thống bình duyệt người, gọi đánh giá định tính, cho phân tích sâu xác đáng tốn tiền bạc, cần nhiều thời gian, phụ thuộc nhiều vào chủ quan hiểu biết người đánh giá Đánh giá khách quan, gọi đánh giá định lượng, dựa độ đo (metrics) xác định từ nguồn liệu khoa học, thực tự động nên nhanh rẻ, cung cấp thông tin hữu ích, dễ bị hiểu chưa xác giải thích chưa thích hợp Ba độ đo đánh giá định lượng dùng phổ biến gồm số trích dẫn (citation index) cho ấn phẩm khoa học, hệ số ảnh hưởng (impact factor) cho tạp chí, gần số H (h-index) cho nhà khoa học Cần ý gần độ đo tính tự động tiến công nghệ thông tin, đặc biệt Web Thêm nữa, hệ số ảnh hưởng số H định nghĩa dựa số trích dẫn (citation-based metrics), mang theo hay dở số trích dẫn Việc hiểu rõ điểm hay hạn chế độ đo định lượng bàn luận nhiều báo chí khoa học quốc tế, quan tâm giới khoa học nhiều nước Hiện nhiều tổ chức quốc gia có xu hướng dùng phương pháp đánh giá định lượng, khách quan để bổ sung cách thông dụng thay cho đánh giá định tính, chủ quan Bài báo giới thiệu ba độ đo tiêu biểu kể trên, cung cấp thông tin chọn lọc quan trọng để hiểu chúng, nhấn mạnh đặc điểm cần ý nêu số ý kiến bàn luận Về độ đo 2.1 Chỉ số trích dẫn Chỉ số trích dẫn (citation index) ấn phẩm, Eugene Garfield đề xuất năm 1955, số lần ấn phẩm trích dẫn, tham khảo tất ấn phẩm khác [7] Từ đến nay, số trích dẫn dùng làm độ đo quan trọng để đánh giá công trình nghiên cứu, sở để định nghĩa độ đo khác cho tạp chí nhà khoa học Câu hỏi làm ta ngạc nhiên số đơn giản lại dùng rộng rãi để đo chất lượng giá trị công trình khoa học? Có thể nói số trích dẫn “tin dùng” dựa giả định thừa nhận rộng rãi, nhà khoa học có ảnh hưởng hơn, công trình quan trọng có giá trị sử dụng thường trích dẫn nhiều Nói nôm na, số trích dẫn đo mức độ “hữu xạ tự nhiên hương” ấn phẩm Đặc điểm đáng ý số trích dẫn có ý nghĩa so sánh ngành khoa học Số trích dẫn trung bình báo Điều biết khảo sát định lượng qua thống kê Toán học tin học số lần trích dẫn trung bình Khoa học xã hội báo ngành Khoa học vật liệu khoa học Theo [1], Sinh học Khoa học môi trường báo ngành khoa học Khoa học trái đất sống (life sciences, Hóa học sinh học phân tử tế bào, y Vật lý sinh học) có trung bình Dược liệu khoảng trích dẫn, vật Y học lâm sàng Khoa học não lý hóa học khoảng trích Khoa học sống dẫn, toán học, tin học khoa học xã hội khoảng trích dẫn (hình vẽ) Theo Số trích dẫn số liệu thống kê −để có định ý giả sử số trích dẫn ngành tăng cách tuyến tính− chừng mực xem báo ngành toán có trích dẫn mười lần trích dẫn nhiều ngành ngành vật lý trích dẫn khoảng ba chục lần hay ngành khoa học sống trích dẫn khoảng sáu chục lần Có nhiều lý dẫn đến khác biệt lớn ngành số trích dẫn ấn phẩm khoa học, mà chủ yếu khác biệt “văn hóa ngành” Văn hóa phụ thuộc vào chất khoa học, cách làm cách công bố nghiên cứu Trong cần nghiên cứu nghiêm túc khác biệt số trích dẫn trung bình ngành, người viết nêu ý kiến riêng cho người đọc nên thử tự lý giải điều Các nghiên cứu thực ý tưởng trừu tượng, lập luận tính toán toán học, vật lý lý thuyết tin học, thường liên quan, “dựa” vào nghiên cứu khác lĩnh vực Các nghiên cứu chủ yếu thực nghiệm, thường cần nhiều liên hệ so sánh với nghiên cứu lĩnh vực phương pháp kết quả, khẳng định tính mẻ kết để thuyết phục cần đưa nhiều trích dẫn (chứng cớ) Đặc điểm quan trọng thứ hai cần biết rõ số trích dẫn tính từ nguồn khác thường khác có sai số Sau nêu khái niệm số trích dẫn, Garfild xây dựng Viện Khoa học Thông tin ISI (Institute for Scientific Information)−gần sát nhập vào tập đoàn Thomson Reuters− thiết lập sở liệu ISI, tiêu biểu là:  Cơ sở liệu Chỉ số Trích dẫn Khoa học SCI (Science Citation Index), từ 1964, có 3773 tạp chí 100 ngành sở liệu SCIE (SCI mở rộng, Science Citation Inex Expanded) với 8207 tạp chí 150 ngành;  Cơ sở liệu Chỉ số Trích dẫn Khoa học Xã hội SSCI (Social Sciences Citation Index), từ 1973, có 2697 tạp chí 3500 công trình 50 ngành;  Cơ sở liệu Chỉ số Trích dẫn Nghệ thuật Nhân văn A&HCI (Arts & Humanities Citation Inde), từ 1978, có 1470 tạp chí 6000 công trình khác Ngoài ra, cần kể đến sở liệu Chỉ số Trích dẫn Tuyển tập Hội nghị CPCI (Conference Proceedings Citation Index) chứa thông tin 110,000 tuyển tập hội nghị kể từ năm 1990 256 ngành thuộc khoa học tự nhiên khoa học xã hội nhân văn (chú ý uy tín tạp chí ISI hội nghị ISI khác đáng kể) Các sở liệu ISI tuyển chọn tạp chí ảnh hưởng ngành Từ 1997, bảy sở liệu ISI chuyển lên mạng tên Web of Science (http://isiwebofknowledge.com) Quãng mười năm trở lại đây, Web cho đời 100 sở liệu công cụ cho phép tìm kiếm số trích dẫn, arXiv, CiteSeer, ScienceDirect, SciFinder Scholar, PubMed, … Trong số này, Scopus Elsevier (http://info.scopus.com, từ 2004) Google Scholar Google (http://scholar.google.com, từ 2005) với Web of Science ba hệ phổ biến [3] Scopus chứa thông tin 16.500 tạp chí, 600 ấn phẩm nghề nghiệp, 350 loạt sách chuyên khảo, khoảng 3,6 triệu báo từ hội nghị Google Scholar chứa thông tin hầu hết tạp chí có thẩm định nhà xuất lớn châu Mỹ châu Âu, báo cáo kỹ thuật, luận văn, sách nhiều loại tài liệu khác (Google Scholar không công bố danh sách tạp chí mình) Cần lưu ý số trích dẫn ấn phẩm khoa học tính từ nguồn kể thường khác chúng có số lượng tạp chí, kỷ yếu hội nghị, … khác Một thí dụ sách Quantum Computation and Quantum Information M Nielsen I Chuang (xuất năm 2000, Cambridge University Press) Tính đến năm 2007, từ Web of Science sách trính dẫn 2800 lần, từ Scopus số trích dẫn 3150, từ Google Scholar có 4300 trích dẫn [14] Một khảo sát khác phân tích số ảnh hưởng 328 báo từ ba tạp chí y học hàng đầu thời gian tháng mười năm trước [11] Các tác giả số lượng trích dẫn báo từ ba nguồn kể khác nhau: từ Web of Science có 68.088 trích dẫn, từ Scopus có 82.076 trích dẫn từ Google Scholar có 83.538 trích dẫn (gấp 1.226 lần so với Web of Science) Các công cụ tìm kiếm (search engine) thường cho kết số trích dẫn báo sở liệu cố định tên báo thường xác định, không cho kết với độ đo liên quan tới tác giả cụ thể tổng số trích dẫn số ấn phẩm tác giả có trích dẫn nhiều ngưỡng (như số H), nhiều tác giả có tên trùng giống viết tắt Có hai độ đo chất lượng công cụ tìm kiếm độ xác (precision) khả tìm hết (recall) Độ xác tỷ lệ số tài liệu tìm tìm số tài liệu tìm được, khả tìm hết tỷ lệ số tài liệu tìm tìm toàn số tài liệu cần tìm Các công cụ tìm kiếm cho kết hai độ đo chưa cao Trong việc tính hệ số trích dẫn, độ xác thấp chủ yếu hệ tìm kiếm tự động chưa phân biệt tác giả có tên trùng hay giống nhau, khả tìm hết hệ thấp chủ yếu sở liệu tất ấn phẩm có trích dẫn đến báo xem xét Độ xác tìm số trích dẫn tác giả có tên phổ biến nói chung thấp tác giả có tên gặp Thí dụ tìm Google Scholar tổng số trích dẫn tác giả Nguyễn Anh Tuấn, ta gõ tên “Nguyen Anh Tuan” hệ tìm 100 báo có trích dẫn Thường tất 100 Nguyễn Anh Tuấn Giả sử số 100 đích thực có 60 số tất 80 có trích dẫn Nguyễn Anh Tuấn, số 40 lại có tác giả Nguyễn Ánh Tuấn, 35 tác giả Nguyễn Anh Tuân Khi này, độ xác trích dẫn Nguyễn Anh Tuấn hệ tìm 60/100 = 0.6 khả tìm hết 60/80 = 0.75 Khi tìm Google Scholar chẳng hạn cho tác giả Khuất Phương Trưởng (Khuat Phuong Truong), độ xác thường cao 2.2 Hệ số ảnh hưởng tạp chí Hệ số ảnh hưởng (impact factor, viết tắt IF) tạp chí định nghĩa, thừa nhận dùng rộng rãi lâu Hệ số tạp chí thay đổi theo năm, hệ số ảnh hưởng tạp chí T năm N tính tỷ số A/B, A tổng số lần trích dẫn, tính tất ấn phẩm năm N, đến đăng T hai năm liên tiếp trước N, B tổng số đăng T hai năm Nếu hai năm 2007 2008 tạp chí T đăng tất 100 báo, có 250 lần số 100 T trích dẫn tất tạp chí, hội nghị, … năm 2009, hệ số ảnh hưởng T năm 2009 250/100 = 2,5 Tạp chí Physical Review Letters có IF năm 2009 7,180 có nghĩa trung bình báo tạp chí công bố năm 2007 2008 trích dẫn 7,180 lần năm 2009 Người ta thường nói hệ số ảnh hưởng tạp chí không nêu cụ thể năm Nhưng thực hệ số thay đổi nhiều theo thời gian, thí dụ tạp chí Bioinformatics có IF theo ISI 4,328 vào năm 2008, 4,894 năm 2007, 5,742 năm 2004, 6,701 năm 2003, 4,615 năm 2002, 3,421 năm 2001 Hệ số ảnh hưởng tạp chí dùng cho nhiều mục đích, cho biết uy tín phát triển tạp chí, nhà khoa học chọn tạp chí gửi bài, nhà quản lý dùng để đánh giá hiệu nghiên cứu nhà khoa học, sở để xét biên chế, giải thưởng, cấp duyệt kinh phí Hệ số ảnh hưởng tạp chí dùng để đánh giá khoa, trường viện nghiên cứu, đo hiệu khoa học quốc gia Điều cần biết rõ hệ số ảnh hưởng tạp chí khác ngành Chẳng hạn theo JCR (Journal Citation Reports) Web of Science, vào năm 2008 tạp chí ngành y có IF cao 74,575 (CA: A Cancer Journal for Clinicians Hội Ung thư Mỹ), IF thứ nhì 50,017 (The New England Journal of Medicine), … IF thứ 100 3,733 (Epilepsia, xếp thứ 739 toàn tạp chí JCR) Trong ngành toán lý thuyết, tạp chí có IF cao 3,806 (Communications on Pure and Applied Mathematics, xếp thứ 711 JCR), thứ nhì 3,5 (Bulletin of the American Mathematical Society, xếp thứ 851 JCR) , … thứ 100 0,584 (Monatshefte Fur Mathematik, xếp thứ 5248 JCR) Có khác biệt điều dễ hiểu, hệ số ảnh hưởng tạp chí tính dựa số trích dẫn báo tạp chí, phân tích phần trên, khác biệt “văn hóa ngành” tạo số trích dẫn khác Trong [2], tác giả khảo sát khác hệ số ảnh hưởng tạp chí theo thời gian giá trị IF trung bình tạp chí ngành Hình bên trích từ [2] cho thấy hệ số ảnh hưởng trung bình tạp chí ngành sinh học phân tử tế bào 4,763, y học 2,896, hóa học 2,61, vật lý 0,631 1,912, tin học toán Tin học 0,556 học tương ứng 0,631 Toán học 1,912 0,566 Một cách giải thích nôm Vật lý na chấp nhận chừng mực 2,610 Hóa học số là−giả sử IF tăng tuyến tính ngành− tạp chí có IF khoảng 9,5 3,252 ngành sinh học phân tử Khoa học não tế bào có ảnh hưởng 4,763 ngành quãng ảnh Sinh học phân tử & tế bào hưởng tạp chí có IF 2,896 ngành y (truyền thống), Y học tạp chí có IF ngành vật lý hay tạp chí có IF quãng 1,2 ngành toán Hệ số ảnh hưởng trung bình tạp chí ngành tin học Mặc dù dùng rộng rãi lâu nay, cách tính hệ số ảnh hưởng tạp chí có số hạn chế [6], [14], tiêu biểu là:  Hệ số ảnh hưởng tạp chí cho ta giá trị trung bình ảnh hưởng báo tạp chí Giá trị trung bình thường bị ảnh hưởng nhiều số có trích dẫn cao (như đánh giá tổng quan) nhiều có trích dẫn thấp Một nghiên cứu gần công thức tính hệ số ảnh hưởng IF, xếp theo thứ tự số trích dẫn, 15% báo đầu đóng góp 50% số trích dẫn, 50% đầu đóng góp 90% số trích dẫn, nhóm 50% đứng đầu có trích dẫn khoảng 10 lần nhóm 50% đứng cuối Rõ ràng, hệ số ảnh hưởng tạp chí không phản ánh xác ảnh hưởng cụ thể đăng tạp chí  Việc dùng trích dẫn thời gian năm sau công bố (citation window) để tính IF ngắn sớm số ngành, tức công thức chưa tính hệ số ảnh hưởng thật nhiều tạp chí (gần vài hệ thống JCR có đưa thêm vào hệ số ảnh hưởng tính thời gian năm, hệ số ảnh hưởng tạp chí số ngành tăng lên số ngành giảm rõ rệt)  Hệ số ảnh hưởng chưa tính đến tạp chí dùng không trích dẫn  Hệ số ảnh hưởng tạp chí biến động đáng kể từ năm qua năm khác, biến động nhiều tạp chí nhỏ (tuy hệ số ảnh hưởng hay nói đến giá trị không đổi) [2] Thí dụ tạp chí Bioinformatics kể có IF năm 2003 lớn gần gấp đôi IF năm 2001  Chỉ phần nhỏ tạp chí tham gia vào việc tính hệ số ảnh hưởng Có tất khoảng 100 nghìn tạp chí loại đời ấn phẩm tạp chí chúng phải trích dẫn, hệ sở liệu ISI, Scopus, … chứa khoảng 10-15 nghìn tạp chí hàng đầu ngành Thêm nữa, tạp chí không xuất tiếng Anh tạp chí ngành “thiểu số” khả nằm số này, việc tính số trích dẫn hệ số ảnh hưởng rõ ràng chưa toàn vẹn Chính Campbell, trưởng ban biên tập tạp chí danh giá Nature, cho nên quan tâm đến giá trị báo việc báo đăng đâu [6] 2.3 Chỉ số H Nếu số trích dẫn dùng để “đo” báo hệ số ảnh hưởng “đo” tạp chí, người ta muốn có độ đo cho người làm nghiên cứu Một cách dựa số lượng ấn phẩm chất lượng chúng qua số trích dẫn ảnh hưởng nơi chúng công bố Một độ đo số H (h-index) đề nghị nhà vật lý J.E Hirsch vào năm 2005 [9], định nghĩa sau: Một người có số H N xuất N báo có số trích dẫn N, lại có số trích dẫn nhiều N Nếu người công bố 40 báo, có nhiều 10 trích dẫn, có 10 trích dẫn 26 lại có 10 trích dẫn, số H người 10 Ưu điểm số H việc tính đến cân số lượng chất lượng công trình người làm nghiên cứu, tính toán đơn giản (như hệ QuadSearch dựa Google Scholar dễ dùng http://delab.csd.auth.gr/~lakritid/index.php?lan=1&s=2) Với ưu điểm này, số H nhanh chóng dùng phổ biến Tuy nhiên, có đặc điểm số H cần nhận biết rõ  Chỉ số H dựa số trích dẫn, chịu ảnh hưởng toàn hạn chế số trích dẫn nêu phần Trước hết khác biệt số trích dẫn ngành, số H có ý nghĩa với người thuộc ngành so sánh người khác ngành cần ý đến khác biệt Thêm cần ý tính tự động số H, độ xác khả tìm hết thường không cao Do trùng tên họ người châu Á phổ biến, số H tính (nếu không kiểm chứng kỹ) thường cao giá trị thật  Chỉ số H đánh giá thành nhà khoa học không phân biệt đóng góp khác tác giả công trình Đây chuyện không đơn giản Trong [16], tác giả phân bốn cách viết thứ tự tên tác giả ấn phẩm khoa học: Một theo thứ tự đóng góp tác giả xác định (quencedetermined credit); Hai theo thứ tự chữ tên tác giả xem đóng góp người (equal contribution norm); Ba theo thứ tự “đầu-cuối” với nhấn mạnh tác giả đầu (thường nghiên cứu sinh) cuối (thường thầy cô hướng dẫn hay người phụ trách đề tài) quan trọng nhất, người theo đóng góp; Bốn theo thứ tự đóng góp tác giả xác định cách định lượng, (percent contribution indicated) Cách tính số H không phân biệt đóng góp tác giả, đặc biệt ngành có nhiều tác giả ấn phẩm  Chỉ số H không đánh giá tác giả có số công trình ảnh hưởng lớn, điều thường có với nhà khoa học trẻ xuất sắc, chẳng hạn giáo sư Ngô Bảo Châu có số H  Chỉ số H không phân biệt trích dẫn phê bình Trong [13], Lawani tóm tắt sáu lý trích dẫn báo: (a) Ghi nhận công trạng tác giả, (b) Thể kính trọng tác giả, (c) Nói phương pháp liên quan, (d) Cung cấp thông tin có ích, (e) Trích dẫn để phê phán, (f) Trích dẫn để làm sở cho báo Như trích dẫn lý (e) không tăng mà giảm giá trị báo, tính thêm vào thành tích tác giả tính số H Có cố gắng để khắc phục hạn chế kể số H, số G (g-index) đề xuất năm 2006 Leo Egghe Giả sử ấn phẩm tác giả xếp theo thứ tự giảm dần số trích dẫn, số G số lớn cho G báo có trích dẫn trung bình lớn G Chỉ số G đề cao giá trị báo có nhiều trích dẫn đánh giá tác giả Một vài nhận xét ý kiến Phần nêu vài nhận xét độ đo đánh giá định lượng vài ý kiến bàn luận (1) Cần hiểu rõ đặc điểm dùng độ đo đánh giá định lượng: Các độ đo đánh giá định lượng kết nghiên cứu việc dùng chúng dễ dàng bước tiến lớn Tiến cho phép người quản lý nhà khoa học có nhìn nhận sâu xác hoạt động nghiên cứu Khái niệm độ đo số trích dẫn, hệ số ảnh hưởng số H đơn giản dễ hiểu, để biết đặc điểm chúng cần chút nỗ lực tìm hiểu Chẳng hạn việc tính số trích dẫn ấn phẩm hệ số ảnh hưởng tạp chí sở liệu xác, số liên quan tới cá nhân cụ thể số lượng ấn phẩm, số H, tổng số trích dẫn, … thường cao giá trị thật hệ tìm kiếm chưa phân biệt rõ tên người Hiểu rõ đặc điểm độ đo ta dùng chúng hơn, lý giải kết tính toán sai sao, kiểm tra số cần thiết, không so sánh chúng lĩnh vực khác cách thô sơ, … (2) Nên dùng kết hợp nhiều độ đo đánh giá định lượng: Không nên đánh giá nghiên cứu dựa riêng độ đo nào, độ đo có hạn chế Nên kết hợp nhiều độ đo, độ đo cho ta nhìn thấy khía cạnh kết nghiên cứu Chẳng hạn người làm nghiên cứu, số H cho ý niệm cân số lượng chất lượng công bố, hệ số ảnh hưởng tạp chí cho ý niệm uy tín nơi kết công bố, số trích dẫn cho thấy kết nghiên cứu người có ảnh hưởng (3) Có thêm thẩm định chuyên gia cần: Vì độ đo đánh giá “đo” hết khía cạnh tinh tế kết nghiên cứu, phải đánh giá kỹ kết nghiên cứu cần có phân tích chuyên gia ngành Chẳng hạn công cụ tính số trích dẫn, số H, chưa phân biệt trích dẫn tác giả (self citation) hay trích dẫn để phê phán, phân biệt đóng góp tác giả báo Chẳng hạn khó nói người làm nghiên cứu lâu năm xuất sắc giá trị độ đo thấp, chưa hẳn nói người làm nghiên cứu xuất sắc thấy giá trị độ đo cao, đặc biệt công bố thường nhiều tác giả Khi cần đến ý kiến chuyên gia ngành Lưu ý tham khảo độ đo định lượng, chuyên gia dễ có ý kiến xác đáng (4) Cần ý đến ảnh hưởng khác biệt văn hóa ngành lên độ đo số lượng ấn phẩm: Sẽ dễ sai so sánh cách thô sơ hiệu người làm nghiên cứu ngành khác dựa số báo hay độ đo đánh giá định lượng kể Có thể nêu thêm ba điểm khác biệt văn hóa ngành liên quan đến số lượng ấn phẩm độ đo đánh giá định lượng Một số tạp chí số ngành đòi hỏi báo phải giới hạn vòng ba bốn trang, viết theo cấu trúc định, để công bố nhanh vòng vài tháng sau gửi Ở số ngành khác (lại toán học chẳng hạn), báo thường dài khoảng mươi trang (bài báo Ngô Bảo Châu bổ đề cho đại số Lie dài 197 trang), thời gian từ lúc gửi đến lúc đăng thường hai ba năm Hai báo nghiên cứu lý thuyết toán học thường có trung bình (và phần lớn) hai tác giả, nhiều ngành khoa học thực nghiệm báo thường có nhiều tác giả Giả sử số tác giả trung bình báo ngành A sáu ngành B hai, giả sử cần năm để làm báo, nói nôm na việc người làm nghiên cứu ngành A trung bình có số ấn phẩm gấp ba lần số ấn phẩm người làm nghiên cứu ngành B chuyện thường tình Và số trích dẫn số H người làm nghiên cứu ngành A thường cao Ba số ngành công nghệ thông tin coi việc công bố kết nghiên cứu hội nghị khoa học hàng đầu quan trọng có giá trị không việc công bố tạp chí có ảnh hưởng cao Việc hội nghị khoa học có vai trò khác ngành có liên quan đến độ đo đánh giá kết nghiên cứu khoa học, hầu hết sở liệu chưa có thống kê chưa phân biệt rõ thứ hạng hội nghị quốc tế (5) Những “sân chơi” khác “sân chơi” mới: Trong [12] tác giả khoảng 90% báo công bố tạp chí khoa học không trích dẫn, khoảng 50% báo không khác đọc tác giả người phản biện Như nói, sở liệu phổ biến chứa thông tin khoảng 15 nghìn số 100 nghìn loại tạp chí, số trích dẫn, hệ số ảnh hưởng, số H ta có tính từ nguồn Đẳng cấp tạp chí đánh giá hệ số ảnh hưởng, “sân chơi” tạp chí hàng đầu khép kín, nên chừng 80 nghìn tạp chí không xếp hạng Các hội nghị khoa học thượng vàng hạ cám dù có tên cụm từ “hội nghị quốc tế” Dù xếp thứ hạng hội nghị có phần khó xếp hạng tạp chí, có cố gắng nhiều ngành để chia hội nghị thành nhóm có uy tín khác nhau, chẳng hạn cộng đồng nghiên cứu giáo dục ngành khoa học máy tính Australia đưa bảng xếp hạng hội nghị ngành (http://core.edu.au/index.php/categories/conference%20rankings) Một tượng quan sát số cộng đồng khoa học, vốn không dễ dàng thâm nhập vào “sân chơi” tạp chí hàng đầu, tạo “sân chơi” mình, chẳng hạn WASET (World Academy of Science, Engineering and Technology, http://www.waset.org), WSEAS (World Scientific and Engineering Academy and Society, http://www.worldses.org/wseas.htm) Tuy nhiên, chất lượng hội nghị tạp chí cộng đồng nói chung chưa cao, cách mời chào riết họ mạng góp phần làm tăng băn khoăn họ (6) Không ngừng cải tiến độ đo: Bài lưu ý nhiều đặc điểm độ đo định lượng, muốn thêm có nhiều nghiên cứu để tạo độ đo tốt hơn, số G bổ sung cho số H kể Có đề nghị với số trích dẫn nên dùng thêm số lần tải báo (download count) từ cải thiện độ đo liên quan Một thí dụ khác hệ số riêng Xuất phát từ hạn chế số trích dẫn, không phân biệt trích dẫn từ nơi có uy tín khác nhau, Bergstrom [4] đề xuất khái niệm hệ số riêng (eigenfactor), dựa ý tưởng thú vị Khi xem trích dẫn đến báo hay báo trích dẫn nơi khác giống đường dẫn đến hay đường dẫn từ trang Web, tác giả áp dụng thuật toán tiếng PageRank, tảng tìm kiếm Google, để tính hệ số riêng ấn phẩm cách tính tầm quan trọng cho trang Web Google Chỉ số riêng bổ sung Web of Science, nhiều người xem hợp lý hệ số ảnh hưởng có tính đến tầm quan trọng trích dẫn Hy vọng thấy độ đo tốt tương lai gần (1) Thông tin khoa học ngày phong phú minh bạch: Người làm nghiên cứu khoa học ngày thật may mắn có nhiều, chí hầu hết, tài liệu liên quan đến việc muốn làm Tuy vậy, đầy đủ bình đẳng thông tin không đem đến hội mà thách thức Dễ thấy tốc độ nghiên cứu tăng lên nhanh, số công bố cần theo dõi, cần trích dẫn tăng lên nhanh Điều đáng ý tính minh bạch thông tin cải thiện nhiều Dường sai thông tin khoa học kiểm chứng Ngày tạp chí hay hội nghị dễ dàng xác định vi phạm đạo văn nộp nhiều nơi lúc (double submission) Hầu hết công bố khoa học có giá trị vòng chục năm qua tìm thấy Khi tính minh bạch thông tin tăng lên chưa trung thực dễ lộ Những minh bạch xưa không sửa lên “bia Web” Người liên quan đến khoa học có tính tôn trọng thật hay nói có chút tính toán để tự đề cao nên ý điều ngày thông tin khoa học dễ dàng kiểm chứng Web qua độ đo định lượng Cũng cần nói người trẻ tuổi sớm quen thạo với công nghệ internet, biết nhiều điều hệ cha mình, có phần chưa cảm nhận đủ hoàn cảnh khác theo thời gian (7) Về số đánh giá tình hình nghiên cứu ta: Trong năm qua có số tác giả nước dùng độ đo đánh giá định lượng để khảo sát đánh giá tình hình nghiên cứu ta, tiêu biểu tác giả Phạm Duy Hiển Nguyễn Văn Tuấn (Tuan’s blog) Các khảo sát sử Số Tác giả Phần dụng liệu từ nguồn báo có nội địa trăm TĐQT nội địa ISI, Google Scholar, chủ trì Scopus, … đưa Bốn đại học hàng đầu 160 87 54 so sánh kết khả Việt Nam nghiên cứu Việt Nam Viện Khoa học Công 156 74 47 nước xung quanh nghệ Việt Nam Một số người nghi ngại Toàn số báo 806 307 37 thấy số ấn phẩm đại học Việt Nam Chulalongkorn Thái Đại học Chulalongkorn 869 715 82 Lan nhiều lần số ấn Đại học Mahidol 817 598 73 phẩm sở nghiên cứu đại học hàng đầu Số công bố quốc tế năm 2008 tổ chức nghiên ta, cho sở cứu phát triển hàng đầu Việt Nam Thái Lan liệu ISI không đáng tin cậy Như trình bày trên, sở liệu phổ biến chứa thông tin tạp chí ảnh hưởng nhiều ngành độ đo hạn chế, chúng xây dựng tiêu chí rõ ràng, vô tư với người, quốc gia có sai số không làm lượng công bố ta tụt xuống vài lần Bảng số liệu đây, dịch từ [15], so sánh số lượng báo có thẩm định quốc tế (TĐQT) năm 2008 bốn đại học hàng đầu ta (hai Đại học Quốc gia, Đại học Bách Khoa Sư Phạm Hà Nội), Viện Khoa học Công nghệ Việt Nam hai Đại học Chulalongkorn Mahidol hàng đầu Thái Lan Mỗi người làm quản lý nghiên cứu khoa học ta có suy nghĩ số Dựa sở liệu Scopus, cổng thông tin SCImago Journal & Country Rank (http://www.scimagojr.com/index.php) gần cung cấp so sánh xếp hạng tạp chí hiệu nghiên cứu nhiều lĩnh vực, quốc gia dựa theo nhiều số Có thể thấy thông tin đáng lưu tâm việc khoa học công nghệ ta họ xếp thứ hạng so với nước khác, nói chung hay nói riêng ngành (8) Về Quỹ NAFOSTED, SCI SCIE: Quỹ Phát triển Khoa học Công nghệ Quốc gia NAFOSTED tạo bước tiến tích cực đánh giá đầu tư cho nghiên cứu khoa học ta, dùng công bố có sở liệu SCI SCIE làm điều kiện cần để xét tuyển đề tài tiêu chí giao nộp sản phẩm Cần ý ISI chọn tạp chí vào SCI SCIE không dựa theo giá trị hệ số ảnh hưởng ngành mà số yếu tố khác Như phân tích, thân SCI SCIE có khác biệt với sở liệu lớn khác Sau thời gian đầu dựa vào sở liệu cần thiết, Quỹ NAFOSTED nên nghiên cứu để bổ sung vài sở liệu khác, dùng thêm độ đo khác để việc tuyển chọn tiêu chí giao nộp sản phẩm mềm dẻo, thích hợp giữ chất lượng cao? Cũng cần ý xét theo hệ số ảnh hưởng, tạp chí đứng cuối SCIE có giá trị thấp nhiều so với tạp chí SCI Nếu điều chỉnh thích hợp, NAFOSTED thu nhiều kết công bố phía cuối SCIE, khó đạt mục tiêu mong đợi (9) Liên hệ với tình hình ta: Cuối quan trọng cả, sau tìm hiểu kỹ độ đo đánh giá nghiên cứu nghiên cứu ứng dụng ta cần dùng chúng cách thích hợp hoàn cảnh cụ thể Nghĩ đến việc người làm quản lý khoa học công nghệ Một vài ý kiến sơ sau Một nên bước định cách thích hợp để dùng độ đo định lượng số lượng ấn phẩm có sở liệu chọn lọc kỹ ISI hay Scopus để đánh giá hoạt động khoa học Tuy nhiên, phải cẩn trọng dùng chúng để đánh giá nhà khoa học tổ chức chuyên ngành Hai có số kết nghiên cứu ta vào tạp chí tốt SCI, SCIE, cần có đầu tư tăng chất lượng số tạp chí hàng đầu nước, để tạo chỗ công bố kết khác cho số đông người làm nghiên cứu Ba nguồn lực người, nên xem xét dùng độ đo cách thích hợp việc đánh giá để xét tuyển vị trí giáo sư-phó giáo sư, bổ sung thay cho cách “tính điểm” xưa nay, để đề cao chất lượng nghiên cứu khoa học Kết luận Bài giới thiệu khái niệm số đặc điểm độ đo tiêu biểu dùng để đánh giá ấn phẩm nghiên cứu khoa học, gồm số trích dẫn, hệ số ảnh hưởng số H Hai đặc điểm độ đo nhấn mạnh: khác chúng ngành số lý việc chúng tính giải thích chưa xác Mặc dù độ đo đánh giá định lượng nghiên cứu khoa học hạn chế phân tích, cần nhấn mạnh khả tính chúng tự động bước tiến nhiều ý nghĩa việc sử dụng chúng xu phát triển khoa học Hiểu rõ dùng độ đo định lượng để đánh giá kết nghiên cứu chắn có tác dụng thúc đẩy phát triển khoa học công nghệ Tài liệu tham khảo Adler, R., Ewing, J., Taylor, P., “Citation Analysis”, Statistical Science, 24(1), 1-14, 2009 Althouse, B.M., West, J.D., Bergstrom, T.C., and Bergstrom, C.T., “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information Science and Technology, 60(1), 27-34, 2009 3 Bakkalbasi, N., Bauer, K., Glover, J., Wang, L., “Three Options for Citation Tracking: Google Scholar, Scopus and Web of Science”, Biomedical Digital Libraries, 3(7), 1-8, 2006 Bergstrom, C.T., “Eigenfactor: Measuring the Value and Prestige of Scholarly Journals, College & Research Library News, 68(5), 2007 Hồ Tú Bảo, “Tổ chức quản lý đề tài nghiên cứu khoa học Nhật”, Tạp chí Tia Sáng, 8.2008 Campbell, P., “Escape from the Impact Factor”, Ethics in Science & Environmental Politics, 8, 5-7, 2008 Eugene Gafield, “Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas”, Science, 122(3159), 1955 Harzing, A K, Wal, R., “Google Scholar as a New Source for Citation Analysis”, Ethics in Science & Environmental Politics, Vol 8, 61-73, 2008 Hirsch, J.E., “An Index to Quantify an Individual’s Scientific Research Output”, Proceedings of the National Academy of Sciences, 102 (46), 16569–16572, 2005 10 Iglesias, J.E., Pecharromen C., “Scaling the h-index for Different Scientific ISI Fields”, Scientometrics, 73(3), 303-320, 2007 11 Kulkarni, A.V., Aziz, B., Shams, I., Busse, J.W., “Comparisons of Citations in Web of Science, Scopus, and Google Scholar for Articles Published in General Medical Journals”, The Journal of the American Medical Association, 302(10), 1092-1096, 2009 12 Kumar, M.J., “Evaluating Scientits: Citations, Impact Factor, h-Index, Online Hits and What Else?”, IETI Technical Review, 26(3), 165-168, 2009 13 Lawani S.M “Citation Analysis and the Quality of Scientific Productivity”, BioScience, 27, 26-31, 1977 14 Meho, L I., “The Rise and Rise of Citation Analysis”, Physics World, 20(1), 32-36, 2007 15 Pham Duy Hien, “A Comparative Study of Research Capacities of East Asian Countries and Implication for Vietnam”, Higher Education, Springer, Feb 2010 16 Tscharntke, T., Hochberg, M.E., Rand, T.A., Resh, V.H., Krauss, J., “Author Sequence and Credit for Contributions in Multiauthored Publications”, PLoS Biology, 5(1), 0013-0014, 2007 [...]... chưa chính xác Mặc dù các độ đo đánh giá định lượng nghiên cứu khoa học còn những hạn chế như đã phân tích, cần nhấn mạnh rằng khả năng tính được chúng tự động là một bước tiến nhiều ý nghĩa và việc sử dụng chúng đang là xu thế trong phát triển khoa học Hiểu rõ và dùng đúng các độ đo định lượng để đánh giá kết quả nghiên cứu chắc chắn có tác dụng thúc đẩy phát triển khoa học và công nghệ của chúng ta... nên xem xét dùng các độ đo này một cách thích hợp trong việc đánh giá để xét tuyển các vị trí giáo sư-phó giáo sư, bổ sung hoặc thay cho cách “tính điểm” xưa nay, để đề cao chất lượng nghiên cứu khoa học 4 Kết luận Bài này giới thiệu khái niệm và một số đặc điểm cơ bản của các độ đo tiêu biểu dùng để đánh giá các ấn phẩm nghiên cứu khoa học, gồm chỉ số trích dẫn, hệ số ảnh hưởng và chỉ số H Hai đặc... đánh giá nghiên cứu cơ bản và nghiên cứu ứng dụng ta cần dùng chúng một cách thích hợp trong hoàn cảnh cụ thể của mình Nghĩ đến việc này đầu tiên chắc là người làm quản lý khoa học và công nghệ Một vài ý kiến sơ bộ có thể như sau Một là nên từng bước định ra những cách thích hợp để dùng các độ đo định lượng và số lượng ấn phẩm có trong các cơ sở dữ liệu được chọn lọc kỹ như ISI hay Scopus để đánh giá. .. để đánh giá hoạt động khoa học Tuy nhiên, phải hết sức cẩn trọng khi dùng chúng để đánh giá các nhà khoa học và các tổ chức chuyên ngành Hai là khi vẫn chỉ có một số ít kết quả nghiên cứu của ta vào được các tạp chí tốt như của SCI, SCIE, cần có đầu tư tăng chất lượng một số tạp chí hàng đầu trong nước, để tạo ra chỗ công bố kết quả khác nhau cho một số đông người làm nghiên cứu Ba là về nguồn lực... chăng nghiên cứu để bổ sung một vài cơ sở dữ liệu khác, dùng thêm độ đo khác để việc tuyển chọn và tiêu chí giao nộp sản phẩm mềm dẻo, thích hợp hơn nhưng vẫn giữ được chất lượng cao? Cũng cần chú ý là nếu xét theo hệ số ảnh hưởng, các tạp chí đứng cuối ở SCIE có giá trị thấp hơn nhiều so với các tạp chí SCI Nếu không có những điều chỉnh thích hợp, rất có thể NAFOSTED sẽ thu được rất nhiều kết quả công... Libraries, 3(7), 1-8, 2006 4 Bergstrom, C.T., “Eigenfactor: Measuring the Value and Prestige of Scholarly Journals, College & Research Library News, 68(5), 2007 5 Hồ Tú Bảo, “Tổ chức và quản lý đề tài nghiên cứu khoa học ở Nhật”, Tạp chí Tia Sáng, 8.2008 6 Campbell, P., “Escape from the Impact Factor”, Ethics in Science & Environmental Politics, 8, 5-7, 2008 7 Eugene Gafield, “Citation Indexes for Science: