Bài viết bước đầu tìm kiếm một phương pháp mô hình hóa nhằm định nghĩa một vài chỉ số về mặt chuyên môn khoa học trên các nhà nghiên cứu với tiêu chí xếp hạng sự phù hợp của họ đối với nhiệm vụ làm thành viên Ủy ban chương trình của hội nghị đang xét.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00019 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ NGANG HÀNG TRONG CÁC HỘI NGHỊ CHUYÊN NGÀNH Trần Hồng Diệp, Nguyễn Văn Cường Trường ĐH Lâm nghiệp Việt Nam TOM TẮT Việc tổ chức hội nghị khoa học, hội nghị chuyên ngành giải pháp đặc biệt hữu hiệu đáp ứng nhu cầu công bố phát kiến khoa học nhà nghiên cứu giới ngày Việc xem xét chấp nhận thảo gửi đến hội nghị thông thường thực Ủy ban chương trình hội nghị Như vậy, ban chương trình có tầm ảnh hưởng định đến chất lượng hội nghị Thực tế cho thấy, gọi chuyên gia nghiên cứu để thành lập Ủy ban chương trình hàng năm nhiệm vụ khó khăn nặng nề cho chức Giáo sư - Chủ tịch Ủy ban chương trình, để trả lời câu hỏi: Những nhà nghiên cứu thích đáng chuyên môn để trở thành thành viên Ủy ban chương trình hội nghị diễn ra? Trong nghiên cứu mình, chúng tơi bước đầu tìm kiếm phương pháp mơ hình hóa nhằm định nghĩa vài số mặt chuyên môn khoa học nhà nghiên cứu với tiêu chí xếp hạng phù hợp họ nhiệm vụ làm thành viên Ủy ban chương trình hội nghị xét I GIỚI THIỆU Chúng ta có làm “thước” để đo xem: chun mơn khoa học nhà khoa học gì, khác hay giống chuyên môn nhà khoa học khác Hoặc đo đếm uyên thâm nhà nghiên cứu bao nhiêu, nhiều hay nhà nghiên cứu khác lĩnh vực? Vấn đề tương tự xảy so sánh “cân đo” nội dung chuyên môn đối tượng chuyên môn khác báo khoa học, nhà xuất hay trường đại học Dù vô khó để đánh giá cách đầy đủ, mong muốn việc đánh giá thực hệ thống tự động Tuy thế, lĩnh vưc chuyên môn, người ta mong muốn đánh giá cách định lượng để phân loại hay xếp hạng đối tượng Ngày nay, mong muốn hồn tồn có sở để thực hiện, dựa phát triển mạnh mẽ phương pháp thu hồi thông tin (IR - Information Retrieval) đầy đủ thông tin từ nhiều thư viện số internet Lĩnh vực Tìm kiếm chuyên gia (ER - Expertise Retrieval) Scientometrie hướng nghiên cứu phát triển mạnh mẽ khoảng chục năm lại đây, nghiên cứu giải vấn đề Theo đó, nhiệm vụ quan trọng phát số đánh giá (Indicators - Scientometric Indicators) cho trường hợp cụ thể Lấy ví dụ số Hirsch tiếng [6] Mặc dù nghiên cứu sau này, nhà khoa học số tồn bất cập làm sai lệch thước đo đánh giá Nhưng số Hirsch cộng đồng nhà khoa học toàn giới coi thước đo đo cống hiến uy tín chun mơn nhà nghiên cứu Bên cạnh đó, nghiên cứu số đưa có phạm vi đánh giá hạn chế Có nghĩa là, để phát số đánh giá cho mục đích đánh giá cụ thể, hẹp hiệu đánh giá số cao (chỉ số cục bộ) Chúng ta biết đọc nghiên cứu công bố tiền đề quan trọng cho nhà nghiên cứu tiếp tục phát minh khoa học Nghĩa phát kiến nhà nghiên cứu thẩm định tốt nhanh chóng đưa đến cộng đồng, thúc đẩy phát triển khoa học Đây tác động quan trọng hệ thống xuất bản, công bố cơng trình khoa học tạp chí chun ngành hay hội nghị khoa học thường niên v.v Trong bối cảnh ngày nay, nhu cầu cơng bố cơng trình khoa học cực lớn, song với số lượng hạn chế q trình thẩm định thảo có bất cập định tạp chí chuyên ngành, việc mở hội nghị khoa học thường niên (professional conference) giải pháp hữu hiệu, lĩnh vực khoa học kỹ thuật có tốc độ phát triển nhanh chóng, ví dụ ngành khoa học máy tính Thực tế cho thấy có số lượng lớn hội nghị, hội thảo khoa học tổ chức hàng năm khắp giới, với lượng khổng lồ cơng trình khoa học cơng bố Trong nhiều ngành, phương thức công bố coi phương án lựa chọn nhà nghiên cứu có cơng trình cần cơng bố Ở chúng tơi bàn hội nghị khoa học mà xuất tồn văn cơng trình nghiên cứu có thẩm định hội đồng chun mơn uy tín Đến đây, vấn đề đặt Chất lượng công bố nào, mà việc thẩm định in ấn nhanh nhiều đến vậy? Đến nay, có nhiều nghiên cứu nghiêm túc bàn quy trình xuất hội nghị (kỷ yếu hội nghị) với ưu điểm vấn đề tồn Nhưng dù nào, khẳng định rằng, chất lượng công bố chịu ảnh hưởng lớn vào tập thể nhà thẩm định, mà hội thảo Trần Hồng Diệp, Nguyễn Văn Cường 147 chuyên ngành thường gọi Ủy ban chương trình - Program Committee (trách nhiệm tương tự ban biên tập tạp chí chuyên ngành - Journal Editor Board) Về lý thuyết, nhà nghiên cứu mời tham gia Ủy ban chương trình hội nghị phải chun gia khoa học có uy tín cộng đồng lĩnh vực mà hội thảo xem xét Thơng thường hàng năm, Ủy ban chương trình hội nghị tái thành lập vị chủ tịch Ủy ban này, tức lời mời tham gia Ủy ban dựa ý kiến chủ quan ông chủ tịch Ngoại trừ thiên vị xảy ra, có tồn khó khăn cho vị chủ tịch phát lời kêu gọi tham gia Ủy ban: 1) Vị chủ tịch khó mà “quen” tất nhà nghiên cứu (nhất nhà nghiên cứu lên) lĩnh vực ơng ta! 2) Dù có quen hết vị chủ tịch khơng có định lượng để đánh giá nhà nghiên cứu “tốt hơn” nhà nghiên cứu chuyên môn xem xét Vì thế, rõ ràng nhiệm vụ nặng nề, trường hợp hội nghị uy tín với số lượng lớn thảo nộp đến Ví dụ, hội nghị CIKM, SIGIR, WWW v.v có số lượng thành viên Ủy ban lên đến vài trăm người Trong nội dung viết chúng tơi đề cập đến phương pháp mơ hình hóa chun mơn (Expertise modelling) mơi trường học thuật từ định nghĩa số số chuyên mơn nhằm mục đích đề xuất thành viên Ủy ban chương trình cho hội nghị khoa học đưa Theo hiểu biết chúng tơi, đến chưa có nghiên cứu định nghĩa số scientometric cho nhà khoa học nhiệm vụ đánh giá ngang hàng hội nghị chuyên ngành Trong phần II Các nghiên cứu liên quan, chúng tơi trình bày nghiên cứu liên quan, đồng thời phân tích ưu, nhược điểm để kế thừa khắc phục để đưa đề xuất Phần III tiếp sau, chúng tơi trình bày cụ thể mơ hình chúng tơi đề xuất Phần IV chúng tơi trình bày thử nghiệm mơ hình đề xuất Việc thử nghiệm sử dụng hồn tồn liệu cơng khai miễn phí hội nghị ACM SIGIR - International Conference on Research and Development in Information Retrieval, hội nghị danh giá ngành khoa học máy tính II CÁC NGHIÊN CỨU LIÊN QUAN Bài viết chúng tơi, trước tiên liên quan đến lĩnh vực Tìm kiếm chuyên gia (ER - Expertise/Expert Retrieval) hay biết đến với thuật ngữ Định vị chuyên môn (Expertise Location) lĩnh vực coi nhiệm vụ thay chuyên gia người Tức khó mà tự động hóa nhiệm vụ K Balog đồng [2] bốn khó khăn cho tự động hóa nhiệm vụ tìm kiếm chun gia: 1) Các chun gia ứng cử viên không đại diện cho đơn vị tìm kiếm: họ định nghĩa thơng qua đối tượng đại diện cho họ, ví dụ, thơng qua công bố họ, thông qua mối quan hệ tác giả, trích nguồn tham khảo (trích dẫn),… 2) Tên chuyên gia thường hay nhập nhằng: tên họ đề cập đầy đủ khơng đầy đủ cơng trình khác nhau, đồng thời có tên mà người 3) Các chứng thể nội dung chuyên môn (sau gọi Bằng chứng chuyên môn - Expertise Evidence) chuyên gia đến từ nguồn khơng đồng nhất: họ bàn chuyên môn họ email công việc ấn phẩm khoa học Tuy nhiên ý nghĩa nặng nhẹ mặt chuyên môn hai văn khác 4) Và thách thức quan trọng việc định lượng sức mạnh mối liên kết chuyên gia với chứng khoa học chuyên gia vấn đề phức tạp Mặc dù khó khăn tưởng chừng khó vượt qua, song biện pháp tìm kiếm chuyên gia tự động phát triển ([2], [8]), sau nhiệm vụ đưa TREC Enterprise Track [3] Do vấn đề tìm kiếm chuyên gia phát triển xem nhánh Tìm kiếm thơng tin (IR - Information Retrieval), hầu hết biện pháp tìm kiếm chuyên gia phương pháp tiếp cận IR: Mơ hình xác suất sinh (Generative probabilistic models) Mơ hình phân biệt (Discriminative models) Ngồi ra, số cách tiếp cận khác đề cập, ví dụ Mơ hình bầu cử (Voting models) hay Mơ hình dựa đồ thị (Graph-based models) [2] Về tổng thể mơ hình sử dụng chủ yếu chứng chuyên môn đến từ tập văn chuyên gia ứng cử viên (bài báo xuất bản, viết khơng thức,…), tức chun gia ứng cử viên đại diện tập viết xuất ông Ở đây, chứng chủ yếu phân tích nội dung Rõ ràng việc “đọc hiểu” nội dung văn hệ thống tự động dễ dàng Ý nghĩa thực văn không đơn giản việc thống kê từ xuất văn Một nhược điểm của mơ hình dựa việc phân tích nội dung xuất là: hầu hết báo khoa học, báo khoa học có tính thời lại báo phí, tức tính sẵn sàng (Available) liệu cung cấp cho khơng gian tìm kiếm Như làm cho tính khả thi mơ hình tìm kiếm giảm Tránh việc sử dụng nội dung phải trả phí đắt đỏ ấn phẩm, số cơng trình nghiên cứu sử dụng đoạn văn miễn phí ấn phẩm, ví dụ, sử dụng tóm tắt (Abstract) báo Ví dụ, Cabanac 2011 [4] sử dụng tập tiêu đề báo làm đại diện chuyên môn cho ứng cử viên Tuy nhiên, mơ hình vấp phải nhược điểm chung mơ hình tìm kiếm mà dựa phân tích nội dung văn 148 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ… Một chứng chuyên môn khác nhà nghiên cứu quan tâm, việc trích dẫn, dẫn nguồn tham khảo từ báo đến báo viết trước Theo hướng này, người ta thường xây dựng mạng lưới trích dẫn (Citation network) hay cịn gọi đồ thị trích dẫn (Citation graph) Thực tế cho thấy, nghiên cứu theo hướng cho kết khả quan, ví dụ mơ hình Strohman đồng sự, 2007 [9]; De Bellis, 2009 [1]; Liang đồng sự, 2011 [7] Tuy nhiên, việc phân tích mạng trích dẫn có nhược điểm Rõ ràng báo trích dẫn đến nhiều báo khác, quan tâm đến báo trích dẫn khơng nhau, chí trích dẫn đơi cịn để tác giả phản đối quan điểm tác giả khác trích dẫn Khắc phục điều này, Liang 2011 quan tâm đến vị trí tần suất xuất báo trích dẫn nội dung báo trích dẫn Song việc phân tích lại lặp lại khó khăn mơ hình phân tích nội dung Ngồi việc sử dụng đồ thị trích dẫn, số nghiên cứu đề cập đến vài chứng chun mơn khác, ví dụ đồ thị đồng tác giả (Co-authors), đồ thị đồng trích dẫn (Co-citations) hay đồng trích dẫn (Co- couplage) Trong thực tế, mơ hình tìm kiếm chun gia dựa đồ thị chưa thực phát triển so với mơ hình xác suất Vì thế, mơ hình dựa đồ thị chủ yếu sử dụng xem mơ hình bổ sung để cải thiện hiệu tìm kiếm cho mơ hình khác ([4], [7]) Balog, 2012 [2], dù mơ hình tìm kiếm chuyên gia phát triển phong phú, song hiệu tìm kiếm nói chung mơ hình cịn khiêm tốn Một phương pháp cải thiện mơ hình ghi nhận có hiệu tích hợp mơ hình tìm kiếm khác kết hợp sử dụng nhiều chứng chuyên mơn khác mơ hình tìm kiếm thống Ví dụ, Cabanac 2011 [4] xem xét mơ hình sử dụng chứng chuyên môn đến từ nhiều hoạt động khoa học khác Một ví dụ khác, S Han đồng sự, 2013 [5] đưa mơ hình kết hợp sử dụng mơ hình dựa phân tích nội dung làm cốt lõi, sau bổ sung thêm số số liên quan đến lịch sử công bố ứng cử viên, quyền tác quan hệ xã hội họ III XÂY DỰNG CHỈ SỐ DANH GIÁ CÁC THÀNH VIÊN ỦY BAN CHƯƠNG TRÌNH 3.1 Tại mời nhà nghiên cứu vào Ủy ban chương trình? Peer Review quy trình thẩm định, đánh giá (Review) thảo gửi đến tạp chí khoa học hội nghị chuyên ngành, viết chúng tơi gọi Thẩm định ngang hàng Theo đó, đặc điểm đánh giá ngang hàng là: 1) Các thảo gửi đến nộp cho ban biên tập tạp chí/Ủy ban chương trình hội nghị Đây ban bao gồm nhà khoa học, nhà nghiên cứu “uyên thâm” lĩnh vực mà tạp chí hay hội nghị ấn hành 2) Ban thực phân công thành viên phù hợp để xem xét phản biện thảo đưa định thảo chấp nhận công bố Mỗi thảo có nhóm nhà thẩm định (Reviewer) thực việc đánh giá Đối với tạp chí, ban biên tập ổn định qua năm, trái lại Ủy ban chương trình lại ln làm cho phiên hội nghị thực ghế chủ tịch Ủy ban Chúng tự hỏi, mời tham gia Ủy ban chương trình hội nghị khoa học diễn ra? Cộng đồng khoa học mong muốn điều vị chủ tịch định chọn để mời? Thực tế, việc thành lập Ủy ban chương trình hiệu thách thức lớn tập thể đa dạng nhiều khía cạnh: chun mơn hẹp, tuổi tác, giới tính, vùng địa lý,… Nhất hội nghị lớn có mức độ quan tâm cao cộng đồng mà có số lượng thành viên ban trình đơng Hiện nay, nghĩ đến vài tiêu chí định tính rằng: để tham gia Ủy ban này, nhà nghiên cứu phải chun gia có uy tín, có nhiều đóng góp cho cộng đồng Nhưng ghi nhận đóng góp? Và loại đóng góp số định lượng khơng? Ví dụ, nhiều nghiên cứu quan tâm đến hoạt động coi đóng góp nhà nghiên cứu, ấn phẩm ông Nhưng dù liệu số lượng nghiên cứu cơng bố đại diện cho mức độ đóng góp nhà nghiên cứu? Rõ ràng không đủ Ở đây, với mục đích đánh giá đóng góp chuyên gia nhằm mục đích giải thích lời mời tham gia Ủy ban chương trình chủ tịch Ủy ban họ, đưa giả thuyết rằng: chuyên gia nghiên cứu mời dựa đóng góp họ xét nhiều phương diện chuyên môn hội nghị xét Ở loại bỏ vấn đề ông chủ tịch có thiên vị 3.2 Mơ hình hóa vai trị chun mơn chun gia Để trả lời câu hỏi Chun gia đóng góp gì, đóng góp mặt chun mơn cho hội nghị xét? Chúng tơi thực việc phân tích đóng góp này, cụ thể phân tích chứng chun mơn thu theo khía cạnh chun môn khác nhau, mà viết gọi Vai trị chun mơn chun gia so với hội nghị xét Chúng tơi phát rằng, có nhiều mối liên quan làm nên vai trị chun mơn chun gia Ví dụ, ông tác giả báo đăng phiên trước hội nghị này, ông tác giả báo mà trích dẫn báo đăng hội nghị xét,… Rõ ràng là, có tồn vai trị quan trọng vài vai trò khác Như với mức độ cần thiết, thực chọn để xem xét tập Trần T Hồng Diệpp, Nguyễn Văn Cường 149 vai v trị mà chúúng tơi đánh giiá quan trọnng Trong g phạm vi viết này, chúúng tơi xác địnnh vai trị ch hun mơn, n thể trrong hình nhhư sau: 1) Vai trrò 1: Chuyên gia s thànhh viên Ủy ban chương trrình pphiên diễn hộ ội nghị cho trước c 2) Vai trrò 2: Chuyên ggia s tác giảả báo đăng đ mộột phiên củủa hội nghị ch ho trước c 3) Vai trrò 3: Chuyên gia s tác giiả báo mà thựcc trích dẫẫn đến bàài báo đăng g phiênn c 4) Vai trrò 4: Chuyên gia s tác giả báo mà trích dẫn báo đđã đăng phiên c 5) Vai trrò 5: Chuyên gia s đồng tác giả với mộ ột chuyên gia s’ khác thàành viên Ủ Ủy ban chương trình phiên p qqua c Hình Các vai trị chuun môn ch huyên gia so vớ ới hội nghị chuyyên ngành cho ttrước Bằng cáách vậy, xâyy dựng đồ thị không thu uần bao ggồm ba kiểu nnút khác nhau: 1) nút đại diện d cho phiên p khácc hộii nghị cho trướ ớc, 2) nút đại diện cho bbài báo 3) nút đại diện cho nhà khoa k học - chuuyên gia ứng ccử viên Các ccạnh nối đồ thị đại diện cho mốii quan hệ chuyyên môn khác c c nút khác n Chúng tơơi xác định cóó kiểu quan hệ h - cạnh, bao gồm: 1) quann hệ trích dẫn, mối qu uan hệ hai h báo troong tồn việc bbáo trích dẫn cịn lạại; 2) quan hệ xuất bản, mối quan hệ h hội nghị n cho vàà báo xuấất bản; 3) quan n hệ quyền tácc giả, m mối quan hệ giiữa báo với tác giả 4) quan hệệ Ủy ban chươ ơng trình, mối quan hệ h hội ngghị xét vớới lượt th ham gia Ủy ban b chương trìình chhun gia Hìnnh cho thấy ví dụ hìn nh ảnh đồ thhị chúng ttơi Hình Đồ thị chuyên môn m Chúng thực vviệc định lượnng trọng số củ mối qu uan hệ - cạnh ttrong đồ thị: 1) Quan hệ trích dẫn: bàài báo a1 trích dẫn đến báo b a2 (Hình 3) Chúng tơi cho mốii quan hệ phụ thuộc vào yếuu tố: 1) số lượ ợng n tríchh dẫn đến báo trícch dẫn a2 Trư ước a1 mà cànng có nhiều bà ài báo trích dẫn đến a2 chứngg tỏ thơng tin có tính thời a2 2) khoảng cáchh thời gian xuuất hai h báo Bài báo b trínhh dẫn cũũ mà đượ ợc xem xét tro ong nghiên ứu cchứng tỏ có ó thông tin chuyên môn quan trọngg 150 Đ ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁ ÁC NHÀ KHOA A HỌC LÀM N NHIỆM VỤ ĐÁ ÁNH GIÁ… H Hình Định lư ượng mối quan hệ h trích dẫn Mối quan q hệ đư ược ước lượngg sau: _ Trongg đó: , ∆ , ∆ số lượng trícch dẫn đến bàii báo a; số lượng ttrích dẫn lớn n đến b báo; ∆ , năm xuất bảnn a1 - năm xuấtt a2; ∆ khoảng cách tthời gian xa cặặp hai báoo trích dẫn nhaau 2) Quan hệ xuất bản: bàài báo a đăăng mộtt phiên củ hội nghị ccho trước c (H Hình 4) Chún ng định lượng mối quan hệ nàyy phụ thuộc vàào yếu tố: 1) thời gian màà báo a đư ược đăng, báo đăn ng gần cànng có trọng số cao 2) số llượng n trích dẫn đến a Nếu a ccó nhiều tríchh dẫn đến c chứng tỏ quann trọng nội dung chuyên môn H Hình Định lư ượng mối quan hệ xuất Công thức đề xuất là: _ Trongg đó: , ∆ , ∆ số lượng trícch dẫn đến bàii báo a; số lượng ttrích dẫn lớn n đến b báo; Năm xuất a; ∆ , Năm - N ∆ khoảng cách bbiệt thời gian xa m báo củaa c so với hiệnn 3) Quan hệ quyền tác giảả: chuyên gia s tác giả c báo a (Hình 5) Troong nghiên ứu chúng tơi coi đồng tác giả g có đóng góp nhauu bàài báo Số lượ ợng đồng tá tác giả nhhiều đón ng góp ngườii nhỏ Hình 5 Mối quan hệ quyền q tác giả Trọngg số mối qquan hệ đư ược ước lượng g sau: _ Trongg đó: , sốố lượng tácc giả báo b a 4) Quan hệ tham t dự Ủy bban chương trrình: Chúng tơ cho vaai trò phụ thuộc vào thờời gian phiiên hội nghị mà s tham gia ban chương trình Nếu phiên bảản khứ k gần cààng quan trọng g Trần T Hồng Diệpp, Nguyễn Văn Cường 151 H Hình Mối qu uan hệ tham dự Ủy ban chươngg trình Cơngg thức định lượ ợng đưa là: _ Trongg đó: ∆ , ∆ , ∆ , năăm - nnăm mà s tham m dự Ủy ban ch hương trình củủa c; ∆ khoảng cách bbiệt thời gian xa m chuyên giaa s tham gia Ủ Ủy ban chương trình c so với Với việệc ước lượng bbốn loại mối quan hệ - cạn nh đồ thị chuyên mônn trên, chúúng tiếp tụ ục định giá cho c năm vai trrị chun mơnn đề cậập sau: Trong đ dấu (*)) thể rằngg chúng tơi có ó thực ch huẩn hóa (norm malisation) giiá trị tương ứn ng đoạn giá g trị [0;1] Ký K hiệu đư ược sử dụng cảả mụ ục tiếp sau 1) Vai trrò 1: chuyên ggia s thành viên ban chươ ơng trình hội nghị cho ttrước c: ∗ , _ 2) Vai trrò 2: chuyên ggia s tác giảả báo a đăng tron ng phiên bbản hội ngghị cho trước c: c _ ∗ , _ ∗ , 3) Vai trrò 3: chuyên ggia s tác giiả báo a mà thực trích ddẫn đến bááo a’ đăng phiênn c: _ ∗ , ∗ _ _ , ∗ , 4) Vai trrò 4: chuyên ggia s tác giảả báo a mà tríích dẫn bàài báo a’ đăăng mộtt phiên c Vai trò ggần tương tự vvớ vai trò 3, ch hỉ khác chiều trích dẫn hai bbáo a a’: _ ∗ , ∗ _ , _ ∗ , 5) Vai trrò 5: chuyên ggia s đồng tác giả với chuyên gia s’ khác trongg báo chung a, mà s’ thành viên ban b chương trình pphiên g khứ củaa c: _ ∗ , ∗ _ , _ ∗ , 3.3 Định nghĩĩa số cchuyên môn dựa vai trị Trong mục m trước chúúng tơi đề ccập việc ước lượng l loại vai v trị chun mơn mộtt chun gia ứng ứ cử viên so s với hội nghhị xem xéét Thực tế thìì với kiểu u vai trị này, m chuyên ggia ứng cử có tthể có nhiều h h khơnng có số lượt hhoạt động chuun mơn tươn ng ứng Ví dụ chuyên ggia s cóó thể tác giả ả nhiều b báo trích dẫn d đến bbài báo hộội nghị c, có khơng nhiều sốố đăng troong hội nghị c đó, n lại chưaa có lần thham dự Ủy baan chương trìn nh Với việc phân p tích đóóng góp chuyn mơn m chun gia g nghiên cứuu hhội nghị chuyyên ngành cho trước theo vai trị chuyn mơn khác nhau, chu uyên gia đ ước lượnng đóng gópp chun mơnn theo vai trị ị đặt Dựa trêên phương phááp mơ hình hóóa đồ thị chuyên môn mà xây dựng trên, thực ch hất vai trrò kiểuu “đường đi” nnối từ nút đại diện hội nghị n xét đến nút đại diiện cho chuyêên gia nghiên cứu c Trọng số s “coon đường” nàyy ước lư ượng dựa độ dài co on đường Cụ thể dựaa số lượng g phân đoạn đ đường dựa trọnng số phân đoạn mà m cách ước lư ượng cho bốn loại phân đoạ ạn trình bày b Vềề mặt ý nghĩa, số chhuyên môn màà đư ưa dựa trêên tổng trọng số kiiểu “đường đi” đ cho m chuyên giaa ứng cử viên Từ đây,, địnnh nghĩa Chỉỉ số chuyên mô ôn tương ứng với v năm vai tròò cho chuy uyên gia ứng cử viên: ∗ Trong T đó: số tư ương ứng với vai trò ; làà số lần mà chhuyên gia ứng cử viên thực h vai trò n;; trọng lượnng tính lần đóng vai trò n ứng cử viên 152 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ… Như vậy, đóng góp chung ứng cử viên hội nghị chuyên ngành xét giá trị tổng hợp từ số mà định nghĩa Con số đại diện cho tính thích đáng chuyên gia ứng cử viên hay nói cách khác trả lời cho khả mời tham gia Ủy ban chương trình tương lai chuyên gia ứng cử viên IV THỬ NGHIỆM MƠ HÌNH Trong phạm vi thử nghiệm chúng tôi, chọn hội nghị SIGIR - International ACM SIGIR Conference on Research and Development in Information Retrieval, hội nghị dẫn đầu ngành khoa học máy tính Các thơng tin thu thập miễn phí: metadata báo khoa học, trang hội nghị thức, thơng tin danh sách thành viên ban chương trình, Những thơng tin thu thập từ thư viện số DBLP ACM, sử dụng kết ArnetMiner [10] Bằng cách vậy, liệu thu thập thông tin bao gồm 3.554 báo thức đăng 40 phiên hội nghị SIGIR từ 1971-2015 Từ tập báo làm sở ban đầu để thu thập trích dẫn trích dẫn từ chúng: bao gồm 29.907 báo Số lượng thành viên ban chương trình tham gia hàng năm SIGIR thu thập, từ phiên từ 2004-2015 tìm được, bao gồm 7.576 lượt thành viên tham gia ban chương trình Thí nghiệm chúng tơi thiết kế nhằm trả lời câu hỏi: Chỉ số giải thích cho việc tham gia Ủy ban chương trình chuyên gia? Câu hỏi thực chất xem xét ảnh hưởng số mà định nghĩa cho việc phát lời mời tham gia Ủy ban chương trình đến chuyên gia Tuy nhiên, khơng có nghiên cứu tương tự để so sánh, đồng thời, rõ ràng bảng xếp hạng chuẩn chuyên gia làm đối sánh cho đắn kết chúng tơi thu được, chúng tơi sử dụng danh sách ban chương trình thức hàng năm làm chuẩn Cụ thể, chúng tơi tính tốn số dựa phiên khứ năm y, kết thu đem so sánh với danh sách thành viên thức Ủy ban năm y Ví dụ chúng tơi tính tốn số thứ cho ứng cử viên dựa liệu trước năm 2012, từ xếp hạng thành viên theo số đem so sánh trùng hợp với danh sách thành viên thức SIGIR 2012 Cụ thể chúng tơi thực thí nghiệm với năm y năm: từ 2011 đến 2015 Với năm y đó, tính số thu danh sách xếp hạng theo số tương ứng Như thu 25 danh sách xếp hạng Để đánh giá kết quả, với danh sách xếp hạng, tính hai giá trị độ xác P@20 P@100 quy định IR - Information Retrieval Kết so sánh thống kê bảng Bảng Độ xác danh sách xếp hạng so với Ủy ban thức năm tương ứng Năm |cy| Vai trò Vai trò Vai trò Vai trò Vai trò P@20 P@100 P@20 P@100 P@20 P@100 P@20 P@100 P@20 P@100 2011 426 0,90 0,80 0,60 0,57 0,40 0,43 0,55 0,43 0,05 0,05 2012 486 1,00 0,84 0,70 0,64 0,40 0,45 0,55 0,47 0,05 0,05 2013 431 0,95 0,86 0,75 0,61 0,45 0,44 0,55 0,42 0,10 0,07 2014 448 0,90 0,86 0,75 0,59 0,40 0,43 0,25 0,45 0,20 0,09 2015 432 1,00 0,85 0,80 0,60 0,45 0,42 0,25 0,45 0,10 0,07 Trong |cy| số lượng thành viên ban chương trình thức năm tương ứng Kết thu cho thấy tính “thống trị” vai trị Có nghĩa là, chuyên gia có khả mời cao khả cao họ tham gia tham gia nhiều lần Ủy ban chương trình khứ Chúng tơi kết luận vai trị vai trị đánh cao uy tín học giả Đứng thứ hai vai trị mà chuyên gia ứng cử viên tác giả báo đăng hội nghị xem xét Điều cho thấy hội cao cho nhà nghiên cứu muốn tham dự lần vào Ủy ban chương trình hội nghị này, cách có nhiều ấn nơi trước Vai trò số liên quan hai số trên, nhiên số đóng vai trị dự báo tốt cho khả mời Vai trò cuối cùng, số liệu cho thấy khơng quan tâm việc trở thành nhà thẩm định hội nghị xem xét V KẾT LUẬN VÀ ĐỀ XUẤT Thành lập Ủy ban chương trình hội nghị chuyên ngành trình quan trọng phụ thuộc vào cá nhân chủ tịch Ủy ban qua phiên Q trình khơng buộc phải cơng khai cho toàn cộng đồng Chúng Trần Hồng Diệp, Nguyễn Văn Cường 153 thực định nghĩa số chun mơn nhằm tìm hiểu phần thành lập Ủy ban chương trình hội nghị chuyên ngành Qua thí nghiệm liệu SIGIR, chúng tơi làm lộ rõ cách thức mà chuyên gia xem có nhiều đóng góp có uy tín cộng đồng Đồng thời nghiên cứu cho phép có trợ giúp định cho chủ tịch Ủy ban tìm danh sách chuyên gia để thành lập Ủy ban tới Mơ hình chúng tơi đề xuất hồn tồn sử dụng liệu có tính sẵn sàng cao (miễn phí, có sẵn) Mơ hình dựa việc thành lập đồ thị không đồng cho phép tích hợp nhiều chứng chun mơn mơ hình Đồng thời, việc phân tích xác định chứng gần gũi chuyên mơn đối tượng mà khơng cần phân tích nội dung đối tượng Điều cho phép việc mơ hình hóa tránh nhược điểm mơ hình dựa phân tích nội dung Trong tương lai, mơ hình chúng tơi nên tiếp tục nghiên cứu sâu sắc tính dự báo thành viên Ủy ban chương trình, đồng thời mở rộng số lượng số Việc kiểm định tính đắn mơ hình khơng tốt với việc lấy danh sách Ủy ban chương trình thức hàng năm làm chuẩn đắn Việc kiểm định cải thiện khảo sát chuyên gia hàng đầu lĩnh vực quan tâm VI TÀI LIỆU THAM KHẢO [1] N De Bellis “Bibliometrics and Citation Analysis” Scarecrow Press, Lanham, 2009 [2] K Balog, Y Fang, M de Rijke, P Sedyukov, L Si “Expertise Retrieval” Foundations and Trends in Information Retrieval, 2012 [3]K Balog, M De Rijke “Determining expert profiles” 20th International Joint Conference on Artifical Intelligence (IJCAI ’07), p 2657-2662, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2007 [4] G Cabanac “Accuracy of inter-researcher similarity measures based on topical and social clues” Scientometrics 87(3), 2011 [5] S Han, J Jiang, Z Yue, D He “Recommending program committee candidates for academic conferences” Workshop on Computational Scientometrics: Theory and Applications (CompSci ’13), p 1-6, ACM, New York, NY, USA, 2013 [6] J E Hirsch “An index to quantify an individual's scientific research output” PNAS November 15, 2005 [7] Y Liang, Q Li, T Qian “Finding Relevant Papers Based on Citation Relations” Web-Age Information Management, vol 6897, p 403-414, 2011 [8] V Mangaravite, R L Santos, I S Ribeiro, M A Gonỗalves, A H Laender The LExR Collection for Expertise Retrieval in Academia” 39th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR ’16), 2016 [9] T Strohman W Croft, D Jensen “Recommending Citations for Academic Papers” 30th International ACM SIGIR conference on Research and development in information retrieval (SIGIR ’07), 2007 [10] J Tang, J Zhang, L Yao, J Li, L Zhang, Z Su “Arnetminer: extraction and mining of academic social networks” 14th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD ’08), p 990-998, 2008 DEFINING EXPERTISE INDICATORS FOR REVIEWERS OF SCIENTIFIC CONFERENCES Tran Hong Diep, Nguyen Van Cuong Abstract: Organizing academic scientific conferences is a particularly effective solution for disseminating scientific findings of scientists from all over the world Normally, conducting the peer review of submitted papers is the responsibility of the program committees of conferences, so their decisions will mainly affect the quality of the conferences In reality, with a huge number of scientific conferences held each year, it is an extremely difficult task for the program committee chairs to find researchers with relevant expertise for participating in the program committees In this paper, we propose a method based on different indicators of expertise in order to give suggestions of members for the program committees of conferences ... 152 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ… Như vậy, đóng góp chung ứng cử viên hội nghị chuyên ngành xét giá trị tổng hợp từ số mà định nghĩa Con số đại... trình cho hội nghị khoa học đưa Theo hiểu biết chúng tơi, đến chưa có nghiên cứu định nghĩa số scientometric cho nhà khoa học nhiệm vụ đánh giá ngang hàng hội nghị chuyên ngành Trong phần II Các. .. trình thẩm định, đánh giá (Review) thảo gửi đến tạp chí khoa học hội nghị chuyên ngành, viết gọi Thẩm định ngang hàng Theo đó, đặc điểm đánh giá ngang hàng là: 1) Các thảo gửi đến nộp cho ban biên