Phương pháp đánh giá hiệu năng phần mềm quản trị cơ sở dữ liệu và ứng dụng thử nghiệm trong chương trình quản lý LHS Lào

Phương pháp đánh giá hiệu năng phần mềm quản trị cơ sở dữ liệu và ứng dụng thử nghiệm trong chương trình quản lý LHS Lào Phương pháp đánh giá hiệu năng phần mềm quản trị cơ sở dữ liệu và ứng dụng thử nghiệm trong chương trình quản lý LHS Lào luận văn tốt nghiệp thạc sĩ

PEUNGNHOTHOUNG Tavansai BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - PEUNGNHOTHOUNG Tavansai CÔNG NGHỆ THÔNG TIN PHƯƠNG PHÁP ĐÁNH GIÁ HIỆU NĂNG PHẦN MỀM QUẢN TRỊ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG THỬ NGHIỆM TRONG CHƯƠNG TRÌNH QUẢN LÝ LHS LÀO LUẬN VĂN THẠC SĨ KỸ THUẬT CHUN NGÀNH CƠNG NGHỆ THƠNG TIN KHĨA 15B Hà Nội – 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - PEUNGNHOTHOUNG Tavansai PHƯƠNG PHÁP ĐÁNH GIÁ HIỆU NĂNG PHẦN MỀM QUẢN TRỊ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG THỬ NGHIỆM TRONG CHƯƠNG TRÌNH QUẢN LÝ LHS LÀO LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS HUỲNH QUYẾT THẮNG Hà Nội – 2018 LỜI CÁM ƠN Trước tiên, xin bày tỏ trân trọng lòng biết ơn sâu sắc Thầy PGS.TS Huỳnh Quyết Thắng, người trực tiếp hướng dẫn tơi tồn q trình thực đề tài, dù bận với công việc giảng dạy Thầy dành nhiều thời gian quý báu tận tình bảo, hướng dẫn tơi việc nghiên cứu, thực luận văn Xin cảm ơn thầy cô giáo Viện Công nghệ thông tin Truyền thông – Trường Đại học Bách khoa Hà Nội giúp đỡ tơi q trình học tập thực luận văn Xin cảm ơn toàn thể bạn bè, đồng nghiệp, người giúp đỡ nhiều đặc biệt thành viên gia đình tạo điều kiện tốt nhất, động viên, cổ vũ tơi suốt q trình học tập vừa qua Mặc dù nỗ lực thời gian có hạn, lực thân cịn nhiều hạn chế số khó khăn định việc nghiên cứu nên luận văn khơng có thiếu sót Tơi mong thày bạn góp ý kiến thêm Xin trân trọng cám ơn! Hà Nội, ngày 04 tháng 04 năm 2018 TÁC GIẢ PEUNGNHOTHOUNG Tavansai LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng hướng dẫn PGS TS Huỳnh Quyết Thắng Tôi xin cam đoan giúp đỡ cho việc thực luận văn cám ơn thơng tin trích dẫn luận văn rõ nguồn gốc Hà Nội, ngày 04 tháng 04 năm 2018 TÁC GIẢ PEUNGNHOTHOUNG Tavansai MỤC LỤC DANH MỤC CÁC KÍ HIỆU VÀ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC HÌNH VẼ MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu Phạm vi nghiên cứu giới hạn 5 Phương pháp nghiên cứu CHƯƠNG CƠ SỞ LÝ THUYẾT VỀ HIỆU NĂNG, GIÁ TRỊ TÍNH NĂNG PHẦN MỀM VÀ ĐO LƯỜNG HỆ THỐNG 1.1 Tổng quan hiệu phần mềm ứng dụng 1.2 Các khái niệm đo lường hiệu 1.3 Hệ thống xử lý kiện EP 10 1.3.1 Tổng quan EP 10 1.3.2 Chức xử lý kiện 11 1.4 Khái niệm phân loại Điểm chuẩn 13 1.4.1 Điểm chuẩn vi mô 15 1.4.2 Điểm chuẩn vĩ mô 16 1.5 Tiểu kết chương 17 CHƯƠNG LÝ THUYẾT CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ KỸ THUẬT PHÂN TÁN DỮ LIỆU 18 2.1 Khái niệm định nghĩa sở liệu phân tán 18 2.1.1 Tổng quan sở liệu phân tán 18 2.1.2 Khái niệm xử lý phân tán 18 2.2 Khái niệm cần thiết phân mảnh liệu 19 2.3 Các quy tắc phân mảnh 19 2.3.1 Tính đầy đủ 19 2.3.2 Tính phục hồi 19 2.3.3 Tính tách biệt 20 2.4 Kỹ thuật phân mảnh ngang liệu 20 2.4.1 Khái niệm phân mảnh ngang liệu 20 2.4.2 Thông tin cần thiết phân mảnh ngang 20 2.5 Kỹ thuật phân mảnh dọc liệu 23 2.5.1 Khái niệm phân mảnh dọc 23 2.5.2 Thông tin cần thiết phân mảnh dọc 24 2.6 Bài toán phân bố liệu 27 2.6.1 Khái niệm 27 2.6.2 Bài toán phân bố 28 2.6.3 Thơng tin cần thiết cho tốn phân bố 29 2.6.4 Mơ hình phân bố liệu 30 2.7 Xử lý truy vấn phân tán liệu 32 2.7.1 Vấn đề xử lý truy vấn 33 2.7.2 Mục đích việc xử lý truy vấn 38 2.7.3 Phân rã truy vấn 38 2.7.4 Xây dựng câu truy vấn phân tán 39 2.8 Tiểu kết chương 40 CHƯƠNG XÂY DỰNG MƠ HÌNH DỮ LIỆU PHÂN TÁN CHO PHẦN MỀM QUẢN LÝ LHS LÀO 41 3.1 Mơ hình hệ thống phần mềm Quản lý LHS Lào 41 3.1.1 Thống kê số lượng sinh viên Bộ giáo dục thể thao Lào năm 2015 41 3.1.2 Yêu cầu quản lý 43 3.2 Thiết kế sở liệu Quản lý LHS Lào 45 3.2.1 Kỹ thuật thiết kế 45 3.2.2 Quy trình thiết kế liệu phân tán 46 3.2.3 Phân bố liệu phân tán 46 3.2.4 Mẫu liệu 48 3.2.5 Mẫu quan hệ bảng 52 3.3 Tiểu kết chương 53 CHƯƠNG ÁP DỤNG THỬ NGHIỆM ĐÁNH GIÁ HIỆU NĂNG TRÊN PHẦN MỀM QUẢN LÝ LHS LÀO 54 4.1 Triển khai thử nghiệm 54 4.1.1 Mơ hình hệ thống phân tán 54 4.1.2 Quy trình xử lý liệu phân tán 54 4.1.3 Nền tảng công nghệ sử dụng 56 4.2 Thực nghiệm đo đánh giá giá trị tính Điểm chuẩn vi mô 57 4.3 Thực nghiệm đo đánh giá giá trị tính Điểm chuẩn vĩ mô 62 4.4 Một số nhận xét khuyến cáo 63 KẾT LUẬN 64 DANH MỤC CÁC KÍ HIỆU VÀ VIẾT TẮT ASG Association of Separated Group Benchmark Phương pháp điểm chuẩn BGDTT Lào Bộ giáo dục thể thao Lào CSDL Cơ sở liệu DBMS Database Management system DDBMS Distributed database management system DUR Duration ĐSQ Đại sứ quán EP Event Processing EMP Employee IC Instruction Count IEC International Electrotechnical Commission IEEE Institute of Electrical and Electronics Engineers ISO International Organization for Standardization LOG Location LHS Lào Lưu học sinh Lào Macro-Benchmark Điểm chuẩn vĩ mô Micro-Benchmark Điểm chuẩn vi mô PAY Payment PROJ Project QĐ Quy định RD Remote Database RESP Responsibility SAL Salary SPE Software Performance Engineering SPEC Standard Performance Evaluation Corporation SPEM Systems Process Engineering Metamodel SQL Structured Query Language SUT System Under Test DANH MỤC CÁC BẢNG Bảng 1.1: Tóm tắt điểm chuẩn vi mô 16 Bảng 2.1: Một ví dụ ma trận giá trị sử dụng thuộc tính 25 Bảng 2.2: Ma trận lực hút thuộc tính 27 Bảng 3.1: Thống kê số lượng LHS Lào học, học nước 42 Bảng 3.2: So sánh phương pháp nhân 47 Bảng 3.3: Các bảng mẫu liệu 48 Bảng 4.1: Kết giá trị tính may sử dụng công cụ Server Profiler 60 Bảng 4.2: Kết giá trị tính máy sử dụng công cụ Database Engine Tuning Advisor 62 DANH MỤC HÌNH VẼ Hình 1.1: Một phần phổ biến thời gian phản hồi [3] Hình 1.2: Mối quan hệ thời gian phản hồi, thông lượng sử dụng tài nguyên với khối lượng công [3] Hình 1.3: Cấu trúc ứng dụng xử lý kiện [4] 12 Hình 1.4: Các kiểu kiểm thử hiệu Điểm chuẩn khác [3] 14 Hình 2.1: Mơ tả mối quan hệ quan hệ đường nối 21 Hình 2.2: Các giải pháp truy vấn tương đương 36 Hình 2.3: Ví dụ đại số quan hệ 40 Hình 3.1: Biểu đồ phân cấp chức hệ Quản lý LHS Lào 43 Hình 3.2: Giao diện Quản lý thơng tin cá nhân 44 Hình 3.3: Giao diện Quản lý thông tin nơi học 44 Hình 3.4: Giao diện Tra cứu tìm kiếm 45 Hình 3.5: Giao diện Thống kê tổng hợp 45 Hình 4.1: Mơ hình hệ thống xử lý phân tán BGDTT Lào ĐSQ Lào Việt Nam 54 Hình 4.2: Lược đồ phân tầng tổng quát để xử lý truy vấn phân tán 56 Hình 4.3: Giao diện phần mềm Server Profiler 57 Hình 4.4: Kết Selection, Projection Join máy ảo 59 Hình 4.5: Kết Selection, Projection Join máy PC 60 Hình 4.6: Cơng cụ Database Engine Tuning Advisor 61 Hình 4.7: Kết Database Engine Tuning Advisor máy ảo 61 Hình 4.8: Kết Database Engine Tuning Advisor máy PC 62 Hình 4.9: Kết hiệu CPU Memory máy ảo 63 Hình 4.10: Kết hiệu CPU Memory máy PC 63 tbTr (Bảng Trạng Thái) STT Tên trường Kiểu Giải thích TrMTH Text Mã trạng thái TrTTH Text Tên trạng thái tbKQ (Bảng Kết Quả) STT Tên trường Kiểu Giải thích KMKQ Text Mã kết KTKQ Text Tên kết tbTH (Bảng Trường Học) STT Tên trường Kiểu Giải thích THMTH Text Mã Trường học THTTH Text Tên Trường học THTT Text Thông tin 3.2.5 Mẫu quan hệ bảng 52 Hình 3.7: Quan hệ bảng sở liệu 3.3 Tiểu kết chương Việc thiết kế xây dựng hệ thống mơ hình để áp dụng vi tính hóa Quản lý LHS Lào tương lai, giúp đỡ công việc quản lý Bộ giáo dục Thể thao Lào đại Trong chương này, xây dựng mô hình mẫu liệu, mẫu quan hệ bảng yêu cầu quản lý hệ thống Quản lý LHS Lào với quy trình thiết kế để phân bố sở liệu phân tán 53 CHƯƠNG ÁP DỤNG THỬ NGHIỆM ĐÁNH GIÁ HIỆU NĂNG TRÊN PHẦN MỀM QUẢN LÝ LHS LÀO 4.1 Triển khai thử nghiệm 4.1.1 Mơ hình hệ thống phân tán Hình 4.1: Mơ hình hệ thống xử lý phân tán BGDTT Lào ĐSQ Lào Việt Nam 4.1.2 Quy trình xử lý liệu phân tán Quá trình xử lý hệ thống Quản lý LHS Lào chia thành nhiều vấn đề nhỏ tương ứng với tầng khác nhau, tầng xử lý số vấn đề cụ thể Đấu vào câu truy cấn liệu phân tán mà Bộ giáo dục thể thao Lào đặt để truy vấn thông tin liệu họ muốn biết Câu truy vấn phân tán đặt quan hệ toàn cục, nghĩa chi tiết liệu phân tán 54 hệ quản trị sở liệu sinh viên Đại sứ qn Lào Mơ hình lược đồ gồm bốn tầng ánh xạ xâu truy vấn phân tán thành chuỗi thao tác cục tối ưu hóa, hoạt động sở liệu cục Chức tầng bao gồm: phân rã truy vấn, tập trung hóa liệu, tối ưu hóa truy vấn tồn cục tối ưu hóa truy vấn cục Phân rã truy vấn cục hóa liệu tương ứng với việc viết lại truy vấn Chức ba tầng thực vị trí tập trung sử dụng thơng tin tồn cục cịn chức tầng thứ tư thực vị trí cục Tàng phân rã truy vấn có chức phân rã câu truy vân phân tán dạng phép tính quan hệ thành câu truy vấn cục dạng phép tốn đại số quan hệ Q trình biến đổi cần thiết phải sử dụng thông tin sở liệu, mô tả lược đồ khái niệm toàn cục Phân rã câu truy vấn bao gồm thao tác: • • • • Viết lại câu truy vấn phép tính quan hệ thành dạng chuẩn tắc, lương từ hóa câu truy vấn cách áp dụng độ ưu tiên phép tính quan hệ Phân tích câu truy vấn chuẩn hóa mặt ngữ nghĩa, thông thường biểu diễn đô thị, nhằm xác định loại bỏ câu truy vấn sai, tồn tập phép tính quan hệ Các câu truy vấn cịn lại đơn giản hóa, cách bỏ vị từ phép tính quan hệ Các câu truy vấn từ phép tính quan hệ chuyển sang phép toán đại số quan hệ Từ câu truy vấn ban đầu biến đổi để tìm câu truy vấn biểu diễn phép toán đại số quan hệ tối ưu 55 Hình 4.2: Lược đồ phân tầng tổng quát để xử lý truy vấn phân tán 4.1.3 Nền tảng công nghệ sử dụng Hệ điều hành: Hệ điều hành Windows 7; VMware® Workstation 12 Pro; Hệ quản trị sở liệu: SQL Server 2008; Ngôn ngữ lập trình: Cơng nghệ NET cơng cụ phát triển Visual Studio NET 2008 Cấu hình máy ảo sở liệu: CPU: i7-3612 QM @ 2.10GHz, Cache: MB; RAM: 8GB (2 X 4GB) DDR3-1600 SSD: 240 GB 56 4.2 Thực nghiệm đo đánh giá giá trị tính Điểm chuẩn vi mô Sử dụng công cụ Microsoft SQL Server Profiler để theo dõi hiệu Tuning Advisor để cải thiện hiệu sở liệu Thiết lập cấu hình tham số Server Profiler: CPU, read/write duration a Thực nghiệm máy ảo Hình 4.3: Giao diện phần mềm Server Profiler 57 Sau Run để theo dõi kịch chạy phần mềm: 58 Hình 4.4: Kết Selection, Projection Join máy ảo b Thực nghiệm máy PC 59 Hình 4.5: Kết Selection, Projection Join máy PC c So sánh kết sau: Bảng 4.1: Kết giá trị tính may sử dụng công cụ Server Profiler Máy ảo TT Phép chiếu CPU Máy PC Read Write Duration CPU Read Write Duration Selection 0 0 Projection 16 14 86 0 Join 15 511 45 509 51 Đối với số trường hợp chưa đánh mục địa bàn, dẫn đến tổng hợp báo cáo giải phóng nhớ chậm, cần nghiên cứu Tuning để đảm bảo tốc độ truy vấn nhanh Để thực bước Tuning ta tiến hành thực nghiệm sau: Tiến hành lưu tập báo cáo máy thực việc điều chỉnh hiệu công cụ Database Engine Tuning Advisor sau: Điều chỉnh hiệu công cụ Database Engine Tuning Advisor: Truy cập chức Tuning Advisor: 60 Hình 4.6: Cơng cụ Database Engine Tuning Advisor Hình 4.7: Kết Database Engine Tuning Advisor máy ảo 61 Hình 4.8: Kết Database Engine Tuning Advisor máy PC So sánh kết sau: Bảng 4.2: Kết giá trị tính máy sử dụng công cụ Database Engine Tuning Advisor Date Time Maximum space for recommendation (MB) Space used currently (MB) Space used by recommendation (MB) Number of events in workload Number of events tuned Number of statements tuned Percent SELECT statements in the tuned set Máy ảo 04-01-18 4:24:00 PM 50 2 57 57 25 100 Máy PC 21-03-18 3:48:48 PM 50 2 1 100 4.3 Thực nghiệm đo đánh giá giá trị tính Điểm chuẩn vĩ mơ Thiết lập mơi trường kiểm thử: o Tất kiểm thử thực máy chủ; o Máy ảo chạy hệ điều hành Windows 7; o Sử dụng công cụ Performance Monitor Microsoft Các phép đo hiệu thực sau: o Công cụ Performance Monitor chịu trách nhiệm theo dõi tiêu tốn nhớ CPU q trình chạy o Cơng cụ Server Profiler chịu trách nhiệm theo dõi: CPU (thời gian sử dụng nhớ), read (số lần thao tác vào liệu đĩa); write (số lần ghi vào đĩa); duration (khoảng thời gian thực thi câu lệnh) Cấu hình tham số bên dưới: 62 Hình 4.9: Kết hiệu CPU Memory máy ảo Hình 4.10: Kết hiệu CPU Memory máy PC Hiệu hệ thống phần mềm có liệu có thơng tin LHS 71 người thử chạy máy ảo máy PC đánh sau: Trên máy ảo, báo cáo phức tạp thực thi tương đối chậm sử dụng xử lý nhớ tài nguyên có giới hạn thử chạy máy PC đồng thời nhận số lượng CPU Memory dùng có tốc độ nhanh so với máy ảo 4.4 Một số nhận xét khuyến cáo Cần thực trình Tuning, có việc đánh mục vào cột liệu xuất phép chọn (selection); Tối ưu hóa câu lệnh SQL mệnh đề join phép union, group để đảm bảo cải thiện hiệu sở liệu Nên sử dụng hệ thống máy chủ thiết kế giải pháp cân tải để đảm bảo số lượng người dùng tăng lên đảm bảo hệ thống hoạt động ổn định, an toàn thông suốt 63 KẾT LUẬN Với phát triển mạnh mẽ hệ thống phân tán đánh giá hiệu việc nghiên cứu thiết kế hệ thống phân tán cho hệ thống lớn có phạm vi sử dụng rộng vấn đề cần nghiên cứu triển khai Hệ thống Quản lý LHS Lào hệ thống phục vụ việc quản lý sinh viên Bộ giáo dục thể thao Lào, hệ thống có tần suất sử dụng cao có phạm vi sử dụng rộng lớn việc đề xuất thiết kế hệ thống vấn đề khả thi Do vậy, sau thời gian tiếp cận tìm hiểu làm luận văn đạt số kết sau: Về mặt nghiên cứu lý thuyết: Đã tiến hành nghiên cứu Điểm chuẩn, xác định tầm quan trọng vai trò Điểm chuẩn kỹ thuật phần mềm, từ đưa phân tích thống kê kết dựa phép đo; Trình bày tảng, cơng cụ kỹ thuật khác thực nghiệm đánh giá hiệu phần mềm dựa phương pháp Điểm chuẩn Về việc xây dựng mơ hình sở liệu phân tán trình tối ưu hóa câu truy vấn phát triển từ hệ tập trung, việc phân tán quan hệ thường chia chúng thành nhiều mảnh nhỏ để đặt vị trí thường xun sử dụng mảnh đó, mảnh sau chia cấp phát vị trí khác Vấn đề để giảm thấp chi phí truy xuất, chi phí truyền thơng, chi phí xử lý đến mức thấp mà đảm bảo kết tương đương Đây công cụ hệ thống thông tin lớn chọn làm môi trường cài đặt sở liệu phát triển ứng dụng với khả quản trị sở liệu phân tán tốt phù hợp với hệ thống phân cấp, phân tán vị trí địa lý khả an toàn liệu cho hệ thống Về mặt ứng dụng: Sử dụng chuẩn Benchmark, số công cụ Server Profiler, Performance Monitor, Tuning Advisor để theo dõi, đánh giá hiệu sở liệu Áp dụng kỹ thuật tối ưu hóa phân tán vào thiết kế hẹ thống Quản lý sinh viên văn phòng Bộ giáo dục thể thao Lào Đại sử quán Lào nước Hệ thống thiết kế theo hướng phân tán liệu, làm cho người sử dụng cảm giác hệ thống liệu tập trung, ứng dụng khả quản trị liệu phân tán Microsoft SQL Server, sử dụng Visual Basic.NET lập trình hỗ trợ ngơn ngữ lập trình phần mềm VMware Workstation tạo máy ảo coi tốt giới hỗ trợ chạy nhiều hệ điều hành khác máy tính so sánh hiệu máy ảo máy PC Nghiên cứu đề tài góp phần giải vấn đề lớn việc Quản lý LHS Lào Trong tương lai, đề tài mở rộng cách nghiên cứu 64 thêm hệ thống Client-Server; đồng thời phải so sánh với số liệu cụ thể cài đặt chạy hệ quản trị sở liệu định, để định lượng mức độ xác công cụ 65 DANH MỤC TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt [1] PGS.TS Huỳnh Quyết Thắng (2016) Slide ngun lý ngơn ngữ lập trình, Đại học Bách khoa Hà nội [2] TS Phạm Thế Quế, “Cơ sở liệu phân tán”, NXB Thông tin truyền thông, Mã số: GD 26 HM 09 năm 2009 Tài liệu tham khảo tiếng Anh [3] Jan Waller (2014) Performance Benchmarking of Application Monitoring Frameworks, Department of Computer Science, Kiel University (17-39) [4] Marcelo R N Mendes (2013) Performance Evaluation and Benchmarking of Event Processing Systems, the degree of Doctor, University of Coimbra (33-37, 84-100) [5] Performance Monitoring and Tuning Tools, , xem 15/8/2017 [6] Performance and Reliability Monitoring Getting Started Guide for Windows Server 2008, , xem 16/8/2017 [7] William Panek (2012), MCSA Windows Server 2012 R2 Complete Study Guide, Microsoft press [8] Mendes, M.R.N., Bizarro, P., Marques, P.: FINCoS: benchmark tools for event processing systems In Proceedings of ICPE 2013 (313-316) [9] ISO/IEC 25010:2011, https://www.iso.org/standard/35733.html, xem 20/7/2017 [10] Michael V Mannino, “Database Design, Application Development, And Administration” Published by mcgraw-hill/irwin, New York, 2007 [11] M Tamer Ưzsu • Patrick Valduriez, “Principles of Distributed Database Systems Third Edition” Published by Springer Science+Business Media, New York 2011 [12] Palo Alto “Fibre Channel SAN Configuration Guide” Published by VMware, Inc 2009 [13] Sebastian Meine, Ph.D., “Fundamentals of SQL Server 2012 Replication”, published by Simple Talk 2013 66 ... liệu lưu học sinh Lào thử nghiệm đánh giá hiệu phần mềm CHƯƠNG CƠ SỞ LÝ THUYẾT VỀ HIỆU NĂNG, GIÁ TRỊ TÍNH NĂNG PHẦN MỀM VÀ ĐO LƯỜNG HỆ THỐNG 1.1 Tổng quan hiệu phần mềm ứng dụng Việc xác định...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - PEUNGNHOTHOUNG Tavansai PHƯƠNG PHÁP ĐÁNH GIÁ HIỆU NĂNG PHẦN MỀM QUẢN TRỊ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG THỬ NGHIỆM TRONG CHƯƠNG... cứu sau sử dụng trình thực luận văn : - Phương pháp nghiên cứu tài liệu: Sử dụng để nghiên cứu phương pháp đánh giá hiệu phần mềm điểm, nghiên cứu số khung giám sát, đánh giá hiệu phần mềm điểm