Đang tải... (xem toàn văn)
Trang 2 Lương Trường An MƠ HÌNH HÓA VÀ KIỂM CHỨNG HỆ THỐNG TỆP PHÂN TÁN HADOOP HDFS BẰNG CÁCH SỬ DỤNG CÁC TIẾN TRÌNH TUẦN TỰ CỦA TRUYỀN THƠNG CSP Chun ngành: Cơng nghệ thông tin Mã số: 8
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH Lương Trường An MÔ HÌNH HÓA VÀ KIỂM CHỨNG HỆ THỐNG TỆP PHÂN TÁN HADOOP (HDFS) BẰNG CÁCH SỬ DỤNG CÁC TIẾN TRÌNH TUẦN TỰ CỦA TRUYỀN THÔNG (CSP) LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Thành phố Hồ Chí Minh – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH Lương Trường An MÔ HÌNH HÓA VÀ KIỂM CHỨNG HỆ THỐNG TỆP PHÂN TÁN HADOOP (HDFS) BẰNG CÁCH SỬ DỤNG CÁC TIẾN TRÌNH TUẦN TỰ CỦA TRUYỀN THÔNG (CSP) Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS PHAN CÔNG VINH Thành phố Hồ Chí Minh – 2023 i LỜI CAM ĐOAN Em cam đoan những kết quả nghiên cứu được trình bày trong luận văn hoàn toàn trung thực Tất cả các tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Luận văn đảm bảo tính độc lập và khách quan theo đúng quy định của Khoa Thành phố Hồ Chí Minh, ngày 10 tháng 03 năm 2023 Tác giả luận văn Lương Trường An ii LỜI CẢM ƠN Trước khi trình bày nội dung chính của luận văn Thạc sĩ, em xin cảm ơn sâu sắc tới thầy PGS.TS Phan Công Vinh, Phó Trưởng khoa - khoa Công nghệ thông tin - Trường Đại học Nguyễn Tất Thành người đã tận tình dạy bảo, hướng dẫn em hoàn thành tốt luận văn này Em cũng xin cảm ơn chân thành đến thầy TS Nguyễn Kim Quốc, Trưởng khoa Công nghệ thông tin là cố vấn học tập và quý Thầy khoa Công nghệ thông tin, Viên sau đại học - Trường Đại học Nguyễn Tất Thành đã dạy bảo em trong suốt quá trình học tập tại Trường Nhân dịp này em xin gửi lời cảm ơn chân thành nhất tới gia đình, bạn bè, đồng nghiệp đã luôn động viên, cổ vũ, giúp đỡ em trong suốt quá trình học tập và thực hiện luận văn tốt nghiệp Thành phố Hồ Chí Minh, ngày 10 tháng 03 năm 2023 Học viên Lương Trường An iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii MỤC LỤC iii DANH SÁCH CÁC HÌNH vi DANH MỤC KÝ HIỆU VÀ VIẾT TẮT vii CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1 1.1 Lý do chọn đề tài 1 1.2 Mục đích nghiên cứu .1 1.2.1 Mục tiêu tổng quát 1 1.2.2 Mục tiêu cụ thể 1 1.3 Đối tượng nghiên cứu và phạm vi nghiên cứu 2 1.3.1 Đối tượng nghiên cứu 2 1.3.2 Phạm vi nghiên cứu 2 1.4 Nhiệm vụ nghiên cứu 2 1.5 Phương pháp nghiên cứu 2 1.5.1 Phương pháp lí luận 2 1.5.2 Phương pháp thực tiễn 2 1.6 Những đóng góp mới của đề tài 3 1.7 Dự kiến kế hoạch nghiên cứu .3 CHƯƠNG 2: MÔ TẢ VỀ HỆ THỐNG TỆP PHÂN TÁN HADOOP, VÀ KIẾN THỨC NỀN TẢNG VỀ CSP VÀ PAT 4 2.1 Tổng quan về HDFS .4 iv 2.2 Giới thiệu tóm tắt về CSP và PAT 8 2.2.1 Tổng quan về ngôn ngữ đại số tiến trình CSP 8 2.2.2 Tổng quát về bộ công cụ phân tích tiến trình PAT 19 2.2.3 Mô-đun CSP 24 CHƯƠNG 3: MÔ HÌNH HÓA HỆ THỐNG TỆP PHÂN TÁN HADOOP 35 3.1 Tổng quan về mô hình 35 3.2 ClientNode .35 3.2.1 ClientRead 35 3.2.2 ClientWrite 37 3.3 DataNode .40 3.3.1 DataRead 40 3.3.2 DataWrite 40 3.3.3 DataHBeat 43 3.4 NameNode .44 3.4.1 NameRead 44 3.4.2 NameWrite 45 3.4.3 NameHBeat 46 CHƯƠNG 4: KIỂM CHỨNG MÔ HÌNH HỆ THỐNG TỆP PHÂN TÁN HADOOP 47 4.1 Cài đặt trong PAT 47 4.1.1 Các bảng 47 4.1.2 Các tiến trình 48 4.2 Các thuộc tính .52 4.2.1 Không bế tắc(Deadlock Freedom) 52 v 4.2.2 Khoảng cách đường đi ngắn nhất (Minimal Distance Scheme) 52 4.2.3 Loại trừ lẫn nhau (Mutual Exclusion), 53 4.2.4 Lược đồ ghi một lần (Write-Once Scheme) 53 4.2.5 Khả năng chịu lỗi (Robustness) 54 4.3 Kết quả đánh giá 54 CHƯƠNG 5: KẾT LUẬN 56 5.1 Kết luận 56 5.1 Hướng phát triển 56 TÀI LIỆU THAM KHẢO 57 vi DANH SÁCH CÁC HÌNH Hình 2.1: Tổng quan về Kiến trúc HDFS 5 Hình 2.2: Tổng quan về Đọc tệp 6 Hình 2.3: Tổng quan về Ghi tệp 7 Hình 2.4: Tổng quan về Cơ chế nhịp tim 8 Hình 2.5: Kiến trúc PAT 21 Hình 2.6: Trình biên tập PAT 22 Hình 2.7: Chế độ chọn nhấp chuột và hàng loạt 24 Hình 2.8: Mô-đun CSP 25 Hình 3.1: Truyền thông giữa các DataNode (DataNodes) 41 Hình 3.2: Ba khả năng ghi dữ liệu (DataWrite) 41 Hình 4.1: Mô phỏng cho HDFS .51 Hình 4.2: Kết quả xác minh cho HDFS 55 vii DANH MỤC KÝ HIỆU VÀ VIẾT TẮT STT Chữ viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt 1 Hadoop Distributed File Hệ thống tệp phân tán Hadoop HDFS System 2 CSP Communicating Sequential Các tiến trình tuần tự của Processes truyền thông 3 PAT Process Analysis Toolkit Bộ công cụ phân tích tiến trình 4 ID Index Chỉ mục 5 LTL Linear Temporal Logic Logic thời gian tuyến tính 6 HBeat Heart Beat Nhịp tim 7 HBeatInterval Heart Beat Interval Khoảng nhịp tim 8 WS Web Service Dịch vụ web 9 OCR Module Optical Character Mô-đun nhận dạng ký tự Recognition Module quang học 10 NesC Module Module Checker for Mô-đun kiểm tra mô hình cho Sensor Networks mạng cảm biến 11 RTS Real-time System Hệ thống thời gian thực 12 GFS Google File System Hệ thống tệp Google 1 CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1 Lý do chọn đề tài Hadoop là một khung tham chiếu mã nguồn mở phân tán dành cho các ứng dụng tính toán dữ liệu qui mô lớn [14, 15] Lấy cảm hứng từ nghiên cứu của Google [6, 7], nó cung cấp mô hình lập trình MapReduce và hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS) Hiện nay, nhiều công ty, như Amazon, AOL, Yahoo!, Facebook và New York Times [4, 5], đã sử dụng thành công Hadoop HDFS [2, 3, 9], như là một khung tham chiếu của các ứng dụng Hadoop, cung cấp khả năng truy xuất thông lượng cao cho các dữ liệu của ứng dụng và thích hợp cho các ứng dụng có tập dữ liệu lớn Dưới khung tham chiếu này, dữ liệu phân tán trên một số lượng lớn các máy có thể được xử lý một cách hiệu quả Luận văn này được phát triển từ bài báo của PGS.TS.Phan Công Vinh [1] Nội dung trong đề tài được tổ chức như sau Trong Chương 1, sẽ giới thiệu về đề tài luận văn Chương 2 sẽ mô tả về Hệ thống tệp phân tán Hadoop, và kiến thức nền tảng về CSP và PAT Chúng ta sẽ mô hình hóa Hệ thống tệp phân tán Hadoop trong Chương 3 Trong Chương 4, chúng ta kiểm chứng mô hình Hệ thống tệp phân tán Hadoop Cuối cùng, chúng ta cung cấp các nhận xét kết luận và hướng phát triển trong Chương 5 1.2 Mục đích nghiên cứu 1.2.1 Mục tiêu tổng quát Mô hình hóa được hệ thống tệp phân tán Hadoop bằng ngôn ngữ đại số tiến trình CSP nhằm mục đích nghiên cứu và cải thiện các hạn chế của hệ thống tệp phân tán 1.2.2 Mục tiêu cụ thể Thông qua việc mô hình hóa và kiểm chứng mạng do Hệ thống tệp phân tán Hadoop bằng ngôn ngữ đại số tiến trình CSP, sẽ hoàn thành luận văn tốt nghiệp