Giao tác và nhân bản tìm hiểu một số dịch vụ hệ thống phổ biến

BÁO CÁO GIAO TÁC VÀ NHÂN BẢN TÌM HIỂU MỘT SỐ DỊCH VỤ HỆ THỐNG PHỔ BIẾN I Giao tác 1 Khái niệm Giao tác là một đơn vị công việc trên CSDL xét trên tính logic Một giao tác có thể là toàn bộ một chương[.]

BÁO CÁO GIAO TÁC VÀ NHÂN BẢN TÌM HIỂU MỘT SỐ DỊCH VỤ HỆ THỐNG PHỔ BIẾN I Giao tác Khái niệm -Giao tác đơn vị công việc CSDL xét tính logic Một giao tác tồn chương trình (viết ngôn ngữ thao tác liệu bậc cao hay ngơn ngữ lập trình SQL, COBOL, ), phần chương trình hay câu lệnh đơn lẻ câu lệnh INSERT, UPDATE SQL -Một giao tác (transaction) hành động hay chuỗi hành động truy cập vào CSDL làm thay đổi nội dung CSDL, giao tác đưa người sử dụng hay chương trình ứng dụng -Một số thuật ngữ liên quan đến giao tác – Begin [transaction/tran] : bắt đầu transaction – Commit [transaction/tran] : hoàn tất transaction – Rollback [transaction/tran] : quay lui, hủy bỏ toàn phần giao tác thực trước Tính chất Tính ngun tố (Atomic) : tất thao tác giao tác phải thực thành công, không thao tác thực • Tính qn (Consistency): Chuyển CSDL từ tình trạng quán sang tình trạng qn khác • Tính lập (Isolation): : xử lý giao tác phải độc lập với tác động (thấy or thay đổi liệu) giao tác khác thực đồng thời • Tính bền vững (Durability): Sau giao tác commit thành công, tất thay đổi CSDL mà giao tác thực phải ghi nhận chắn (vào ổ cứng).Hoạt động giao dịch phân tán *Ghi chú: Đảm bảo tính chất Automic -Để đảm bảo tính chất A giao tác Người sử dụng phải tường minh điều khiển rollback giao tác -Cần kiểm tra lỗi sau thực thao tác giao tác để xử lý rollback kịp thời II Nhân thống hệ thống Khái niệm Nhân hành động tạo thêm cho loại liệu lưu nơi khác Để đảm bảo an tồn thơng tin cho hệ thống phân bố, người ta thường tổ chức lưu trữ liệu nhiều vị trí vật lý khác đồng thời tạo cho liệu Lý phải nhân - Để tăng tín tin cậy (tính sẵn sàng) cho hệ thống - Để tăng hiệu hệ thống Nhất qn liệu Các mơ hình lưu hướng liệu - Mơ hình thống liên tục Mơ hình hoạt động dựa việc xác định xem việc ko thống chấp nhận dựa vào việc xác định thông tin sau: ● Độ lệch số ● Độ lệch theo trạng thái ● Độ lệch thứ tự lần cập nhật Như hệ thống quy định độ lệch Nếu phiên cập nhật mà độ lệch chưa đạt tới giá trị quy định khác coi thống ko phải thực cập nhật Độ lệch số sao: o Thường sử dụng với chương trình có liệu số o Có dạng độ lệch là: độ lệch tương đối độ lệch tuyệt đối o Có thể xác định số số lượng cập nhật cho Độ lệch trạng thái sao: o Liên quan đến thời gian cuối cập nhật o Với số ứng dụng chấp nhận liệu cũ , miễn ko cũ o Ví dụ: dự báo thời tiết , máy chủ liên tục nhận thông tin thời tiết đồng 30’/lần … Độ lệch thứ tự cập nhật: o Thứ tự cập nhật phép khác khác khác giới hạn o Khi nhận yêu cầu cập nhật tạm thời cập nhật chờ đồng ý khác trình cập nhật o Như cần có thêm phụ để không nhận đồng ý cập nhật khác quay lại cũ o Có thể sau nhiều lần cập nhật tạm thời cập nhật lâu dài => Tóm lại , sử dụng khác nằm giới hạn chấp thuận Nói cách khác cập nhật chờ để xác nhận trước cập nhật lên tất khác => thứ tự cập nhật rắc rối Cách làm cần lưu trữ thêm để quay lại cập nhật không chấp thuận - Mơ hình thống theo thứ tự thao tác +Thống chặt Là mơ hình thỏa mãn điều kiện sau: ● Thao tác đọc mục liệu x trả giá trị tương ứng với kết thao tác ghi gần x ● Sử dụng khái niệm thời gian tuyệt đối ● Thời gian tuyệt đối tổng thể cho hệ thống để xác định khái niệm "gần nhất" => Điều khó khả thi với hệ phân tán ● Các kí hiệu: o Wi(x)a: thao tác ghi thực tiến trình P(i) lên mục liệu x với giá trị a o Ri(x)b: thao tác đọc thực tiến trình P(i) lên mục liệu x cho kết b o Giá trị khởi tạo liệu NIL (x = null) Do việc lan truyền cục P1 chưa tới P2 nên P2 đọc liệu x giá trị null ban đầu => Mơ hình không khả thi +Thống ● Là mơ hình lỏng lẻo hơn, yếu mơ hình thống chặt ● Các tiến trình có chuỗi thao tác cục ● Nó thỏa mãn yêu cầu sau: o Kết thực thao tác đọc ghi tiến trình thực kho liệu cách thao tác tiến trình xuất chuỗi thao tác chương trình o Khi tiến trình chạy đồng thời máy khác cho phép đan xen thao tác tất tiến trình phải nhận biết đan xen thao tác ● Tất tiến trình nhìn thấy thứ tự thao tác ghi ● (a) Mơ hình qn ● (b) Khơng mơ hình qn +Thống tuyến tính ● Là mơ hình yếu mơ hình thống chặt mạnh mơ hình thống ● Mơ hình thỏa mãn điều kiện sau: o Kết thực thao tác (đọc ghi) tất tiến trình lên liệu thực môt cách thao tác tiến trình xuất chuỗi thao tác phải theo thứ tự chương trình +Thống nhân ● Đây mơ hình lỏng lẻo mơ hình thống ● Mơ hình phân biệt kiện có quan hệ nhân kiện khơng có quan hệ nhân ● Nếu kiện b gây bị tác động kiện a xảy sớm tính nhân địi hỏi thực thể khác phải "nhìn" thấy a trước thấy b sau ● Các thao tác ghi đồng thời nhận biết theo thứ tự khác máy khác ● Hai thao tác ghi coi có quan hệ nhân qủa với việc thực thao tác có khả gây ảnh hưởng đến liệu ghi thao tác ● Mơ hình thống nhân thỏa mãn điều kiện sau: o Một thao tác đọc có quan hệ nhân với thao tác ghi cung cấp liệu cho o Một thao tác ghi có quan hệ nhân với thao tác đọc xảy trước tiến trình ● Nếu thao tác khơng có quan hệ nhân với chúng coi xảy đồng thời ● Các thao tác đọc đồng thời thực theo trật tự miễn chúng tuân theo trình tự chương trình +Thống FIFO ● Thống FIFO cịn gọi quán PRAM ● Đây mô hình yếu mơ hình bỏ qua giới hạn trật tự thao tác đồng thời ● Mơ hình thỏa mãn điều kiện: o Các thao tác ghi tiến trình đơn phải tất tiến trình khác nhìn thấy theo trật tự mà chúng đề o Nhưng thao tác ghi nhiều tiến trình khác thấy theo trật tự khác tiến trình khác - Thống yếu ● Mơ hình khơng tập trung vào thao tác liệu mà chúng quan tâm đến trật tự nhóm lệnh việc sử dụng biến đồng ● Mơ hình có ba đặc tính sau: o Việc truy cập đến biến đồng hóa kết hợp với kho liệu thống o Khơng có thao tác lên biến đồng hóa phép thực tất thao tác ghi trước hồn thành nơi o Khơng có thao tác đọc hay ghi liệu lên mục liệu phép thực tất thao tác trước lên biến đồng hóa thực ● (a) Mơ hình qn yếu ● (b) Khơng mơ hình qn yếu +Thống (Release consistency) ● Sử dụng thêm hai lệnh: o Lệnh acquired: để báo muốn vào vùng tới hạn (critial region) o Lệnh release: để báo giải phóng vùng tới hạn ● Hai lệnh có hai cách thực thi khác như: biến lệnh đặc biệt ● Hai thao tác thực với liệu dùng chung không áp dụng cho tất liệu ● Điều kiện thỏa mãn: o Trước thực thao tác đọc hay ghi lên liệu chia sẻ tất thao tác acquire tiến trình thực trước phải hồn tất o Trước thao tác release phép thực tất thao tác đọc ghi tiến trình thực trước phải hoàn tất o Truy cập vào biến đồng hóa qn FIFO (Khơng u cầu qn tuần tự) - Thống vào (Entry consistency) ● Giống mơ hình thống ra, mơ hình thống vào sử dụng hai lệnh acquired release muốn sử dụng vào vùng tới hạn ● Tuy nhiên lệnh thao tác mục liệu vùng liệu chia sẻ Tiến trình muốn sử dụng mục liệu phải đợi cho tất tiến trình khác giải phóng mục liệu ● Để ghi lên mục liệu, client phải có biến đồng hố mục chế độ dành riêng Điều có nghĩa không ● ● ● ● client khác sử dụng biến Khi client cập nhật xong mục liệu, giải phóng biến Khi client muốn đọc mục liệu đó, phải có biến đồng hóa kết hợp chế độ khơng dành riêng Nhiều client giữ biến đồng hóa chế độ không dành riêng Khi thực thao tác acquire, client lấy phiên mục liệu từ tiến trình cuối thực thao tác acquire biến Điều kiện sau: o Một thao tác acquire để truy cập vào biến đồng hóa khơng phép thực tiến trình tất cập nhật lên mục liệu tiến trình thực o Trước truy cập chế độ dành riêng tiến trình tới biến đồng hóa phép thực khơng tiến trình khác cịn giữ biến đồng hóa, chế độ khơng dành riêng khơng cần u cầu o Sau truy cập chế độ dành riêng lên biến đồng hóa thực truy cập tiến trình khác chế độ không dành riêng lên biến khơng thực chủ nhân biến đồng thực xong việc truy cập III Các dịch vụ hệ thống Hadoop  Khái niệm: Hadoop Apache Framework viết java cho phép xử lý phân tán tập liệu lớn cụm máy tính cách sử dụng mơ hình lập trình đơn giản Ứng dụng khung Hadoop hoạt động môi trường cung cấp khả lưu trữ tính tốn phân tán cụm máy tính Hadoop thiết kế để mở rộng quy mô từ máy chủ đơn lẻ lên hàng nghìn máy, máy cung cấp khả tính tốn lưu trữ cục  Ưu điểm: • Khả mở rộng cao: Hadoop tảng lưu trữ có khả mở rộng cao lưu trữ phân phối liệu lớn hàng trăm máy chủ hoạt động song song • Chi phí hiệu quả: Hadoop cung cấp giải pháp lưu trữ hiệu chi phí cho liệu Trên thực tê, để giảm chi phí có khơng gian lưu trữ liệu mới, nhiều cơng ty phải xóa bỏ liệu thơ Điều dẫn đến tình trạng liệu quan trọng Với Hadoop, vấn đề lưu trữ liệu lớn giải triệt để với chi phí thấp • Tốc độ: Phương pháp lưu trữ độc đáo Hadoop dựa hệ thống tập tin phân tán Các công cụ xử lý liệu thường nằm máy chủ với liệu nên kết xử lý liệu nhanh nhiều Với khối liệu lớn phi cấu trúc, Hadoop xử lý hiệu tetabyte liệu vài phút petabye vài • Khả nhân bản: Hadoop tự động chép liệu lưu trữ tạo nhiều Khi liệu gửi đến nút liệu nhân rộng đến node khác cluster Điều đảm bảo trường hợp có lỗi xẩy ra, liệu khơng bị  Nhược điểm: • Bảo mật: Khi xử lý liệu nhạy cảm thu thập, bắt buộc phải cung cấp biện pháp bảo mật cần thiết Trong Hadoop, khơng có mơ hình bảo mật • Xử lý liệu nhỏ: HDFS khơng hiệu để xử lý tập tin nhỏ  Kiến trúc: -Về cốt lõi, Hadoop có hai lớp chính: +Lớp Xử lý / Tính tốn (MapReduce) +Lớp lưu trữ (Hệ thống tệp phân tán Hadoop) 2.Hadoop Distributed File System (HDFS)  Khái Niệm Hệ thống tệp Hadoop phát triển cách sử dụng thiết kế hệ thống tệp phân tán Nó chạy phần cứng hàng hóa Không giống hệ thống phân tán khác, HDFS có khả chống lỗi cao thiết kế phần cứng giá rẻ HDFS chứa lượng lớn liệu cung cấp khả truy cập dễ dàng Để lưu trữ liệu khổng lồ vậy, tệp lưu trữ nhiều máy Những tệp lưu trữ theo kiểu dự phòng để giải cứu hệ thống khỏi mát liệu xảy trường hợp bị lỗi HDFS làm cho ứng dụng có sẵn để xử lý song song      Tính Nó phù hợp cho việc lưu trữ xử lý phân tán Hadoop cung cấp giao diện lệnh để tương tác với HDFS Các máy chủ tích hợp nút tên nút liệu giúp người dùng dễ dàng kiểm tra trạng thái cụm Truyền trực tuyến quyền truy cập vào liệu hệ thống tệp  HDFS cung cấp quyền xác thực tệp  Kiến trúc HDFS tuân theo kiến trúc master-slave có yếu tố sau:  Namenode: phần cứng hàng hóa có chứa hệ điều hành GNU / Linux phần mềm namenode Nó phần mềm chạy phần cứng hàng hóa  Datanode: phần cứng hàng hóa có hệ điều hành GNU / Linux phần mềm datanode Đối với nút (Phần cứng hàng hóa / Hệ thống) cụm, có datanode Các nút quản lý việc lưu trữ liệu hệ thống họ  Block: liệu người dùng lưu trữ tệp HDFS Tệp hệ thống tệp chia thành nhiều phân đoạn / lưu trữ nút liệu riêng lẻ Các phân đoạn tệp gọi khối Nói cách khác, lượng liệu tối thiểu mà HDFS đọc ghi gọi Block Kích thước khối mặc định 64MB, tăng lên tùy theo nhu cầu thay đổi cấu hình HDFS Hadoop MapReduce  Khái niệm: MapReduce kỹ thuật xử lý mơ hình chương trình cho tính tốn phân tán dựa java Thuật tốn MapReduce chứa hai nhiệm vụ quan trọng, Bản đồ Giảm thiểu Bản đồ lấy tập hợp liệu chuyển đổi thành tập liệu khác, phần tử riêng lẻ chia nhỏ thành giá trị (cặp khóa / giá trị) Thứ hai, giảm tác vụ, lấy đầu từ đồ làm đầu vào kết hợp liệu thành bộ giá nhỏ Như trình tự tên MapReduce ngụ ý, tác vụ thu gọn thực sau tác vụ đồ        Thuật toán: Nói chung, mơ hình MapReduce dựa việc gửi máy tính đến nơi chứa liệu! Chương trình MapReduce thực thi ba giai đoạn, giai đoạn đồ, giai đoạn xáo trộn giai đoạn giảm bớt Trong công việc MapReduce, Hadoop gửi tác vụ Bản đồ Rút gọn đến máy chủ thích hợp cụm Khung quản lý tất chi tiết việc truyền liệu, chẳng hạn phát hành nhiệm vụ, xác minh việc hoàn thành nhiệm vụ chép liệu xung quanh cụm nút Hầu hết q trình tính tốn diễn nút với liệu đĩa cục làm giảm lưu lượng mạng Sau hoàn thành nhiệm vụ định, cụm thu thập giảm liệu để tạo thành kết thích hợp gửi trở lại máy chủ Hadoop  Ưu điểm: Khả mở rộng Hiệu giải vấn đề Xử lý nhanh  Nhược điểm Khơng có mơ hình bảo mật, tính phức tạp cao Khơng cung cấp lưu trữ mã hóa mạng Khơng có hiệu xử lý tập tin nhỏ Khó biểu diễn liệu đầu theo nhu cầu sử dụng Khơng thích hợp để sử dụng trường hợp có nhu cầu truy cập liệu thời gian thực 4 Hadoop Common Đây thư viện tiện ích cần thiết Java để module khác sử dụng Những thư viện cung cấp hệ thống file lớp OS trừu tượng, đồng thời chứa mã lệnh Java để khởi động Hadoop Hadoop YARN YARN (Yet-Another-Resource-Negotiator) framework hỗ trợ phát triển ứng dụng phân tán YARN cung cấp daemons APIs cần thiết cho việc phát triển ứng dụng phân tán, đồng thời xử lý lập lịch sử dụng tài ngun tính tốn (CPU hay memory) giám sát trình thực thi ứng dụng Bên YARN, có hai trình quản lý ResourceManager NodeManage  ResourceManager: Quản lý tồn tài ngun tính tốn cluster  NodeManger: Giám sát việc sử dụng tài nguyên container báo cáo với ResourceManger Các tài nguyên CPU, memory, disk, network, Quá trình ứng dụng chạy YARN mô tả sơ đồ qua bước sau:  Client giao task cho Resource Manager  Resource Manager tính tốn tài ngun cần thiết theo yêu cầu ứng dụng tạo App Master (App Mstr) Application Master chuyển đến chạy node tính tốn Application Master liên lạc với NodeManager node khác để yêu cầu công việc cho node  Node Manager nhận yêu cầu chạy task container  Các thơng tin trạng thái thay gửi đến JobTracker gửi đến App Master ResourceManger có hai thành phần quan trọng Scheduler ApplicationManager Scheduler có trách nhiệm phân bổ tài nguyên cho ứng dụng khác Đây Scheduler túy không thực theo dõi trạng thái cho ứng dụng Nó khơng xếp lại tác vụ bị lỗi lỗi phần cứng phần mềm Bộ lập lịch phân bổ tài nguyên dựa yêu cầu ứng dụng ApplicationManager có chức sau:  Chấp nhận nộp công việc  Đàm phán container để thực thi ApplicationMaster Một nơi chứa kết hợp yếu tố CPU, nhớ, đĩa mạng  Khởi động lại container ApplicationMaster không thành công Chúng ta mở rộng YARN ngồi vài nghìn node thơng qua tính YARN Federation Tính cho phép buộc nhiều cụm YARN thành cụm lớn Điều cho phép sử dụng cụm độc lập, ghép lại với cho job lớn 6.Apache Spark  Apache Spark framework mã nguồn mở tính tốn cụm, phát triển sơ khởi vào năm 2009 AMPLab Sau này, Spark trao cho Apache Software Foundation vào năm 2013 phát triển  Apache Spark gồm có thành phần : Spark Core, Spark Streaming, Spark SQL, MLlib GraphX, đó:  Spark Core tảng cho thành phần lại thành phần muốn khởi chạy phải thông qua Spark Core Spark Core đảm nhận vai trị thực cơng việc tính tốn xử lý nhớ (In-memory computing) đồng thời tham chiếu liệu lưu trữ hệ thống lưu trữ bên  Spark SQL cung cấp kiểu data abstraction (SchemaRDD) nhằm hỗ trợ cho kiểu liệu có cấu trúc (structured data) liệu nửa cấu trúc (semi-structured data – thường liệu liệu có cấu trúc khơng đồng cấu trúc liệu phụ thuộc vào nội dung liệu ấy) Spark SQL hỗ trợ DSL (Domain-specific language) để thực thao tác DataFrames ngôn ngữ Scala, Java Python hỗ trợ ngơn ngữ SQL với giao diện command-line ODBC/JDBC server  Spark Streaming sử dụng để thực việc phân tích stream việc coi stream mini-batches thực hiệc kỹ thuật RDD transformation liệu mini-batches Qua cho phép đoạn code viết cho xử lý batch tận dụng lại vào việc xử lý stream, làm cho việc phát triển lambda architecture dễ dàng Tuy nhiên điều lại tạo độ trễ xử lý liệu (độ trễ mini-batch duration) nhiều chuyên gia cho Spark Streaming không thực công cụ xử lý streaming giống Storm Flink  MLlib (Machine Learning Library): MLlib tảng học máy phân tán bên Spark kiến trúc phân tán dựa nhớ Theo so sánh benchmark Spark MLlib nhanh lần so với phiên chạy Hadoop (Apache Mahout)  GrapX: Grapx tảng xử lý đồ thị dựa Spark Nó cung cấp Api để diễn tảcác tính tốn đồ thị cách sử dụng Pregel Api Bảo mật thông tin  Khái niệm: Bảo mật thông tin hoạt động trì tính bảo mật, tính tồn vẹn tính sẵn sàng cho tồn thơng tin Ba yếu tố tách rời  Mục đích:  Phịng tránh tình trạng tin tặc đánh cắp liệu  Đảm bảo hoạt động trao đổi thông tin, giao dịch online an tồn  Tránh hậu dính tới pháp luật  Các nguyên tắc: + Nguyên tắc CIA: Là nguyên tắc đảm bảo đủ tính chất việc bảo vệ thơng tin tính bảo mật (Confidentiality); tính sẵn sàng (Availability); tính ngun vẹn tính khơng thể từ chối (Integrity and non – repudiation) + Nguyên tắc 3A (Authentication, Authorization, Accounting): cho phép chuyên viên bảo mật biết biết thông tin quan trọng tình mức độ an tồn mạng, đồng thời xác thực – phân quyền – tính cước người dùng; + Nguyên tắc giá trị thông tin: Trong hệ thống, bạn đảm bảo bảo mật tuyệt đối tất thông tin Bởi thế, bạn cần phân chia cấp độ thông tin dựa mức độ quan trọng để có kế hoạch xây dựng hệ thống bảo mật phù hợp + Nguyên tắc đặc quyền tối thiểu: Nguyên tắc quy định chủ thể nên có đặc quyền cần thiết để thực nhiệm vụ mà khơng nên cấp quyền bổ sung không cần thiết Việc giúp hạn chế rị rỉ thơng tin khơng cần thiết  Rủi ro không bảo mật thông tin: + Đối với cá nhân: Việc rị rỉ hay bị đánh cắp thơng tin làm ảnh hưởng vô nghiêm trọng đến tài chính, uy tín, mối quan hệ cá nhân Đặc biệt hành vi đánh cắp liệu, tung lên mạng nhằm mục đích bơi xấu cá nhân hack hệ thống tài khoản ngân hàng gây thiệt hại lớn + Đối với doanh nghiệp: Nếu chẳng may bị tin tặc công, doanh nghiệp phải đối mặt với nguy liệu, thất thoát tài chính, gián đoạn hoạt động cơng ty, thiệt hại điện tử vật lý Đó cịn chưa kể đến việc hình ảnh thương hiệu bị ảnh hưởng  Các giải pháp: + Thiết lập phần mềm diệt virus, update phần mềm thường xuyên; + Thực phân quyền giới hạn quyền hệ thống với cá nhân; + Không tiết lộ thông tin liên quan tới danh tính bí mật riêng tư ngồi, khơng lưu trữ thiết bị khơng chắn khả bảo mật; + Sử dụng phần mềm lưu trữ chuyên nghiệp đặt bảo mật lớp cho ứng dụng chứa thông tin quan trọng; + Cẩn thận tải phần mềm ấn vào nguồn link khơng đảm bảo, mã hố tồn thơng tin quan trọng trước chia sẻ; + Kiểm tra thiết bị đầu vào đầu nhằm bảo mật thông tin doanh nghiệp tốt + Bên cạnh đó, đội ngũ bảo mật thơng tin cần liên tục cập nhật công nghệ để loại bỏ lỗ hổng bảo mật tồn hệ thống mạng  ... liệu ghi thao tác ● Mô hình thống nhân thỏa mãn điều kiện sau: o Một thao tác đọc có quan hệ nhân với thao tác ghi cung cấp liệu cho o Một thao tác ghi có quan hệ nhân với thao tác đọc xảy trước... động giao dịch phân tán *Ghi chú: Đảm bảo tính chất Automic -Để đảm bảo tính chất A giao tác Người sử dụng phải tường minh điều khiển rollback giao tác -Cần kiểm tra lỗi sau thực thao tác giao tác. .. chuỗi thao tác phải theo thứ tự chương trình +Thống nhân ● Đây mơ hình lỏng lẻo mơ hình thống ● Mơ hình phân biệt kiện có quan hệ nhân kiện khơng có quan hệ nhân ● Nếu kiện b gây bị tác động kiện