Đồ án Quản Lý thông tin UIT so sánh Redis với SQL server

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT THÔNG TIN ĐỒ ÁN MÔN HỌC QUẢN LÍ THÔNG TIN ĐỀ TÀI Tìm hiểu về hệ quản trị Redis và so sánh điểm khác biệt so với hệ quản trị SQL Server LỚP IE103 M21 CNCL GVHD TS LƯU THANH SƠN TS NGUYỄN GIA TUẤN ANH IE103 Quản lý thông tin Trang 1 MỤC LỤC MỤC LỤC 1 DANH SÁCH BẢNG BIỂU, HÌNH VẼ 2 CHƯƠNG 1 – TỔNG QUAN VỀ REDIS 3 1 1 Hệ quản trị cơ sở dữ liệu redis 3 1 2 Kiến trúc của Redis 5 1 3 Toàn vẹ.

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT THƠNG TIN ĐỒ ÁN MƠN HỌC QUẢN LÍ THƠNG TIN ĐỀ TÀI: Tìm hiểu hệ quản trị Redis so sánh điểm khác biệt so với hệ quản trị SQL Server LỚP : IE103.M21.CNCL GVHD: TS LƯU THANH SƠN TS NGUYỄN GIA TUẤN ANH SVTH: LƯU TẤN HƯNG - MSSV: 20521364 NGUYỄN THANH HIẾU - MSSV: 20521328 IE103 Quản lý thông tin MỤC LỤC MỤC LỤC DANH SÁCH BẢNG BIỂU, HÌNH VẼ CHƯƠNG – TỔNG QUAN VỀ REDIS 1.1 Hệ quản trị sở liệu redis 1.2 Kiến trúc Redis 1.3 Toàn vẹn liệu 1.4 Khả đáp ứng cao mở rộng 1.5 Ưu nhược điểm Redis 11 1.6 Ứng dụng Redis 13 Chương – Redis vs Microsoft SQL Server 14 2.1 Sơ lược hệ quản trị sở liệu Microsoft SQL Server 14 2.2 So sánh Redis với Microsoft SQL Server 15 Tài liệu tham khảo 20 Trang IE103 Quản lý thông tin DANH SÁCH BẢNG BIỂU, HÌNH VẼ Hình 1.1 Logo hệ quản trị CSDL Redis……………………………………… Hình 1.2 Kiến trúc Redis……………………………………………………… Hình 1.3 Cơ chế chép sở liệu………………………………………… Hình 1.4 Cơ chế sentinel………………………………………………………… 10 Hình 1.5 Cơ chế cluster…………………………………………………………… 11 Hình 2.1 Logo hệ quản trị CSDL Microsoft SQL Server………………… 14 Bảng Thời gian thực truy vấn Select…………………………………… 16 Bảng Thời gian thực truy vấn Insert…………………………………… 17 Bảng Thời gian thực truy vấn Delete…………………………………… 17 Bảng Thời gian thực truy vấn Update………………………………… 18 Trang IE103 Quản lý thông tin CHƯƠNG – TỔNG QUAN VỀ REDIS 1.1 Hệ quản trị sở liệu redis 1.1.1 Redis gì? Redis CSDL dạng khóa - giá trị (key-value) , cung cấp dạng mã nguồn mở Dữ liệu Redis lưu dạng cặp khóa - giá trị Giá trị truy xuất thơng qua khóa Có thể sử dụng database, nhớ cache hay message broker Ưu điểm dạng khóa - giá trị truy xuất, tìm kiếm nhanh Nhược điểm lưu liệu không theo mẫu (schema) định Thường dùng làm nhớ đệm cho nội dung giúp truy xuất nhanh Dữ liệu lưu trữ dạng: Strings, Lists, Hashes, Sets, Sorted Sets, lưu trữ liệu RAM để tối ưu hóa thời gian truy xuất, hỗ trợ lưu xuống đĩa cứng, hỗ trợ phân tán 1.1.2 Lịch sử đời Hình 1.1 Logo redis Tên Redis có nghĩa Máy chủ Từ điển Từ xa Dự án Redis bắt đầu Salvatore Sanfilippo, nhà phát triển ban đầu Redis Sau Trang IE103 Quản lý thông tin gặp phải vấn đề đáng kể việc mở rộng số loại khối lượng công việc cách sử dụng hệ thống sở liệu truyền thống, Sanfilippo bắt đầu tạo mẫu thử nghiệm phiên khái niệm Redis TCL Sau đó, Sanfilippo dịch nguyên mẫu sang ngôn ngữ C triển khai kiểu liệu đầu tiên, danh sách Sau vài tuần sử dụng dự án nội với thành công, Sanfilippo định mở mã nguồn nó, thơng báo dự án Hacker News Dự án bắt đầu nhận sức hút, đặc biệt cộng đồng Ruby, với GitHub Instagram công ty áp dụng 1.1.2 Định nghĩa In-memory database  Không DBMS khác lưu trữ liệu đĩa cứng, Redis lưu trữ liệu RAM thao tác đọc/ghi RAM nhanh nhiều so với ổ cứng  Tuy nhiên, lưu trữ RAM nhanh thật lại gặp vấn đề bị điện liệu tiêu Để ngăn chặn việc liệu xảy ra, có mơ-đun tích hợp sẵn để ghi trạng thái nhớ vào file đĩa trường hợp định Các file tải lại khởi động lại redis Vì vậy, liệu khơng bị Ngồi ra, để tăng tính sẵn sàng khả chịu lỗi hệ thống Redis cấu hình theo dạng Cluster với kỹ thuật Master-Slave giúp hệ thống redis sẵn sàng đáp ứng lưu liệu đĩa cứng phục hồi liệu gặp cố Trang IE103 Quản lý thông tin 1.2 Kiến trúc Redis  Kiến trúc Redis chứa hai tiến trình chính: Redis client Redis Server Hình 1.2 Kiến trúc redis  Máy khách máy chủ Redis nằm máy tính hai máy tính khác  Máy chủ Redis có nhiệm vụ lưu trữ liệu nhớ Nó xử lý tất loại quản lý tạo thành phần kiến trúc Máy khách Redis máy khách bảng điều khiển Redis API Redis ngôn ngữ lập trình khác 1.3 Tồn vẹn liệu 1.3.1 Khái niệm toàn vẹn liệu  Toàn vẹn liệu hay data persistence liên quan đến việc đảm bảo liệu tồn kể ứng dụng ngưng hoạt động Trang IE103 Quản lý thơng tin tải lên để xử lý tiếp hệ thống hoạt động trở lại sau cố  Vấn đề có ý nghĩa quan trọng Redis nêu trên, Redis lưu trữ liệu RAM thay nhớ ngồi nên xảy cố chẳng hạn server bị tắt nguồn tồn liệu RAM biến Do đó, để đảm bảo liệu khơng hồn tồn bị đi, Redis áp dụng thêm chế để lưu trữ liệu nhớ phụ  Những lợi ích việc lưu trữ liệu nhớ phụ:  Đảm bảo tồn vẹn liệu có cố xảy tái tạo lại dataset khởi động lại server  Gửi liệu đến slave server, phục vụ cho tính replication 1.3.2 Những chế Redis sử dụng để chép liệu từ nhớ sang nhớ phụ  Snapshotting (RDB) - Cách thức làm việc RDB (Redis Database Backup File) định dạng tệp nhị phân sử dụng để chụp lưu trữ snapshots tập liệu Snapshotting (RDB) mô tả việc lưu tập liệu đĩa tệp nhị phân dump.rdb (RDB) Điều bao gồm Trang IE103 Quản lý thông tin việc sử dụng snapshots để lưu cấu hình, cấu trúc liệu để phục hồi hệ thống bị lỗi - Ưu điểm o Sử dụng RDB nhỏ gọn cho phép lưu trữ nhiều liệu Do đó, lựa chọn tuyệt vời bạn cần lưu trữ liệu o Dễ dàng thực biện pháp khôi phục cách sử dụng tệp RDB o So với phương pháp khác AOF, RDB nhanh tải tập liệu lớn - Nhược điểm o Redis thường tạo snapshots khoảng thời gian định sau năm phút, mười phút, hay ba mươi phút Nên trường hợp Redis ngừng hoạt động bị liệu sau lần snapshot gần o RDB cần fork () thường xuyên để snapshot đĩa quy trình fork () tốn thời gian tập liệu lớn dẫn đến việc Redis ngừng phục vụ client vài phần nghìn giây chí giây tập liệu lớn hiệu suất CPU không lớn  AOF (Append Only File) - Cách thức làm việc Trang IE103 Quản lý thông tin Redis server ghi lại thao tác ghi mà nhận vào file AOF ổ đĩa Các thao tác thực thi khởi động lại máy chủ, tạo lại tập liệu ban đầu - Ưu điểm o Nó phù hợp nhiều cho RDB trường hợp lưu khẩn cấp AOF tiếp tục thực lưu nhật ký lớn o Vì phương pháp AOF bổ sung thao tác thực nên có khả bị hỏng liệu mác liệu o Tệp AOF dễ hiểu dễ xuất ghi lại thao tác thực thi máy chủ cách - Nhược điểm o File AOF thường lớn file RDB với dataset o AOF chậm RDB tùy theo cách thức thiết lập khoảng thời gian cho việc lưu vào ổ cứng Tuy nhiên, thiết lập log giây lần đạt hiệu tương đương với RDB 1.4 Khả đáp ứng cao mở rộng 1.4.1 Sao chép sở liệu  Redis dùng chế chép master/slave để chép sở liệu nhằm cải thiện hiệu suất khả dự phịng Trang IE103 Quản lý thơng tin  Hệ thống có sở liệu tổng thể hoạt động giao diện với giới bên ngoài, xử lý tất yêu cầu đọc ghi bên ngồi Hình 1.3 Cơ chế chép sở liệu  Lợi ích: o Cải thiện hiệu suất cách mở rộng khối lượng công việc sang nhiều sở liệu phụ o Tạo lưu từ sở liệu phụ mà không làm gián đoạn sở liệu 1.4.2 Cơ chế sentinel Redis Sentinel dùng để giám sát node cụm Redis Khi master phục vụ, Sentinel đảm nhiệm nhiệm vụ giám sát tự lựa chọn master slaves Cơ chế Trang IE103 Quản lý thơng tin hữu ích login vào server, khắc phục thủ công tay cách nâng slave lên làm master Hình 1.4 Cơ chế sentinel 1.4.2 Cơ chế cluster Redis Cluster giúp Redis hoạt động theo mơ hình phân tán, chia instance thành nhiều cluster Trang 10 IE103 Quản lý thơng tin Hình 1.5 Cơ chế cluster 1.5 Ưu nhược điểm Redis Ưu điểm  Hiệu Tất liệu Redis lưu trữ nhớ, cho phép truy cập liệu có độ trễ thấp thông lượng cao Không giống sở liệu truyền thống, lưu trữ liệu nhớ không yêu cầu quyền truy cập vào đĩa, giảm độ trễ động xuống micro giây Do đó, việc lưu trữ liệu nhớ hỗ trợ hoạt động quy mô lớn với thời gian phản hồi nhanh Ưu điểm mang lại hiệu suất cực nhanh với thời gian hoạt động đọc ghi Trang 11 IE103 Quản lý thông tin trung bình phần nghìn giây hỗ trợ hàng triệu thao tác giây  Cấu trúc liệu linh hoạt: Trong kho liệu khóa-giá trị khác cung cấp cấu trúc liệu hạn chế, Redis cung cấp nhiều cấu trúc liệu khác để đáp ứng nhu cầu ứng dụng String, List ,Bitmap, Hash,  Đơn giản để sử dụng Redis cho phép bạn viết mã phức tạp truyền thống với dịng đơn giản Với Redis, bạn lưu trữ, truy cập sử dụng liệu ứng dụng với vài dịng mã Sự khác biệt nhà phát triển sử dụng Redis sử dụng cấu trúc lệnh đơn giản ngôn ngữ truy vấn sở liệu truyền thống  Nhân rộng bền bỉ Redis sử dụng kiến trúc hỗ trợ chép khơng đồng bộ, chép liệu sang nhiều máy chủ Điều không cải thiện hiệu suất đọc (vì u cầu phân chia nhiều máy chủ) mà cho phép khơi phục nhanh chóng trường hợp máy chủ bị lỗi Về tính bền bỉ, Redis hỗ trợ lưu điểm thời gian (sao chép liệu Redis vào đĩa)  Tính khả dụng khả mở rộng cao Redis cung cấp kiến trúc cấu trúc liên kết cụm nút Điều cho phép bạn xây dựng giải pháp có tính khả dụng cao mang lại hiệu suất độ tin cậy quán  Mã nguồn mở Redis dự án mã nguồn mở hỗ trợ cộng đồng sôi động Trang 12 IE103 Quản lý thơng tin Nhược điểm  Vì Redis sử dụng RAM làm nhớ cho nên lượng file cache lớn dẫn đến trường hợp thiếu RAM cho Server  Không thể truy vấn trực tiếp object 1.6 Ứng dụng Redis  Caching: Được sử dụng để làm nhớ đệm tạo tốc độ ghi nhanh chia sẻ nhiều liệu nằm ứng dụng làm database khoảng thời gian tạm thời ra, Redis cịn sử dụng để làm Full Page Cache dành cho website Nhờ tính quán bên dù bạn có restart Redis người sử dụng không cảm nhận việc chậm tải trang  Counter: Được ứng dụng để làm đếm Nhờ vào thuộc tính tăng giảm thơng số nhanh chóng nên liệu lưu trữ RAM, sets sorted sets sử dụng phổ biến để thực đếm lượt view cho website bảng xếp hạng game Redis hỗ trợ thread safe nên thực trình đồng liệu request  Publish/Suscribe (Pub/Sub): Có thể thực tạo kênh, chia sẻ liệu Redis sở hữu tính hỗ trợ tạo channel để người sử dụng trao đổi liệu publisher subscriber tương tự channel Socket Cluster topic Apache Kafka Ví dụ: Pub/Sub thường dùng để theo dõi kết nối bên mạng xã hội hệ thống chat khác Trang 13 IE103 Quản lý thông tin  Queues: Tạo hàng đợi để xử lý request Redis thường cho phép bạn lưu trữ theo list cung cấp nhiều thao tác với hầu hết phần tử bên list Chính vậy, cịn sử dụng xem message queue Chương – Redis vs Microsoft SQL Server 2.1 Sơ lược hệ quản trị sở liệu Microsoft SQL Server Hình 2.1 Logo Microsoft SQL Server 2.1.1 SQL Server gì?  SQL Server hay gọi Microsoft SQL Server, viết tắt MS SQL Server Đây phần mềm phát triển Microsoft dùng để lưu trữ liệu dựa chuẩn RDBMS, hệ quản trị sở liệu quan hệ đối tượng (ORDBMS)  SQL Server cung cấp đầy đủ công cụ để quản lý, từ giao diện GUI việc sử dụng ngơn ngữ truy vấn SQL Ngồi điểm mạnh Trang 14 IE103 Quản lý thơng tin Microsoft có nhiền tảng kết hợp hồn hảo với SQL Server ASP.NET, C# xây dựng Winform, hoạt động hồn tồn độc lập 2.1.2 Ưu nhược điểm SQL Server Ưu điểm:  Có thể cài nhiều phiên MS SQL khác máy tính  Duy trì riêng biệt môi trường sản xuất, phát triển, thử nghiệm  Giảm thiểu vấn đề tạm thời sở liệu  Tách biệt đặc quyền bảo mật  Duy trì máy chủ dự phịng Nhược điểm:  Cần tốn phí license để chạy nhiều CSDL (database) 2.2 So sánh Redis với Microsoft SQL Server 2.2.1 Hệ thống Trang 15 IE103 Quản lý thông tin Mô tả Microsoft SQL Server Redis Hệ quản trị CSDL quan Hệ quản trị CSDL in- hệ phát triển memory phát tập đồn Microsoft triển quản lí đội ngũ redis Mơ hình Mơ hình quan hệ Mơ hình khóa-giá trị Mơ hình phụ Tài liệu, đồ thị Tài liệu, đồ thị, chuỗi thời gian Hệ điều hành hỗ trợ Linux, Windows BSD, Linux, OS X, Windows Ngơn ngữ lập trình hỗ C#, C++, Java, R, Ruby, C, C#, Crystal, Haskell, trợ Go, Delphi, … Javascript, Lua, Java, … Nơi lưu trữ liệu Bô nhớ phụ Bộ nhớ chinh Ngơn ngữ truy vấn có Tất yêu cầu cấu trúc SQL thực thông qua Ngơn ngữ truy vấn lệnh 2.2.2 Thời gian thực câu truy vấn  Xây dựng liệu mẫu CSDL gồm bảng customer (khóa chính: CustomerID) Trang 16 IE103 Quản lý thơng tin Hình 2.2 Lược đồ sở liệu  Phần mềm cấu hình máy tính sử dụng - Phần mềm: + Ngơn ngữ lập trình: Javascript Nodejs phiên 16.14.2 + CSDL SQL Server 2019 Express + CSDL Redis phiên 7.0 - Cấu hình máy tính: CPU Intel Core i5-1035G1, tốc độ 1.00GHz, RAM 8GB, HDD 312GB, hệ điều hành Windows 10-64bit  Thời gian thực truy vấn sở liệu + Truy vấn Select: Kết thể bảng Trang 17 IE103 Quản lý thông tin Bảng Kết thời gian truy vấn (đơn vị: giây) Redis Biểu đồ truy vấn Select 60 Bản ghi (1k=1000) 10K SQL Server 0,55 0,8 x10-6 30 100K 1,32 0,85 x10-6 20 200K 15,5 3,4 x10-6 10 500K 20,2 18 x10-6 1000K 52.39 86 x10-6 50 40 10K 100K 200K SQL Server 500K 1000K Redis Bảng cho thấy liệu lớn thời gian thực câu truy vấn Select CSDL SQL Server lớn nhiều lần so với CSDL Redis + Truy vấn Insert: Kết hiển thị bảng Bảng Kết thời gian truy vấn (đơn vị: giây) Bản ghi (1k=1000) SQL Server Redis 10K 39,9 0,87 x10-6 100K 87,1 8,7 x10-6 200K 180,4 21,5 x10-6 500K 2210 47,3 x10-6 1000K 3622 91,8 x10-6 Biểu đồ truy vấn Insert 4000 3500 3000 2500 2000 1500 1000 500 10K 100K 200K SQL Server 500K 1000K Redis Bảng cho thấy thời gian thực câu truy vấn Insert CSDL SQL Server lớn nhiều lần so với CSDL Redis + Truy vấn Delete: Kết hiển thị bảng Trang 18 IE103 Quản lý thông tin Bảng Kết thời gian truy vấn (đơn vị: giây) Bản ghi (1k=1000) 10K SQL Server 11,76 Redis 0,9 x10-6 100K 129,4 7,9 x10-6 200K 187,3 8,9 x10-6 500K 254,1 12,7 x10-6 1000K 415,23 15,7 x10-6 Biểu đồ truy vấn Delete 450 400 350 300 250 200 150 100 50 10K 100K 200K SQL Server 500K Redis Bảng cho ta thấy thời gian thực câu truy vấn Delete CSDL SQL Server lớn nhiều lần so với CSDL Redis liệu ghi nhiều + Truy vấn Update: Kết hiển thị bảng Bảng Kết thời gian truy vấn (đơn vị: giây) Bản ghi SQL Server Redis (1k=1000) 10K 13 0,8 x10-6 100K 207,65 8,3 x10-6 200K 700,8 28,3 x10-6 500K 2105,7 68,3 x10-6 10K 3605,1 83,3 x10-6 Biểu đồ truy vấn Update 4000 3000 2000 1000 10K 100K 200K SQL Server 500K Redis Bảng cho ta thấy việc thực câu truy vấn Update CSDL SQL Server thời gian so với CSDL Redis Trang 19 IE103 Quản lý thơng tin Tóm lại, thời gian truy vấn CSDL SQL Server tỏ chậm so với CSDL Redis liệu ngày lớn Với xu hướng nay, đòi hỏi tốc độ truy vấn liệu phải nhanh chóng Redis giải pháp tốt cho nhà phát triển phần mềm Trang 20 IE103 Quản lý thông tin Tài liệu tham khảo [1] https://viblo.asia/p/tim-hieu-ve-redis-LzD5dXEW5jY [2] https://dev.to/techworld_with_nana/redis-the-what-why-and-how-to-useredis-as-a-primary-database-2c55 [3] http://qnimate.com/overview-of-redis-architecture/ [4] https://www.eginnovations.com/documentation/Redis/RedisArchitecture.htm [5] https://levanphu.info/redis-la-gi-tai-sao-can-hieu-va-su-dung-redis-de-toiuu-hieuxuat [6] Nguyễn GiaTuấnAnh (2016), Bài giảng môn Cơ sở liệu nâng cao, Trường Đại học Công nghệ Thông tin [7] "Redis." Internet: http://redis.io Trang 21 ... Chương – Redis vs Microsoft SQL Server 2.1 Sơ lược hệ quản trị sở liệu Microsoft SQL Server Hình 2.1 Logo Microsoft SQL Server 2.1.1 SQL Server gì?  SQL Server hay gọi Microsoft SQL Server, viết... nhiều CSDL (database) 2.2 So sánh Redis với Microsoft SQL Server 2.2.1 Hệ thống Trang 15 IE103 Quản lý thông tin Mô tả Microsoft SQL Server Redis Hệ quản trị CSDL quan Hệ quản trị CSDL in- hệ phát... điểm Redis 11 1.6 Ứng dụng Redis 13 Chương – Redis vs Microsoft SQL Server 14 2.1 Sơ lược hệ quản trị sở liệu Microsoft SQL Server 14 2.2 So sánh Redis với Microsoft