BÁO cáo TIỂU LUẬN môn học tìm hiểu về công cụ tìm kiếm elasticsearch và ứng dụng tìm kiếm vào website thương mại điện tử

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HỒ CHÍ MINH BÁO CÁO TIỂU LUẬN MƠN HỌC Tìm hiểu cơng cụ tìm kiếm Elasticsearch ứng dụng tìm kiếm vào website thương mại điện tử Mơn học: Các hệ sở liệu Ngành: CƠNG NGHỆ THÔNG TIN Giảng viên: PGS.TS Nguyễn Thị Thúy Loan Nhóm học viên thực hi ện MSHV 2241860001 Họ Tên Lớp Trần Minh Duyệt 22SCT01 Tháng - 2022 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Mục lục Chương Kiến thức tảng 1.1.Elasticsearch: 1.1.1 Elasticsearch gì? 1.1.2 Elasticsearch hoạt độ 1.1.3 Các khái niệm cần b 1.1.3.1.Document 1.1.3.2.Index 1.1.3.3.Shard 1.1.3.4.Node 1.1.3.5.Cluster 1.1.4 Ưu nhược điểm E 1.1.4.1.Ưu điểm 1.1.4.2.Nhược điểm 1.1.5 Cách cài đặt: 1.1.6 Các lệnh để t 1.1.6.1.Tạo index 1.1.6.2.Chỉnh sửa, cập nhật 1.1.6.3.Xoá tài liệu 1.1.6.4.Truy vấn tìm kiếm c 1.2.Kibana 1.3.Docker 1.3.1 Giới thiệu 1.3.2 Container 1.3.3 Khái niệm liên quan 1.4.MongoDB 1.4.1 Giới thiệu MongoDB 1.4.2 Một số câu lệnh cơ b 1.4.3 Ưu điểm Mongo 1.4.4 Nhược điểm Mo 1.5.NodeJS 1.3.1 Giới thiệu 1.3.2 Những ứng dụng nê 1.6.Express TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 1.7 1.7.2 1.8 1.8.1 Restful Api Đặc điểm của Resful API React JS Lợi ích việc sử dụng react js Chương 2.Phát biểu toán 2.1 Các chức 2.2 Kiến trúc tổng thể phần mềm Kiến trúc tổng thể phần mềm Chương 3.Đặt tả yêu cầu: 3.1 Sơ đồ CSDL 3.2 Đặc tả Use Case Chương 4.Các giao diện đề tài 4.1 Kibana 4.2 Studio 3T 4.3 Docker 4.4 Trang chủ 4.5 Trang admin 4.6 Chi tiết sản phẩm 4.7 Giỏ hàng 4.8 Bộ lọc sản phẩm 4.9 Đăng nhập 4.10 Đăng ký Tài liệu tham khảo Mục lục hình ảnh Hình 1 Sơ đồ hoạt động của Elasticsearch Hình Cách hoạt động của Elasticseach Hình Giao diện kibana Hình Hình Hình Hình Hình Hình Sơ đồ giao tiếp của hệ thống Cơ sở dữ liệu của dự án 3Sơ đồ usecase Giao diện dev tool của kibana Giao diện của Studio 3T Giao diện của docker desktop TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Hình 4 Giao diện trang web 26 Hình Giao diện trang admin .26 Hình Giao diện chi tiết của sản phẩm 27 Hình Giao diện chi tiết của sản phẩm 27 Hình Giao diện bộ lọc sản phẩm 28 Hình Giao diện đăng nhập 28 Hình 10 Giao diện đăng ký tài khoản 29 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat NHIỆM VỤ ĐỀ TÀI Nội dung yêu cầu cần giải báo cáo môn học o Lập trình NodeJS, ReactJS, Express Framework o Cơng cụ tìm kiếm Elasticsearch o Hệ quản trị sở dữ liệu MongoDB o Kết nối NodeJS, Elasticsearch với MongoDB Các tài liệu, số liệu cần thiết Sử dụng số liệu thực tế thu thập mạng internet TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Chương Kiến thức tảng 1.1 Elasticsearch: 1.1.1 Elasticsearch gì? Elasticsearch dạng Search Engine (Cơng cụ tìm kiếm) phát triển dựa tảng Apache Lucene Elasticsearch mắt năm 2010 bởi Shay Banon, xây dựng ngôn ngữ Java, với giao diện web HTTP có hỗ trợ JSON Nó cho phép ta chuyển dữ liệu vào tìm kiếm trực tiếp, thay tìm kiếm hệ quản lý sở dữ liệu thông thường Oracle, MySQL,… Elasticsearch cung cấp cho người dùng hệ thớng tìm kiếm dạng phân tán, phù hợp với tệp dữ liệu lớn Elasticsearch thường sử dụng việc tìm kiếm đơn giản trang web, mục thu thập dữ liệu, phân tích trực quan hóa dữ liệu kinh doanh Elasticsearch thường hoạt động Stack, Logstash Kibana, đóng vai trị lập mục dữ liệu Được công ty lớn sử dụng : • Wikimedia • athenahealth • Adobe Systems • Facebook • StumbleUpon Mozilla, • Amadeus IT Group • Quora • Foursquare • Etsy • SoundCloud • GitHub TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 1.1.2 Elasticsearch hoạt động nào: Hình 1 Sơ đồ hoạt động Elasticsearch Về bản, Elasticsearch hoạt động Cloud Server có khả tìm kiếm thơng qua chế RESTful Trong đó, người dùng tạo HTTP Request dữ liệu dạng JSON, sau nhập vào Elasticsearch Các dữ liệu đánh Index (Chỉ mục), giúp đem lại hiệu tìm kiếm cao Đầu tiên, dữ liệu đưa vào Elasticsearch từ nhiều nguồn khác nhau, sau phân tích, xử lý, trình nhập liệu Tiếp theo, dữ liệu phân loại mục, đẩy lên Server Elasticsearch Cuối cùng, người dùng tạo truy vấn phức tạp lấy dữ liệu trả từ server Elasticsearch 1.1.3 Các khái niệm cần biết Elasticsearch 1.1.3.1 Document Document thông tin lập mục Elasticsearch, đơn vị lưu trữ dữ liệu nhỏ Elasticsearch Document văn bản, dạng cấu trúc dữ liệu mã hóa JSON sớ, chuỗi, ngày tháng,… TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Mỗi Document có ID cho kiểu dữ liệu Ví dụ, Document đại diện cho báo bách khoa toàn thư 1.1.3.2 Index Index (Chỉ mục) tập hợp tài liệu có đặc điểm liên quan mặt logic Ví dụ: Trong trang web sàn thương mại điện tử, bạn tìm thấy Chỉ mục cho Khách hàng, Chỉ mục cho Sản phẩm,… Chỉ mục sử dụng để tìm kiếm, thêm xóa tài liệu Một khái niệm Index mà bạn nên biết Inverted Index (Chỉ mục đảo ngược) Chỉ mục đảo ngược không lưu trữ trực tiếp chuỗi mà chia tài liệu thành cụm từ tìm kiếm riêng lẻ Nhờ đó, người dùng tìm thấy kết phù hợp nhanh chóng, kể tệp dữ liệu với khới lượng lớn 1.1.3.3 Shard Shard tập Document Index, đơn vị lưu trữ liệu nhỏ nhất, hoạt động ở mức thấp Bằng cách phân phối Documents Index nhiều Shard, Elasticsearch đảm bảo tính dự phịng, bảo vệ hệ thống khỏi lỗi phần cứng giúp tăng khả truy vấn hoạt động Có loại Shard : Primary Shard Replica Shard • Primary Shard lưu trữ dữ liệu đánh Index, sau vận chuyển tới Replica Shard • Replica Shard nơi lưu trữ dữ liệu nhân Primary Shard, giúp đảm bảo dữ liệu Primary Shard toàn vẹn hệ thống xảy vấn đề 1.1.3.4 Node Node coi phận “đầu não” Elasticsearch Đây nơi lưu trữ dữ liệu trực tiếp, đánh Index Cluster thực thao tác tìm kiếm dữ liệu Mỗi Node thường định danh tên 1.1.3.5 Cluster TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Cluster tập hợp nodes hoạt động với Mỗi Cluster có Node lựa chọn tự động, Node thay Một những lỗi sai developer định danh Cluster trùng tên nhau, điều gây lỗi cho Node Bạn nên lưu ý vấn đề tiến hành setup Hình Cách hoạt động Elasticseach 1.1.4 Ưu nhược điểm Elasticsearch 1.1.4.1 • Ưu điểm Tìm kiếm liệu nhanh chóng: Điều có nhờ chế hoạt động Elasticsearch thay tìm kiếm văn trực tiếp, tìm kiếm Index Nó sử dụng cấu trúc Document thay bảng lược đồ • Khả phân phới mở rộng: Bản chất phân tán Elasticsearch giúp người dùng mở rộng quy mơ lên hàng trăm, hàng nghìn máy chủ xử lý hàng petabyte dữ liệu • Đơn giản hóa hiển thị báo cáo liệu: Elasticsearch cho phép tích hợp với Beats Logstash, giúp người dùng dễ dàng xử lý dữ liệu trước đưa vào Elasticsearch Ngồi ra, khả trực quan hóa giao diện giúp truy cập dữ liệu cách nhanh chóng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat • Tính vượt trội: Elasticsearch cung cấp sớ tính vượt trội cho phép người dùng lưu trữ tìm kiếm dữ liệu hiệu cuộn dữ liệu quản lý vịng đời Index • Ngồi ra, Elasticsearch hỗ trợ dữ liệu từ Java, PhP, Javascript, NET, Python, giúp người dùng dễ dàng trình sử dụng chuyển đổi 1.1.4.2 Nhược điểm • Elasticsearch thiết kế chủ yếu cho việc search dữ liệu, yếu so với database khác mục đích ngồi search • Elasticsearch khơng thích hợp với những hệ thống thường xuyên cập nhật dữ liệu 1.1.5 Cách cài đặt: Bước 1: Sử dụng docker để cài đặt: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.4.1 container_name: elasticsearch restart: always environment: - xpack.security.enabled=false - discovery.type=single-node - http.cors.enabled = true - http.cors.allow-origin= "*" - http.cors.allow-methods= OPTIONS, HEAD, GET, POST, PUT, DELETE http.cors.allow-headers= X-Requested-With,X-AuthToken,Content-Type,Content-Length - http.cors.allow-credentials=true ulimits: memlock: TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 19 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Use case ID Tên Use Case Tóm tắt Tác nhân Điều kiện tiên Kết Kịch Kịch phụ Ràng buộc phi chức Use case ID Tên Use Case Tóm tắt Tác nhân Điều kiện tiên Kết 20 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Kịch Kịch phụ Ràng buộc phi chức Use case ID Tên Use Case Tóm tắt Tác nhân Điều kiện tiên Kết Kịch Kịch phụ Ràng buộc phi chức 21 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Use case ID Tên Use Case Tóm tắt Tác nhân Điều kiện tiên Kết Kịch Kịch phụ Ràng buộc phi chức Use case ID Tên Use Case Tóm tắt Tác nhân Điều kiện tiên Kết Kịch 22 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Kịch phụ Ràng buộc phi chức Chương Các giao diện đề tài 4.1 Kibana Hình Giao diện dev tool kibana 23 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 4.2 Studio 3T Hình Giao diện Studio 3T 4.3 Docker Hình Giao diện docker desktop 4.4 Trang chủ 24 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 25 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Hình 4 Giao diện trang web 4.5 Trang admin Hình Giao diện trang admin 4.6 Chi tiết sản phẩm 26 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Hình Giao diện chi tiết sản phẩm 4.7 Giỏ hàng Hình Giao diện chi tiết sản phẩm 27 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 4.8 Bộ lọc sản phẩm Hình Giao diện lọc sản phẩm 4.9 Đăng nhập Hình Giao diện đăng nhập 28 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 4.10 Đăng ký Hình 10 Giao diện đăng ký tài khoản 29 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Tài liệu tham khảo • Elasticsearch docker • Câu lệnh truy vấn liệu Elasticsearch • Trang tài liệu MongoDB • Tìm hiểu Elasticsearch • Đồ án Mongo, React JS • Trang tài liệu Elasticsearch 30 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat ... dung yêu cầu cần giải báo cáo môn học o Lập trình NodeJS, ReactJS, Express Framework o Cơng cụ tìm kiếm Elasticsearch o Hệ quản trị sở dữ liệu MongoDB o Kết nối NodeJS, Elasticsearch với MongoDB... 1.1.4 Ưu nhược điểm Elasticsearch 1.1.4.1 • Ưu điểm Tìm kiếm liệu nhanh chóng: Điều có nhờ chế hoạt động Elasticsearch thay tìm kiếm văn trực tiếp, tìm kiếm Index Nó sử dụng cấu trúc Document... triển website với mục tiêu sau: - Tích hợp tìm kiếm Elasticsearch cho website Khi người dùng vào trang chủ website thấy sản phẩm bật, bán nhiều chương trình khuyến cửa hàng - Người dùng dễ dàng tìm