1. Trang chủ
  2. » Luận Văn - Báo Cáo

Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa

79 0 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Nghiên cứu và thiết kế gương thông minh
Tác giả Nguyen Bach Tung, Lưu Phúc
Người hướng dẫn Ths. Phan Đinh Duy
Trường học Trường Đại học Công nghệ Thông tin - Đại học Quốc gia Thành phố Hồ Chí Minh
Chuyên ngành Kỹ thuật Máy tính
Thể loại Khóa luận tốt nghiệp
Năm xuất bản 2023
Thành phố Thành phố Hồ Chí Minh
Định dạng
Số trang 79
Dung lượng 46,44 MB

Cấu trúc

  • Chương 1. TONG QUAN.............................--22¿:©2222222222222tE222EAErtErrkrrrrrrrrvee 3 1.1. Tổng quan về đề tài Smart Mirror......................----¿z++c+e++cxxe+crxee 3 1.2. _ Hệ thống gương thông minh trên thế giới và Việt Nam (15)
    • 1.2.1. Hệ thống gương thông minh trên thế giới (15)
    • 1.3. Những mục tiêu mà nhóm muốn xây dựng... Chương 2. CO SỞ LÝ THUYÉT.............................--2¿-©22+¿+22E++z+tttEvxzrrtrrrreee 7 2.1. Tổng quan hệ thống kết nói các thiết bị phần cứng (17)
    • 2.2. Tổng quan về kết nối các phần mềm trong hệ thống (19)
      • 2.2.1. Tổng quan về một module [7|.....................---.-----¿-zz5sz+2ss+¿ 7 2.2.2. Giao tiếp giữa các module trong gương thông minh (19)
      • 2.2.3. Giao tiếp giữa các module với Database (21)
      • 2.2.4. Giao tiếp giữa các module với các thiết bị ngoại vi . 2.3. Tổng quan các thiết bị phần cứng sử dụng trong hệ thống (22)
    • 2.4. Tổng quan các thiết bị phần mềm sử dụng trong hệ thống (0)
      • 2.4.1. Node]S............................................. ng. 16 2.4.2. Hệ thống electron...............................-.---2222cc22c2+vcrrtrrkrerrrrrrrcree 18 2.4.3... Phần mềm PM2 quản lý tiến trình ..........................--------ccccc-++ 18 244A, APD (28)
      • 2.4.5. Arduino IDE 2.4.6. MySQL.. 2.5. Hệ thống xử lý ảnh................................--22c+cc+22Evveertrrrkerrtrrrrrrrrrrrkee 21 2.5.1. Mô hình nhận diện khuôn mặt [Š]........................... .----- - -+<s=s++x=+ 21 2.5.2. _ Giải thuật nhận diện gương mặt........................... -- - 5s -++++sxex+x++ 21 2.6. Hé thống trợ lý ảo Google Assistant [3, 4, 13] (32)
  • Chương 3. PHAN TÍCH VA THIET KE HỆ THÓNG (0)
    • 3.3.1. Các module hiền thị cơ bản..........................---¿2z+22xz+czxzerrrseee 28 3.3.2. Module cấu hình gương.............................-----¿2c++2c+s+cxsesrrxeee 29 3.3.3. Hệ thống xử lý ảnh...................................-----c-222vcccrccrrrrrrrrrrrrree 30 3.3.4. Hệ thống trợ lý ảo Google Assistant [3] ............................---.---+ 31 3.4. Phát triển các module hiển thị cơ bản...............................---:----cccec 31 3.4.1. Phát triển module lịch Việt (0)
    • 3.5. Xây dựng module cau hình gương thông minh (0)
      • 3.7.2. Module MQTT và các thiết bị ngoại Vi [4] (59)
      • 3.7.3. Module MMM-Google Assistant [2] ......................-------<>+<<<>+<<+ 49 (61)
  • Chuong 4. KET QUA THỰC NGHIEM 0.00..ccccsscsscsscsssessessesssesesessesseeseaes 50 4.1. _ Giao diện gương thông minh............................. - -- s5 ss+ss‡s+sv+eee>eeereesss 50 4.2. Mụ hỡnh phần cứng khung ỉương..............................- -ô--- ô+ s+ssxsseesees 51 4.3. Mô hình phần cứng thiết bị ngoại vi .....................-- 2-2-2 s+cs+rxersezes 53 4.4. Bảng đo lường hệ thống khi vận hành gương (0)

Nội dung

Đề tắm gương cóthé thực hiện được những tác vụ như đã nêu trên, nhóm sẽ sử dụng các phần cứngnhư sau: về phần hién thị nhóm sẽ sử dụng màn hình LCD tích hợp loa dé thông báocũng như phát

TONG QUAN 22¿:©2222222222222tE222EAErtErrkrrrrrrrrvee 3 1.1 Tổng quan về đề tài Smart Mirror ¿z++c+e++cxxe+crxee 3 1.2 _ Hệ thống gương thông minh trên thế giới và Việt Nam

Hệ thống gương thông minh trên thế giới

Gương thông minh ban đầu được lấy cảm hứng từ HomeMirror và Magic Mirror của nhà sáng lập Michale Teeuw đến từ Hà Lan vào năm 2014 Hiện nay cộng đồng phát triển hệ thống gương thông minh trên thế giới phát triển rất mạnh và cho ra rất nhiều phiên bản cũng như mã nguồn mở như: MirrorOS, Magic Mirror Builder Cùng với sự góp mặt của các công ty lớn đã cho sản xuất nhiều sản phẩm tương tự trên thị trường Tuy nhiên, xét về tính năng thì những chiếc gương thông minh nay chỉ gói gon trong một vài khuôn khổ nhất định mà chưa có sự đa dạng Hình 1.1 là một gương thông minh tiên tiến nhất hiện nay được sản xuất bởi Apple khi nó vừa có thể hiển thị giao diện đẹp mắt vừa tích hợp được các tính năng đến từ hệ điều hành iOS.

Hình 1.1: Gương thông minh cua Apple [6]

1.2.2 Hệ thống gương thông minh tai Việt Nam Ở Việt Nam, sinh viên cũng như những người nghiên cứu về lĩnh vực này hầu hết vẫn sử dụng gói vận hành tiền nhiệm vì chưa có một phiên bản hay hệ điều hành nào được công bố và sử dụng rộng rãi ở nước này Ngoài ra, các công ty lớn nhỏ khác nhau cũng đã kinh doanh và cung cấp các sản pham như HiMirror Mini, iHome Reflect, Một số resort ở các khu du lịch trong nước cũng đã tích hợp công nghệ này tại khách sạn của mình để mang đến một trải nghiệm mới lạ cho du khách Nhưng hầu hết đây cũng là những sản phẩm được nhập từ nước ngoài nên vẫn chưa có nhiều ứng dụng phủ hợp với người Việt Nam mặc dù hiệu năng cũng rat tốt Qua đó, nhóm càng có mong muốn tự phát triển một hệ thống với giao diện và các chức năng đa dạng hơn dành riêng cho người Việt.

Những mục tiêu mà nhóm muốn xây dựng Chương 2 CO SỞ LÝ THUYÉT 2¿-©22+¿+22E++z+tttEvxzrrtrrrreee 7 2.1 Tổng quan hệ thống kết nói các thiết bị phần cứng

Với các vấn đề nêu trên thì nhóm em hướng tới xây dựng một hệ thống gương thông minh với các ý tưởng ban đầu là:

- Cai tiến các module cơ bản: Magic Mirror là một nền tang mã nguồn mở đã được trang bị san một số module cơ bản như module đồng hồ, lịch, thời tiết, tin tức Tuy nhiên do được phát triển bởi các developer nước ngoài nên các module này chưa được tối ưu với người dùng Việt Vì vậy chúng em sẽ hiệu chỉnh và cải tiến các module đó, đồng thời phát triển thêm một số tinh năng m mới dé tăng tinh đa dang cho gương Cụ thé gồm có: e Cải tiến module Lịch Việt: hiển thị các sự kiện trong nước bao gồm âm lịch, dương lịch và các sự kiện quốc té phù hợp với người Việt Nam, người dùng có thé thêm những cuộc hop quan trọng từ google lịch hoặc các sự kiện riêng mà họ muốn. e_ Cải tiến module Tin tức: hiển thị tin tức từ các nguồn báo tùy chọn ở

Việt Nam, có thê điều khiển chuyền trang, lùi trang, xem chỉ tiết trang. e_ Cải tiến module Thời tiết: cải thiện, nâng cấp giao diện bắt mắt hơn. e Cải tiễn module Spotify: hién thị thông tin bài nhạc đang phát trên

Spotify. e Tích hop module Điều khiển gương: tùy chon điều khiển gương với các chức năng như Reset, Restart, Shutdown.

- _ Xây dựng database và module cài đặt cho gương: người dùng có thể trực tiếp cau hình gương thông minh thông qua giao diện menu cài đặt Cau hình sau đó được lưu trữ vào database dé dé dàng quản lý.

- Tich hợp hệ thống nhận diện khuôn mặt: xử lý ảnh đề nhận diện người dùng và đưa ra lời chào tương ứng.

- _ Tích hợp hệ thống trợ lý ảo Google Assistant (GA): e Phân tích và xử lý các câu lệnh do người dùng tự định nghĩa. e_ Điều khiến các thiết bị ngoại vi thông qua giọng nói. e Có khả năng tương tác hai chiều bằng giọng nói linh hoạt. e Đối đáp với người dùng trong nhiều ngữ cảnh khác nhau.

- Muc tiêu sau cùng mà nhóm muốn hướng đến đó là có thé hiện thực được một chiếc gương thông minh với giao diện thâm mỹ, chức năng đa dạng và tối ưu cho người dùng như tắm gương trong hình 1.2 dưới đây.

Swimming Tomorrow at 12:15 pm Round 16

Hình 1.2: Hệ thong gương thông mình tham khảo [6]

Chương 2 CƠ SỞ LY THUYET

2.1 Tổng quan hệ thống kết nối các thiết bị phần cứng

Hình 2.1: Mô hình tổng quan hệ thống

Hình 2.1 mô tả sơ đồ tổng quan hệ thống Gương thông minh sẽ sử dụng một máy tính nhúng (raspberry pi, nvidia jetson, ) làm trung tâm xử lý hệ thống.

Các thiết bị thu phát tín hiệu (Cảm biến, camera, mic thu âm) sẽ được kết nối với vi xử lý thông qua các công GPIO và các công USB cơ bản giúp người dùng tương tac voi gương.

Khi nhận được dữ liệu về âm thanh hay các tin hiệu điều khiển từ phía người dùng thi máy tính nhúng sẽ xử lý và vận hành các thiết bị ngoại vi tương ứng như đèn led, các module, Đồng thời máy tính nhúng sẽ kết nối với một màn hình LCD dé hiển thị các thông tin cần thiết đến người dùng thông qua công HDMI.

Tổng quan về kết nối các phần mềm trong hệ thống

2.2.1 Tổng quan về một module [7]

Câu trúc của một module

Tất cả các module phải được đặt trong thư mục modules.

Ngoài những module default có sẵn trong folder modules/default thì những modules mới tạo cũng nên được đặt trong folder modules.

Những module khác nhau không được đặt tên giống nhau.

Các file cin có trong một module modulename/modulename.js: đây là file cốt lõi của module. modulename/modulename.js: đây là file dùng dé xử lý, giao tiếp với phía backend.

Các bước để tạo ra một module

Tao thư mục với tên là tên module (Ví du: MMM-LUUPHUC).

Tao file js với tên là tên module (E.g: MMM-LUUPHUC Js).

Tao một file node_ helper.Js.

Tao những file bên ngoài và gọi nó trong modules.

Import data files (.png, mp3, ).

Cac function co ban: sendNotification(notification, payload). notificationReceived(notification, payload, sender).

> Gui va nhận đữ liệu giữa các modules khác nhau. sendSocketNotification(notification, payload). socketNotificationReceived: function(notification, payload).

> Dùng giao tiếp với phía Backend, giao tiếp giữa User Interface

NodeJs với Backend thuần của hệ thống: GPIO, process, getScripts(): import thư viện ( giống include trong C/C++). getDom(): dé tạo giao điện với các thẻ HTML, CSS. updateDom(speed): cập nhật giao diện. getTranslations(): return file ngôn ngữ (.Js). getStyles(): return file giao diện (.css). getHeader(): title của modules.

2.2.2 Giao tiếp giữa các module trong gương thông minh

` z " Backend \ i Or este (GPIO, Protocols :

H : ‘ h yourModule js }

Ngày đăng: 02/10/2024, 04:01

HÌNH ẢNH LIÊN QUAN

Hình 4.8: Giao diện người dùng 1 Hình 4.9: Giao diện người dùng 2 - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.8 Giao diện người dùng 1 Hình 4.9: Giao diện người dùng 2 (Trang 9)
Hình 1.1: Gương thông minh cua Apple [6] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 1.1 Gương thông minh cua Apple [6] (Trang 16)
Hình 1.2: Hệ thong gương thông mình tham khảo [6] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 1.2 Hệ thong gương thông mình tham khảo [6] (Trang 18)
Hình 2.2: Cách thức hoạt động cua một module [7] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.2 Cách thức hoạt động cua một module [7] (Trang 21)
Hình 2.3 mô tả cách thức giao tiếp giữa front-end và back-end giữa module và database - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.3 mô tả cách thức giao tiếp giữa front-end và back-end giữa module và database (Trang 22)
Hình 2.10: Mô hình khung gương thông minh [7] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.10 Mô hình khung gương thông minh [7] (Trang 28)
Hình 2.11: Hệ thống server NodeJS [9] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.11 Hệ thống server NodeJS [9] (Trang 29)
Hình 2.12: Hệ thống electron [11] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.12 Hệ thống electron [11] (Trang 30)
Hình 2.13: Mô hình kết nối API [13] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.13 Mô hình kết nối API [13] (Trang 31)
Hình 2.15: Các bước nhận diện khuôn mặt 2.5.2. Giải thuật nhận diện gương mặt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.15 Các bước nhận diện khuôn mặt 2.5.2. Giải thuật nhận diện gương mặt (Trang 33)
Hình 2.17: Các giai đoạn P-R-O trong MTCNN va outputs cua chúng [5] - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 2.17 Các giai đoạn P-R-O trong MTCNN va outputs cua chúng [5] (Trang 34)
Hỡnh 3.1: Sơ đụ phõn ró chức năng - ẽ - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
nh 3.1: Sơ đụ phõn ró chức năng - ẽ (Trang 37)
3.1. Sơ đồ tông quan hệ thống - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
3.1. Sơ đồ tông quan hệ thống (Trang 38)
Hình 3.5: Sơ đồ giao tiếp front-end và back-end module lịch Việt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.5 Sơ đồ giao tiếp front-end và back-end module lịch Việt (Trang 41)
Hình 3.7: Sơ đồ hệ thống nhận diện gương mặt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.7 Sơ đồ hệ thống nhận diện gương mặt (Trang 42)
Hình 3.9: Giao điện module Lịch Việt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.9 Giao điện module Lịch Việt (Trang 45)
Hình 3.13 mô tả giao điện module điều khién gương. - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.13 mô tả giao điện module điều khién gương (Trang 48)
Bảng thông số cài đặt liệt kê các thông tin về tên cài đặt, biến cấu hình và mô tả chỉ tiết - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Bảng th ông số cài đặt liệt kê các thông tin về tên cài đặt, biến cấu hình và mô tả chỉ tiết (Trang 49)
Hình 3.16: Giao diện module cầu hình gương 3.6. Phát triển module nhận diện gương mặt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.16 Giao diện module cầu hình gương 3.6. Phát triển module nhận diện gương mặt (Trang 55)
Hình 3.17: Sơ do hệ thống nhận diện khuôn mặt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.17 Sơ do hệ thống nhận diện khuôn mặt (Trang 57)
Hình 3.18: Kết quả chạy nhận điện khuôn mặt - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.18 Kết quả chạy nhận điện khuôn mặt (Trang 58)
Hình 3.23: Schematic của các thiết bi ngoại vỉ - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.23 Schematic của các thiết bi ngoại vỉ (Trang 60)
Hình 3.25: So đô cách thức hoạt động của module Google Assistant Như vậy, Sau khi phát triển module GA thì ta sẽ có được một module có thé: - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 3.25 So đô cách thức hoạt động của module Google Assistant Như vậy, Sau khi phát triển module GA thì ta sẽ có được một module có thé: (Trang 61)
Hình 4.2: Giao điện trang cai đặt gương thông minh - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.2 Giao điện trang cai đặt gương thông minh (Trang 63)
Hình 4.5: Mặt trước gương thông minh - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.5 Mặt trước gương thông minh (Trang 65)
Bảng 4.3: Kết quả kiểm thử hệ thống trợ lý ảo - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Bảng 4.3 Kết quả kiểm thử hệ thống trợ lý ảo (Trang 70)
Hình 4.7 thể hiện giao diện khi vừa khởi động gương. - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.7 thể hiện giao diện khi vừa khởi động gương (Trang 71)
Hình 4.7: Giao diện người dùng mặc định Trường hợp 1: Phát hiện Tung là người sử dụng gương - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.7 Giao diện người dùng mặc định Trường hợp 1: Phát hiện Tung là người sử dụng gương (Trang 72)
Hình 4.9 thể hiện giao diện khi Phúc là người sử dụng gương - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.9 thể hiện giao diện khi Phúc là người sử dụng gương (Trang 74)
Hình 4.9: Giao diện người dùng 2 - Khóa luận tốt nghiệp Kỹ thuật máy tính: Nghiên cứu và thiết kế bảng giá điện tử ứng dụng trong siêu thị thông minh dựa trên công nghệ LoRa
Hình 4.9 Giao diện người dùng 2 (Trang 75)

TÀI LIỆU CÙNG NGƯỜI DÙNG

  • Đang cập nhật ...

TÀI LIỆU LIÊN QUAN