Báo cáo thực tập cơ sở ngành chủ đề nghiên cứu mô hình nhà thông minh

Trong chủ đề nghiên cứu này, chúng ta sẽ tiến hành nghiên cứu về các thiết bị có sử dụng hồng ngoại, kết nối với các thiết bị hồng ngoại, hệ thống camera giám sát, các phần cứng có thể c

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

-BÁO CÁO THỰC TẬP CƠ SỞ NGÀNH

Mã lớp: 20212IT6046002

TÊN CHỦ ĐỀ NGHIÊN CỨU Mô hình nhà thông minh

Nhóm sinh viên:

Họ và tên: Lưu Minh Quân Mã SV: 2020600398 Họ và tên: Nguyễn Trung Kiên Mã SV: 2020602618 Lớp: KMHT1 Khóa: K15

Hà Nội – Năm 2022

3.3 Môi trường phát triển 29

PHẦN 4: KẾT LUẬN, HƯỚNG PHÁT TRIỂN 30

4.1 Kết luận 30

4.2 Hướng phát triển 30

TÀI LIỆU THAM KHẢO 31

Danh mục hình ảnh

Hình 1 Đầu vào/ ra của phương pháp 11

Hình 2 Dải sóng âm của từ Hello 13

Hình 3 Dải sóng khi được phóng to 13

Hình 4 Độ cao sóng âm mỗi khoảng 13

Hình 5 Độ cao sóng âm khoảng 20ms 14

Hình 6 Đồ thị sóng âm khoảng 20ms 14

Hình 7 Tổng năng lượng đơn âm 14

Hình 8 Đồ thị năng lượng âm dải 20ms 15

Hình 9 Dải quang phổ của giọng 15

Hình 10 Đầu vào/ra của thuật giải 16

LỜI MỞ ĐẦU

Trong sự phát triển của thời đại công nghệ 4.0 ở các quốc gia hiện nay, Công Nghệ Thông Tin đóng một vai trò vô cùng quan trọng Với tư cách là một ngành thuộc lĩnh vực công nghệ, Công Nghệ Thông Tin đem đến hiệu quả cao về mặt công nghiệp hóa- hiện đại hóa nêu chúng ta biết khai thác hợp lí các tiềm năng để phát triển bền vững

Công nghệ 4.0 còn gọi là sản xuất thông minh, kết hợp thực tiễn với công nghệ thông minh để tạo hệ sinh thái được kết nối tốt hơn và tổng thể hơn Việc kết hợp đồng thời giữa công nghệ với các vấn đề hàng ngày trong cuộc sống giúp các cá nhân cũng như tổ chức giải quyết được các vấn đề một cách dễ dàng hơn với độ chính xác và tin cậy rất cao

Ở nước ta hiện nay, Công Nghệ Thông Tin đang được phát triển rất mạnh mẽ, hỗ trợ tích cực cho sự phát triển của các ngành khác như hàng không, điện tử, …Công nghệ thông tin mở ra rất nhiều lĩnh vực khác nhau như kĩ thuật phần mềm, hệ thống thông tin, …

Sinh viên Khoa Học Máy Tính nói riêng cũng như Công Nghệ Thông Tin nói chung cần phải nâng cao tinh thần học hỏi, sáng tạo, nhiệt huyết, áp dụng các kiến thức, tư duy logic vào thực tiễn Trong đó, báo cáo môn Thực tập cơ sở ngành như một cơ hội đầu tiên giúp sinh viên tìm hiểu và tập hợp kiến thức

Đói với lý do chọn đề tài, thứ nhất, nghĩ đến nhà thông minh, chắc hẳn nhiều người sẽ nghĩ đến một điều được cho là cao siêu, hay những thứ mà chỉ trong giấc mơ mới có được, một căn nhà có thể điều khiển bằng giọng nói Tuy nhiên nó lại không phức tạp như vậy, mỗi đồ gia dụng nhỏ nhất trong cuộc sống hàng ngày đều có thể có được sự “thông minh”, hay nói cách khác một ngôi nhà có thể điều khiển bằng giọng nói là hoàn toàn khả thi Điều này là nhân tố chính quyết định việc lựa chọn nhà thông minh là đề tài báo cáo, giúp mô hình trở nên thông dụng hơn với mọi nhà

Thứ hai, bạn cảm thấy mệt mỏi sau khi về nhà, muốn lên giường đi ngủ nhưng quên không tắt điện Lúc này cơ thể bạn đã không chống đỡ nổi và chỉ

muốn điện tự động tắt Hay bạn muốn bật điều hòa giữa cái nóng 35-36 độ mà lại không có/hỏng điều khiển, hay đơn giản bạn muốn tạo ấn tượng trước mặt bạn gái, về một căn nhà hoạt động theo hiệu lệnh của bạn Nhà thông minh sẽ giúp bạn giải quyết những vấn đề này, nói cách khác là sự “thông minh” của căn nhà không phải thể hiện ở những điều lớn lao, mà đơn giản trong những hoạt động nhỏ nhất hàng ngày Đó là lý do thứ hai cho việc chọn mô hình này

Thứ ba, thỏa mãn nhu cầu, sở thích công nghệ cho các bạn ưa thích công nghệ, các thiết bị thông minh Và còn là động lực học hỏi và tìm hiểu của cá nhân em Đây cũng là lý do cuối cho việc chọn đề tài này

Do đó, mục đích của việc xây dựng mô hình nhà thông minh nhằm: • Giúp các công việc thuận lợi hơn

• Thực hiện các công việc cơ bản một cách dễ dàng hơn • An toàn hơn

• Phổ biến hơn với các hộ gia đình

Trong chủ đề nghiên cứu này, chúng ta sẽ tiến hành nghiên cứu về các thiết bị có sử dụng hồng ngoại, kết nối với các thiết bị hồng ngoại, hệ thống camera giám sát, các phần cứng có thể có trong thiết bị Sau đó, chúng ta sẽ tìm hiểu về các thuật toán phục vụ cho việc xây dựng hệ thống như: các thuật toán về Machine Learning, nhận diện âm thanh, nhận diện hình ảnh, và các kiến thức có liên quan Trong báo cáo này sinh viên cần làm nhiệm vụ: khảo sát được thực tiễn, đề ra được mô hình sơ khai cho thiết bị, hệ thống được nghiên cứu Viết được báo cáo cho hệ thống Tìm hiểu các thuật toán, hiểu được chức năng các thuật toán qua đó áp dụng vào hệ thống đang được xây dựng Miêu tả được các chức năng của hệ thống

Phạm vi nghiên cứu được giới hạn trong: • Các lý thuyết ban đầu về nhận diện giọng nói • Các lý thuyết ban đầu về nhận diện hình ảnh • Các lý thuyết ban đầu về Machine Learning

• Các ý tưởng về ứng dụng các thuật toán cho hệ thống Qua đó, môn học đã giúp sinh viên:

• Giúp sinh viên có tư duy, ý tưởng sáng tạo về các hệ thống mới

• Giúp sinh viên bước đầu tìm hiểu các khái niệm, cách thức hoạt động của các hệ thống liên quan trong báo cáo

• Giúp sinh viên tăng cường khả năng tự học

• Giúp sinh viên có cơ hội tiếp cận thực tế, khảo sát thực tế

Tóm lại, trong bài báo cáo này, phạm vi nghiên cứu dừng lại ở việc: Nghiên

cứu mô hình nhà thông minh, cụ thể là áp dụng trí tuệ nhân tạo vào điều khiển

các thiết bị gia dụng sử dụng hồng ngoại, nhằm phục vụ nhu cầu công nghệ hóa hiện nay cũng như niềm đam mê về công nghệ thông minh, cũng như giúp các hộ gia đình có thể tiếp cận gần hơn với công nghệ thông minh, phát triển ngành khoa học công nghệ cao

Em xin được gửi lời cảm ơn chân thành đến cô Lê Như Hiền đã tư vấn,

giúp đỡ em trong quá trình thực hiện đề tài này

Do nhiều yếu tố khách quan cũng như kiến thức của em còn chưa đầy đủ, em mong nhận được những lời góp ý chân thành của thầy/ cô để có những chỉnh sửa kịp thời, giúp em thực hiện tốt hơn trong những báo cáo kế tiếp

Em xin chân thành cảm ơn!

PHẦN 1: KHẢO SÁT 1.1 Khảo sát thực tiễn

Kết quả khảo sát thực tiễn 20 hộ gia đình ở khu Xuân Phương, quận Nam Từ Liêm, Hà Nội, và Thành phố Hải Dương cho thấy: 90% các hộ gia đình đều sử dụng các thiết bị gia dụng có gắn hồng ngoại là ti vi, quạt, điều hòa, một số hộ có máy tính, phù hợp với mục đích của việc xây dựng nhà khôn- là hướng tới các thiết bị gia dụng sử dụng hồng ngoại

Về việc khảo sát kiến trúc, cơ sở hạ tầng:

Thứ nhất, đối với việc sử dụng thiết bị hồng ngoại: 99% các hộ gia đình hiện nay đều có sử dụng một số thiết bị hồng ngoại như: điều hòa, đèn điện, đèn ngủ, ti vi, … Việc điều khiển các thiết bị trên bằng thao tác tay đã quá quen thuộc, đôi lúc gây ra sử không hài lòng, hay các thiết bị bật tắt đột nhiên hỏng mà không có phương án khác

Thứ hai, về bảo mật: còn rất nhiều hộ gia đình chưa trang bị camera để đảm bảo an toàn, hầu hết đều chỉ sử dụng các loại khóa cửa thông thường Với việc các thiết bị bẻ khóa được nâng cao, việc bị đột nhập là có thể xảy ra Tuy phần trăm nhỏ, nhưng việc không có sự chuẩn bị có thể gây ra những hậu quả không kiểm soát được, nhất là ban đêm Ngoài ra, các thiết bị camera thường chỉ được lắp ở ngoài cửa, nên việc bảo mật gần như bằng không nếu có ai đó vào nhà mà không bị camera phát hiện

Do đó đưa ra được kết luận sơ khai thông qua khảo sát: việc xây dựng các thiết bị giúp cho căn nhà trở nên thông minh hơn, có thể phản hồi người dùng, là một công cụ giúp giải trí tốt hơn cho những người yêu thích công nghệ Các thiết bị đều là thiết bị hồng ngoại và tín hiệu hồng ngoại chỉ bị cản trở khi gặp các vật cản lớn như tường nhà, vì vậy đối với phòng khách và phòng ngủ- những nơi mà chỉ có tường bao xung quanh, không có vật cản trở tín hiệu hồng ngoại thì việc có một thiết bị thông minh điều khiển chúng là khả thi Không những vậy, tinh bảo mật cũng được nâng cao hơn so với các phương thức bảo mật hiện tại

So sánh với các thiết bị hiện tại, mô hình nhà thông minh rất có tiềm năng để phát triển, nó khắc phục được các điểm yếu cơ bản của các thiết bị hiện tại:

• Thứ nhất, có thể thay thế việc điều khiển các thiết bị hồng ngoại bằng thao tác tay thông thường qua sử dụng bằng giọng nói, hoặc cũng có thể sử dụng song song

• Thứ hai, khắc phục được nhược điểm của bảo mật bằng camera hiện tại Việc lắp đặt camera bên ngoài không bao quát được không gian bên trong, dễ bị phá hủy do rất dễ nhận biết, không có phương thức tự cảnh báo, gửi cảnh báo đến người dùng Thiết bị nhà thông minh giúp khắc phục tất cả nhược điểm trên

• Thứ ba, đối với các thiết bị dễ gây cháy nổ trong nhà nếu như có sự sai sót của người dùng như: quên tắt bếp, hở van ga, … sẽ được thông báo đến người dùng Các thiết bị cần được bao quát được không gian căn phòng Loại bỏ nhược điểm khó cho người mới sử dụng

PHẦN 2: XÂY DỰNG HỆ THỐNG 2.1 Mô tả hệ thống

Hệ thống nhà thông minh là sự kết hợp của các tính năng mới mẻ và độc đáo như: nhận diện bằng giọng nói, nhận diện bằng hình ảnh, điều khiển các thiết bị bằng giọng nói (có thể qua cử chỉ) Các điểm đặc trưng của thiết bị nhà thông minh:

Thứ nhất, việc điều khiển bất cứ các thiết bị nào có sử dụng hồng ngoại có sẵn do nhà sản xuất thiết bị đó lắp ráp, hay đến các thiết bị tự chế, với điều kiện có chip hồng ngoại, sẽ đều có thể điều khiển qua giọng nói Chẳng hạn như ti vi, chúng ta hoàn toàn có thể điều khiển bật tắt, chuyển kênh thông qua giọng nói Hay với thiết bị tự chế chẳng hạn như quạt cây nhưng có gắn chip hồng ngoại, cũng đều có thể điều khiển thông qua giọng nói

Thứ hai, hệ thống có thể cung cấp lựa chọn thứ hai ngoài việc sử dụng giọng nói, là sử dụng cử chỉ đề điều khiển

Thứ ba, hệ thống sẽ tối ưu nhất cho việc sử dụng để điều khiển điều hòa với các tính năng thay đổi nhiệt độ theo yêu cầu, tự động điều chỉnh nhiệt độ ban đêm, lịch sử điều chỉnh, cũng như thói quen người dùng, cập nhật hàng ngày đến người dùng

Thứ tư, hệ thống sẽ tích hợp thêm vấn đề bảo mật như một chiếc camera, nhưng với tính năng vượt trội hơn Mỗi thiết bị sẽ như một chiếc camera mini Thiết bị sẽ tự động nhận diện những người lạ đi vào căn nhà của bạn Sau đó hệ thống sẽ thông báo đến cho bạn bằng cách gửi cảnh báo kèm theo ảnh chụp khuôn mặt

Thứ năm, với các thiết bị có thể gây cháy nổ như bếp hồng ngoại, bình ga, hệ thống sẽ tự động đo nồng độ khói (hay khí ga trong nhà bạn) Nếu như không may quên tắt bếp, hệ thống sẽ ngắt bếp, nếu khí ga rò rỉ, hệ thống sẽ ngắt toàn bộ điện Sau đó, cảnh báo quan trọng sẽ được gửi cho bạn (kèm chuông báo)

2.2 Xây dựng phần cứng

Phần cứng sẽ là bộ thiết bị dành cho người dùng lắp đặt ở các vị trí theomong muốn

Phần cứng sẽ được thiết kế dưới dạng hình trụ, chia làm 2 phần:

Phần thứ nhất là bộ phận hồng ngoại, được xây dựng dựa trên đầu hồng ngoại của điều khiển Đầu hồng ngoại sau ghi được kích hoạt sẽ chiếu đến các thiết bị sử dụng hồng ngoại Đầu hồng ngoại với thiết bị hồng ngoại cần được đặt sao cho không có vật ngăn cản ở giữa Đầu hồng ngoại được ưu tiên lắp ở cuối thiết bị Đầu hồng ngoại hoạt động tương tự như một chiếc điều khiển thông thường, với các chức năng tương đương một chiếc điều khiển

Camera được lắp ở gần đỉnh thiết bị, có thể chuyển động dựa trên sự chuyển động của mắt người Chẳng hạn, nếu như có một người vào phòng, camera sẽ nhận diện khung hình của người đó và sẽ chuyển động theo sự di chuyển của người đó cho đến khi chụp được ảnh rõ nét nhất Camera nên là loại camera có thể quay 360 độ Người dùng có thể chọn các loại camera theo yêu cầu chẳng hạn: camera có cảm biến hồng ngoại và camera thông thường Đối với camera thông thường, việc kiểm soát các chuyển động cũng như các biến cố khác thường vào ban đêm sẽ không được tối ưu Do camera thông thường thường khó nhìn vào ban đêm, cho nên việc chụp cũng như trích xuất hình ảnh có thể trở nên khó khăn Cho nên, với camera, yêu cầu tối thiểu sẽ là camera thông thường Với bản cao cấp hơn, ưu tiên cho việc sử dụng camera hồng ngoại Camera hồng ngoại sẽ tự động bật hồng ngoại để cho ảnh trắng đen rõ nét vào ban đêm, người dùng yên tâm về vấn đề camera có cần bật hồng ngoại thủ công hay không

Phần thứ ba là một micro với mục đích thu giọng nói để xây dựng hệ thống nhận diện giọng nói Giọng nói của con người và ngôn ngữ máy là hai thứ khác nhau Một hệ thống chưa thể nhận diện giọng nói nếu chưa hiểu được người dùng đang nói gì Để chuyển giọng nói con người thành ngôn ngữ mà hệ thống có thể hiểu được, phải có một bộ gọi là bộ nhận diện giọng nói Về nguyên lí hoạt động, bộ nhận diện giọng nói sẽ cần phải thực hiện một quá trình rất nhiều các bước phức tạp Khi nói, người dùng sẽ tạo ra các rung động trong không khí, sau đó bộ

chuyển đổi sẽ chuyển các sóng đó sang dạng dữ liệu mà hệ thống có thể hiểu được Đơn giản như sau: hệ thống sẽ thu thập các mẫu âm thanh, sau đó loại bỏ tiếng ồn Tiếp theo, chia tín hiệu ra làm nhiều phần nhỏ, có thể là nhỏ nhất như các âm a, b, c, nhằm phân biệt các từ với độ chính xác gần như tuyệt đối

Sau khi nhận diện được đúng yêu cầu của người dùng, hệ thống sẽ thực hiện các tác vụ khác, phản hồi người dùng, thực hiện yêu cầu người dùng, … Chẳng hạn, giả sử đối với việc bật tắt điều hòa, việc hệ thống làm sẽ giống như người dùng làm thủ công bình thường Với thủ công, người dùng thực hiện các thao tác tay với điều khiển, thì với thiết bị này, sau khi nhận diện được giọng nói, hệ thống sẽ kết nối đến đầu hồng ngoại để làm các thao tác như chúng ta làm tay thông thường Các công việc đó là hoàn toàn tự động, không có sự can thiếp trực tiếp từ người dùng Người dùng chỉ cần ra lệnh, máy sẽ tự hoạt động

Phần thứ tư là các tính năng về việc bảo vệ người dùng khỏi các sự cố Trong báo cáo này, em có đề cập đến 2 vấn đề đó là cảnh báo về rò rỉ khí ga và tự động tắt bếp khi phát hiện cháy Với 2 vấn đề này, thiết bị sẽ được cung cấp phần cứng để đo nồng độ cái loại khí xung quanh, và sau đó sẽ cập nhật vào thiết bị Nếu như nồng độ khí ga ở mức độ vượt ngưỡng cho phép, hệ thống sẽ tự động ngắt toàn bộ điện Tương tự đối với báo cháy

2.3 Xây dựng phần mềm

Nhận diện giọng nói:

Nhận diện hình ảnh:

Hệ thống tự động bật tắt điều hòa vào ban đêm

Hệ thống báo cháy tự động, hệ thống báo rò rỉ khí ga

Nhận diện giọng nói: là một công nghệ cho phép nhập liệu vào hệ thống Người dùng sử dụng các thao tác nói chuyện với hệ thống và sau đó hệ thống sẽ sử dụng những gì người dùng đã nói làm đầu vào để kích hoạt một số hành động Công nghệ này được sử dụng để thay thế các phương thức khác như nhập, nhấp hay chọn bằng thao tác tay, điều mà sẽ mất nhiều thời gian hơn với một yêu cầu phức tạp

Vấn đề với nhận diện giọng nói:

Có một phiên bản nhận diện giọng nói được gọi là Speech to Text (STT), tức là dịch các từ được nói thành dạng văn bản Tuy nhiên với hàng tỷ người trên thế giới, không phải người nào dùng phát âm giống nhau Do đó việc nói lại trở nên bất cập do dành nhiều thời gian để nói hơn là viết sẵn văn bản Ngoài ra, với các yếu tố bên ngoài làm cho giọng nói không được ở một điều kiện đủ tốt để hệ thống nghe được Cho nên, nhược điểm này là nhược điểm lớn nhất của một hệ thống nhận diện giọng nói sơ khai Tuy nhiên, các nhược điểm sẽ được khắc phục Phương pháp sampling – lấy mẫu: giống như xử lí hình ảnh, cần phải chuyển từ hinh ảnh sang dạng số thì âm thanh cũng tương tự Âm thanh là một dải sóng âm, vì vậy bước đầu tiên là truyền dải sóng âm vào máy tính Với đoạn âm ‘Hello’ như dưới đây:

Hình 2 Dải sóng âm của từ Hello

Sóng âm có một chiều dữ liệu, ở một thời điểm, chúng có một giá trị cao độ Sau khi phóng to một đoạn nhỏ sóng âm ta được:

Với việc ghi lại độ cao của sóng âm ở mỗi khoảng, ta được phương pháp lấy mẫu Chúng ta đọc mẫu mỗi 1/1000s và ghi lại số đại diện chiều cao sóng âm, sau đó lưu vào 1 file Âm thanh chất lượng tốt được ghi ở tần số 44.1 kHz (44100 lần đọc mỗi giây) Tuy nhiên với nhận diện giọng nói, tốc độ 16kHz là quá đủ Giả sử lấy mẫu ‘Hello’ trong tần số 16kHz, đây là 100 mẫu đầu tiên:

Hình 4 Độ cao sóng âm mỗi khoảng

Cách lấy mẫu chính xác: Với lý thuyết Nyquist, có thể sử dụng toán học để tái tạo chính xác sóng âm từ các mẫu riêng biệt – miễn là lấy mẫu với tần số gấp đôi tần số âm ghi lại

Tiền xử lí mẫu dữ liệu đầu vào: Qua bước trên, ta đã có mẫu dữ liệu là dãy số đại diện cho độ cao âm tại 1/16000s Tuy nhiên nếu truyền tất cả cùng một lúc vào mạng noron sẽ rất khó xử lí Thay vào đó sẽ chia nhỏ khoảng này ra

Trước hết có khoảng âm thanh trong khoảng 20ms, 320 mẫu âm:

Vẽ bằng đồ thị qua matplotlib:

Bản ghi âm này vào khoảng 1/50s Tuy nhiên có đầy đủ các khoảng âm từ thấp đến cao, tập hợp tất cả các âm đó tạo lên giọng nói Sau khi đã dùng lý thuyết Nyquist, sóng âm là một dải liên tục, sau đó dùng Fourier Transform tách chúng thành các sóng âm đơn cấu tạo ra nó, từ đó tính tổng năng lượng mỗi đơn âm, với khoảng 20ms trên ta có:

Hình 7 Tổng năng lượng đơn âm

Biểu diễn trên đồ thị sẽ có dạng:

Dải năng lượng tập hợp chủ yếu ở nơi có tần số thấp, suy ra đây là 1 giọng nam Từ đó lặp lại các khoảng 20ms cho đến hết được dải quang phổ:

Từ đây ta có thể thấy được âm thanh với độ cao của nó Bằng việc tìm những cấu trúc dữ liệu này, ta được các đặc trưng truyền vào mạng noron

Thao tác nhận diện: Sau khi có các dải 20ms, truyền vào các mạng noron đa lớp, với mỗi mảng, ta tìm các kí tự đại diện cho âm thanh

Hình 10 Đầu vào/ra của thuật giải

Với mạng noron hồi quy: bởi vì các kí tự có liên quan đến nhau Giả sử đã tìm ra từ ‘Chà’ thì sẽ có thể là từ ‘Chào’, hay ‘Hel’ thì có khả năng là ‘Hello’ Sau khi chạy toàn bộ âm thanh, kết nối các dải âm nhỏ thành một với kí tự có khả năng cao nhất, ta được: