Phát hiện một số bệnh gia cầm dựa trên hình ảnh thu nhận từ camera bằng mạng nơ-ron tích chập

Khoa học Tự nhiên /Khoa học máy tính thơng tin DOI: 10.31276/VJST.64(10DB).02-07 Phát số bệnh gia cầm dựa hình ảnh thu nhận từ camera mạng nơ-ron tích chập Đồn Hồng Quang*, Nguyễn Huy Cơng, Lê Hồng Minh, Phạm Vũ Ban, Nguyễn Huy Hưng, Nguyễn Tuấn Hùng Trung tâm Công nghệ Vi điện tử Tin học, Viện Ứng dụng Công nghệ Ngày nhận 11/7/2022; ngày chuyển phản biện 14/7/2022; ngày nhận phản biện 28/7/2022; ngày chấp nhận đăng 3/8/2022 Tóm tắt: Bài viết giới thiệu số kết việc nghiên cứu xây dựng hệ thống tự động phát sớm số bệnh gia cầm công nghệ thị giác máy sử dụng trí tuệ nhân tạo (AI) để phân tích hình ảnh từ camera giám sát chuồng ni Hệ thống thử nghiệm sử dụng mạng nơ-ron học sâu RepVGG làm mơ hình suy diễn phát bệnh gia cầm Dữ liệu để huấn luyện đánh giá mơ hình loại bệnh ORT, CRD, MAREK gồm 500 ảnh cho bệnh, thu thập từ camera giám sát chuồng ni sưu tầm internet Q trình huấn luyện sử dụng 80% số ảnh mẫu, mơ hình đạt sai số 0,02 sau 5000 vòng huấn luyện Đánh giá mơ hình với 10% số mẫu cịn lại đạt độ xác 99,94% Trong thử nghiệm thực tế với camera giám sát chuồng nuôi (độ phân giải 1902x1080 pixels), hệ thống phát phân loại 90%, đặc biệt với bệnh có hình ảnh có nhiều đặc điểm phân biệt rõ độ xác đạt 98% Kết đạt cho thấy, sử dụng hệ thống để hỗ trợ cảnh báo sớm bệnh cho gia cầm ni Hệ thống hồn tồn huấn luyện tiếp để phát bệnh cho gia cầm khác như: Newcastle, đậu gà (bánh trái gà), bạch lỵ, thương hàn Từ khóa: mạng nơ-ron học sâu, mạng nơ-ron tích chập, phát sớm bệnh gia cầm Chỉ số phân loại: 1.2 Mở đầu Ngành chăn ni nói chung, chăn ni gia cầm nói riêng ngày phát triển số lượng chất lượng, góp phần tạo việc làm, tăng thu nhập cho người lao động, tạo mạnh kinh tế nhiều địa phương Tuy nhiên, phát triển số lượng chăn nuôi gia cầm gặp nhiều khó khăn q trình chăm sóc, phịng bệnh, chữa bệnh, đặc biệt phát bệnh để điều trị kịp thời cịn khó khăn Hiện nay, nhiều trại chăn nuôi, hộ chăn nuôi quy mô vừa nhỏ chưa đủ nguồn lực để phát sớm dịch bệnh đàn gia cầm, dịch bệnh thường xuyên xảy Dịch bệnh làm ảnh hưởng đến suất, chất lượng sản phẩm gia cầm, đặc biệt cịn ảnh hưởng đến tính mạng người chăn ni tiêu thụ sản phẩm gia cầm Do thời tiết khắc nghiệt miền nước, nóng lạnh bất thường miền Bắc, nắng nóng tỉnh phía Nam, nguy dịch bệnh gia cầm cao Phát sớm số bệnh gia cầm thông báo kịp thời đến người chăn nuôi làm giảm nguy lây nhiễm đàn, giảm nguy chết, giảm chi phí điều trị, hạn chế thiệt hại kinh tế cho hộ chăn nuôi, trại chăn nuôi Deep learning [1, 2] phương pháp học máy, máy tính học cải thiện thơng qua thuật tốn, xây dựng dựa khái niệm phức tạp, chủ yếu hoạt động với mạng nơ-ron nhân tạo để bắt chước khả tư suy nghĩ não người Các hệ thống deep learning giải nhu cầu nhận dạng mẫu (nhận * diện hình ảnh, giọng nói, xử lý ngơn ngữ tự nhiên ) mà không cần đến can thiệp người với độ xác cao Mạng nơ-ron tích chập (Convolutional neural network CNN) [3-5] mơ hình để nhận dạng phân loại dựa q trình phân tích hình ảnh đầu vào Mỗi hình ảnh đầu vào chuyển qua lớp tích chập với lọc, tổng hợp lớp kết nối đầy đủ sử dụng hàm Softmax để nhận dạng, phân loại với độ xác cao mơ hình học máy truyền thống [6-9] Những mơ hình mạng học sâu [3, 4, 10-12] đạt thành công lớn lĩnh vực phân loại hình ảnh với kiến trúc gồm lớp Conv, ReLU Pooling Những mơ hình phức tạp mang lại độ xác cao tồn số bất lợi phức tạp thiết kế nhiều nhánh khiến cho việc xây dựng mơ hình trở nên khó khăn hơn, đồng thời khiến cho việc suy luận chậm giảm tận dụng nhớ hay số mơ hình làm tăng cost của việc truy cập nhớ nên không phù hợp số thiết bị Trong đó, RepVGG [9] có lợi cấu trúc đơn giản (khơng có nhánh đầu lớp trước trở thành đầu vào lớp sau), sử dụng lớp Conv3x3, lớp kích hoạt ReLU, không cần thiết kế phức tạp tìm kiếm tự động hay sàng lọc thủ cơng [3, 4] Bài viết trình bày ứng dụng mơ hình CNN - RepVGG để xây dựng hệ thống nhận dạng tự động phát số bệnh gia cầm từ hình ảnh thu nhận trực tiếp camera giám sát chuồng nuôi Tác giả liên hệ: Email: daohaoquang@gmail.com 64(10ĐB) 10.2022 Khoa học Tự nhiên /Khoa học máy tính thơng tin Identification of some avian diseases based on images obtained from a camera by convolutional neural networks Hong Quang Doan*, Huy Cong Nguyen, Hong Minh Le, Vu Ban Pham, Huy Hung Nguyen, Tuan Hung Nguyen Center for Microelectronics and Information Technology, National Center for Technological Progress Received 11 July 2022; accepted August 2022 Abstract: The research paper introduced several results achieved in the research and construction of an automatic system for early detection of various poultry diseases by computer vision technology, using artificial intelligence to analyse images from surveillance cameras The experimental system used the deep learning neural network RepVGG as an inference model for detecting poultry diseases Training data set and model evaluation for diseases ORT, CRD, MAREK, including 500 images for each disease, were directly collected from surveillance cameras and from the internet The training process used 80% of the sample images; the model reached an error of 0.02 after 5000 rounds of training Evaluation of the model with the remaining 10% ​​of samples achieved an accuracy of 99.94% In the actual test with the surveillance camera (resolution 1902x1080 pixels), the system can detect and classify correctly diseases over 90%, especially for diseases with images involving multiple distinguishing symptoms, the accuracy was more than 98% The obtained results showed that the system can be used to support early warning of diseases for poultry The system can be trained to detect other poultry diseases such as Newcastle disease, fowl pox, pullorum disease, typhoid Keywords: convolutional neural network, deep learning neural network, early detection for poultry disease Hình Mơ hình mạng RepVGG (A) Mạng ResNet; (B) Kiến​​ trúc mạng RepVGG giai đoạn huấn luyện; (C) Mô tả mạng RepVGG giai đoạn suy luận Khi huấn luyện mơ hình (hình 1B), đầu vào qua đồng thời lớp Conv3x3 Conv1x1 với stride=2 tiến trình; đầu lớp cộng lại với qua lớp kích hoạt ReLU Đầu khối đầu vào cho khối tiếp theo, từ khối thứ cấu trúc khối tiến trình giống nhau, bao gồm nhánh: Conv3x3 với stride=1, Conv1x1 với stridde=1, nhánh xác thực sử dụng Batch normalization (BN) - phương pháp chuẩn hóa đầu lớp sau qua lớp kích hoạt Đầu nhánh cộng lại với trước đưa qua lớp kích hoạt ReLU Trong suy luận (hình 1C), cấu trúc RepVGG có thay đổi, đầu qua mơ hình qua lớp Conv3x3 hàm kích hoạt ReLU liên tiếp Đây điểm phức tạp xây dựng mơ hình, Conv3x3 khơng đơn giản Conv3x3 với trọng số lấy ngẫu nhiên Trọng số Conv3x3 suy luận tổng trọng số nhánh Conv3x3, Conv1x1 xác thực huấn luyện Phương pháp gọi là Re-Parameterization (hình 2) Classification number: 1.2 Mạng nơ-ron - RepVGG Kiến trúc mạng Hình trình bày mơ hình mạng RepVGG, với kiến trúc tách thành hai phần riêng biệt đơn nhánh suy luận đa nhánh huấn luyện mơ hình, mơ hình có giai đoạn Tất khối giai đoạn có stride để giảm số mẫu, khối khác có stride Mơ hình sử dụng tích chập có kernel 3x3 Relu (nhánh xác thực 1x1 dùng huấn luyện mơ hình), loại bỏ hồn tồn lớp Pooling mơ hình VGG 64(10ĐB) 10.2022 (A) (B) Hình Mơ hình dạng cấu trúc tham số 𝑀𝑀(2) = 𝑏𝑏𝑏𝑏(𝑀𝑀(1) ∗ 𝑊𝑊 (3) , 𝜇𝜇 (3) , 𝜎𝜎 (3) , 𝛾𝛾 (3) , 𝛽𝛽 (3) ) Khoa học Tự nhiên /Khoa học máy tính thơng tin + 𝑏𝑏𝑏𝑏(𝑀𝑀(1) ∗ 𝑊𝑊 (1) , 𝜇𝜇 (1) , 𝜎𝜎 (1) , 𝛾𝛾 (1) , 𝛽𝛽 (1) ) + 𝑏𝑏𝑏𝑏(𝑀𝑀(1) , 𝜇𝜇 (0) , 𝜎𝜎 (0) , 𝛾𝛾 (0) , 𝛽𝛽 (0) )𝑀𝑀(2) ′(3) = 𝑀𝑀(𝑀𝑀(1) ∗ 𝑊𝑊 ′(3) ):,𝑖𝑖,:,: + 𝑏𝑏𝑖𝑖 ( ′(1) +(𝑀𝑀(1) ∗ 𝑊𝑊 ′(1) ):,𝑖𝑖,:,: + 𝑏𝑏𝑖𝑖 Đơn nhánh đa nhánh Trong huấn luyện, mơ hình đa nhánh thường dễ hội tụ đạt độ xác cao so với đơn nhánh, trình suy luận lại có số nhược điểm sau: tốc độ suy luận chậm so với đơn nhánh; chiếm nhiều nhớ (đa nhánh không hiệu sử dụng nhớ kết tất nhánh phải lưu trữ thực ghép nhánh vào lại với nhau, cịn với đơn nhánh nhớ giải phóng tính tốn xong, tối ưu nhớ hơn); việc thiết kế kiến trúc mơ hình, cấu trúc đa nhánh thường linh hoạt so với mơ hình đơn nhánh Để sử dụng ưu điểm hai mơ hình (đa nhanh q trình huấn luyện, đơn nhánh trình suy luận) cần đến kỹ thuật để chuyển đổi tham số mơ hình sang mơ hình khác, kỹ thuật tạo nên khác biệt cho mơ hình Re-Parameterization ′(0) +(𝑀𝑀(1) ∗ 𝑊𝑊 ′(0) ):,𝑖𝑖,:,: + 𝑏𝑏𝑖𝑖 = > 𝑀𝑀(2) = 𝑀𝑀(1) ∗ (𝑊𝑊 ′(1) + 𝑊𝑊 ′(3) 𝑊𝑊 ′(0)) + (𝑏𝑏′(0) + 𝑏𝑏′(3) 𝑏𝑏′(1) ) Trong trình chuyển tham số, BN hai kiến trúc đa Trong trình chuyển tham số, BN hai kiến trúc đa nhánh nhánh đơn nhánh phải tương đồng, kích thước W’(1), phải đồng, kích thước W’(1), W’(3), W’(0) phải giống để (3) tương , W’(0) phải giống để thực phép cộng tương W’ phép cộng tương ứng ứng Do W’(1), W’(3), W’(0) có kích thước 1x1, 3x3, 1x1, để kích thư Do W’(1), W’(3), W’(0) có kích thước 1x1, 3x3, 1x1, để kích gán giá trị vào W’(1), W’(0) (1) kích thước với W’(3) Cuối cùng, ta có: thước cần phải gán giá trị vào W’ , W’(0) kích thước Cuốiluyện: cùng, ta có: với W’(3)Huấn M(2) = M(1) * W’(1+3+0) + b’(1+3+0) ) Huấn luyện: M(2) = M(1) * W’(1+3+0) + b’(1+3+0) ) (3) (3) Suy luận: M(2) = M(1) * W’ + b’ (4) M(1) = W’(1+3+0) b’= b’(1+3+0) đó: C1: kênh đầu vào; C2: kênh đầu ra; M(1) ∈ RN*C1*H1*W1: đầu Chuyển đa nhánh sang đơn nhánh vào; M(2) ∈ RN*C2*H2*W2: đầu ra; W(3) ∈ RC2*C1*3*3: nhân conv3x3; Huấn luyện mơ hình: Một khối mơ hình RepVGG có W(1) ∈ RC2*C1: nhân conv1x1; μ(3), δ(3), γ(3), β(3): trung bình, độ nhánh gồmluyện convolution kernel nhánhRepVGG xác thực có nhánh gồm Huấn mơ hình: có khối3x3, của1x1 mơvàhình phóng Huấn luyện mơ hình: khối mơ hình RepVGG lệch có 3chuẩn, nhánhđộgồm cácđại, độ lệch lớp BN sau lớp conv3x3; convolution có kernel 3x3,Một 1x1khối nhánh xác thực Q trình suy luyện luận: RepVGG có mô convolution (1) (1) (1) (1) , δ , γ , β : trung bình, độ lệch chuẩn, độ phóng đại, độ lệch μ Huấn mơ hình: khối hình RepVGG có nhánh gồm convolution có kernel 3x3, 1x1 nhánh xác thực trình khối thực có convolution 3x3, tất sau lớp 3x3,Quá tất sausuy lớp luận: convolution 3x3,RepVGG 1x1 hay xác dùng lớp BN lớp conv1x1; μ(0), δ(0), γ(0), β(0): trung bình, độ lệch convolution có kernel 3x3, khối 1x1 nhánh xác Quá trình suy luận: RepVGG chỉthực có convolution 3x3, tất sau sau lớp thêm lớp BN chuyển số hình huấn luyện convolution 3x3,để1x1 hay tham xác thực thìmơ dùng thêm lớp BN để sang chuyển chuẩn, tham số mơ đại, hìnhđộ lệch lớp BN nhánh xác thực; [*]: phóng suyxác luận: có convolution sau lớp convolution Quá 3x3, trình 1x1 hay thực khối dùngRepVGG thêm lớp BN để chuyển tham độ số3x3, tất mơ hình suy luận [9] BN tính sau: huấn luyện sang suy luận [9] BN tính sau: phép tích chập; bn: Batch Normalization convolution 3x3, hay xác thực thìtính dùngnhư thêm huấn luyện sang suy1x1 luận [9] BN sau:lớp BN để chuyển tham số mơ hình Với ∀1 ≤≤𝑖𝑖 𝑖𝑖≤≤CC Với ∀1 luyện suy luận [9] BN tính sau: huấn sang 𝛾𝛾 𝑖𝑖 𝛽𝛽 𝑏𝑏𝑏𝑏(𝑀𝑀, 𝜇𝜇, 𝜎𝜎, 𝛾𝛾, 𝛽𝛽) - 𝜇𝜇i) 𝑖𝑖𝛾𝛾+ :,I,:,: 𝑖𝑖 𝑏𝑏𝑏𝑏(𝑀𝑀,Với 𝜇𝜇, 𝜎𝜎, 𝛾𝛾, ≤ 𝛽𝛽)𝑖𝑖:,I,:,: =(M + 𝛽𝛽 ∀1 ≤=(M C2 :,i,:,i,: :,i,:,i,: - 𝜇𝜇 i) 𝜎𝜎𝑖𝑖𝜎𝜎 𝑖𝑖 𝑖𝑖 𝛾𝛾𝑖𝑖 𝛾𝛾 𝑖𝑖 𝜇𝜇𝑖𝑖𝜇𝜇𝛾𝛾𝑖𝑖𝑖𝑖𝛾𝛾𝑖𝑖 ′′ ′′ 𝑏𝑏𝑏𝑏(𝑀𝑀, 𝛾𝛾,; 𝑏𝑏𝛽𝛽) =(M :,I,:,: :,i,:,i,: Đặt = 𝑖𝑖𝛾𝛾𝜇𝜇, 𝑊𝑊𝜎𝜎, =− ++-𝛽𝛽𝜇𝜇𝛽𝛽 Đặt𝑊𝑊𝑊𝑊 𝑖𝑖,:,:,: 𝑖𝑖 i𝑖𝑖)𝜎𝜎𝑖𝑖 𝑖𝑖,:,:,: 𝑖𝑖,:,:,: 𝑖𝑖,:,:,: ; 𝑏𝑏 𝑖𝑖,:,:,: =𝜎𝜎 𝑊𝑊 𝑖𝑖,:,:,: =−𝜎𝜎 𝑖𝑖𝜎𝜎𝑖𝑖 𝛾𝛾 𝑖𝑖𝜎𝜎𝑖𝑖 ′ ′ Tacó: có:Đặt 𝑊𝑊𝑖𝑖,:,:,: = 𝑖𝑖 𝑊𝑊𝑖𝑖,:,:,: ; 𝑏𝑏𝑖𝑖,:,:,: =− Ta 𝜎𝜎 𝑖𝑖 (2) 𝑏𝑏𝑏𝑏(𝑀𝑀∗∗𝑊𝑊, 𝑊𝑊,𝜇𝜇,𝜇𝜇,𝜎𝜎,𝜎𝜎,𝛾𝛾,𝛾𝛾,𝛽𝛽) 𝛽𝛽) :,i,:,: 𝑀𝑀𝑀𝑀(2) ==Ta 𝑏𝑏𝑏𝑏(𝑀𝑀 :,i,:,: có: 𝜇𝜇𝑖𝑖 𝛾𝛾𝑖𝑖 𝜎𝜎𝑖𝑖 𝛾𝛾 𝛾𝛾𝑖𝑖 (M W :,i,:,: :,i,:,:- 𝜇𝜇𝑖𝑖 ) 𝑖𝑖 ++𝛽𝛽𝛽𝛽𝑖𝑖 (2) == W :,i,:,: :,i,:,:- 𝜇𝜇∗𝑖𝑖 ) 𝜎𝜎𝑖𝑖 𝜎𝜎,𝑖𝑖 𝛾𝛾, 𝛽𝛽):,i,:,: 𝑀𝑀(M = 𝑏𝑏𝑏𝑏(𝑀𝑀 𝑊𝑊, 𝜎𝜎𝑖𝑖 𝜇𝜇, + 𝛽𝛽𝑖𝑖 + 𝛽𝛽𝑖𝑖 Xây dựng mơ hình mạng Cấu trúc RepVGG ứng dụng vào toán tự động nhận dạng số bệnh gia cầm q trình chăn ni mơ tả hình 3, hình ảnh gia cầm đưa vào mơ hình thu nhận trực tiếp từ camera chuồng nuôi (1) (1) ′ ′ 𝛾𝛾𝑖𝑖 = 𝑀𝑀 (1) ∗ 𝑊𝑊 + 𝑏𝑏 ′ :,i,:,: W+:,i,:,: = 𝑀𝑀(1)=∗ (M 𝑊𝑊:,i,:,: 𝑏𝑏𝑖𝑖′-𝑖𝑖𝜇𝜇𝑖𝑖 ) 𝜎𝜎𝑖𝑖 + 𝛽𝛽𝑖𝑖 :,i,:,: (1) ′ ′ = 𝑀𝑀 (1) ∗ 𝑊𝑊 ′ + 𝑏𝑏 ′ (1) = 𝑀𝑀 =∗ 𝑀𝑀 𝑊𝑊(1)+∗ 𝑏𝑏𝑊𝑊 ′ :,i,:,: + 𝑏𝑏𝑖𝑖′ Qtrình trính huấn luyện: đầu khối RepVGG Quá huấn luyện: Đầu ra củacủa khối RepVGG tính tính sau: (1) ′ Quá trính huấn luyện: khối RepVGG tính sau: 𝑊𝑊đầu +(3) 𝑏𝑏′ (2) sau: (1) = 𝑀𝑀(3) ∗ (3) (3) (3) 𝑀𝑀 = 𝑏𝑏𝑏𝑏(𝑀𝑀 ∗ 𝑊𝑊 , 𝜇𝜇 , 𝜎𝜎 , 𝛾𝛾 , 𝛽𝛽 ) (1) (3) 𝑀𝑀(2) = 𝑏𝑏𝑏𝑏(𝑀𝑀Quá ∗(1)trính 𝑊𝑊 (3) ,huấn 𝜇𝜇 (3) ,(1) 𝜎𝜎 (3) ,(1) 𝛾𝛾 (3) 𝛽𝛽ra )(1) khối RepVGG tính sau: luyện: đầu, (1) (1) + 𝑏𝑏𝑏𝑏(𝑀𝑀 ∗ 𝑊𝑊 , 𝜇𝜇 , 𝜎𝜎 , 𝛾𝛾 , 𝛽𝛽 ) (1) (1) (1) (1) (1) (1)(1) , 𝜇𝜇 (3) (3) (3) +(2) 𝑏𝑏𝑏𝑏(𝑀𝑀 𝜎𝜎 𝛾𝛾(0)(3), 𝛽𝛽 𝑀𝑀 = 𝑏𝑏𝑏𝑏(𝑀𝑀 𝛾𝛾(2) ,)𝛽𝛽 (3) ) (1)∗ 𝑊𝑊 (0)∗ 𝑊𝑊 (0) , 𝜇𝜇 (0) , 𝜎𝜎 + 𝑏𝑏𝑏𝑏(𝑀𝑀 , 𝜇𝜇 , 𝜎𝜎 , 𝛾𝛾 , 𝛽𝛽 )𝑀𝑀 (1) (0)(1) (0) (0), 𝜇𝜇 (1) + 𝑏𝑏𝑏𝑏(𝑀𝑀 𝜎𝜎 (1)(2) , 𝛾𝛾 (1) , 𝛽𝛽 (1) ) + 𝑏𝑏𝑏𝑏(𝑀𝑀 , 𝜎𝜎 ∗ 𝑊𝑊 , 𝛾𝛾(1) ,′(3) 𝛽𝛽 (0),)𝑀𝑀 (1) , 𝜇𝜇 ′(3) = 𝑀𝑀(𝑀𝑀 ∗ 𝑊𝑊 ):,𝑖𝑖,:,: + 𝑏𝑏𝑖𝑖 (1) (0) (1) ′(3) + 𝑏𝑏𝑏𝑏(𝑀𝑀 , 𝜇𝜇 (0) , 𝜎𝜎′(3) , 𝛾𝛾 (0) , 𝛽𝛽 (0) )𝑀𝑀(2) ′(1) = 𝑀𝑀(𝑀𝑀 +(𝑀𝑀 (1)∗∗𝑊𝑊 𝑊𝑊 ′(1))):,𝑖𝑖,:,: ++𝑏𝑏𝑏𝑏𝑖𝑖 :,𝑖𝑖,:,: 𝑖𝑖 ′(3) ′(1) ′(1)∗ 𝑊𝑊 ′(3) ):,𝑖𝑖,:,: =(1)𝑀𝑀(𝑀𝑀(1) + 𝑏𝑏𝑖𝑖 ′(0) +(𝑀𝑀 ):,𝑖𝑖,:,: +(𝑀𝑀 (1)∗∗𝑊𝑊𝑊𝑊 ′(0) ):,𝑖𝑖,:,:++𝑏𝑏𝑏𝑏 𝑖𝑖 (1) ′(1) 𝑖𝑖 ′(1) (2) (1)+(𝑀𝑀 ′(1) ′(3) ∗) 𝑊𝑊 +𝑊𝑊 𝑏𝑏𝑖𝑖′(0)) :,𝑖𝑖,:,: = > 𝑀𝑀+(𝑀𝑀 = 𝑀𝑀∗(1) (𝑊𝑊 +)𝑏𝑏𝑊𝑊 𝑊𝑊∗′(0) :,𝑖𝑖,:,: + 𝑖𝑖 ′(0) Hình Kiến trúc mạng RepVGG (2)mạng thiết kế gồm 22 lớp tích chập lớp Kiến trúc (2)đủ, với tổng tham số mơ hình 8.303.888 kết nối đầy tổng nhớ 1.329.542 (2) K Tham số nhớ lớp mơ hình mơ tả sau: ′(0) (1) ′(0) ′(3) ′(1) (1)+ 𝑏𝑏 ′(3)+ 𝑏𝑏 (𝑏𝑏𝑀𝑀 𝑏𝑏𝑊𝑊 ′(0) +(𝑀𝑀 ):,𝑖𝑖,:,: = > 𝑀𝑀(2)+= ∗ (𝑊𝑊∗′(1) +) 𝑊𝑊 𝑊𝑊 ′(0) 𝑖𝑖 ) (1)′(1) (2) ′(1) tham ′(3) ′(0)giữa hai kiến trúc đa nhánh đơn nhánh Trong trình chuyển BN ′(0) = > 𝑀𝑀 𝑀𝑀 + 𝑊𝑊 số,𝑊𝑊 ) + (𝑏𝑏 +=𝑏𝑏′(3) 𝑏𝑏 ∗ (𝑊𝑊 ) phải tương đồng, ′(0) kích thước W’(1), W’(3), W’(0) phải giống để thực ′(1) 64(10ĐB) + (𝑏𝑏trình+chuyển 𝑏𝑏′(3) 𝑏𝑏 ) số,10.2022 Trong tham BN hai kiến trúc đa 4nhánh đơn nhánh phép cộng tương ứng (3) Trong trìnhthước chuyển trúc đa để nhánh thực đơn nhánh phải tương đồng, q kích củatham W’(1)số, , W’BN , W’(0) hai phảikiến giống (1) (3) (0) Do W’ , W’ , W’ có kích thước 1x1, 3x3, 1x1, để kích thước cần phải phải tương đồng, kích thước W’(1), W’(3), W’(0) phải giống để thực Khoa học Tự nhiên /Khoa học máy tính thơng tin Đầu vào: ảnh với kích thước 224x224x3=147 K + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv11: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv12: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv13: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv14: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv15: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv16: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv17: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv18: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv19: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv20: + Số lọc: 192 + Bộ lọc: (192,3,3) - Lớp conv1: + Số lọc: 48 + Bộ lọc: (48,3,3,3) + Kích thước đầu ra: 48x112x112 + Bộ nhớ: 15,876 K + Số lượng tham số: (3x3x3)x48 = 1.296 - Lớp conv2: + Số lọc: 48 + Bộ lọc: (48,48,3,3) + Kích thước đầu ra: 48x56x56 + Bộ nhớ: 63,504 K + Số lượng tham số: (48x3x3)x48=20.736 - Lớp conv3: + Số lọc: 48 + Bộ lọc: (48,48,3,3) + Kích thước đầu ra: 48x56x56 + Bộ nhớ: 63,504 K + Số lượng tham số: (48x3x3)x48=20.736 - Lớp conv4: + Số lọc: 96 + Bộ lọc: (48,3,3) + Kích thước đầu ra: 96x28x28 + Bộ nhớ: 31,752 K + Số lượng tham số: (48x3x3)x96=41.472 - Lớp conv5: + Số lọc: 96 + Bộ lọc: (96,3,3) + Kích thước đầu ra: 96x28x28 + Bộ nhớ: 63,504 K + Số lượng tham số: (96x3x3)x96=82.944 - Lớp conv6: + Số lọc: 96 + Bộ lọc: (96,3,3) + Kích thước đầu ra: 96x28x28 + Bộ nhớ: 63,504 K + Số lượng tham số: (96x3x3)x96 =82.944 - Lớp conv7: + Số lọc: 96 + Bộ lọc: (96,3,3) + Kích thước đầu ra: 96x28x28 + Bộ nhớ: 63,504 K + Số lượng tham số: (96x3x3)x96=82.944 - Lớp conv8: + Số lọc: 192 + Bộ lọc: (96,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 31,752 K + Số lượng tham số: (96x3x3)x192=165.888 - Lớp conv9: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv10: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 64(10ĐB) 10.2022 Hình Cấu trúc thư mục liệu Huấn luyện Nguồn liệu hình ảnh bệnh gia cầm dùng huấn luyện mơ hình thử Khoa học Tự nhiên /Khoa học máy tính thơng tin thu thập từ camera chuồng nuôi internet Khởi tạo tham số để huấn luyện: + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv21: + Số lọc: 192 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 192x14x14 + Bộ nhớ: 63,504 K + Số lượng tham số: (192x3x3)x192=331.776 - Lớp conv22: + Số lọc: 1280 + Bộ lọc: (192,3,3) + Kích thước đầu ra: 1280x7x7 + Bộ nhớ: 105,840 K + Số lượng tham số: (192x3x3)x1280=2.211.840 - Lớp FC (kết nối đầy đủ): + Số lọc: 21 + Kích thước đầu ra: 1280 + Bộ nhớ: 26 K + Số lượng tham số: 21x1280=26.88 Thu thập liệu huấn luyện mạng + net: "RepVGG.prototxt" + momentum: 0,9 + gamma: + test_iter: 100 + weight_decay: 0.0005 + stepsize: test_interval: + snapshot: 500 Windows Môi +trường 100 sử dụng để huấn luyện mơ hình + base_lr: 0,0001 + snapshot_prefix: "RepVGG" server 2012, ngôn ngữ Python phiên 3.7.1 với framework + learnRate: "step" + solver_mode: GPU dùng cho huấn luyện mơ hình Caffe [13], card đồ họa Nvidia Mơi trường sử dụng để huấn luyện mơ hình Quadro P2200, khoảng ngày huấn luyện Windows serve Huấn luyện sử dụng 1600 mẫu bệnh (80% card đồ họa mạng: NvidiaChúng Quadrotôi P2200, khoảng ngày huấn luyện mẫu) để huấn luyện mơ hình sử dụng hàm lỗi “cross-entropy Huấn luyện mạng: sử dụng 1600 mẫu bệnh (80% loss” công thức (5) để đánh giá sai số mẫu) đ mơ hình sử dụng hàm lỗi “cross-entropy loss” công thức (5) để đánh 𝐿𝐿𝑖𝑖 = − 𝑁𝑁 𝑊𝑊 𝑇𝑇 𝑒𝑒 𝑦𝑦𝑖𝑖 𝑥𝑥𝑖𝑖+𝑏𝑏𝑦𝑦𝑖𝑖 ∑ 𝑙𝑙𝑙𝑙𝑙𝑙 𝑛𝑛 𝑇𝑇 ∑ 𝑁𝑁 𝑒𝑒 𝑗𝑗 𝑊𝑊𝑗𝑗 𝑥𝑥𝑖𝑖 +𝑏𝑏𝑗𝑗 (5) 𝑖𝑖=1 (5) d đó: xi vector thuộc ℝd; W d d j ∈ ℝ cột thứ j ma trận trọng số Wj ∈ đó: xi vector thuộc ℝ ; Wj ∈ ℝ cột thứ j ma trận trọng n sốkích lớp dữlớp liệu số Wlàj ∈kích ℝd xthước ; N vàvàn thước tập số tập liệu Sau 5000 vòng huấn luyện tham số khai báo 11 với giá trị sai số 0,02, kết huấn luyện mơ hình trình bày hình Quá trình thu thập nguồn liệu bệnh gia cầm dùng huấn luyện mơ hình thử nghiệm chụp camera màu lắp trực tiếp chuồng ni gia cầm thu thập internet Hình Đồ thị lỗi huấn luyện với mẫu liệu Kiểm tra hoạt động mơ hình: Chúng tơi sử dụng 200 mẫu (10% mẫu) để kiểm tra mơ hình mạng với trọng số huấn luyện, kết kiểm tra với giá trị trung bình hàm lỗi 0,035, kết thể đồ thị kiểm tra hoạt động mơ hình hình Hình Cấu trúc thư mục liệu Huấn luyện Nguồn liệu hình ảnh bệnh gia cầm dùng huấn luyện mơ hình thử nghiệm thu thập từ camera chuồng nuôi internet Khởi tạo tham số để huấn luyện: + net: “RepVGG.prototxt” + momentum: 0,9 + gamma: 0,001 Hình Đồ thị kiểm tra hoạt động mơ hình + test_iter: 100 + weight_decay: 0.0005 + stepsize: 1000 + test_interval: 100 + snapshot: 500 + display: 10 + base_lr: 0,0001 + snapshot_prefix: “RepVGG” + max_iter: 450000 + learnRate: “step” + solver_mode: GPU Kiểm tra độ xác mơ hình: Chúng tơi sử dụng 200 mẫu lại (10% mẫu) để kiểm tra độ xác mơ hình mạng, kết kiểm tra trọng số mơ hình với độ xác 99,94%, kết thể đồ thị hình 64(10ĐB) 10.2022 + max_iter ngữ Python phiên 3.7.1 với framework dùng cho huấn luyện mơ hình l Thu thập liệu Chúng tơi sử dụng số phương pháp làm tăng liệu cho mơ hình (lật, cắt ngẫu nhiên, chuyển đổi màu, thay đổi độ tương phản ), với số tập mẫu: hình ảnh bệnh ORT (500 mẫu), CRD (500 mẫu), MAREK (500 mẫu) hình ảnh gia cầm khơng bị bệnh (500 mẫu) Dữ liệu hình ảnh bệnh gia cầm phân loại gán nhãn, loại mẫu bệnh đặt thư mục loại bệnh tương ứng để sử dụng cho q trình huấn luyện mơ hình (hình 4) + display: Khoa học Tự nhiên /Khoa học máy tính thơng tin trọng Bài viết trình bày kết đạt nội dung nghiên cứu xây dựng phân hệ “Tự động phát sớm số bệnh gia cầm trí tuệ nhân tạo” - phận hệ thống quản lý, giám sát nuôi gia cầm công nghệ cao cho quy mô vừa nhỏ Hình Đồ thị kiểm tra độ xác mơ hình Kết thực nghiệm Hệ thống thử nghiệm máy tính với cấu hình CPU Core i7 2.9 Ghz, RAM GB, GPU Nvidia Quadro P2200; camera màu với độ phân giải 1902x1080 pixel lắp đặt trực tiếp chuồng nuôi gia cầm, với giây hệ thống phân tích xử lý trung bình khung hình Mơ hình thử nghiệm nhận dạng loại bệnh (ORT, CRD, MAREK), thời gian thử nghiệm từ 8/4/2022 đến 11/5/2022 chuồng nuôi 400 m2 với số lượng gần 700 gà có biểu mắc số bệnh Trong ngày gia cầm mắc bệnh thường biểu hiện, đặc trưng bên ngồi khơng rõ, hệ thống khó phát bệnh, ngày sau đặc trưng bệnh rõ hơn, hệ thống phát với độ xác cao Kết phát bệnh phân loại bệnh trình bày bảng Bảng Kết thực nghiệm TT Loại bệnh Ngày Hệ thống phát Số ảnh phát Độ xác (%) 10 11 12 13 14 15 16 ORT ORT ORT ORT ORT CRD CRD CRD CRD CRD CRD MAREK MAREK MAREK MAREK MAREK 8/4/2022 8/4/2022 8/4/2022 9/4/2022 10/4/2022 20/4/2022 21/4/2022 22/4/2022 30/4/2022 30/4/2022 30/4/2022 8/5/2022 8/5/2022 9/5/2022 10/5/2022 11/5/2022 100 150 200 210 220 215 180 150 160 170 120 90 95 100 150 170 93 143 196 207 215 211 171 147 154 167 118 83 93 96 147 166 93,18 95,56 98,02 98,78 97,95 98,32 95,14 98,16 96,03 98,08 98,07 92,09 98,11 96,21 98,27 97,65 Kết luận Một hệ thống chăn ni gia cầm cơng nghệ cao, ngồi phân hệ quản lý giám sát môi trường, chế độ dinh dưỡng, trình sinh trưởng phân hệ phát sớm bệnh gia cầm nuôi quan 64(10ĐB) 10.2022 Hệ thống thử nghiệm sử dụng mạng RepVGG làm mơ hình suy diễn phát bệnh gia cầm Dữ liệu để huấn luyện đánh giá mơ hình loại bệnh ORT, CRD, MAREK gồm 500 ảnh cho bệnh, trực tiếp thu thập từ camera giám sát chuồng nuôi sưu tầm internet Quá trình huấn luyện sử dụng 80% số ảnh mẫu; mơ hình đạt đến sai số 0,02 sau 5000 vịng huấn luyện Đánh giá mơ hình với 10% số mẫu cịn lại đạt độ xác 99,94% Trong thử nghiệm thực tế với camera giám sát chuồng nuôi (độ phân giải 1902x1080 pixels), hệ thống phát phân loại 90%, đặc biệt với bệnh có hình ảnh có nhiều đặc điểm phân biệt rõ độ xác đạt 98% Mơ hình mạng RepVGG với kiến trúc đơn giản, tốc độ suy luận nhanh, tiết kiệm nhớ linh hoạt việc thiết kế kiến trúc lựa chọn hợp lý Kết đạt cho thấy, sử dụng hệ thống để hỗ trợ cảnh báo sớm bệnh cho gia cầm ni Hệ thống hồn tồn huấn luyện tiếp để phát bệnh khác cho gia cầm như: Newcastle, đậu gà (bánh trái gà), bạch lỵ, thương hàn TÀI LIỆU THAM KHẢO [1] Y LeCun, et al (2015), “Deep learning”, Nature, 521, pp.436-444 [2] A Canziani, et al (2016), “An analysis of deep neural network models for practical applications”, arXiv, DOI: 10.48550/arXiv.1605.07678 [3] Nguyễn Huy Công cs (2021), “Phát trứng gia cầm ứng dụng quy trình kiểm sốt đóng gói tự động mơ hình mạng YOLO”, Tạp chí Khoa học Công nghệ, Trường Đại học Sư phạm Kỹ thuật Hưng Yên, 33, tr.41-47 [4] Đoàn Hồng Quang (2020), “Phát cháy rừng mạng nơ-ron học sâu, dựa khói lửa thu nhận từ camera giám sát”, Tạp chí Khoa học Cơng nghệ, Trường Đại học Sư phạm Kỹ thuật Hưng Yên, 26, tr.92-99 [5] Đoàn Hồng Quang, Lê Hồng Minh (2019), “Học chuyển giao tinh chỉnh mơ hình mạng nơ-ron học sâu ứng dụng nhận dạng khuôn mặt”, Kỷ yếu Hội thảo Ứng dụng công nghệ cao phát triển kinh tế - xã hội, tr.50-61 [6] Đoàn Hồng Quang, Lê Hồng Minh, Chu Anh Tuấn (2015a), “Nhận dạng bàn tay mạng nơ-ron nhân tạo”, Tuyển tập báo cáo Diễn đàn “Đổi - Chìa khóa cho phát triển bền vững”, tr.70-79 [7] Đoàn Hồng Quang, Lê Hồng Minh (2015b), “Dùng RFNN kết hợp khử mùa khử xu hướng để dự báo số giá vàng thị trường”, Tuyển tập báo cáo Diễn đàn “Đổi - Chìa khóa cho phát triển bền vững”, tr.126-136 [8] Nguyễn Quang Hoan, Đoàn Hồng Quang (2014b), “Dự báo số giá chứng khốn RFNN”, Tạp chí Khoa học Công nghệ, Trường Đại học Sư phạm Kỹ thuật Hưng Yên, 1, tr.52-56 [9] Nguyễn Quang Hoan, Dương Thu Trang, Đoàn Hồng Quang (2018), “Dự báo số học sinh nhập trường mạng nơ-ron nhân tạo”, Tạp chí Khoa học Công nghệ, Trường Đại học Sư phạm Kỹ thuật Hưng Yên, 18, tr.1-8 [10] Đoàn Hồng Quang, Lê Hồng Minh, Thái Dỗn Ngun (2020), “Nhận dạng khn mặt video mạng nơ-ron tích chập”, Tạp chí Khoa học Cơng nghệ Việt Nam, 62(1), tr.8-12 [11] Đồn Hồng Quang, Nguyễn Huy Công (2019), “Phân loại hoa mạng nơ-ron học sâu”, Kỷ yếu Hội thảo Ứng dụng công nghệ cao phát triển kinh tế - xã hội, tr.132-142 [12] C Ding, D Tao (2016), “A comprehensive survey on pose-invariant face recognition”, ACM Transactions on Intelligent Systems and Technology, 7(3), DOI: 10.1145/2845089 [13] Y Jia, et al (2014), “Caffe: Convolutional architecture for fast feature embedding”, arXiv, DOI: 10.1145/2647868.2654889 ...