Là kỹ thuật tỏi tạo mạng nơron thần kinh của con ngƣời bằng mỏy tớnh. Nú bao gồm cỏc phần tử đơn giản (cũn gọi là nơron) hoạt động song song đƣợc nối với nhau bằng cỏc liờn kết cú trọng số để kớch thớch hoặc ức chế giữa cỏc nơron. Cú nhiều cấu trỳc mạng nơron khỏc nhau nhƣ mạng hồi quy (feedback), mạng tự tổ chức (self- organizing), mạng truyền thẳng (feedforward). Đề tài này tập trung với mạng truyền thẳng đa lớp với thuật toỏn lan truyền ngƣợc (back propagation) cỏc sai số [6][7][8].
Hỡnh 2.8. Mạng noron 2 lớp truyền thẳng
Quỏ trỡnh huấn luyện mạng:
Quỏ trỡnh huấn luyện mạng chớnh là quỏ trỡnh huấn luyện cỏc mẫu học Xs={x1,
x2, …,xn} để giỏ trị ra cuối cựng Ts={t1, t2, …,tn} nhƣ ta mong muốn. - Quỏ trỡnh truyền thẳng: Giỏ trị đầu ra tại nơron j của một lớp bất kỡ:
1 1 j j net out e với j m0wji ji i net x (20) Input layer Hidden layer Output layer download by : skknchat@gmail.com
53
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Trong đú wji gọi là trong số liờn kết từ đầu vào thứ i đến nơron j, xji là giỏ trị đầu vào thứ i đến nơron j, m là số phần từ của lớp trƣớc đú.
- Quỏ trỡnh lan truyền ngƣợc cỏc sai số: Tại mỗi nơron đầu ra k ta tớnh lỗi giỏ trị:
(1 )( )
k ok ok tk ok
(21) Với tk là giỏ trị đầu ra mong muốn thứ k.
Đối với mỗi nơron trong lớp ẩn h :
jk
(1 ) w
h oh oh k outputs k
(22)
Với outputs là tập hợp cỏi nơron ở lớp ra, wjk là trọng số liờn kết từ k nơron lớp ra đến nơron j của lớp ẩn.
Quỏ trỡnh cập nhật lại trọng số: wjkwjk + wjk (23) Nếu gọi η là hệ số học thỡ wjk = ηhok (24)
Sau khi cập nhật những trọng số này, cỏc mẫu trong tập Xs lại tiếp tục đƣa vào mạng, quỏ trỡnh này sẽ diễn ra khi giỏ trị lỗi E < ε cho trƣớc:
2 1 ( ) 2 d k outputs k k E t o (25)
Với outputs là tập hợp cỏc nơron ở lớp ra, tk là giỏ trị ra mong muốn của nơron
k cho mẫu huấn luyện d và ok là giỏ trị ra thực của nơron k.
54
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 3.1. Yờu cầu thực nghiệm, ứng dụng
Nhƣ đó trỡnh bày tại chƣơng 1, bài toỏn điểm danh, chấm cụng là một trong số những bài toỏn phổ biến và hiện đang đƣợc cụng nghệ húa tại nhiều cơ quan, doanh nghiệp. Qua tỡm hiểu nghiờn cứu cỏc thuật toỏn phỏt hiện và nhận dạng mặt ngƣời tụi lựa chọn khuụn mặt làm tiờu chớ để phõn biệt giữa cỏc đối tƣợng cần đƣợc điểm danh. Đõy là một đặc trƣng cơ bản và phổ dụng đƣợc chớnh bản thõn con ngƣời sử dụng từ hàng nghỡn năm. Việc cài đặt, thực nghiệm hệ thống sẽ minh chứng cho những lý thuyết đƣợc tỡm hiểu trong chƣơng 2 của luận văn.
Đối với bài toỏn điểm danh, chấm cụng với mục tiờu chủ yếu là kiểm soỏt nguồn nhõn lực về thời gian. Cỏc nhà quản lý quan tõm tới hai vấn đề chớnh là một lao động tờn là “A” cú mặt hay khụng?, cú đỳng giờ hay khụng?, “A” cú làm đủ số giờ quy định hay khụng?. Với cỏc yờu cầu đú tụi lựa chọn cài đặt thuật toỏn PCA (phõn tớch thành phần chớnh) ỏp dụng cho bài toỏn điểm danh. Với đầu vào đƣợc thu trực tiếp từ camera, đầu ra là định danh đối tƣợng đang đƣợc kiểm tra, chƣơng trỡnh thực hiện quy trỡnh điểm danh nhƣ sau:
Hỡnh 3.1. Quy trỡnh hoạt động của hệ thống điểm danh dựa trờn khuụn mặt.
Trong hệ thống điểm danh dựa trờn đặc trƣng khuụn mặt, đầu tiờn chƣơng trỡnh thu hỡnh ảnh trực tiếp từ camera. Sau đú, dựa trờn thuật toỏn đƣợc lựa chọn tiến hành xỏc định cỏc đặc trƣng từ đú tỏch riờng phần ảnh cú tồn tại khuụn mặt từ ảnh đầu vào. Ảnh khuụn mặt sau khi đƣợc tỏch riờng tiếp tục đƣợc so sỏnh với tập ảnh đó cú trong cơ sở dữ liệu khuụn mặt dựng để điểm danh. Trong thực tế tập cỏc khuụn mặt này đƣợc
55
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
ngƣời sử dụng chƣơng trỡnh xõy dựng trƣớc khi điểm danh, trong đú cú tất cả ảnh của nhõn viờn, ngƣời lao động cần đƣợc điểm danh trong một phiờn làm việc. Việc so sỏnh với cơ sở dữ liệu ảnh sẽ cho đầu ra là một định danh, định danh này chớnh là tờn của một ngƣời cú trong cơ sở dữ liệu ảnh hoặc thụng bỏo khụng cú trong cơ sở dữ liệu ảnh. Dựa trờn định danh này chƣơng trỡnh tiến hành tớch chọn điểm danh cho ngƣời đƣợc nhận dạng. Nhƣ vậy trong một phiờn làm việc, đầu tiờn bảng điểm danh đƣợc khởi tạo với trạng thỏi mặc định là “vắng”, khi một đối tƣợng đƣợc xỏc định là “cú mặt” thụng qua hệ thống nhận dạng thỡ trạng thỏi ứng với tờn của đối tƣợng cú mặt đƣợc thay đổi thành “cú mặt”. Nhƣ vậy, cuối một phiờn làm việc nhà quản lý xỏc định đƣợc ngƣời lao động cú đến làm việc hay khụng dựa trờn bảng trạng thỏi “vắng”, “cú mặt” mà mỏy tớnh cung cấp.
3.2. Phõn tớch lựa chọn giải phỏp, cụng cụ
Dựa trờn quy trỡnh làm việc của chƣơng trỡnh điểm danh dựa trờn đặc trƣng khuụn mặt đó trỡnh bày ở phần trờn, cú thể thấy cỏc thành phần cơ bản cần phải cú của chƣơng trỡnh cần phải cú nhƣ sau:
- Camera thu nhận tớn hiệu từ mụi trƣờng ngoài. - Hệ cơ sở dữ liệu ảnh cỏc đối tƣợng cần nhận dạng.
- Phần mềm xỏc định, nhận dạng khuụn mặt và điểm danh.
Nhƣ vậy, đầu tiờn cần phải lựa chọn thiết bị phần cứng là camera, hiện nay thị trƣờng camera đặc biệt là camera giỏm sỏt tƣơng đối phỏt triển. Đõy là một thiết bị phần cứng phổ dụng và đƣợc sử dụng rộng rói tại cỏc cơ quan, doanh nghiệp... Đối với hệ thống nhận dạng khuụn mặt cần lựa chọn camera với độ phõn giải thớch hợp, xõy dựng kết nối giữa camera và phầm mềm đảm bảo hai vấn đề quan trọng: Thứ nhất là chất lƣợng hỡnh ảnh phải đảm bảo đủ để hệ thống cú thể nhận dạng chớnh xỏc, nếu ảnh quỏ mờ sẽ khú nhận dạng hơn. Thứ hai là chất lƣợng hỡnh ảnh cũng khụng quỏ cao để đảm bảo tốc độ xử lý của hệ thống mỏy tớnh. Nếu ảnh quỏ lớn mỏy tớnh khụng thể xử lý kịp dẫn tới sự đỡnh trệ trong quỏ trỡnh điểm danh. Trong luận văn này, qua quỏ trỡnh thực nghiệm tụi lựa chọn độ phõn giải của camera từ 2 đến 8 triệu điểm ảnh (2 đến 8 Megapixel) làm đầu vào cho bài toỏn điểm danh.
Đối với hệ cơ sở dữ liệu ảnh, hiện nay đó cú nhiều cơ sở dữ liệu cho phộp lƣu và truy xuất ảnh. Ảnh đầu vào đƣợc xử lý và lƣu lại trong cơ sở dữ liệu, điều đú đảm bảo tớnh bảo mật và quản lý tốt hơn trong quỏ trỡnh truy xuất, tỡm kiếm một tập ảnh. Tuy
56
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
nhiờn việc lƣu trữ ảnh trong cơ sở dữ liệu cũng tồn tại những hạn chế riờng: cần phải cú một hệ thống quản trị cơ sở dữ liệu ảnh và giao diện tƣơng tỏc với hệ thống này, đồng thời đối với một hệ thống xử lý ảnh thỡ điều quan trọng nhất là tốc độ xử lý ảnh chứ khụng phải là tớnh năng quản lý. Vỡ lý do đú trong chƣơng trỡnh thực nghiệm tụi lựa chọn việc lƣu trữ ảnh trực tiếp trờn ổ cứng. Điều đú đảm bảo tớnh đơn giản của chƣơng trỡnh và khả năng truy nhập trực tiếp với ảnh số.
Phầm mềm xỏc định, định danh khuụn mặt và điểm danh đƣợc xõy dựng đảm bảo kết nối đƣợc với camera và lấy hỡnh ảnh trong thời gian thực. Điều này đảm bảo tốc độ vận hành và xử lý của chƣơng trỡnh. Đồng thời dựa trờn thuật toỏn PCA đó đƣợc lựa chọn chƣơng trỡnh cần tiến hành xử lý ảnh đầu vào từ đú đƣa ra cỏc quyết định điểm danh đối với mỗi một đối tƣợng đầu vào.
Hệ thống điểm danh dựa trờn đặc trƣng khuụn mặt là một hệ thống xử lý hỡnh ảnh tƣơng đối điển hỡnh. Vỡ vậy, yờu cầu đặt ra khi tiến hành xõy dựng phần mềm chớnh là tốc độ xử lý hỡnh ảnh. Ngụn ngữ thƣờng đƣợc lựa chọn khi cài đặt thƣờng là C++, C#, java... Trong đú C++ đƣợc nhiều nhà nghiờn cứu lựa chọn với ƣu thế về tốc độ và tớnh truyền thống của nú, C# và java là ngụn ngữ lập trỡnh phỏt triển sau nhƣng mang nhiều thế mạnh khi xõy dựng ứng dụng. Trong luận văn này, tụi lựa chọn ngụn ngữ lập trỡnh Visual C# để cài đặt thuật toỏn và ứng dụng. Đõy là ngụn ngữ lập trỡnh mạnh với tớnh năng phỏt triển ứng dụng nhanh và hiệu quả. Trong luận văn sử dụng cỏc thƣ viện đọc ảnh đƣợc cung cấp sẵn trong nền tảng framework 4.5. Nhờ đú nhà phỏt triển cú thể nghiờn cứu, phỏt triển ứng dụng nhanh hơn khi khụng cần quan tõm tới cấu trỳc ảnh đƣợc đọc.
3.3. Một số kết quả cài đặt thực nghiệm 3.3.1. Giao diện của chƣơng trỡnh 3.3.1. Giao diện của chƣơng trỡnh
Chƣơng trỡnh cài đặt với mục tiờu điểm danh nguồn nhõn lực dựa trờn khuụn mặt và minh họa thuật toỏn PCA đƣợc trỡnh bày tại chƣơng 2. Với cỏc tớnh năng và thành phần đó đƣợc phõn tớch ở trờn, tụi đó tiến hành cài đặt và xõy dựng chƣơng trỡnh với cỏc thành phần giao diện chớnh nhƣ hỡnh bờn dƣới.
57
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Hỡnh 3.2. Giao diện chớnh của chương trỡnh.
Giao diện của chƣơng trỡnh gồm cú 3 phần chớnh:
- Phần 1: là hỡnh ảnh thu đƣợc từ camera, đõy là nơi hiển thị tất cả hỡnh ảnh thu đƣợc từ camera, qua đú ngƣời sử dụng cú thể nhỡn thấy hỡnh ảnh của đối tƣợng đang đƣợc quan sỏt và một số xử lý tƣơng ứng của hệ thống nhận dạng.
- Phần 2: hiển thị cỏc lựa chọn đối với danh sỏch điểm danh, cỏc thụng bỏo trong quỏ trỡnh điểm danh, bảng điểm danh và cơ sở dữ liệu hỡnh ảnh.
- Phần 3: là thanh menu lựa chọn cỏc tớnh năng khỏc nhau của chƣơng trỡnh điểm danh.
Hỡnh 3.3. Hỡnh ảnh từ camera và xử lý tương ứng
1 2
3
58
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Trong giao diện hiển thị hỡnh ảnh thu đƣợc từ camera và xử lý phỏt hiện và nhận dạng khuụn mặt tƣơng ứng của chƣơng trỡnh. Trong đú, khuụn mặt đƣợc khoanh vựng trong một hỡnh chữ nhật màu đỏ, phớa trờn là một tập kớ tự mụ tả tờn của đối tƣợng đƣợc nhận dạng trong hỡnh chữ nhật đƣợc khoanh vựng. Trong chƣơng trỡnh cú thể cựng một lỳc phỏt hiện và nhận dạng nhiều khuụn mặt cựng một thời điểm.
Hỡnh 3.4. Giao diện quản lý danh sỏch điểm danh và điểm danh
Trong giao diện quản lý danh sỏch điểm danh cho phộp ngƣời sử dụng lựa chọn một danh sỏch cỏc đối tƣợng cần đƣợc điểm danh. Khi đú danh sỏch này sẽ đƣợc hiển thị lờn phầm mềm với trạng thỏi bắt đầu là “Vắng”. Trong một phiờn làm việc nếu đối tƣợng cần đƣợc điểm danh đƣợc xỏc định là cú mặt thỡ trạng thỏi đƣợc thay đổi thành
“Cú mặt”. Trong một phiờn làm việc trạng thỏi của một đối tƣợng chỉ chuyển từ
“Vắng” sang “Cú mặt” và chỉ chuyển một lần. Giao diện quản lý danh sỏch điểm danh nằm trờn cựng một tab với giao diện quản lý cơ sở dữ liệu ảnh. Khi lựa chọn một trong hai giao diện cú sự xuất hiện của cỏc nỳt chọn tƣơng ứng trờn giao diện.
59
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Hỡnh 3.5. Giao diện quản lý danh sỏch ảnh
Giao diện quản lý danh sỏch ảnh với hai thành phần chớnh là hiển thị danh sỏch cỏc ảnh đang đƣợc quản lý và cụng cụ thờm ảnh mới vào trong danh sỏch cỏc ảnh đang đƣợc quản lý. Với danh sỏch hiển thị ảnh đƣợc quản lý, chƣơng trỡnh hiển thị ảnh của đối tƣợng cần quản lý và định danh tƣơng ứng ở phớa dƣới mỗi ảnh. Để thờm một ảnh mới vào chƣơng trỡnh cần kớch chuột vào lựa chọn “Thờm vào cơ sở dữ liệu”, khi đú đối tƣợng đang đƣợc quan sỏt sẽ đƣợc thờm vào cơ sở dữ liệu ảnh với định danh tƣơng ứng đƣợc nhập vào tại ụ “Tờn:” bờn trờn. Cơ sở dữ liệu ảnh cú thể đƣợc quan sỏt tại thƣ mục cú cựng đƣờng dẫn với chƣơng trỡnh chạy, trong đú cỏc ảnh đƣợc đặt tờn theo thứ tự của chƣơng trỡnh.
Hỡnh 3.6. Cơ sở dữ liệu ảnh
60
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Cuối cựng là danh sỏch cỏc lựa chọn trờn thanh thực đơn của chƣơng trỡnh, tại đõy ngƣời sử dụng cú thể lựa chọn cỏc tớnh năng cần thiết nhất khi sử dụng chƣơng trỡnh. Nỳt bấm “Bắt đầu” sẽ khởi động liờn kết với camera sau khi ngƣời sử dụng lựa chọn một danh sỏch cần đƣợc điểm danh. Tiếp đú là một số tớnh năng cần thiết nhƣ “Lựa chọn danh sỏch”, “Thờm danh sỏch mới”, “Làm mới cơ sở dữ liệu ảnh”, “Thống kế số người vắng trong danh sỏch”, “Xem cơ sở dữ liệu ảnh”, “Kết thỳc...”.
Hỡnh 3.7. Giao diện cỏc lựa chọn trờn thanh thực đơn
3.3.2. Một số kết quả điểm danh dựa trờn khuụn mặt
Sau khi cài đặt chƣơng trỡnh thực nghiệm tụi đó tiến hành thực nghiệm chƣơng trỡnh điểm danh với một nhúm gồm 30 đối tƣợng cần đƣợc điểm danh. Kết quả điểm danh qua 20 lần cho thấy chƣơng trỡnh hoạt động tốt trong một số điều kiện nhất định và cú những hạn chế cần tiếp tục nghiờn cứu phỏt triển.
Với ứng dụng lƣu trữ 30 ảnh khỏc nhau cho mỗi đối tƣợng cần đƣợc điểm danh và tiến hành điểm danh trong điều kiện ỏnh sỏng bỡnh thƣờng kết quả thực nghiệm của chƣơng trỡnh đƣợc thống kờ bởi bảng dƣới đõy:
Bảng 3.1. Kết quả thực nghiệm trong điều kiện ỏnh sỏng bỡnh thường
Lần Tổng Đỳng Sai Lần Tổng Đỳng Sai 1 30 25 5 11 30 24 6 2 30 23 7 12 30 25 5 3 30 24 6 13 30 24 6 4 30 25 5 14 30 23 7 5 30 25 5 15 30 24 6 6 30 25 5 16 30 25 5 7 30 24 6 17 30 25 5 8 30 25 5 18 30 24 6 9 30 25 5 19 30 25 5 10 30 24 6 20 30 24 6 download by : skknchat@gmail.com
61
Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
Kết quả thực nghiệm cho thấy độ chớnh xỏc của điểm danh giao động từ 77% tới 82%, đõy là một kết quả điểm danh với độ chớnh xỏc tƣơng đối tốt nhƣng khụng đủ để đỏp ứng khi sử dụng trong bài toỏn điểm danh, chấm cụng. Đồng thời khi ỏp dụng chƣơng trỡnh với cỏc điều kiện ỏnh sỏng khỏc nhau cho những kết quả khỏc nhau, tụi đó tiến hành thực nghiệm trong điều kiện thiếu ỏnh sỏng và ỏnh sỏng bị lúa, kết quả thực nghiệm cho thấy khả năng nhận dạng đỳng của chƣơng trỡnh giảm đi rừ rệt. Kết quả này đƣợc thể hiện bởi bảng sau:
Bảng 3.2. Kết quả thực nghiệm trong điều kiện ỏnh sỏng chúi và thiếu ỏnh sỏng
Lần Điều kiện ỏnh sỏng Tổng Đỳng Sai
1 Thiếu ỏnh sỏng 30 20 10 2 Thiếu ỏnh sỏng 30 17 13 3 Thiếu ỏnh sỏng 30 18 12 4 Thiếu ỏnh sỏng 30 18 12 5 Thiếu ỏnh sỏng 30 17 13 6 Thiếu ỏnh sỏng 30 19 11 7 Thiếu ỏnh sỏng 30 18 12 8 Ánh sỏng chúi 30 16 14 9 Ánh sỏng chúi 30 20 10 10 Ánh sỏng chúi 30 16 14 11 Ánh sỏng chúi 30 18 12 12 Ánh sỏng chúi 30 17 13 13 Ánh sỏng chúi 30 16 14 14 Ánh sỏng chúi 30 16 14
Dựa trờn kết quả thực nghiệm cú thể thấy việc điểm danh cú thể đƣợc thực hiện