Hn :Ý tƣởng hệ thống nhận dạng ảnh
Hn .4 Sơ đồ khối của cảm biến ảnh CMOS và xử lý lại ảnh
CIS (CMOS Image Sensor ) là một mảng gồm 480x330 pixel, tín hiệu đi qua bộ ADC chuyển đổi tín hiệu tƣơng tự sang số, tín hiệu tiếp tục qua thanh ghi dịch hàng và cột, mỗi pixel gồm có một diode thu quang (photodiode) và 4 transistor tạo ra một tín hiệu tƣơng tự có biên độ tỷ lệ thuận với cƣờng độ ánh sáng, tín hiệu tƣơng tự sẽ đƣợc chuyển đổi thành tín hiệu số có mã 10 bit bởi ADC.
Đơn vị xử lý tín hiệu (SPU), sẽ cấu trúc lại ảnh gồm 480x330 pixel ngõ ra của cảm biến ảnh CMOS, thành ảnh nhị phân 5x6 pixel bởi việc ánh xạ 96x55 pixel gần đó thành một pixel trong ảnh nhị phân, đơn vị xử lý tín hiệu sẽ tính giá trị trung bình của 96x55 pixel (đƣợc gọi là giá trị trung bình cục bộ) và so sánh với giá trị của từng pixel trong mảng 96x55 pixel, nếu giá trị trung bình cục bộ lớn hơn giá trị của pixel trong mảng thì giá trị trong ảnh nhị phân đƣợc đặt là “1”, ngƣợc lại giá trị
17
trung bình cục bộ nhỏ hơn giá trị trong từ pixel của mảng thì giá trị trong ảnh nhị phân đƣợc đặt là “0”.
3.2.2.2 Memristor mạng nơron n ân tạo
Memristor đƣợc sử dụng trong hệ thống là Memristor mảng với mối nối đƣợc
làm từ Pr0.7Ca0.3MnO3 (PCMO).
H n . : Kết nối mảng Memristor
Mảng Memristor, đƣợc xây dựng với đa lớp Pt/TiNx/PCMO/Pt. Pt đƣợc sử dụng để tạo ra cả cực điện trên và dƣới, ở giữa là TiNx và PCMO, thay đổi lớp oxide
dựa vào điện áp trên 2 cực, đó là nguyên nhân gây ra trở kháng của memristor.
Nguyên lý oạt động hệ thống
3.3
Hệ thống nhận dạng ảnh sử dụng memristor có 10 mảng memristor đƣợc kết nối đến 10 khối tích hợp. Trong hình 3.6 mơ tả 10 mảng memristor và 1 khối tích hợp, ta thấy trong hình 3.6 có 2 khối chính trong hệ thống nhận dạng ảnh sử dụng memristor.
Khối thứ nhất là 10 mảng memristor mỗi mảng memristor sẽ có 30 tín hiệu vào đi xun qua 30 memristor và có 1 tín hiệu ra là Vmem nhƣ hình 3.6 (a), Mỗi memristor trong một mảng sẽ có giá trị trở kháng giống nhau và giá trị trở kháng memristor trong mỗi mảng là khác nhau, giá trị trở kháng memristor đƣợc sắp xếp theo thứ tự và tăng dần nhƣ sau, mảng 1 sẽ có trở kháng memristor nhỏ hơn trở
18
kháng memristor mảng 2, mảng 2 sẽ có trở kháng memristor nhỏ hơn trở kháng memristor mảng 3,..., mảng 9 sẽ có trở kháng memristor nhỏ hơn trở kháng memristor mảng 10.
H n .6: Nguyên lý hoạt động của hệ thống (a) 10 mảng memristor,
(b) khối tích hợp
khối thứ hai là khối tích hợp gồm 3 chế độ hoạt động, chế độ thứ nhất là chế độ phân loại, chế độ thứ hai là huấn luyện mạng neuromorphic, chế độ thứ ba là chế độ kiểm tra và sự khác biệt giữa 3 chế độ này về phần cứng là đƣợc điều khiển bởi khối điều khiển logic.
19
Khối tích hợp có 2 thành phần chính là bộ điều khiển chuyển mạch và bộ tích hợp, bộ điều khiển chuyển mạch đầu vào lấy tín hiệu từ 30 ngõ vào và V_đốt, đầu ra là điều khiển SW1, SW2 và SW3, SW1 và SW2 sử dụng PMOS để mô phỏng, SW3 sử dụng NMOS để mơ phỏng. Bộ tích hợp có một mạch đảo ngõ ra, giảm dòng điện đi xuyên qua memristor, đƣợc nạp trên tụ CF , tín hiệu V_ra_1 sẽ giảm cho đến khi giảm dƣới điện áp ngƣỡng VTH thì ngõ ra mạch so sánh sẽ lên mức cao, bộ điều khiển sẽ đốt cháy nơron mạch đó, cụ thể chúng ta sẽ đi vào 3 chế độ hoạt động của hệ thống nhƣ sau.
Chế độ thứ nhất là chế độ phân loại ta xem hình 3.7, hệ thống sẽ phân loại 10 tín hiệu Vmem thành 2 loại chính, loại 1 là gồm những tín hiệu Vmem đƣợc bộ điều khiển đánh giá là khơng phải tín hiệu mong muốn ngay từ đầu và đƣợc loại bỏ, loại 2 gồm những tín hiệu Vmem đƣợc đánh giá là tín hiệu mong muốn, những tín hiệu loại 2 sẽ đƣợc đi vào chế độ thứ 2 là chế độ huấn luyện, thơng thƣờng tín hiệu loại 1 là những tín hiệu có Vmem tiến nhanh hơn về ngƣỡng 3.3 (v) so với tín hiệu đƣợc đánh giá là tín hiệu mong muốn. Ví dụ đƣa điện áp vào, bộ điều khiển đánh giá đó là ảnh số 6 vậy những tín hiệu Vmem 1, Vmem 2, Vmem 3, Vmem 4, Vmem 5, sẽ đƣợc xếp vào loại 1, những tín hiệu Vmem còn lại xếp vào loại 2.
H n . : Chế độ phân loại
Quan sát hình 3.7, tại thời điểm t = 0, các chuyển mạch SW1, SW2, SW4, SW5,...SW28, SW29 ở trạng thái đóng đồng loạt trên 10 khối tích hợp, sau đó những tín hiệu Vmem đƣợc bộ điều khiển đánh giá là loại 1 thì SW1, SW4, SW7,..., SW13 sẽ hở, khơng cho tín hiệu Vmem đi qua S1, S2,..., S5 nhƣ vậy S1,..., S5, sẽ nhận giá trị Vmem tại thời điểm t = 0 là một giá trị điện áp từ 0.8 (v) đến 1,7 (v) và
20
giữ nguyên giá trị hằng số đó đi vào chế độ huấn luyện và ngƣợc lại những tín hiệu Vmem đƣợc bộ điều khiển đánh giá là loại 2 thì SW16, SW19,..., SW28 sẽ giữ ngun trạng thái là đóng và cho các tín hiệu Vmem đi qua S6, S7,...,S10, để tiến vào chế độ huấn luyện.
Chế độ thứ hai là chế độ huấn luyện, chế độ huấn luyện đƣợc chia ra làm 2 trạng thái là trạng thái đốt và trạng thái đóng băng.
H n .8: Chế độ huấn luyện ảnh trạng thái đốt
Quan sát hình 3.8 ở trạng thái đốt, tại thời điểm t = 0, tín hiệu V_vào_6 nhỏ hơn điện áp VCM nên V_ra_6 sẽ nhận điện áp Vdd là 3.3 (v), lúc này V_ra_6 có điện áp lớn hơn VTH là 2 (v) nên V_Đốt_6 sẽ nhận điện áp Vss là 0 (v), V_Đốt_6 gửi tín hiệu điện áp bản thân nó về cho bộ điều khiển chuyển mạch, bộ điều khiển chuyển mạch sẽ đóng SW17 và mở SW18, để tín hiệu từ Vmem đi qua SW16 tới SW17 tiến vào khối nơron mạch.
Tại t > 0, bởi vì cấp tín hiệu vào memristor là giá trị dƣơng nên giá trị trở kháng sẽ giảm từ trở kháng cao xuống trở kháng thấp, Vmem sẽ tăng theo thời gian, khi V_vào_6 tăng lớn hơn VCM thì V_ra_6 sẽ giảm điện áp từ Vdd là 3.3 (v) về mức điện áp 0 (v), dẫn đến V_Đốt_6 sẽ tăng từ điện áp 0 (v) lên 5 (v), tại thời điểm V_Đốt_6 đạt 5 (v) thì trạng thái này gọi là trạng thái đốt và chỉ có duy nhất một khối nơron ngõ ra trong 10 khối sẽ đạt trạng thái này nhanh nhất.
21
Ngay khi, 1 trong 10 khối nơron ngõ ra đạt trạng thái đốt thì bộ điều khiển sẽ khơng cho các nơron cịn lại hoạt động mà sẽ đƣa các nơron này về trạng thái đóng băng bằng cách hở SW2 và đóng SW3 nhƣ hình 3.9, nhƣ vậy chỉ có một nơron bị đốt cháy là cho V_Đốt_6 là 5 (v) trong q trình huấn luyện cịn những nơron cịn lại ngõ ra V_Đốt sẽ nhận điện áp 0 (v) tại thời điểm đó gọi là điện áp đóng băng . Chế độ thứ 3, chế độ kiểm tra có nhiệm vụ kiểm tra thời gian quá trình huấn luyện và kiểm tra ngõ ra đã đốt cháy, quan sát hình 3.10. Lúc này trên hệ thống tƣơng ứng 10 khối nơron ngõ ra sẽ có 10 Tín hiệu V_Đốt, nhƣng chỉ có 1 tín hiệu V_Đốt tại khối nơron bị đốt cháy là 5 (V), còn 9 V_Đốt còn lại sẽ nhận điện áp là 0 (v). Các memristor đƣợc sắp xếp theo giá trị tăng dần về trở kháng nên điện áp Vmem_10 sẽ có thời gian tiến đến ngƣỡng là chậm nhất trong mọi trƣờng hợp, do đó lấy thời gian Vmem_10 làm thời gian kết thúc quá trình huấn luyện ảnh, tƣơng ứng mỗi bức ảnh đƣa vào sẽ có thời gian huấn luyện khác nhau. Vmem_10 đi qua bộ so sánh, để lấy thời gian tối đa huấn luyện cho bức ảnh đó, đồng thời nó cũng đƣa giá trị điện áp ngõ ra là tín hiệu_10 về 0 (v) hoặc 5 (v) để thự hiện XOR 2 tín hiệu sử dụng nguồn TTL.
.
H n . : Chế độ kiểm tra
Ngõ ra cổng XOR trên 10 khối nơron là tín hiệu đã huấn luyện xong và có thời gian xác định cho q trình huấn luyện, nhƣng 9 ngõ ra trong trạng thái đóng băng thì tại thời điểm kết thúc huấn luyện điện áp ra lên 5 (v), do đó tín hiệu tiếp tục đi qua cổng AND mà ngõ vào thứ 2 là V_Đốt để mục đích xác định lại chỉ lấy tín hiệu bị đốt cháy, cịn các tín hiệu khác sẽ đƣa về 0 (V).
Sau khi hiểu về 3 chế độ hoạt động của mạch thì tiếp tục làm rõ bộ điều khiển chuyển mạch trong hệ thống, nó có nhiệm vụ và cấu tạo nhƣ thế nào.
22
H n . : Bộ điều khiển chuyển mạch
Đƣợc thiết kế với mục đích, điều khiển 30 công tắc chuyển mạch là SW1, SW2,..., SW30, để nhận biết tín hiệu vào đang là ảnh số mấy, thì phải dựa vào số lƣợng pixel mức logic „1‟ từ đó suy luận và điều khiển những bộ tích hợp để phân loại tín hiệu vào thành nhóm ƣu tiên và khơng ƣu tiên.
Để biết đƣợc bộ tích hợp nào đang bị đốt và bộ tích hợp nào cần đóng băng thì dựa vào mức điện áp V_Đốt thay đổi từ 0 (v) lên 5 (v) nhanh nhất, từ đó điều khiển các chuyển mạch SW2, SW3, SW5, SW6,..., SW29, SW30, trong mỗi bộ tích hợp để đƣợc kết quả mong muốn.
Kết luận c ƣơng
3.4
Chƣơng 3 đã trình bày ý tƣởng của hệ thống để nhận dạng 10 ảnh ngõ vào, hệ thống gồm 30 tín hiệu vào lấy từ bộ nhận ảnh nhân tạo, hệ thống chia ra làm 10 khối, 10 khối này có chung 30 tín hiệu vào, mỗi khối có 30 memristor và có 1 đầu ra, trong mỗi một khối lại đƣợc chia ra làm 2 phần chính là mảng memristor và nơron ngõ ra.
Trong chƣơng 3, đã phân tích sự hoạt động của hệ thống qua 3 chế độ là chế độ phân loại, huấn luyện và kiểm tra. Để hiểu một cách trực quan thì tiếp tục đi vào chƣơng 4, chƣơng mơ phỏng.
23
CHƢƠNG 4
KẾT QUẢ MƠ PHỎNG
Mô p ỏng quá tr n uấn luyện
4.1
N n tổng thể hệ thống
4.1.1
Một lần nữa hãy quan sát lại sơ đồ hệ thống nhận dạng ảnh dùng memristor, về số lƣợng memristor, trạng thái chuyển mạch.
24
H n 4. : Tập ảnh huấn luyện
Mỗi 1 bức ảnh sẽ có 30 pixel, mỗi một pixel là một tín hiệu vào, 10 ảnh khác nhau sẽ có 10 tín hiệu vào khác nhau, thời gian huấn luyện cũng sẽ khác nhau, sau đây là quá trình nhận dạng ảnh, với ảnh vào là ảnh số 6 để có cái nhìn trực quan về hệ thống đã đề xuất.
Huấn luyện với ản vào là ảnh số 6
4.1.2
H n 4. : Kết quả 10 tín hiệu ra Vmem tƣơng ứng trên 10 mảng memristor
Trong hình 4.3 thể hiện 10 tín hiệu ngõ ra trên 10 mảng memristor tƣơng ứng Vmem 1, Vmem 2,..., Vmem 10, tín hiệu ra đƣợc sắp xếp theo thứ tự tín hiệu đạt đến ngƣỡng 3.3 (v) nhanh nhất, về nhì,.... về cuối.
25
H n 4.4: Kết quả ở chế độ phân loại
Trong chế độ phân loại thì Vmem_1, Vmem_2, Vmem_3, Vmem_4, Vmem_5
đƣợc đánh giá và đƣa vào loại 1 nên nó nhận giá trị điện áp của của 30 tín hiệu vào là hằng số trong toàn bộ thời gian của chế độ phân loại. Ngƣợc lại Vmem_6, Vmem_7, Vmem_8, Vmem_9, Vmem_10 đƣợc đánh giá và đƣa vào loại 2, những Vmem thuộc loại 2 sẽ có tín hiệu tăng theo đặc tính của memristor và S6 sẽ tăng nhanh nhất trong những tín hiệu thuộc loại 2, tiếp theo là quá trình huấn luyện.
26
Hãy quan sát hình 4.5, đối với ảnh số 6 thì tại thời điểm 55 (ms) là thời gian bắt đầu chuyển giai đoạn, điện áp vào_1 đến điện áp vào_5 vẫn là hằng số, điện áp vào_6 cho đến điện áp vào_10 đang đƣợc đánh giá và xem xét. Tại thời điểm 60 (ms) là thời gian kết thúc quá trình huấn luyện, nhƣ vậy kết thúc quá trình huấn luyện chỉ có 1 ngõ ra duy nhất là ngõ ra thứ 6 bị đốt cháy ( xem hình 4.7).
H n 4.6: Kết quả điện áp ra sau quá trình huấn luyện
27
Cho nên bộ điều khiển đã đƣa tín hiệu vào_6 lên 2.5 (v) ( xem hình 4.5), cịn những tín hiệu cịn lại bị đƣa về trạng thái đóng băng nên điện áp bị kéo về 0 (v). Kết thúc quá trình huấn luyện tại 60 (ms), tiếp tục với quá trình kiểm tra.
H n 4.8: Ngõ ra khối kiểm tra
Tín hiệu ngõ ra của khối kiểm tra chính là sự kết hợp của 2 tín hiệu vào có thời gian chuyển mạch khác nhau vào cổng logic XOR sau đó tín hiệu phải đƣợc đi qua cổng logic AND để kiểm tra lại, chỉ cho tín hiệu có nơron bị đốt đến ngõ ra cịn các tín hiệu cịn lại phải trả về trạng thái đóng băng.
Kết quả mơ p ỏng với 10 ảnh
4.2
Bởi vì thời gian ở chế độ phân loại rất nhỏ (diễn ra trong thời gian vài trăm nano giây) so với tồn bộ q trình huấn luyện (gần 100ms) nên trong hình ảnh hiển thị kết quả ngõ ra nhận dạng 10 ảnh, do đó sẽ khơng quan tâm đến khoảng thời gian ở chế độ phân loại (tín hiệu ngõ ra cuối cùng đƣợc đi qua bộ so sánh chuyển từ điện áp 0 (v) đến 5 (v), về điện áp 0 (v) đến 3.3 (v)
28
Bảng 4.1: Số lƣợng pixel „1‟ trên toàn bộ ảnh
Ảnh Thời gian Ảnh 1 Ảnh 2 Ảnh 3 Ảnh 4 Ảnh 5 Ảnh 6 Ảnh 7 Ảnh 8 Ảnh 9 Ảnh 0 Số pixel „1‟ 8 14 14 10 14 15 9 16 10 10 Số lƣợng pixel trong ảnh 30 30 30 30 30 30 30 30 30 30
Bảng 4.2: Thời gian huấn luyện 10 ảnh
Ảnh Thời gian Ảnh 1 Ảnh 2 Ảnh 3 Ảnh 4 Ảnh 5 Ảnh 6 Ảnh 7 Ảnh 8 Ảnh 9 Ảnh 0 Chế độ huấn luyện (ms) 45 56 56 50 56 60 49 65 53 53 Chế độ kiểm tra (ms) 6.5 15 15 7.5 15 16.5 5 18 4.5 4.5 Tổng thời gian (ms) 51.5 71 71 57.5 71 76.5 54 83 57.5 57.5
29
Từ kết quả hình 4.11 rút ra nhận xét, thời gian huấn luyện và thời gian kiểm tra trong mỗi ảnh có số lƣợng pixel „1‟ ngang nhau là giống nhau, ví dụ ảnh số 2 và ảnh số 3 có số lƣợng pixel „1‟ bằng nhau là 14 nên thời gian huấn luyện và thời gian kiểm tra là nhƣ nhau. Những bức ảnh có số lƣợng pixel „1‟ càng lớn thì thời gian huấn luyện và thời gian kiểm tra sẽ càng lớn.
Từ bảng 4.1 và bảng 4.2 rút ra nhận xét, số lƣợng pixel sẽ liên quan đến áp vào memristor, phƣơng pháp nhận dạng ảnh này chỉ phụ thuộc vào điện áp đặt vào memristor và không không phụ thuộc vào vị trí nhiễu của pixel do đó ta sẽ tăng đƣợc khả năng loại bỏ nhiễu cộng, tổng thời gian huấn luyện xong 1 ảnh phụ thuộc vào số pixel „1‟ trong một ảnh.
Kết quả mơ p ỏng với 10 ản có n iễu.
4.3
H n 4. : Ảnh sau khi thêm nhiễu
Tƣơng tự nhƣ các ảnh còn lại, ta thêm nhiễu vào ảnh huấn luyện bất kỳ vị trí nào, nhƣng tổng số pixel „1‟ sau khi thêm nhiễu nhỏ hơn hoặc bằng 18 pixel, ta có bảng tổng hợp sau.
Bảng 4.3: Khả năng thêm nhiễu vào trên từng ảnh Ảnh Ảnh Khả năng Ảnh 1 Ảnh 2 Ảnh 3 Ảnh 4 Ảnh 5 Ảnh 6 Ảnh 7 Ảnh 8 Ảnh 9 Ảnh 0 Thêm số pixel tối đa (pixel)
10 4 4 8 4 3 9 2 8 8 Khả năng đáp ứng nhiễu tối đa (%) 33 13 13 27 13 10 30 7 27 27 Tỉ lệ nhận dạng thành công (%) 100 100 100 100 100 100 100 100 100 100
30
H n 4. : Khả năng thêm nhiễu trên 10 ảnh
Nhận xét, khả năng thêm nhiễu với ảnh số 1 là cao nhất lên tới 33%, khả năng thêm nhiễu thấp nhất là ảnh số 8, với mức nhiễu có thể thêm vào 7%.
Kết luận c ƣơng 4
4.4
Trong chƣơng 4, đã trình bày kết quả mơ phỏng của mơ hình nhận dạng ảnh