nghiên cứu một số kỹ thuật hiển thị hình ảnh 3d từ hình chiếu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  ĐỖ THÁI HÒA NGHIÊN CỨU MỘT SỐ KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU Tiếng anh: (A number of technical studies show 3D images from the slideshow) LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  ĐỖ THÁI HÒA NGHIÊN CỨU MỘT SỐ KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU Tiếng anh: (A number of technical studies show 3D images from the slideshow) Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Đỗ Năng Toàn Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC MỤC LỤC i DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ii DANH MỤC CÁC HÌNH VẼ iii PHẦN MỞ ĐẦU 1 Chƣơng 1: KHÁI QUÁT VỀ ĐỒ HỌA 3D VÀ BÀI TOÁN HIỂN THỊ HÌNH ẢNH 3 1.1. Khái quát về đồ họa 3D 3 1.1.1. Lịch sử phát triển 3 1.1.2. Các kỹ thuật đồ họa 4 1.1.2.1. Kỹ thuật đồ hoạ điểm (Sample based-Graphics) 4 1.1.2.2. Kỹ thuật đồ họa Vector 5 1.1.2.3. Các chuẩn giao diện của hệ đồ hoạ 6 1.1.3. Phần cứng đồ họa (Graphics HardWare) 7 1.1.3.1. Các thành phần phần cứng của hệ đồ hoạ tương tác 7 1.1.3.2. Máy in 7 1.1.3.3. Màn hình (monitor-display) 8 1.1.3.4. Bảng tra màu LUT (Look Up Table) 11 1.1.3.5. Sự kết nối giữa hệ thống máy tính với các thiết bị hiển thị 13 1.2. Hiển thị hình ảnh 3D 15 1.2.1.Nguyên lý về 3D (three-Dimension) 15 1.2.2. Đặc điểm của kỹ thuật đồ hoạ 3D 15 1.2.3. Các phương pháp hiển thị 3D 16 1.2.4. Tái tạo cấu trúc ba chiều từ các hình chiếu 16 Chƣơng 2: KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU 19 2.1. Biểu diễn bề mặt (surface rendering – SR) 19 2.2. Biểu diễn thể tích (volume rendering – VR) 26 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 34 3.1. Các công cụ 34 3.2. Chương tr ình cài đặt 39 3.3. Một số cửa sổ - Kết quả thử nghiệm 39 3.4. Đánh giá 41 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 43 TÀI LIỆU THAM KHẢO 45 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu/ Chữ viết tắt Viết đầy đủ Ý nghĩa 1 3D 3 Dimentional 3 chiều 2 2D 2 Dimentional 2 chiều 3 VR Volume rendering Biểu diễn thể tích 4 SR surface rendering Biểu diễn bề mặt 5 CRT Cathode ray tube Màn hình CRT 6 MC Marching Cube s Thuật toán Marching Cubes 7 MT Marching Tetrahedra Thuật toán Marching Tetrahedra 8 MIP Maximum intensity projection Phương pháp tạo bố cục cho ảnh 9 MinIP Minimum intensity projection Phương pháp tạo bố cục cho ảnh 10 LCD Liquid Crystal Display Màn hình 11 DICOM Digital Imaging and COmmunications in Medicine Standars Tiêu chuẩn ảnh số và truyền thông trong y tế 12 VTK Visualization Toolkit Bộ toolkit có mã nguồn mở Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii DANH MỤC CÁC HÌNH VẼ Hình 1.1. Ảnh đồ hoạ điểm Hình 1.2. Kỹ thuật đồ họa điểm Hình 1.3. Mô hình đồ họa vector Hình 1.4. Các thành phần cứng của hệ đồ hoạ tương tác Hình 1.5. Cấu tạo màn hình CRT Hình 1.6. Súng điện tử bố trí theo kiểu tam giác Hình 1.7. Dòng quét trong thiết bị Raster Hình 1.8. Tổ chức của bảng tra màu LUT (Look Up Table) Hình 1.9. Tổ chức của một máy Hình 1.10. Nối kết mạng cục bộ Hình 1.11. Các dạng ảnh 2D dùng để tái tạo ảnh 3D thường gặp Hình 2.1. Hình ảnh 3D được biểu diễn theo phương pháp SR Hình 2.2. Minh họa thuật toán Marching Square Hình 2.3. 16 trường hợp Marching Square Hình 2.4. Minh họa tạo bề mặt từ các đường viền Hình 2.5. Xây dựng bề mặt theo giá trị của các đỉnh Hình 2.6. Các trường hợp một mặt đi qua khối lập phương trong thuật toán Marching Cubes Hình 2.7. Một trường hợp lỗi của Marching Cubes Hình 2.8. Chia khối lập phương thành các khối tứ diện Hình 2.9. Hai trường hợp mặt phẳng đi qua khối tứ diện trong thuật toán Marching Tetrahedra Hình 2.10. Minh họa thuật toán Dividing Cubes để vẽ đương trong mặt phẳng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv Hình 2.11. Minh họa thuật toán Dividing Cubes trong không gian ba chiều Hình 2.12. Hình ảnh 3D biểu diễn theo phương pháp VR Hình 2.13. Minh họa kỹ thuật object -order Hình 2.14. Minh họa kỹ thuật image -order Hình 2.15. Mô hình Blinn / Kajiya Hình 2.16. Minh họa kỹ thuật đơn giản hóa tính toán cường độ ánh sáng Hình 2.17. Sơ đồ tổng quan của rendering MIP Hình 3.1. Sơ đồ tương tác của VTK với phần cứng Hình 3.2. Cấu trúc chương trình ứng dụng VTK Hình 3.3. Mô hình đồ họa của VTK Hình 3.4. Mô hình trực quan hóa của VTK Hình 3.5. Các loại tập dữ liệu của VTK Hình 3.6. Cách kết nối VTK và ITK Hình 3.7. Pipeline của chương trình cài đặt Hình 3.8. Chu trình biểu diễn dữ liệu thành hình ảnh Hình 3.9. Giao diện màn hình chính Hình 3.10. Hình ảnh 3D được hiển thị Hình 3.11. Các góc độ khác nhau của hình ảnh 3D được hiển thị Hình 3.12. Hiển thị thêm mô mềm Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 PHẦN MỞ ĐẦU Đồ họa máy tính được ra đời bởi sự kết hợp của 2 lĩnh vực thông tin và truyền hình. Đầu tiên kỹ thuật đồ họa được phát triển bởi các nhóm kỹ sư sử dụng máy tính lớn. Trong giai đoạn đầu của sự phát triển người ta phải tốn nhiều tiền cho việc trang bị các thiết bị phần cứng. Ngày nay, nhờ vào sự tiến bộ của vi xử lý, giá thành của máy tính càng lúc càng phù hợp với túi tiền của người sử dụng trong khi các kỹ thuật ứng dụng đồ họa của nó ngày càng cao hơn nên có nhiều người quan tâm nghiên cứu đến lĩnh vực này. Đồ họa máy tính là một lĩnh vực của công nghệ thông tin mà ở đó, việc nghiên cứu, xây dựng và tập hợp các công cụ (mô hình lý thuyết, phần mềm ) khác nhau nhằm kiến tạo, xây dựng, lưu trữ và xử lý các mô hình (models) và hình ảnh (images) của sự vật-hiện tượng trong cuộc sống, trong sản xuất và trong nghiên cứu. Các mô hình và hình ảnh này có thể là các kết quả thu được từ những lĩnh vực khác nhau của rất nhiều ngành khoa học (chẳng hạn như vật lý, toán học, thiên văn học, sinh học, phỏng sinh học, y học, v.v ) và nhiều thể loại phong phú như cấu trúc phân tử, cấu trúc sinh học, mô hình vũ trụ v.v Ngày nay, việc sử dụng đồ họa máy tính đã thâm nhập vào rất nhiều lĩnh vực như trong biểu diễn thông tin, in ấn xuất bản, trong thiết kế kỹ thuật, thiết kế kiến trúc, mô phỏng thế giới thực (thực tại ảo-Virtual reality), thiết kế giao diện máy-người sử dụng v.v và ngày càng chứng tỏ sự quan trọng không thể thiếu được khi các máy móc thiết bị công nghệ phục vụ cho các lĩnh vực nói trên đang dần chuyển sang sử sụng công nghệ kỹ thuật số và hiện nay thậm chí còn trở thành nghệ thuật số (Digital art). Ở nhóm ứng dụng đồ họa 2 chiều cung cấp các khả năng thể hiện các biểu đồ, đồ thị (hình ảnh 2 chiều); còn ở nhóm ứng dụng đồ họa ba chiều và ảnh động cung cấp các khả năng thể hiện các hình ảnh, mô hình trong không gian ba chiều, kỹ thuật mô phỏng thế giới thực, tạo ra các bức ảnh sống động cho phim Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 ảnh, truyền hình từ các kỹ thuật mô tả chuyển động của các mô hình đó v.v Đồ họa máy tính nói chung và tái tạo hình ảnh ba chiều của các vật thể thực từ hình chiếu là một trong những lĩnh vực thu hút được sự quan tâm nhiều nhất của giới nghiên cứu trong lĩnh vực công nghệ thông tin trong mấy chục năm qua. Hình ảnh tái tạo từ máy tính đã được sử dụng rất có hiệu quả trong nhiều lĩnh vực khác nhau như giáo dục, giải trí, kiến trúc, đặc biệt là chuẩn đoán hình ảnh trong y tế, Các kỹ thuật hiển thị hình ảnh 3D từ hình chiếu là một đề tài mới mẻ và có ứng dụng lớn trong trong lĩnh vực tái tạo, chuẩn đoán và phục đối tượng. Trong luận văn này, tác giả tìm hiểu một số kỹ thuật hiển thị hình ảnh 3D từ hình chiếu như kỹ thuật biểu diễn bề mặt (surface rendering – SR), kỹ thuật biểu diễn thể tích (volume rendering – VR) và ứng dụng thử nghiệm chương trình hiển thị hình ảnh 3D từ hình chiếu. Nội dung luận văn bao gồm 3 chương: Chương 1: KHÁI QUÁT VỀ ĐỒ HỌA 3D VÀ BÀI TOÁN HIỂN THỊ HÌNH ẢNH Chương này khái quát về đồ họa 3D, Nguyên lý về 3D và Đặc điểm của kỹ thuật đồ hoạ 3D. Chương 2: KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU Chương này giới thiệu về một số kỹ thuật hiển thị hình ảnh 3D từ hình chiếu như kỹ thuật biểu diễn bề mặt (surface rendering – SR), kỹ thuật biểu diễn thể tích (volume rendering – VR). Chương 3: CHƢƠNG TRÌNH THỬ NGHIỆM Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 Chƣơng 1 KHÁI QUÁT VỀ ĐỒ HỌA 3D VÀ BÀI TOÁN HIỂN THỊ HÌNH ẢNH 1.1. Khái quát về đồ họa 3D 1.1.1. Lịch sử phát triển - Graphics những năm 1950-1960 1959 Thiết bị đồ hoạ đầu tiên là màn hình xuất hiện tại Đức. 1960 - SAGE (Semi-Automatic Ground Environment System) xuất hiện bút sáng thao tác với màn hình. Màn hình là thiết bị thông dụng nhất trong hệ đồ hoạ, các thao tác của hầu hết các màn hình đều dựa trên thiết kế ống tia âm cực CRT (Cathode ray tube). Khi đó giá để làm tươi màn hình là rất cao, máy tính xử lý chậm, đắt và không chắc chắn (không đáng tin cậy) [4]. - Graphics: 1960-1970 1963 Ivan Sutherland (hội nghị Fall Joint Computer - lần đầu tiên có khả năng tạo mới, hiển thị và thay đổi được thực hiện trong thời gian thực trên màn CRT). Hệ thống này được dùng để thiết kế mạch điện: CRT, LightPen (bút sáng), computer (chứa chương trình xử lý thông tin). Người sử dụng có thể vẽ mạch điện trực tiếp lên màn hình thông qua bút sáng. - Graphics:1970-1980 Raster Graphics (đồ hoạ điểm). Bắt đầu chuẩn đồ hoạ ví dụ như: GKS(Graphics Kernel System): European effort (kết quả của châu âu), Becomes ISO 2D standard. - Graphics: 1980-1990 Mục đích đặc biệt về phần cứng, thiết bị hình học đồ hoạ Silicon. Xuất hiện các chuẩn công nghiệp: PHIGS (Programmers Hierarchical Interactive Graphics Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 Standard) xác định các phương pháp chuẩn cho các mô hình thời gian thực và lập trình hướng đối tượng. Giao diện người máy Human-Computer Interface (HCI) - Computer Graphics: 1990-2000 OpenGL API (Application Program Interface – giao diện chương trình ứng dụng). Completely computer-sinh ra ngành điện ảnh phim truyện (Toy Story) rất thành công. Các tiềm tàng phần cứng mới: Texture mapping (dán các ảnh của cảnh thật lên bề mặt của đối tượng), blending (trộn màu)…. - Computer Graphics: 2000- nay Ảnh hiện thực, các cạc đồ hoạ cho máy tính (Graphics cards for PCs), game boxes and game players Công nghiệp phim ảnh nhờ vào đồ hoạ máy tính (Computer graphics becoming routine in movie industry): Maya (thế giới vật chất tri giác được)…. 1.1.2. Các kỹ thuật đồ họa 1.1.2.1. Kỹ thuật đồ hoạ điểm (Sample based-Graphics) - Các mô hình, hình ảnh của các đối tượng được hiển thị thông qua từng pixel (từng mẫu rời rạc) - Đặc điểm: Có thể thay đổi thuộc tính + Xoá đi từng pixel của mô hình và hình ảnh các đối tượng. + Các mô hình hình ảnh được hiển thị như một lưới điểm (grid) các pixel rời rạc + Từng pixel đều có vị trí xác định, được hiển thị với một giá trị rời rạc (số nguyên) các thông số hiển thị (màu sắc hoặc độ sáng) + Tập hợp tất cả các pixel của grid cho chúng ta mô hình, hình ảnh đối tượng mà chúng ta muốn hiển thị. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... chiều từ các hình chiếu của nó trên các ảnh 2D Số hình chiếu phải từ 2 trở lên Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 19 Chƣơng 2 KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU 2.1 Biểu diễn bề mặt (surface rendering – SR) Mắt người có thể hình dung ra vật thể nếu chúng ta biểu diễn được một số mặt của vật thể đó Có nhiều kĩ thuật SR tuy nhiên phổ biến nhất trong ảnh. .. này tính tổng tất cả các giá trị ghi nhận được trên tia chiếu để tạo nên giá trị điểm ảnh Nội dung kỹ thuật Volume rendering với Ray casting như sau: Volume rendering là một kỹ thuật hiển thị hình chiếu 2D của một tập dữ liệu ảnh 3D Lợi thế của phương pháp này là bản chất tập ảnh DICOM là ảnh 3D, vì vậy kỹ thuật ở đây chỉ là các phép chiếu Kỹ thuật Volume rendering cũng có rất nhiều cách tiếp cận khác... biến đổi hình học phức tạp Các phép biến đổi hệ toạ độ phức tạp hơn Thường xuyên phải bổ xung thêm phép chiếu từ không gian 3D vào không gian 2D Luôn phải xác định các bề mặt hiển thị 1.2.3 Các phương pháp hiển thị 3D Với các thiết bị hiển thị 2D thì chúng ta có các phương pháp sau để biểu diễn đối tượng 3D [4]: - Kỹ thuật chiếu (projection): Trực giao (orthographic)/phối cảnh (perspective) - Kỹ thuật. .. bị hiển thị 3D: - Kính stereo - Stereoscopic displays* - Màn hình 3D – Holograms 1.2.4 Tái tạo cấu trúc ba chiều từ các hình chiếu Trong bộ môn vẽ kỹ thuật chúng ta biết rằng có thể tái tạo cấu trúc ba chiều của các vật thể nếu chúng ta biết một số hình chiếu của vật thể đó Các chi tiết cơ khí hoặc xây dựng nói chung đều có thể được tái tạo nếu chúng ta có ba hình chiếu: trước, sau và ngang và một số. .. được hình ảnh đặc trưng của đối tượng [4] 1.1.2.2 Kỹ thuật đồ họa Vector Các tham số tô trát Mô hình đồ họa Tô trát Thiết bị ra Hình 1.3 Mô hình đồ họa vector Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 - Mô hình hình học (geometrical model) cho mô hình hoặc hình ảnh của đối tượng - Xác định các thuộc tính của mô hình hình học này - Quá trình tô trát (rendering) để hiển. .. Xây dựng một hàm liên tục từ các giá trị rời rạc - Chiếu lên một mặt phẳng ảnh (image plane) từ một điểm nhìn nào đó: Có nhiều kĩ thuật chiếu nhưng đa số đều thuộc một trong hai loại: object order và image – order [20],[23] Đối với kĩ thuật SR thuộc loại object – order, ta quét xuyên qua (tranverse) khối từ sau phía sau (back to front hoặc from 3D scene to 2D image), dữ liệu được chiếu lên trên một mặt... điểm khiển của các mạch điện bên màn hiển thị hình ngoài và bị hút về cực dương (Anode) ở đầu kia của ống, cuối Súng điện tử cùng đập mạnh lên màn hình huỳnh quang phủ photpho tạo phủ phot pho (bộ ba điểm màu RGB) Hình 1.5 Cấu tạo màn hình CRT ra một chấm sáng màn hiển thị hình Đối với các màn hình màu thì các chấm phát sáng này được cấu tạo bởi một bộ ba điểm màu RGB Ngay sát màn hiển thị hình, về... thể tái tạo hình ảnh của xương sọ hay hình ảnh các mạch máu não từ các ảnh cắt lớp đầu Các isosurface thường được tô cùng một màu để dễ theo dõi Có nhiều thuật toán khác nhau để tạo bề mặt từ các điểm dữ liệu rời rạc Trong đó chia ra làm hai loại là tạo bề mặt từ các đ ường viền và tạo bề mặt từ dữ liệu khối[23] Hình 2.1 Hình ảnh 3D đƣợc biểu diễn theo phƣơng pháp SR - Tạo bề mặt từ các đƣờng viền... của màn hình Chẳng hạn, ở điểm ảnh có giá trị 33 sẽ có nội dung tương ứng trong LUT với cổng số 33 và dùng để điều khiển các tia điện tử của màn hình Hoạt động của bảng tìm kiếm này làm cho mỗi điểm ảnh hiển thị trong chu kỳ, x' o K G 33 100110100001 33 B 1001 1010 0001 100110100001 y' điểm ảnh hiển thị tại x' , y' Red Green Blue Vùng nhớ đệm Bảng tra màu Màn hiển thị hình Hình 1.8 Tổ chức của bảng tra... các hình chiếu thu được từ các cảm biến hoặc các camera đặt xung quanh vật thể a) b) c) d) e) Hình 1.11 Các dạng ảnh 2D dùng để tái tạo ảnh 3D thƣờng gặp a) Ảnh quét song song (translation) b )Ảnh quét oscillation c )Ảnh quét rotation d )Ảnh quét tự do (freehand) e) Ảnh nổi (stereo) Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 18 Nguyên tắc chung của quá trình tái tạo ảnh . và Đặc điểm của kỹ thuật đồ hoạ 3D. Chương 2: KỸ THUẬT HIỂN THỊ HÌNH ẢNH 3D TỪ HÌNH CHIẾU Chương này giới thiệu về một số kỹ thuật hiển thị hình ảnh 3D từ hình chiếu như kỹ thuật biểu diễn. tượng. Trong luận văn này, tác giả tìm hiểu một số kỹ thuật hiển thị hình ảnh 3D từ hình chiếu như kỹ thuật biểu diễn bề mặt (surface rendering – SR), kỹ thuật biểu diễn thể tích (volume rendering. 3D (three-Dimension) 15 1.2.2. Đặc điểm của kỹ thuật đồ hoạ 3D 15 1.2.3. Các phương pháp hiển thị 3D 16 1.2.4. Tái tạo cấu trúc ba chiều từ các hình chiếu 16 Chƣơng 2: KỸ THUẬT HIỂN THỊ HÌNH