(TIỂU LUẬN) bài tập lớn cơ sở dữ liệu đa phương tiện code chuyển đối file âm thanh sử dụng fourier rời rạc đánh giá phân loại file âm thanh mới

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - BÀI TẬP LỚN CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN Giảng viên: Nguyễn Đình Hóa Nhóm 4: Nguyễn Thanh Tùng - B13DCCN057 Nguyễn Thị Phương - B13DCCN039 Nguyễn Tùng Long – B13DCCN030 Hà nội - 2017 LỜI NÓI ĐẦU Trong phát triển khoa học công nghệ, thiết bị số dẫn chiếm ưu giúp ta lưu trữ liệu cách phong phú đa dạng Ngoài liệu văn có từ lâu, có thêm kiểu liệu như: hình ảnh, âm thanh, video Vì việc tìm hiểu loại liệu có ý nghĩa Trên sở kiến thức học môn Cơ sở liệu đa phương tiện, chúng em tìm hiểu kỹ thuật xử lý âm phương pháp chuyển đổi Fourier rời rạc Bao gồm nội dung chính: Tổng quan âm Các kỹ thuạt xử lý âm Phương pháp chuyển đổi Fourier rời rạc Thu thập đoạn audio Code chuyển đối file âm sử dụng Fourier rời rạc Đánh giá phân loại file âm Do kiến thực hạn hẹp nên tập lướn chúng em cịn nhiều sai sót, hạn chế Chúng em mong thầy góp ý sửa chữa để hồn thiện thân Chân thành cảm ơn thầy! MỤC LỤC TỔNG QUAN VỀ XỬ LÝ ÂM THANH 1.1 Giới thiệu sơ lược âm & hệ thống xử lý âm 1.1.1 Đặc tính âm tương tự 1.1.2 Khái niệm tín hiệu 1.1.3 Phân loại tín hiệu: 1.1.4 Phân loại hệ thống xử lý 1.1.5 Hệ thống số xử lý âm 1.1.6 Kiến trúc hệ thống số xử lý âm 1.2 Các thuộc tính CÁC KỸ THUẬT XỬ LÝ ÂM THANH 2.1 Kỹ thuật nén âm 2.1.1 Mã hóa Huffman 2.1.2 Mã hóa RLE(Run-length Encoding) 2.1.3 Giải thuật Lempel – Ziv – Welch (LZW) 2.1.4 Mã hóa dự đốn 2.1.5 Nén âm MPEG 2.1.6 Chuẩn mã hóa audio MP3 PHƯƠNG PHÁP CHUYỂN ĐỔI FOURIER RỜI RẠC 3.1 Định nghĩa 3.2 Ứng dụng THU THẬP CÁC ĐOẠN AUDIO 4.1 20 đoạn nhạc khác 4.2 20 đoạn hội thoại khác CODE CHUYỂN ĐỔI FILE ÂM THANH SỬA DỤNG CHUYỂN ĐỔI FOURIER RỜI RẠC(DFT) 5.1 Cấu trúc file nhạc wav 5.2 Code đọc thông tin file wav để lấy thông tin biên độ sau r 5.3 Thuật tốn DFT sử dụng cơng thức định nghĩa 5.4 Hàm sử dụng phương pháp FFT giúp tính tốn nha 5.5 Triển khai hàm phương pháp FFT 5.5.1 Hàm FFT:Transform 5.5.2 Hàm inverseTransform 5.5.3 Hàm chuyển đổi sang miền tần số sử dụn lũy thừa 5.5.4 Hàm chuyển đổi sang miền tần số sử dụn 29 5.5.6 Sử dụng FFT để tính tốn nhanh DFT 5.6 Xây dựng vector thuộc tính miền tần số 5.7 Nhận xét Đánh giá phân loại file âm 6.1 Phương pháp sử dụng trọng tâm cụm 6.2 Phương pháp tính khoảng cách TỔNG QUAN VỀ XỬ LÝ ÂM THANH 1.1 Giới thiệu sơ lược âm & hệ thống xử lý âm 1.1.1 Đặc tính âm tương tự Mục đích lời nói dùng để truyền đạt thơng tin Có nhiều cách mô tả đặc điểm việc truyền đạt thơng tin Dựa vào lý thuyết thơng tin, lời nói đại diện thuật ngữ nội dung thông điệp, thông tin Một cách khác để biểu thị lời nói tín hiệu mang nội dung thơng điệp, dạng sóng âm Kỹ thuật dùng việc ghi âm sử dụng thơng số cơ, điện trường làm nên nhiều cách thức ghi âm ứng với loại áp suất khơng khí khác Điện áp đến từ microphone tín hiệu tương tự áp suất khơng khí (hoặc đơi vận tốc) Dù phân tích cách thức nào, phương pháp so sánh với phải dùng tỉ lệ thời gian Khái niệm tín hiệu 1.1.2 Là đại lượng vật lý biến thiên theo thời gian, theo không gian, theo nhiều biến độc lập khác, ví dụ như:  Âm thanh, tiếng nói: dao động sóng theo thời gian (t)  Hình ảnh: cường độ sáng theo không gian (x, y, z)  Địa chấn: chấn động địa lý theo thời gian Biểu diễn toán học tín hiệu: hàm theo biến độc lập Ví dụ : Thơng thường tín hiệu tự nhiên không biểu diễn hàm sơ cấp, tính tốn, người ta thường dùng hàm xấp xỉ cho tín hiệu tự nhiên Hệ thống: thiết bị vật lý, thiết bị sinh học, chương trình thực phép tốn tín hiệu nhằm biến đổi tín hiệu, rút trích thơng tin, … Việc thực phép tốn cịn gọi xử lý tín hiệu Phân loại tín hiệu: 1.1.3 Tín hiệu đa kênh: gồm nhiều tín hiệu thành phần ,cùng chung mơ tả đối tượng (thường biểu diễn dạng vector, ví dụ tín hiệu điện tim (ECGElectroCardioGram),tín hiệu điện não (EEG – ElectroEncephaloGram), tín hiệu ảnh màu RGB Tín hiệu đa chiều: biến thiên theo nhiều biến độc lập, ví dụ tín hiệu hình ảnh, tín hiệu tivi trắng đen Tín hiệu liên tục theo thời gian: tín hiệu định nghĩa điểm đoạn thời gian [a,b], ký hiệu x(t) Tín hiệu rời rạc thời gian: tín hiệu định nghĩa thời điểm rời rạc khác nhau, ký hiệu x(n) Tín hiệu liên tục giá trị: tín hiệu nhận trị bất kỳtrong đoạn [Ymin, Ymax], ví dụ tín hiệu tương tự(analog) Tín hiệu rời rạc giá trị: tín hiệu nhận trị tập trị rời rạc định trước (tín hiệu số) Tín hiệu analog: tín hiệu liên tục thời gian, liên tục giá trị Tín hiệu số: tín hiệu rời rạc thời gian, rời rạc giá trị Tín hiệu ngẫu nhiên: giá trị tín hiệu tương lai khơng thể biết trước Các tín hiệu tự nhiên thường thuộc nhóm Tín hiệu tất định: giá trị tín hiệu khứ, tương lai xác định rõ, thơng thường có cơng thức xác định rõ ràng 1.1.4 Phân loại hệ thống xử lý Gồm hai loại hệ thống hệ thống tương tự hệ thống số Trong hệ thống xử lý số: hệ thống lập trình được, dễ mơ phỏng, cấu hình, sản xuất hàng loạt với độ xác cao, giá thành hạ, tín hiệu số dễ lưu trữ, vận chuyển lưu, nhược điểm khó thực với tín hiệu có tần số cao 1.1.5 Hệ thống số xử lý âm Độ nhạy tai người cao, phân biệt số lượng nhiễu nhỏ chấp nhận tầm biên độ âm lớn Các đặc tính tín hiệu tai người nghe được đo đạc công cụ phù hợp Thông thường, tai người nhạy tầm tần số 2kHz 5kHz, có người nhận dạng tín hiệu 20kHz Tầm động nghe tai người phân tích người ta nhận kết có dạng đáp ứng logarith Tín hiệu âm truyền qua hệ thống số chuỗi bit Bởi bit có tính chất rời rạc, dễ dàng xác định số lượng cách đếm số lượng giây, dễ dàng định tốc độ truyền bit cần thiết để truyền tín hiệu mà không làm thông tin 1.1.6 Kiến trúc hệ thống số xử lý âm Đối với máy tính số xử lý âm thanh, người ta thường dùng phương pháp Điều chế xung (Pulse Code Modulation , viết tắt PCM) Dạng sóng âm chuyển sang dãy số PCM sau, xét tín hiệu hình sin làm ví dụ: Tín hiệu gốc tín hiệu Hình 1.9 Kế đến, sử dụng microphone để thu tín hiệu âm (trong khơng khí) chuyển đổi thành tín hiệu điện, tầm điện áp ngõ microphone ±1 volt Hình 1.10 Tín hiệu điện áp dạng tương tự sau chuyển thành dạng số hóa thiết bị chuyển đổi tương tự-số(analog-to-digital converter) Khi sử dụng chuyển đổi 16bit 10 5.3 Thuật toán DFT sử dụng công thức định nghĩa Phương pháp không phù hợp để áp dụng cho thời gian chạy thực tế Vì nhóm em áp dụng thuật tốn FFT giúp tính tốn DFT cách nhanh chóng 5.4 Hàm sử dụng phương pháp FFT giúp tính tốn nhanh DFT 26 5.5 Triển khai hàm phương pháp FFT 5.5.1 Hàm FFT:Transform Đây hàm kiểm tra số lượng mẫu chứa file wav, số lượng mẫu lũy thừa áp dụng thuật toán Cooley-Tukey Chi tiết thuật toán sau 27 5.5.2 Hàm inverseTransform Đây hàm chuyển đổi ngược IDFT Chi tiết sau 5.5.3 Hàm chuyển đổi sang miền tần số sử dụng thuật toán Cooley-Tukey số lượng mẫu lũy thừa Đây phương pháp tính toán DFT chia thành phần phần bao gồm n(chỉ số chạy công thức DFT) thành n chẵn n lẻ 28 5.5.4 Hàm chuyển đổi sang miền tần số sử dụng thuật toán Bluestein số lượng mẫu Đây phương pháp tổng quát để tính tốn DFT cách nhanh chóng nhiên thuật toán chậm Cooley-Tukey vài lần Chi tiết thuật toán sau: 29 30 5.5.6 Sử dụng FFT để tính tốn nhanh DFT Nhóm em kiểm chứng sử dụng công thức DFT định nghĩa sử dụng FFT để tính tốn nhanh DFT thu kết phổ miền tần số hiển thị file sau đây(out.dat,ou1.dat) 31 5.6 Xây dựng vector thuộc tính miền tần số Nhóm em trích xuất thuộc tính miền tần số liệu âm bao gồm Năng lượng trung bình (avergeEnergy) Tần số ứng với biên độ lớn nhất(frequencyWithmagnitudemax) Tần số ứng với biên độ nhỏ nhất(frequencyWithmagnitudemax) Tần số lớn nhất(maxMagnitude) Tần số nhỏ nhất(maxMagnitude) Băng thông(bandWidth) Năng lượng trung bình dải băng thơng(energyInbandWidth) Các thuộc tính định nghĩa struct sau Kết trích xuất thuộc tính loại nhạc hội thoại nhóm em đưa file liệu nhạc hội thoại sau 32  Thuộc tính file nhạc  Thuộc tính file hội thoại 33 5.7 Nhận xét Các file âm loại: Đối với file âm loại khơng có chênh lệch q lớn thuộc tính Mặc dù có chênh lệch giá trị nhỏ giá trị lớn thuộc tính 20 file nhìn chung khơng cách xa giá trị trung bình Các file âm khác loại: Giá trị lớn nhất, nhỏ nhất, trung bình thuộc tính file hội thoại Giá trị lớn nhất, nhỏ nhất, trung bình thuộc tính file hội thoại Đối với file âm khác loại, đánh giá theo giá trị trung bình thuộc tính loại audio xét ta thấy khác biệt lớn thuộc tính lượng trung bình, tần số ứng với biên độ nhỏ nhất, Biên độ lớn nhất, Biên độ nhỏ nhất, Phân bố lượng Ở loại audio nhạc, giá trị trung bình thuộc tính lớn nhiều so với loại audio hội thoại Còn với thuộc tính Tần số ứng với biên độ lớn nhất, Băng thơng khơng có khác biệt nhiều 34 Giải thích thuộc tính khác biệt: - Năng lượng trung bình: thể độ to Vì âm nhạc âm to hội thoại bình thường - Tần số ứng với biên độ nhỏ nhất: Tần số tốc độ rung, tính số vịng sóng âm xảy giây Nó xác định cao độ âm thanh, tần số cao âm cao - Biên độ lớn nhất: biên độ kích cỡ rung xác định mức độ to nhỏ (cường độ) âm Âm rung rộng có nghĩa vang lên to Âm nhạc vang nên có biên độ lớn âm thoại - Biên độ nhỏ nhất: giải thích tương tự Biên độ lớn - Phân bố lượng: phân bố tín hiệu dọc theo thành phần tần số Thông thường tín hiệu nhạc có tần số cao tín hiệu thoại nên phân bố lượng cao Đánh giá phân loại file âm Do âm phân làm cụm cụm nhạc cụm hội thoại Vì em sử dụng phương pháp để phân loại âm đầu vào Hai phương pháp cụ thể sau 6.1 Phương pháp sử dụng trọng tâm cụm Với thuộc tính trích xuất miền tần số cụm chúng tìm trọng tâm cụm Trọng tâm cụm nhóm em tính tốn lưu file tương ứng hình sau: 35 Các thuộc tính miền tần số tương ứng với trọng tâm 20 file âm nhạc Các thuộc tính miền tần số tương ứng với trọng tâm 20 file hội thoại 36 Bằng cách trích xuất thuộc tính miền tần số file âm muốn phân loại sử dụng cơng thức tính khoảng cách file âm muốn phân loại với trọng tâm cụm sử dụng cơng thức tính khoảng cách L1-norm Nếu khoảng cách nhỏ kết luận file âm thuộc cụm âm tương ứng Hàm thực cụ thể sau: 37 6.2 Phương pháp tính khoảng cách Phương pháp thứ nhóm em sử dụng tính khoảng cách từ file âm muốn phân loại đến tất file cụm cộng tổng khoảng cách từ file âm đến cụm Sử dụng cơng thức tính khoảng cách L1-norm thuộc tính trích xuất miền tần số, sau khoảng cách đến cụm nhỏ ta kết luận file âm muốn phân loại thuộc cụm âm tương ứng Hàm thực cụ thể sau: 38 39 40 ... lý âm phương pháp chuyển đổi Fourier rời rạc Bao gồm nội dung chính: Tổng quan âm Các kỹ thuạt xử lý âm Phương pháp chuyển đổi Fourier rời rạc Thu thập đoạn audio Code chuyển đối file âm sử dụng. .. nên phân bố lượng cao Đánh giá phân loại file âm Do âm phân làm cụm cụm nhạc cụm hội thoại Vì em sử dụng phương pháp để phân loại âm đầu vào Hai phương pháp cụ thể sau 6.1 Phương pháp sử dụng. .. trữ liệu cách phong phú đa dạng Ngồi liệu văn có từ lâu, có thêm kiểu liệu như: hình ảnh, âm thanh, video Vì việc tìm hiểu loại liệu có ý nghĩa Trên sở kiến thức học môn Cơ sở liệu đa phương tiện,