Đồ án truyền âm thanh qua mạng 4g sd mã nguồn mở board nhúng raspberry

DANH MỤC HÌNH VẼ Hình 1.1: Q trình truyền âm Hình 2.1: Giao thức TCP/IP 10 Hình 2.2: Khn dạng địa IP 14 Hình 2.3: Tiêu đề cố định gói RTP 15 Hình 2.4: Tiêu đề mở rộng gói RTP 17 Hình 3.1: Bo mạch Raspberry Pi 26 Hình 3.2: Raspberry Pi 27 Hình 3.3: Hệ điều hành Raspbian 31 Hình 3.4: Format thẻ nhớ 32 Hình 3.5: Màn hình cấu hình raspi-config 32 Hình 3.6: Cập nhật hệ điều hành 33 Hình 3.7: Cài đặt tên máy 33 Hình 3.8: Cài đặt ngơn ngữ 34 Hình 4.1: Mơ hình tốn 41 Hình 4.2: Đăng nhập trang web tạo tên miền 42 Hình 4.3: Nhập thông tin để tạo tài khoản 43 Hình 4.4: Tham số Host 44 Hình 4.5: Quản lí Host 44 Hình 4.6: Đăng nhập vào modem 45 Hình 4.7: Menu Security Setup 45 Hình 4.8: Cài đặt thơng số mở Port 47 Hình 4.9: Thông tin Port mở 48 Hình 4.10: Giao diện máy tính 49 Hình 4.11: Lưu đồ thuật tốn ghi liệu từ mic 50 Hình 4.12: Lưu đồ thuật tốn phát âm từ file audio 55 Hình 4.13: Mơ hình lập trình socket client server 58 Hình 4.14: Lưu đồ thuật tốn nhận liệu vào buffer 63 Hình 4.15: Buffer[] để lưu đọc liệu 64 Hình 4.16: Lưu đồ thuật xử lý phát âm 64 Hình 4.17: Hình ảnh bên phía server 68 Hình 4.18: Hình ảnh bên phía client 68 DANH MỤC CÁC CHỮ CÁI VIẾT TẮT Chữ viết tắt AMPS Tên tiếng anh Tên tiếng việt Advanced Mobile Phone Hệ thống điện thoại di động System tiên tiến ARM Acorn RISC Machine CDMA Code Division Multiple Đa truy nhập phân chia theo mã Access DNS Domain Name System Hệ Thống Tên Miền DRAM Dynamic Random Access Bộ nhớ RAM động Memory EDGE Enhanced Data Rates for GSM Evolution FTP File Transfer Protocol Giao thức truyền tập tin GSM Global System for Mobile Hệ thống toàn cầu dành cho Communications việc liên lạc di động General Packet Radio Dịch vụ vô tuyến gói tổng hợp GPRS Service GPIO General Purpose Các cổng vào/ra vạn Input/Output HTTP HDMI Hyper Text Transfer Giao thức truyền tải siêu văn Protocol High Definition Multimedia Giao diện đa Phương tiện độ Interface phân giải cao IP Internet Protocol Giao thức mạng LTE Long Term Evolution NMT Nordic Mobile Telephone MAC Media Access Control RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên ROM Read Only Memory Bộ nhớ đọc RTP Real time transfer protocol Giao thức truyền tải thời gian thực SDRAM TCP Synchronous dynamic Bộ nhớ truy cập ngẫu nhiên random access memory động đồng Transmission Control Giao thức điều khiển truyền Protocol TDMA Time-division multiple Đa truy cập phân chia theo mã access UDP User Datagram Protocol Giao thức liệu người dùng MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG QUÁ TRÌNH TRUYỀN ÂM THANH QUA MẠNG 1.1 Khái niệm truyền dòng 1.2 Q trình truyền dịng âm CHƯƠNG TỔNG QUAN TRUYỀN ÂM THANH TRÊN MẠNG 4G 2.1 Tìm hiểu mạng 4G 2.1.1 Lịch sử phát triển mạng 4G 2.1.2 Đặc điểm mạng 4G 2.2 Giao thức TCP/IP 10 2.2.1.Giao thức TCP/IP 10 2.2.2 Địa IP 13 2.3 Giao thức RTP 14 2.3.1 Tổng quan giao thức RTP 14 2.3.2 Khn dạng gói RTP 15 2.3.3 Phần tiêu đề cố định 15 2.3.4 Phần Header mở rộng 17 2.4 Tìm hiểu xử lí âm chuẩn âm 18 2.4.1 Xử lí âm 18 2.4.2 Một số định dạng âm 20 CHƯƠNG 26 TỔNG QUAN BOARD NHÚNG RASPBERRY PI Model B+ 26 3.1 Giới thiệu máy tính nhúng Raspberry Pi Model B+ 26 3.2 Phần cứng 27 3.2.2 RAM 27 3.2.3 Mạng 28 3.2.4 Thiết bị ngoại vi 28 3.2.5 Video 28 3.2.6 Đồng hồ thời gian thực 28 3.2.7 Cổng GPIO 29 3.3 Hệ điều hành lập trình 30 3.3.1 Hệ điều hành raspbian 31 3.3.2 Bước đầu khởi động 32 3.3.3 Một số lệnh hệ điều hành Raspbian 34 3.3.4 Lập trình GPIO Raspberry Pi 36 3.3.5 Lập trình socket 38 CHƯƠNG 41 THIẾT KẾ CHƯƠNG TRÌNH TRUYỀN ÂM THANH QUA 41 MẠNG 4G 41 4.1 Phân tích tốn 41 4.1.1 Mơ hình toán 41 4.1.2 Cài đặt tên miền cho modem 42 4.1.3 Cài đặt modem định hướng gói tin 44 4.2 Thiết kế chương trình server máy tính 48 4.2.1 Tổng quan 48 4.2.2 Lập trình tạo Socket C# 49 4.2.3 Chương trình ghi liệu từ mic 50 4.2.4 Chương trình phát âm từ file audio 55 4.2.5 Gửi liệu tới clients 57 4.3 Thiết kế chương trình client board nhúng Raspberry Pi 57 4.3.1 Tổng quan 57 4.3.2 Lập trình socket client 58 4.3.3 Lập trình đa luồng 60 4.3.4.Thư viện TinyALSA 61 4.3.5 Nhận xử lý âm 63 4.4 Kết thực tế 68 KẾT LUẬN CHUNG 69 TÀI LIỆU THAM KHẢO 70 PHỤC LỤC 71 LỜI NÓI ĐẦU Thế giới ngày với khoa học kỹ thuật phát triển mạnh mẽ sống người ngày phát triển tốt Khoa học kỹ thuật đem lại nhiều tiện ích thiết thực cho sống người Góp phần to lớn trình phát triển khoa học kỹ thuật phát triển mạnh mẽ vi xử lý Từ vi xử lý Intel 4004 sản xuất công ty Intel vào năm 1971, đến ngành công nghiệp vi xử lý phát triển vượt bậc đa dạng với nhiều loại như: 8951, PIC, AVR, ARM, Pentium, Core i7 vv… Cùng với phát triển đa dạng chủng loại tài nguyên vi xử lý nâng cao Để giúp cho người dùng sử dụng hiệu triệt để tài nguyên hệ thống nhúng đời Hệ thống nhúng (Embedded system) thuật ngữ để hệ thống có khả tự trị nhúng vào môi trường hay hệ thống mẹ Đó hệ thống tích hợp phần cứng phần mềm phục vụ toán chuyên dụng nhiều lĩnh vực công nghiệp, tự động hoá điều khiển, quan trắc truyền tin Với đời hệ thống nhúng vi xử lý ngày ứng dụng rộng rãi đời sống cơng nghiệp khả xử lý nhanh, đa dạng, tiết kiệm lượng độ ổn định hệ thống nhúng Bên cạnh phát triển mạnh mẽ hệ thống nhúng, mã nguồn mở (open source) ngày chia sẻ phát triển mạnh mẽ đóng góp cộng đồng Những mã nguồn mở kết hợp với hệ thống nhúng tạo nhiều dự án mạnh mẽ có ứng dụng cao sống Sức mạnh hệ thống nhúng tăng lên nhiều lần chúng kết nối thành mạng máy tính Ngày mạng máy tính ngày trở nên phổ biến Việc liên kết máy tính mơi trường mạng liên kết mạng lại với đem lại cho nhiều lợi ích cơng việc học tập, nghiên cứu, giải trí, vv… Xuất phát từ nhu cầu đó, em chọn đề tài "Nghiên cứu ứng dụng mã nguồn mở, board nhúng Raspberry PI cho hệ thống phát âm qua mạng 4G" với mục đích xây dựng sản phẩm sở ứng dụng board nhúng Raspberry Pi với mã nguồn mở để truyền liên qua mạng internet Nội dung đồ án bao gồm chương:  Chương : Quá trình chuyền âm qua mạng  Chương : Tổng quan truyền âm qua mạng 4G  Chương : Tổng quan board nhúng Raspberry Pi Model B+  Chương : Thiết kế chương trình truyền âm qua mạng 4G  Kết luận chung Trong suốt trình thực đề tài, nhờ hướng dẫn tận tình thầy Nguyễn Văn Xuân thầy giáo Bộ môn Tự động Kỹ thuật tính giúp chúng em hồn thành đồ án Tuy nhiên thời gian tìm hiểu nghiên cứu khơng dài kiến thức chúng em hạn chế, nên đồ án chúng em khơng tránh khỏi thiếu sót Chúng em mong thầy góp ý để đề tài chúng em hoàn thiện Cuối chúng em xin cám ơn thầy giáo Thiếu tá, Thạc sỹ Nguyễn Văn Xuân nhiệt tình hướng dẫn, giúp đỡ em hoàn thành đồ án Em xin chân thành cảm ơn! CHƯƠNG QUÁ TRÌNH TRUYỀN ÂM THANH QUA MẠNG 1.1 Khái niệm truyền dòng Khái niệm truyền dòng hiểu nội dung audio hay video truyền tới nơi nhận, nơi nhận thể q trình truyền mà khơng cần phải đợi đến toàn nội dung video truyền xong Cơ chế hoàn toàn khác với chế download file giao thức HTTP hay FTP Truyền dòng cho phép thể dịng video thời gian thực mà khơng phụ thuộc vào độ dài video Điều có ý nghĩa truyền file video có kích thước lớn hay dịng video có độ dài khơng xác định Khi đó, giao thức khác FTP hay HTTP khơng thể sử dụng Chúng ta bắt gặp nhiều trường hợp sử dụng chế truyền dịng chương trình truyền hình trực tiếp, hội thảo qua mạng Với khả truyền tải nội dung video, audio thơng qua mạng, có phương pháp giao tiếp truy nhập thông tin Với góc nhìn bao qt, truyền dịng phương pháp truyền thơng tin liên tục, nội dung audio truyền theo thời gian thể nội dung audio Bên nhận nhận dịng thơng tin nội dung audio thể nội dung audio theo thời gian Khả có ý nghĩa loại liệu phụ thuộc thời gian video, audio, để đảm bảo chất lượng cảm thụ video phải đảm bảo mối quan hệ mặt thời gian khung hình Để hình dung cách đơn giản chế truyền dòng thời gian thực, lấy ví dụ sau Giả thiết có hai máy kết nối với nhau, máy đóng vai trị máy truyền máy đóng vai trị máy nhận Bên truyền trang bị micro để thu giọng nói phát viên truyền tới máy nhận loa đặt sân golf Bên nhận có nhiệm vụ nhận 62 -card: Xác định card cho pcm Card mặc định -device: Xác định device sử dụng, device mặc định -flags: Chỉ định đặc điểm chức pcm Đặt flags = PCM_OUT để phát -config: Các thông số phần cứng phần mềm để mở PCM.Được khai báo dạng const struct pcm_config Trong có cài đặt tốc độ đọc, số kênh, định dạng pcm, Độ lớn chu kỳ hoạt động pcm *Giá trị trả dạng PCM struct * Nếu xảy lỗi cấp phát nhớ cho PCM, trả NULL * Mặt khác, client phải kiểm tra xem PCM mở cách gọi hàm kiểm tra pcm_is_ ready() pcm_writei(struct pcm *pcm, const void *data, unsigned int frame_count) Ghi audio samples vào PCM * Nếu PCM chưa khởi động, khởi động hàm * Chức hợp lệ cho PCM mở cờ PCM_OUT - pcm: PCM trả hàm pcm_open() - data: Mảng audio samples - frame_count: Số lượng frameschứa mảng samples * return: Khi hoàn thành, chức trả số lượng frames viết; không trả số âm pcm_close(struct pcm *pcm) Hàm có chức đóng PCM struct tạo hàm pcm_open() - pcm : PCM trả pcm_open() *return : luôn trả 0; 63 4.3.5 Nhận xử lý âm Chương trình lập trình cho board chia làm tiến trình chạy song song với tiến trình gồm: tiến trình gửi yêu cầu nhận liệu từ server tiến trình phát âm nhận đầu audio (loa) Để tạo tiến trình chạy song song ta dùng giải pháp lập trình đa luồng (thread) Mỗi thread xác định luồng đơn, thực thi phạm vi chương trình Khi chương trình thực thi CPU, hai luồng chạy song song với Hình 4.14: Lưu đồ thuật toán nhận liệu vào buffer 64 Hình 4.15: Buffer[] để lưu đọc liệu  Các hàm sử dụng tiến trình nhận liệu void rev() {}; Hàm rev() sử dụng hàm read () để đọc data từ server lưu vào revbuff void* nhan_du_lieu(void* unused){ }; Hàm đọc data từ revbuff lưu vào buffer[][].Kiểm tra đệm đọc tiếp hàm incpin() charincpin(){ } ; Hàm icnpin() tăng pin thêm 1,trả pin = pout hoặckhi đầy đệm Hình 4.16: Lưu đồ thuật xử lý phát âm 65  Các hàm sử dụng tiến trình phát âm Trước sử dụng phát âm thanh, Vì liệu nhận được nén lại dạng MuLaw nên ta giải nén âm Linear unsigned int MulawToLinear(unsigned int ulaw) { ulaw = ~ulaw; int t = ((ulaw & QUANT_MASK) ? (BIAS - t) : (t - BIAS)); } void MuLawToLinear(unsigned char * bytes, int bitsPerSample, int channels) { int blockAlign = channels * bitsPerSample / 8; unsigned char *result; result = outbuff; for (int i = 0, counter = 0; i < N; i++, counter += blockAlign) { unsigned int value = MulawToLinear(bytes[i]); unsigned char values0 =value % 256; unsigned char values1 =value / 256; result[counter] = values0; result[counter + 1] = values1; } } Sử dụng hàm write_frame() ghi vào đệm để phát âm static int write_frames() { unsigned int card = 0; 66 unsigned int device = 0; int flags = PCM_OUT; int j,err; const struct pcm_config config = { channels = 1, rate = 8000, format = PCM_FORMAT_S16_LE, period_size = 1024, period_count = 2, start_threshold = 1024, silence_threshold = 1024 * 2, stop_threshold = 1024 * }; struct pcm * pcm = pcm_open(card, device, flags, &config); if (pcm == NULL) { fprintf(stderr, "failed to allocate memory for PCM\n"); return -1; } else if (!pcm_is_ready(pcm)){ pcm_close(pcm); fprintf(stderr, "failed to open PCM\n"); return -1; } while(1) { if (pout != pin) { MuLawToLinear(&buffer[pout][j],16,1); pout = pout +1; if (pout>=M) pout=0; err = pcm_writei(pcm, outbuff, N); } 67 } pcm_close(pcm); return 0; } static int write_frames(){}; Hàm khởi tạo pcmbằng pcm_open() Chuyển liệu dạng MuLaw Linear hàm MuLawToLinear() Lưu kết vào đệm outbuff [] Các hàm xử lý pcm hỗ trợ thư viện TinyALSA Sau ta thực phát âm thanh: void* phat_am(void* unused) { if (write_frames() < 0) { return(NULL); } return(NULL); } 68 4.4 Kết thực tế Sau hoàn thành hệ thống, em thu kết sau: Hình 4.17: Hình ảnh bên phía server Hình 4.18: Hình ảnh bên phía client Kết luận chương Qua chương xây dựng viết phần mềm chương trình truyền âm qua mạng thử nhiệm với mơ hình thực tế 69 KẾT LUẬN CHUNG Sau thời gian thực đến đồ án chúng em hoàn thành thời gian quy định với yêu cầu đề tài đặt “Nghiên cứu mã nguồn mở, board nhúng Raspberry Pi cho hệ thống phát âm qua mạng 4G” Qua trình làm đồ án chúng em học cách tra cứu tài liệu Tìm hiểu đặc điểm board nhúng Raspberry Pi, kiến thức mạng Internet Tìm hiểu cấu trúc lập trình truyền thơng qua mạng Internet Hướng phát triển đề tài: Ngày hệ thống loa phường, loa thông báo dây dần thể bất cập việc dây phức tạp, truyền âm qua mạng 4G có lợi lớn để thay cho hệ thống cũ Trong trình thực đồ án, chúng em nhận bảo tận tình thầy, cô giáo khoa đặc biệt thầy giáo Thiếu tá, Thạc sỹ Nguyễn Văn Xuân giúp em hồn thành tốt đồ án tốt nghiệp Em xin chân thành cảm ơn! 70 TÀI LIỆU THAM KHẢO TIẾNG VIỆT: [1] Nguyễn Ngọc Bình Phương – Thái Thanh Phong, Các giải pháp lập trình C# TIẾNG ANH: [2] Michael Barr, O’Reilly andAssociates, Programming Embedded Systems in C and C++, Website tham khảo: https://github.com/tinyalsa/tinyalsa https://sites.google.com/site/embedded247/npcourse/lap-trinh-c-socket https://voer.edu.vn/m/bo-giao-thuc-rtprtcp/3d1c93bb https://tools.ietf.org/html/rfc3550 http://www.faqs.org/rfcs/rfc793.html https://www.ibm.com/support/knowledgecenter/en/SSLTBW_2.3.0/com.ibm.zos.v 2r3.bpxbd00/socket.htm 71 PHỤC LỤC Code chương trình client #include #include #include #include #include #include #include #include #include #include #include const int N = 160; // dai du lieu truyen const int M = 1000; // so khung du lieu cua bo dem unsigned char buffer[1000][400]; int pin=0, pout=0; char recvbuff[400]; char outbuff[400]; int sockfd; const int SIGN_BIT = (0x80); const int QUANT_MASK = (0xf); const int NSEGS = (8); const int SEG_SHIFT = (4); const int SEG_MASK = (0x70); const int BIAS = (0x84); const int CLIP = 8159; unsigned int MulawToLinear(unsigned int ulaw) { 72 ulaw = ~ulaw; int t = ((ulaw & QUANT_MASK) ? (BIAS - t) : (t - BIAS)); } void MuLawToLinear(unsigned char * bytes, int bitsPerSample, int channels) { int blockAlign = channels * bitsPerSample / 8; unsigned char *result; result = outbuff; for (int i = 0, counter = 0; i < N; i++, counter += blockAlign) { unsigned int value = MulawToLinear(bytes[i]); unsigned char values0 =value % 256; unsigned char values1 =value / 256; result[counter] = values0; result[counter + 1] = values1; } static int write_frames() { unsigned int card = 0; unsigned int device = 0; int flags = PCM_OUT; int j,err; const struct pcm_config config = { channels = 1, rate = 8000, 73 format = PCM_FORMAT_S16_LE, period_size = 1024, period_count = 2, start_threshold = 1024, silence_threshold = 1024 * 2, stop_threshold = 1024 * }; struct pcm * pcm = pcm_open(card, device, flags, &config); if (pcm == NULL) { fprintf(stderr, "failed to allocate memory for PCM\n"); return -1; } else if (!pcm_is_ready(pcm)){ pcm_close(pcm); fprintf(stderr, "failed to open PCM\n"); return -1; } while(1) { if (pout != pin) { MuLawToLinear(&buffer[pout][j],16,1); pout = pout +1; if (pout>=M) pout=0; err = pcm_writei(pcm, outbuff, N); } } pcm_close(pcm); return 0; } 74 void* phat_am(void* unused) { if (write_frames() < 0) { return(NULL); } return(NULL); } char incpin() { int temp =pin; temp = temp +1; if (temp>=M) temp=0; if (temp!=pout) { pin =temp; return(1); } else return(0); } void send_rev(){ int i; i=read(sockfd,recvbuff,(N+16)); } void* nhan_du_lieu(void* unused) { int i,j; while(1) { 75 if (incpin()) { rev(); for(i=0;i