Bây giờ ta cần phải phân phối đặc tính lọc tổng cộng của kênh truyền cho các bộ lọc phát và thu. Để đơn giản, ta xét cho trường hợp truyền tín hiệu PAM rồi mở rộng kết quả cho tín hiệu QAM một cách trực tiếp.
Để đạt được một xác suất lỗi nhỏ nhất trong trường hợp có tạp âm nhiễu cộng trắng chuẩn AWGN, với bộ lọc thu phải là bộ lọc phối hợp có phản ứng xung r(t)=s(T-t) và hàm truyền có dạng:
( ) j T ( )
Trong đó S(ω) chính là phổ của tín hiệu đầu vào bộ lọc thu và là phổ của tín hiệu ra mạch lọc phát:
( ) ( )
S ω =T ω (3.39)
Và S∗( )ω là liên hợp phức của S(ω) .
Hàm truyền tổng cộng của hệ thống tính từ đầu ra của bộ tạo xung:
( ) ( ) ( ).
C ω =T ω R ω (3.40) Thay (3.38) và (3.39) vào (3.40) ta được
( ) 2 j T
C ω = S e ω (3.41)
Từ biểu thức (3.41) và biểu thức (3.39) ta thấy phản ứng pha tần của C(ω) phải tuyến tính và vừa để thu lọc phối hợp vừa không gây ra ISI ta phải có:
( ) ( )
S ω = C ω (3.42)
C(ω) là hàm truyền thỏa mãn tiêu chuẩn Nyquist thứ nhất.
Xét với hệ thống M-QAM bộ điều chế QAM sẽ cho ra các tín hiệu NRZ với biên độ thay đổi, do vậy để có được tín hiệu dạng xung Dirac ở lối vào bộ lọc phát cần phải thêm vào giữa bộ điều chế và bộ lọc phát một mạch sửa dạng xung có đặc tính x sinx. Phần kênh còn lại gồm bộ lọc phát T(ω) và bộ lọc thu R(ω), mà hàm truyền tổng cộng của chúng là T(ω).R(ω) phải thỏa mãn tiêu chuẩn Nyquist thứ nhất để truyền không có ISI, thường là hàm truyền của bộ lọc cosine nâng vì:
Vì R( )ω = S( )ω = C( )ω ta thấy rằng phân bổ tối ưu đặc tính lọc sẽ là.
( ) ( ) ( )
R ω = T ω = C ω (3.43) Tức là cả bộ lọc phát và bộ lọc thu đều có mô-đun hàm truyền như nhau, thường được gọi là mô-đun hàm truyền của bộ lọc căn bậc hai cosine nâng (square-root raised cosine filter). [2]