Lắp ráp và dự đoán hệ gen

5/7/2015 Khóa học: Tin Sinh Học: Lắp ráp, Dự đoán, Chú giải Phân tích Hệ gen Giảng viên: TS Nguyễn Cường TS Dương Quốc Chính Trợ giảng: Nguyễn Văn Lâm Phạm Quang Huy Nguyễn Quốc Đại Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Lắp ráp dự đoán hệ gen 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Nội dung • Quy trình thực • Định dạng liệu (FASTA; FASTQ) • Đánh giá tinh liệu • Lắp ráp de novo • Kiểm tra chất lượng lắp ráp • Dự đoán gen Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Quy trình thực Dữ liệu thô (fastq) Đánh giá chất lượng giải trình tự (FastQC) Tinh liệu (Trimmomatic) Dữ liệu tinh (fastq) Lắp ráp de novo (velvet) Các tập contigs/scaffolds (fasta) Đánh giá chất lượng lắp ráp (bowtie2; samtools; qualimap) Tập contigs/scaffolds tốt (fasta) Dự đoán gen (Maker) Tập gen dự đoán (fasta) 5/7/2015 Định dạng liệu Fasta Fastq Fasta Dòng 1: Tên trình tự (contigs/scaffold) Dòng 2: Trình tự Fastq Dòng 1: Tên đoạn trình tự bắt đầu “@” Dòng 2: Trình tự Dòng 3: Phân cách trình tự chất lượng “+” Dòng 4: Điêm chất lượng (theo bảng mã ASCII) Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Đánh giá chất lượng giải trình tự Tiêu chí • Tổng số đoạn trình tự • Chất lượng theo vị trí base (từng trình tự) • Chất lượng trung bình theo đoạn trình tự • Độ dài đoạn trình tự • Tỷ lệ GC • Số lượng đoạn lặp lại… Công cụ • FastQC: Cho phép người dùng đánh giá liệu theo nhiều tiêu chí khác 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Đánh giá chất lượng giải trình tự Công cụ: FastQC Thực mkdir BIC15 cd BIC15 mkdir 1.Raw-data cd 1.Raw-data copy file raw-read_1.fastq raw-read_2.fastq thư mục /data/BIC15/raw-data thư mục 1.Raw-data vừa tạo cp /data/BIC15/raw-data/raw_read_1.fastq / cp /data/BIC15/raw-data/raw_read_2.fastq / Chạy fastqc fastqc raw_read_1.fastq raw_read_2.fastq Trong đó: fastqc: tên phần mềm raw_reads_1.fasq; raw_reads_2.fastq: tập liệu đầu vào Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Kết đánh giá chất lượng giải trình tự • Output FastQC • raw_read_1_fastqc.html; read_1_fastqc.zip • raw_read_2_fastqc.html; read_2_fastqc.zip • Tải hai file: *.html mở trình duyệt Basic statistics (Tổng quan liệu) Per base sequence quality (Chất lượng theo vị trí base) Per tile sequence quality (Chất lượng theo flowcell tile) Per sequence quality scores (Chất lượng theo đoạn trình tự) Per base sequence content (Tỷ lệ A,T,G,C liệu) Per sequence GC content (Tỷ lệ GC liệu) Per base N content (Số lượng trình tự N liệu) Sequence Length Distribution (Phân bố độ dài đoạn trình tự) Sequence Duplication Levels (Mức độ lặp lại) 10 Overrepresented sequences (Các đoạn trình tự lặp lại) 11 Adapter Content (Các apdapter sót lại liệu) 12 Kmer Content (Các Kmer có liệu) 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org Basic Statistics Đưa tổng quan liệu • Tên tập liệu • Định dạng liệu • Máy giải trình tự • Số lượng đoạn trình tự • Số trình tự có chất lượng thấp • Độ dài đoạn trình tự • Tỷ lệ % GC Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 10 Per base sequence quality Mean, median, max, min… Chú ý: Điểm chất lượng (QC) trình tự thể xác suất trình tự bị sai Ví du: QC = 10 nghĩa có base sai 10 base (10%) QC = 20 nghĩa có base sai 100 base (1%) QC = 30 nghĩa có base sai 1000 base (0.1%) QC = 40 nghĩa có base sai 10.000 base (0.01%) 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 11 Per sequence quality scores • Đánh giá điểm chất lượng (QC) trung bình đoạn trình tự • Hình bên cho thấy chủ yếu đoạn trình tự có QC trung bình 37; • Tuy nhiên có đoạn trình tự với QC trung bình thấp (QC=16) (cần phải loại bỏ) Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 12 Per base sequence content • Cho biết tỷ lệ % loại trình tự A, T, G, C có liệu • Tỷ lệ %G ~%C %A ~ %T 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 13 Per sequence GC content • Thông kê tỷ lệ % GC đoạn trình tự • Được so sánh với đường %GC lý thuyết • Nếu liệu có tỷ lệ % GC theo đoạn trình tự gần với đường lý thuyết tốt Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 14 Per base N content • Tính toán số lượng trình tự “N” liệu • Số lượng “N” nhiều phản ánh chất lượng giải trình tự không tốt 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 15 Sequence Length Distribution • Biểu đồ thống kê phân bố độ dài đoạn trình tự liệu • Từ hình bên cho thấy, hầu hết đoạn trình tự có kích thước 101bp • Tuy nhiên có số đoạn trình tự có kích thước ngắn cần phải loại bỏ Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 16 Sequence Duplication Levels • Đánh giá mức độ lặp lại đoạn trình tự • Đường đỏ: Mức độ lặp lại 100.000 trình tự • Đường xanh: mức độ lặp lại toàn đoạn trình tự 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 17 Tóm lược kết đánh giá liệu Tổng quan raw-read_1.fastq raw-read_2.fastq Dung lượng (Gigabyte) 1,1 1,1 Số lượng đoạn trình tự 5.071.078 5.071.078 10 - 101 10 - 101 Chất lượng theo trình tự 17 - 40 17 - 40 Chất lượng theo đoạn trình tự 17 - 39 17 - 39 44 44 Kích thước (bp) Tỷ lệ GC (%) Cần phải tinh liệu: loại bỏ số trình tự đoạn trình tự có chất lượng thấp kích thước ngắn Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 18 Tinh liệu Tiêu chí • Độ dài đoạn trình tự • Chất lượng trình tự • Tỷ lệ N (trình tự rõ) đoạn trình tự Công cụ • Trimmomatics: Phần mềm phát triển dành riêng cho xử lý liệu Illumina 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 19 Tinh liệu • Công cụ: Trimmomatics • Thực Chuyển thư mục BIC15 mkdir 2.Preprocessing cd 2.Preprocessing java -jar /home/juhuvn/tools/Trimmomatic/trimmomatic-0.33.jar PE phred33 /1.Raw-data/raw_read_1.fastq /1.Rawdata/raw_read_2.fastq clean_read_1.fastq unpaired_1.fastq clean_read_2.fastq unpaired_2.fastq SLIDINGWINDOW:10:30 MINLEN:70 Trong đó: java –jar: Gọi môi trường java PE: lựa chọn khai báo liệu pair-end -phred 33: điểm chất lượng trình tự theo bảng mã ASCII /1.Raw-data/: đường dẫn đến thư mục chứa liệu reads_1.fastq; reads_2.fastq: liệu cần tinh clean_read*.fastq unpaired*.fastq: tập liệu sau tinh SLIDINGWINDOW:10:30: loại bỏ slide (4tt) có chất lượng TB < 30 MINLEN:70 loại bỏ tất đoạn trình tự < 70bp Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 20 Kết tinh liệu Output: tập liệu tạo Trong clean_read_1.fastq; clean_read_2.fastq Là hai tập liệu chất lượng tốt unpaired_1.fastq; unpaired_2.fastq Là hai tập fastq loại không tìm thấy paired-end Để đánh giá chất lượng liệu sau tinh sach (FastQC) Thực fastqc clean_read_1.fastq clean_read_2.fastq 10 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 73 Quan sát kết dự đoán gen • Có nhiều phần mềm, công cụ giúp người dùng quan sát kết dự đoán gen • GBrowser2 • Jbrowse • Argo Genome Browser • IGV (Integrative Genomics Viewer) • Apollo • … Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 74 Quan sát kết dự đoán gen IGV • Phần mềm: IGV (Integrative Genomics Viewer) • Dựa tảng java • Dễ dàng quan sát thuộc tính hệ gen • Khởi động IGV cách mở file igv.bat (trên hệ điều hành window) • Gồm bước Tạo file *.genome từ tập contigs lắp ráp Import file dự đoán gen (định dạng file *.gff) 37 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 75 Quan sát kết dự đoán gen IGV • Bước 1: tạo file *.genome từ tập contigs lắp ráp Điền tên mô tả mô tập contigs Tìm đến thưc mục chứa tập contigs Nhấn Ok chọn thư mục lưu file *.genome tạo thành Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 76 Quan sát kết dự đoán gen IGV • Bước 2: Mở file dự đoán định dạng gff3 (tương ứng với tập contigs bước 1) Chọn file gff3 tương ứng Chọn “Open” quan sát kết 38 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 77 Quan sát kết dự đoán gen IGV Chọn contigs muốn quan sát Phóng to; thu nhỏ vùng quan sát Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 78 Quan sát kết dự đoán gen Apollo • Phần mềm sử dụng Apollo • Chay tảng java • Người dùng có nhìn tổng quan kết dự đoán gen • Có thể quan sát nhiều định dạng file khác (xml, gff, genbank…) • Khỏi động Apollo cách mở file apollo.bat thư mục cài đặt Apollo (trên hệ điều hình window) 39 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 79 Quan sát kết dự đoán gen Apollo Lựa chọn định dạng file GFF3 Tìm đến thư mực chưa file gff3 Tìm đến thư mục chưa file *.fasta tương ứng Bỏ tích file gff3 chưa có trình tự fasta Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 80 Quan sát kết dự đoán gen Apollo Forward Reverse Thanh công cụ room 40 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 81 Phương pháp dự đoán gen • Evidence based • Phần mềm: BLAST; Exonerate; Tophat + Cufflinks … • Ab-initio • Phần mềm: Augustus; SNAP; Genscan; Fgenesh… Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 82 Dự đoán gen: Evidence based • Dựa vào chứng biết loài đó, loài gần giống với loài để dự đoán gen • mRNA • Protein • EST • Transcripts Protein EST mRNA Genome assembly 41 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 83 Dự đoán gen: ab - initio • Ab-initio phương pháp dự đoán gen dựa vào hệ gen loài • Vùng trình tự giàu CpG (CpG islands) • Tìm kiếm Poly A Poly A Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 84 Quy trình chung Dữ liệu thô (fastq) Đánh giá chất lượng giải trình tự (FastQC) Tinh liệu (Trimmomatic) Dữ liệu tinh (fastq) Lắp ráp de novo (velvet) Các tập contigs/scaffolds (fasta) Đánh giá chất lượng lắp ráp (bowtie2; samtools; qualimap) Tập contigs/scaffolds tốt (fasta) Dự đoán gen (Maker) Tập gen dự đoán (fasta) 42 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 85 Quy trình dự đoán gen Evidence Ab-initio Augustus Blast EST Protein mRNA Nerospora_crassa Exonerate Tập contigs/scaffolds (fasta) EST match Protein match Quy trình chạy tự động phần mềm MAKER mRNA match Hợp kết hai phương pháp Tập gen dự đoán (Augustus) Tập gen dự đoán cuối Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 86 Dữ liệu sử dụng dự đoán gen Dung lượng (megabase) Số contig/ trình tự Tên tập liệu Loại genome.fasta Genome 0,6 EST-evidence.fa Evidence 1,5 6.130 Protein-evidence.fa Evidence 4.3 6.746 mRNA-evidence.fa Evidence 7.5 5.575 Neurospora_crassa Ab-initio Được training sẵn dataset Augustus Chú ý: Do thời gian có hạn nên lấy contigs dài tập contigs_k59.fa để demo bước dự đoán gen (genome.fasta) Tên contigs đổi thành BIC15_CTG_1 … BIC15_CTG_5 43 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 87 Dự đoán gen sử dụng maker Gồm bước: Tạo file control điền đầy đủ thông tin cho Maker Chạy maker Chuẩn bị liệu Chuyển thư mưc BIC15 mkdir 5.Gene-prediction cd 5.Gene-prediction Copy thư mục genome-assembly evidence từ thư mục /data/BIC15/prediction-data/ thư mục 5.Gene-prediction vừa tạo cp -r /data/BIC15/prediction-data/genome-assembly / cp -r /data/BIC15/prediction-data/evidence / Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 88 Bước 1: Tạo file control điền đầy đủ thông tin cho maker Thực maker –CTL Kết quả: Maker tạo file control • maker_bopts.ctl • maker_exe.ctl • maker_opts.ctl 44 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 89 Bước 1: Tạo file control điền đầy đủ thông tin cho maker maker_bopts.ctl: Chứa thông tin parameter Blast Exonerate Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 90 Bước 1: Tạo file control điền đầy đủ thông tin cho maker maker_exe.ctl: Chứa đường dẫn phần mềm sử dụng trình dự đoán gen 45 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 91 Bước 1: Tạo file control điền đầy đủ thông tin cho maker maker_opts.ctl: Chứa tất thông tin cho Maker Vị trí file genome cần dự đoán Vị trí evidence sử dụng: EST mRNA Vị trí evidence protein Thông tin cho dự đoán ab-initio Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 92 Bước 2: Chạy maker sau đủ thông tin Thực maker Phần mềm tự động thực bước sau: • Tìm kiếm đoạn lặp hệ gen • Dự đoán gen ab-initio • Alignment evidence (Protein; EST; mRNA) • Đánh giá lại kết alignment • Lựa chọn mô hình gen cuối 46 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 93 Kết dự đoán gen maker • Kết lưu thư mục (genome.maker.output) • Trong thưc mục có Thư mực chứa tất kết maker File log chứa trạng dự đoán gen contigs File log file control tương ứng Chứa blast database Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 94 Kết dự đoán gen maker • Thư mục: genome_datastore • Chứa tất kết dự đoán contigs • Mỗi thư mục kết dự đoán contigs • Log • Gff3 • Trình tự transcript dự đoán • Trình tự protein dự đoán • Mỗi trình tự transcript/protein tương ứng với gen dự đoán • maker cung cấp công cụ cho phép lấy kết dự đoán gen toàn contigs (slide sau) 47 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 95 Kết dự đoán gen maker AED:0.03 eAED:0.03 QI:0|0|0|1|1|1|2|0|227 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 96 Kết dự đoán gen maker AED:0.03 eAED:0.03 QI:0|0|0|1|1|1|2|0|227 • AED: Annotation Edit Distance: Mức độ xác gen dự đoán có giá trị từ -1 AED=0 tốt nhât Thường sử dụng gen có số AED ≥ 0.5 • eAED: Tương tự AED tính cho đoạn exon (mRNA seq) • QI:0|0|0|1|1|1|2|0|227: Là số gen Kích thước 5’ UTR Số đoạn EST aligned Số đoạn exon overlap với EST Số đoạn exons overlap EST Protein Số đoạn dự đoán Augustus Số đoạn exon overlap với dự đoán Augustus Số lượng exon có mRNA Kích thước 3’ UTR Độ dài protein tạo từ mRNA 48 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 97 Kết dự đoán gen maker Evidence based Ab-initio Final gene model Genome assembly Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 98 Tổng hợp kết dự đoán gen maker • Tổng hợp GFF3 file: Chuyển vào thư mục genome.maker.output gff3_merge –n –g –d genome_master_datastore_index.log Trong đó: -n: lựa chọn không chứa trình tự file gff3 -g: lựa chọn chứa mô hình gen cuối -d: lựa chọn đến vị trí file genome_master_datastore_index.log Kết quả: Thu file: genome.all.gff Chứa tất thông tin mô hình gen dự đoán 49 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 99 Tổng hợp kết dự đoán gen maker Tổng hợp trình tự (transcript protein) gen dự đoán fasta_merge –d genome_master_datastore_index.log -d: lựa chọn đến vị trí file genome_master_datastore_index.log • Kết quả: Thu file: genome.all.maker.proteins.fasta (chứa trình tự protein gen dự đoán) genome.all.maker.transcripts.fasta (Chứa trình tự DNA vùng CDS tương ứng với gen dự đoán) Chú ý: Để thuận tiện giải chức gen chuyển tên: genome.all.maker.proteins.fasta  protein.fasta genome.all.maker.transcripts.fasta  transcript.fasta Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 100 Một số scripts maker • Để thuận tiện cho trình phân tích; quan sát kết dự đoán gen, MAKER có cung cấp số scripts •cegma2zff •chado2gff3 •cufflinks2gff3 •gff3_2_gtf •gff3_preds2models •gff3_to_eval_gtf •maker2chado •maker2jbrowse •maker2zff •tophat2gff3 •compare •evaluator •gff3_merge •fasta_merge •fasta_tool •fix_fasta •genemark_gtf2gff3 •ipr_update_gff •iprscan2gff3iprscan_batch •iprscan_wrap •maker_functional •maker_functional_fasta •maker_functional_gff •maker_map_ids •map2assembly •map_data_ids •map_fasta_ids •map_gff_ids •split_fasta 50 5/7/2015 Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 101 Tóm lược kết dự đoán gen maker • Kết dự đoán gen thu • Số lượng gen/transcript/protein thu được: 128 • Transcript dài nhất: 14.109 • Transcript ngắn nhất: 237 • AED từ 0,0 đến 0,49 • Những gen giải chức nội dung Tin sinh học: Lắp ráp, dự đoán, giải phân tích hệ gen | Phòng Tin sinh học | www.tinsinhhoc.org 102 Tóm lược chung • Đánh giá chất lượng giải trình tự: slide - 17 • Tinh liệu: silde 18 - 24 • Lắp ráp de novo: slide 25 - 50 • Đánh giá chất lượng lắp ráp: slide 51 - 68 • Dự đoán gen slide 69 - 101 51