二代测序数据 (hiseq X)

二代测序

  1. 经过各种酶的反应处理后,将测序片段经过PCR扩增进行复制,复制到足够多的数量,然后对单链进行测序
  2. 测序
    1. single read 单端测序,对要读取的序列单向测序
    2. paired-end 双端测序(主流)对一序列分别进行双向测序,两个方向的测序数据是反向互补的
  3. 双端测序是一段序列两个方向的分别测序,Read 1 和 Read 2 分别保存在不同的 fastq 文件中,而且每一对 Read 1 和 Read 2 都具有相同的 ID,双端测序中每一个单独的 Read 其长度都超过整个待测序列的一半,所以可以根据两个 Reads 重合的部分进行拼接

常用的双端测序拼接软件有 ABYSS 和 h

fastq.gz文件查看

zcat是一个命令行实用程序,用于查看压缩文件的内容,而无需对其进行解压缩。 它将压缩文件扩展为标准输出,使您可以查看其内容。 另外,zcat与运行gunzip -c命令完全相同。

  • -S:指定gzip格式的压缩包的后缀。当后缀不是标准压缩包后缀时使用此选项;
  • -c:将文件内容写到标注输出;
  • -d:执行解压缩操作;
  • -l:显示压缩包中文件的列表;
  • -L:显示软件许可信息;
  • -q:禁用警告信息;
  • -r:在目录上执行递归操作;
  • -t:测试压缩文件的完整性;
  • -V:显示指令的版本信息;
  • -l:更快的压缩速度;
  • -9:更高的压缩比。

fastq 文件格式

FASTQ格式文件中每个read由四行描述,如下:

  1. 其中第一行以“@”开头,随后为Illumina 测序标识符(Sequence Identifiers)和描述文字(选择性部分);格式如下
    @instrument:run number:flowcell ID:lane:tile:x-pos:y-pos read:is filtered:control number:sample number
    其中 read : 1 表示单端测序,2表示双端测序 (Read number. 1 can be single read or Read 2 of paired-end)
  2. 第二行是碱基序列;
  3. 第三行以“+”开头,随后为Illumina 测序标识符(选择性部分);
  4. 第四行是对应序列的测序质量。 使用 Q +33 编码,使用ASCII编码表示 , Q = -10log10(e),e是预估的碱基错误检出率,Q值高表示错误率低
    例如!的ACSCII为33,Q=33-33=0,e=1,表示错误率为1

三代测序数据 (pacbio)

BAM format specification for PacBio

bam/sam

  1. bam和sam其实是同一种文件,bam是sam的二进制表示,便于存储和运算

  2. 注释信息以@开头
    @HD,说明符合标准的版本、对比序列的排列顺序;
    @SQ,参考序列说明;
    @RG,比对上的序列(read)说明;
    @PG,使用的程序说明;
    @CO,任意的说明信息。

  3. 除注释外每行是一个Read,每行由11个必须字段和1个可选的字段组成,字段可以定义为‘0’或者‘*’

    1. QNAME 比对片段的(template)的编号;read name,read的名字通常包括测序平台等信息 eg.{movieName}/{holeNumber}/{qStart}_{qEnd} [qStart, qEnd)是ZMW read中的间隔
    2. FLAG 位标识,template mapping情况的数字表示,每一个数字代表一种比对情况,这里的值是符合情况的数字相加总和;flag取值见备注 eg.16
    3. RNAME 参考序列的编号,如果注释中对SQ-SN进行了定义,这里必须和其保持一致,另外对于没有mapping上的序列,这里是’*’;eg.chr1
    4. POS 比对上的位置,注意是从1开始计数,没有比对上,此处为0; eg.36576599
    5. MAPQ mappint的质量,,比对的质量分数,越高说明该read比对到参考基因组上的位置越唯一; eg.42
    6. CIGAR 简要比对信息表达式(Compact Idiosyncratic Gapped Alignment Report),其以参考序列为基础,使用数字加字母表示比对结果,match/mismatch、insertion、deletion 对应字母 M、I、D。比如3S6M1P1I4M,前三个碱基被剪切去除了,然后6个比对上了,然后打开了一个缺口,有一个碱基插入,最后是4个比对上了,是按照顺序的;eg.36M 表示36个碱基在比对时完全匹配
      在pacbio中M是被禁用的,用含义更清楚的"X"(BAM_CDIFF) 和"=" (BAM_CEQUAL)代替

    注:第七列到第九列是mate(备注1)的信息,若是单末端测序这几列均无意义

    1. RNEXT 下一个片段(即mate)比对上的参考序列的编号,没有另外的片段,这里是’*’,同一个片段,用’=’;eg.*
    2. PNEXT 下一个片段(即mate)比对到参考序列上的第一个碱基位置,若无mate,则为0;eg.0
    3. TLEN Template的长度,最左边得为正,最右边的为负,中间的不用定义正负,不分区段(single-segment)的比对上,或者不可用时,此处为0(ISIZE,Inferred fragment size.详见Illumina中paired end sequencing 和 mate pair sequencing,是负数,推测应该是两条read之间的间隔(待查证),若无mate则为0); eg.0
    4. SEQ 序列片段的序列信息,如果不存储此类信息,此处为’*’,注意CIGAR中M/I/S/=/X对应数字的和要等于序列长度;eg.CGTTTCTGTGGGTGATGGGCCTGAGGGGCGTTCTCN
    5. QUAL 序列的质量信息,read质量的ASCII编码。,格式同FASTQ一样。eg.PY[[YY_______________QQQQbILKIGEFGKB
    6. 第十二列之后:Optional fields,以tab建分割。eg.AS:i:-1 XN:i:0 XM:i:1 XO:i:0 XG:i:0 NM:i:1 MD:Z:35T0 YT:Z:UU
  4. 可选字段(optional fields),格式如:TAG:TYPE:VALUE,其中TAG有两个大写字母组成,每个TAG代表一类信息,每一行一个TAG只能出现一次,TYPE表示TAG对应值的类型,可以是字符串、整数、字节、数组等。

    • qs i 在 ZWM read 中开始的位置
    • qe i 在 ZWM read 中结束的位置
    • zm i ZMW hole number
    • np i NumPasses (1 for subreads, variable for CCS—encodes number of complete passes of the insert)
    • rq f [0,1]的浮点数,表示编码的期望准确率
    • sn B,f 4个浮点数,分别表示A、C、G、T的平均信噪比
    • ip B,C or B,S IPD (raw frames or codec V1) 脉冲间隔
    • pw B,C or B,S PulseWidth (raw frames or codec V1) 脉冲宽度

组装结果

fasta文件,组装序列

  1. 描述行(定义行)或标题行以“>”开始,紧随着序列的名称和/或唯一标识符
  2. 之后是一行或多行构成的序列数据,其中每行的长度应短于80字符。

gff文件 注释基因组

gff是纯文本文件,由tab键隔开的9列组成

  1. Column 1: seqid 序列的编号
  2. Column 2: source 注释信息的来源,比如"Genescan"、“Genbank"等,可以为空,为空用”."点号代替
  3. Column 3: type 注释信息的类型,比如Gene、cDNA、mRNA等,或者是SO对应的编号
  4. Columns 4 & 5: start and end 开始与结束的位置,注意计数是从1开始的。结束位置不能大于序列的长度
  5. Column 6: score 得分,数字,是注释信息可能性的说明,可以是序列相似性比对时的E-values值或者基因预测是的P-values值。"."表示为空。
  6. Column 7: strand 序列的方向, +表示正义链, -反义链 , ? 表示未知.
  7. Column 8: phase 仅对注释类型为 "CDS"有效,表示起始编码的位置,有效值为0、1、2。
  8. Column 9: attributes 属性。一个包含众多属性的列表,格式为“标签=值”(tag=value),不同属性之间以分号相隔,这一列最后没有分号。
    • ID 注释信息的编号,在一个GFF文件中必须唯一;
    • Name 注释信息的名称,可以重复;
    • Alias 别名
    • Parent 它表明了当前的特征是Parent特征的子集。用于将exons聚集成transcript,将transripts聚集成gene。
    • Gap

几种类型

DNA:不多说;
genome:一个物种的全部遗传物质,真核生物包括核基因和质基因;
gene:按最新的分子生物学解释,包括表达这个基因产物的全部DNA序列,包括ORF序列,内含子外显子,启动子,3'UTR,5'UTR,以及调控区;
ORF:在mRNA上从起始密码子到终止密码子之间的一段序列,该段序列可能编码蛋白质,也可能不编码;
CDS:能翻译成氨基酸序列的DNA序列,从起始密码子到终止密码子,也就是说CDS与所翻译的氨基酸序列存在严格的3对1的关系;
mRNA:基因转录后加工成熟用于翻译蛋白质的序列,包括ORF(此时ORF与CDS相同)序列,3'UTR,5'UTR,5'帽子及3'Poly (A)尾;
hnRNA:核不均一RNA,是指转录获得的最原始序列,没有经过任何加工,序列包含从转录起始位点到转录终止位点的全部序列;
cDNA:通过mRNA反转录所得,与mRNA序列互补的单链DNA或者与mRNA对应的DNA双链;
EST:表达序列标签,是指从一个随机选择的cDNA 克隆,进行5’端和3’端单一次测序挑选出来获得的短的cDNA 部分序列,代表一个完整基因的一小部分,在数据库中其长度一般从20 到7000bp 不等,平均长度为360 ±120bp。由于cDNA文库的复杂性和测序的随机性,有时多个EST代表同一基因或基因组,将其归类形成EST簇(EST cluster);
几者关系:
1、DNA就是表示一段脱氧核糖核酸序列;
2、包含关系:gene ∈ genome;EST ∈ cDNA;CDS ∈ ORF;mRNA ∈ hnRNA
说明:基因组上包含若干基因,不多说;一段mRNA上可能包含很多个ORF(只要是以起始密码子开始,终止密码子结束),但是只有能翻译成蛋白质的ORF才能称之为CDS;EST序列是在随机测序过程中获得的cDNA序列的一部分;hnRNA需要经过加工,生成成熟的功能RNA,一条hnRNA可能加工成多条mRNA,也有可能不加工成mRNA而是其他功能RNA,如rRNA,tRNA,核酶等;
3、映射关系:mRNA & cDNA
mRNA与cDNA单链互补,且A与U互补