为什么二代测序的原始数据中会出现Read重复现象？

要搞清楚这个read重复（duplicate）的问题，我想我们需要从NGS数据的产出过程说起，具体来说如下：

1. 基因组DNA提取；
2. DNA随机打断，最常用的是超声打断；
3. 对被打断的DNA片段进行末端修复（通常是3'加A），然后在两端加接头，选择特定长度的片段文库进行PCR扩增（通过PCR的扩增会选！择！性！地提高加上了接头的文库分子数量）；
4. 文库上机与测序芯片（Flowcell）上的引物结合，经过桥式PCR扩增，在芯片上形成测序所需的cluster；
5. 进行SBS测序，光学信号捕获，生成序列。

我们一般认为第1步DNA提取出来的是完整的基因组，打断则是完全随机的——通常来说也确实如此。

在第3步，PCR扩增时，同一个DNA片段会产生多个相同的拷贝，第4步测序的时候，这些来源于同！一！个！拷贝的DNA片段会结合到Fellowcell的不同位置上，生成完全相同的测序cluster，然后被测序出来，这些相同的序列就是duplicate。这是duplicate的第一个来源，也是主要来源，称为PCR duplicates（PCR重复）。

同样，在第4步，生成测序cluster的时候，某一个cluster中的DNA序列可能搭到旁边的另一个cluster的生成位点上，又再重新长成一个相同的cluster，这也是序列duplicate的另一个来源，这个现象在Illumina HiSeq4000之后的Flowcell中会有这类Cluster duplicates，这是第二类duplicate（如下图）。

在第5步中，某些cluster在测序的时候，捕获的荧光亮点由于光波的衍射，导致形状出现重影（如同近视散光一样），导致它可能会被当成两个荧光点来处理。这也会被读出为两条完全相同的reads，这是第三类duplicate，称之为Optical duplicates（光学重复）；

以上三种比较常见，还有第四种，称为Sister duplicates，这是比较特殊的一个情况。它是文库分子的两条互补链同时都与Flowcell上的引物结合分别形成了各自的cluster被测序，最后产生的这对reads是完全反向互补的。比对到参考基因组时，也分别在正负链的相同位置上，在有些分析中也会被认为是一种duplicates。

另外，据说 NextSeq 平台上还出现过由于荧光信号捕获相机移动位置不够，导致 tile 边缘被重复拍摄，每次采样区域的边缘由于重复采样而出现了duplicates，下图中蓝色点代表 duplicates，可以看到在tile的左右两侧明显富集。

以上，除了NextSeq的情况之外，所有这些不同类型的duplicates都各有特点。比如PCR duplicate的特点是随机分布于Flowcell表面；而cluster duplicates和optical duplicates 的特点是它们都来自Flowcell上位置相邻的cluster。Cluster的位置一般都会被记录在原始测序fastq文件@Sequence-id那一行中。

这些Read重复都会一定程度上导致一些碱基信号被错误地拉高或者减低，会对后续分析带来干扰，特别是在WGS和WES分析时都需要去除。如果测序过程没什么特殊问题或者原因，那么，测序数据的duplicate比例一般都在10%以下。

另外，PCR duplicates可以通过PCR-free来避免。并且PCR本身还会带来一些其他的问题，比如扩增过程自带了一定的偏向性，这会损失一定的测序随机性，使得某些序列信息被扩大或者减小。所以，只要DNA起始量足够，那么我们就应该尽量采用PCR Free的方式来建库。