hi-c 文献导读-3 Hi-C analysis

normalization[英][u02ccnu0254:mu0259lau026a"zeu026au0283n][美][u02ccnu0254:mu0259lau026a"zeu026au0283n]n.正常化; 标准化; 正态化; 复数：normalizations例句:1.It has become clear that liquidity normalization is not a substitute for interestrate normalization. 日渐清晰的是，流动性正常化和利率正常化是两回事。2.While in the process of realizing normalization of relations between chinaand japan, some japanese played a vital role. 在中日关系实现正常化的过程中，一些日本人士起到了至关重要的作用。

特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为算法和模型的输入。从本质上来说，特征工程是一个数据表示和展现的过程。在实际的工作中，特征工程旨在剔除原始数据中的冗余和杂质，进而提炼出更具表征力的特征。 特征标准化（Normalization）是为了消除特征之间的量纲影响，使得不同的指标之间具有可比性。最典型的标准化就是特征的归一化处理，即将特征统一映射到[0,1]区间上。下面介绍几种常见的标准化方法： 线性函数归一化是对原始特征进行线性变换，并将结果映射到[0,1]的范围上，从而实现对原始特征的等比例缩放。公式如下： 其中 X 为特征原始值， X min 和 X max 分别为特征的最大值和最小值。该方法有一个不足，就是当有新数据引入时， X min 和 X max 可能会变化，此时所有特征值需要重新定义。 零均值标准化是一种基于原始特征的均值（mean）和标准差（standard deviation）进行标准化的方法，它会将特征映射到均值为0，偏差为1的分布上。具体来说，假设特征的均值为 ，标准差为 ，那么归一化的公式定义为： 在使用梯度下降的方法求解最优化问题时，标准化/归一化可以加快梯度下降的求解速度，提升模型的收敛速度。

通常在单细胞RNA测序数据中观察到文库之间测序覆盖率的系统差异。它们通常是由细胞间的cDNA捕获或PCR扩增效率方面的技术差异引起的，这归因于用最少的起始材料难以实现一致的文库制备。标准化旨在消除这些差异，以使它们不干扰细胞之间表达谱的比较。这样可以确保在细胞群体中观察到的任何异质性或差异表达都是由生物学而不是技术偏倚引起的。 在这一点上，规范化和批次校正之间的区别需要注意。归一化的发生与批次结构无关，并且仅考虑技术偏差，而批次矫正仅在批次之间发生，并且必须同时考虑技术偏差和生物学差异。技术偏倚倾向于以相似的方式或至少以与它们的生物物理特性（例如长度，GC含量）有关的方式影响基因，而批次之间的生物学差异可能是高度不可预测的。这样，这两个任务涉及不同的假设，并且通常涉及不同的计算方法（尽管某些软件包旨在一次执行两个步骤，例如zinbwave）。因此，避免混淆“标准化”和“批次校正”的数据非常重要，因为这些数据通常表示不同的事物。 我们将主要关注缩放标准化，这是最简单和最常用的标准化策略。这涉及将每个细胞的所有计数除以特定于细胞的比例因子，通常称为“大小因子”。这里的假设是，任何细胞特异性偏倚（例如，捕获或扩增效率）均会通过缩放该细胞的预期平均数来同等地影响所有基因。每个细胞的大小因子表示该细胞中相对偏差的估计，因此，将其计数除以其大小因子应消除该偏差。然后可以将所得的“归一化数据”用于下游分析，例如聚类和降维。为了演示，我们将使用来自scRNAseq软件包的数据集。 文库大小归一化是执行缩放归一化的最简单策略。 我们将文库的大小定义为每个细胞中所有基因的计数总和，假定其预期值随任何细胞特异性偏倚而缩放。 然后，在定义比例常数的情况下，每个细胞的“库大小因子”直接与其库大小成正比，从而使所有细胞的平均大小因子等于1。此定义可确保归一化的表达值与原始计数处于相同规模 ——这对解释很有用——尤其是在处理转换后的数据时。 在Zeisel脑数据中，文库大小因子在细胞之间的差异最大10倍。 这是scRNA-seq数据覆盖范围变异的典型表现。 严格来说，文库大小因子的使用是假设任何一对细胞之间的差异表达（DE）基因中都没有“不平衡”。也就是说，基因的一个子集的任何上调都可以通过不同基因子集中的相同下调幅度来抵消。这样可以通过避免合成效应来确保文库大小是相对于细胞特异性相对偏倚的无偏估计。但是，平衡的DE通常在scRNA-seq应用中不存在，这意味着文库大小归一化可能无法为下游分析产生准确的归一化表达值。 在实践中，标准化的准确性不是探索性scRNA-seq数据分析的主要考虑因素。成分偏差通常不会影响细胞群的分离，而只会影响细胞群或细胞类型之间的对数倍数变化的幅度——向着程度较小的方向。因此，库大小归一化通常在许多应用中都是足够的，这些应用的目的是识别细胞群和定义每个细胞群的top标记。 如前所述，当样本之间存在任何不平衡的差异表达时，就会出现成分偏差。以两个细胞举例，其中单个基因X与细胞B相比在细胞A中被上调。这种上调意味着（i）更多的测序资源用于A中的X，从而当每个细胞的总文库大小通过实验确定时（例如，由于文库量化）；其他的非差异基因的覆盖率降低，或（ii）当为X分配更多的读数或UMI时，A的文库大小增加，从而增加了文库大小因子，并为所有非DE基因产生了较小的归一化表达值。在这两种情况下，最终结果是，与B相比，A中的非DE基因将被错误地下调。 对于大量RNA测序数据分析，消除成分偏差是一个经过充分研究的问题。可以使用 DESeq2 包中的 estimateSizeFactorsFromMatrix（） 函数或 edgeR 包中的 calcNormFactors（） 函数来执行规范化。这些假设大多数基因不是细胞之间的DE。假设两个细胞之间多数非DE基因之间的计数大小的任何系统性差异都代表了偏差，该偏差用于计算适当的大小因子以将其去除。 然而，由于存在大量的低计数和零计数，单细胞数据应用这些bulk归一化方法可能会有问题。为了克服这个问题，我们汇总了许多细胞的计数以进行准确的大小因子估算。然后，将基于库的大小因子“分解”为基于细胞的大小因子，以标准化每个细胞的表达谱。如下所示，这是使用来自scran的 computeSumFactors（） 函数执行的。 我们使用带有 quickCluster（） 的预聚类步骤，其中每个聚类中的细胞分别进行归一化，并且将大小因子重新缩放以在各个聚类中具有可比性。这避免了在整个种群中大多数基因都是非DE的假设-在成对的簇之间仅需要非DE多数，这对于高度异质的种群来说是一个较弱的假设。默认情况下， quickCluster（） 将基于irlba软件包中的方法对PCA使用近似算法。近似值依赖于随机初始化，因此我们需要设置随机种子（通过set.seed（））以实现可重现性。 我们看到，解卷积大小因子与图7.2中的库大小因子表现出特定于细胞类型的偏差。这与由细胞类型之间强烈的差异表达引入的成分偏倚的存在是一致的。去卷积大小因子的使用针对这些偏差进行调整，以提高下游应用程序的归一化精度。 准确的归一化对于涉及对每个基因统计信息的估计和解释的过程而言最重要。 例如，成分偏倚会通过系统性地将对数倍数变化沿一个方向或另一个方向转移来破坏DE分析。 但是，对于基于细胞的分析（如聚类分析），与简单的库大小归一化相比，它往往提供的好处较少。 成分偏差的存在已经暗示了表达谱的巨大差异，因此更改标准化策略不太可能影响聚类过程的结果。 spike-in归一化基于以下假设：向每个细胞中添加了相同量的spike-in RNA。spike-in转录本覆盖范围的系统差异仅归因于细胞特异性偏差，例如捕获效率或测序深度。为了消除这些偏差，我们通过缩放“ spike-in size factor”来均衡细胞间的spike-in覆盖范围。与以前的方法相比，spike-in归一化不需要系统的生物学假设（即，没有许多DE基因）。取而代之的是，它假定将掺入的spike-in转录本（i）以恒定的水平添加到每个细胞中，并且（ii）以与内源基因相同的相对方式响应偏倚。 实际上，如果需要关注单个细胞的总RNA含量差异，并且必须保留在下游分析中，则应使用加标归一化。对于给定的细胞，内源RNA总量的增加不会增加其spike-in大小因子。这确保了总RNA含量在群体间的表达差异不会在缩放时消除。相比之下，上述其他标准化方法将仅将总RNA含量的任何变化解释为偏差的一部分，并将其消除。 举个例子，在不同亲和力的T细胞受体配体刺激后，在涉及T细胞活化的不同数据集上使用spike-in归一化 我们应用 computeSpikeFactors（） 方法来估计所有细胞的spike-in大小因子。 通过使用与 librarySizeFactors（） 中相同的推理，将每个细胞的总spike-in计数转换为大小因子来定义。 scaling将随后消除细胞间spike-in覆盖率的任何差异。 我们观察到每种处理条件下spike-in大小因子和解卷积大小因子之间存在正相关关系（图7.3），表明它们在测序深度和捕获效率上捕获了相似的技术偏倚。 但是，我们还观察到，就亲和力或时间的增加而言，对T细胞受体的刺激不断增加，导致spike-in因子相对于文库大小因子而言有所降低。 这与刺激过程中生物合成活性和总RNA含量的增加一致，这减少了每个文库中的相对spike-in覆盖率（从而减少了spike-in大小因子），但增加了内源基因的覆盖率（因此增加了文库大小因子）。 两组尺寸因子之间的差异对下游解释产生了实际影响。 如果将spike-in 大小因子应用于计数矩阵，则未刺激细胞中的表达值将按比例放大，而受刺激细胞中的表达将按比例缩小。 但是，如果使用反卷积大小因子，则会发生相反的情况。 当我们在标准化策略之间切换时，这可以表现为条件之间DE的大小和方向的变化，如下Malat1所示（图7.4）。 一旦计算出大小因子，就可以使用scater中的 logNormCounts（） 函数为每个细胞计算归一化的表达值。 这是通过将每个基因/spike-in转录本的计数除以该细胞的合适大小因子来完成的。 该函数还对归一化后的值进行对数转换，从而创建了一个称为“ logcounts”的新assay。 这些对数值将在以下各章中作为我们下游分析的基础。 对数转换很有用，因为对数值的差异表示基因表达的对数倍变化。这在基于欧几里得距离的下游过程中很重要，下游过程包括许多形式的聚类和降维。通过对对数转换后的数据进行操作，我们确保这些过程基于基因表达的对数倍变化来测量细胞之间的距离。比如，一个在细胞类型A中平均表达量为50，在细胞类型B中表达量为10的基因，或在A中为1100，B中为1000的基因，对数转化可以展现出具有强烈相对差异，因此会关注前者。 在进行对数转换时，我们通常会添加一个伪计数以避免值为零。对于低丰度基因，较大的伪计数将有效地将细胞之间的对数倍变化缩小至零，这意味着下游的高维分析将更多地由高丰度基因的表达差异来驱动。相反，较小的伪计数将增加低丰度基因的相对贡献。常见的做法是使用1的伪计数，原因很简单，即实用的原因是它保留原始矩阵中的稀疏性（即原矩阵中的零在变换后仍为零）。除大多数病理情况外，此方法在所有情况下均有效。 顺便说一句，伪计数的增加是出于将尺寸因子居中统一的动机。这确保了伪计数和规范化的表达式值都在同一范围内。伪计数为1可以解释为每个基因的额外reads或UMI。实际上，居中意味着随着计数深度的提高，伪计数的收缩效果减小。这正确地确保了表达的对数倍变化的估计（例如，根据细胞组之间对数值的差异）随着覆盖范围的扩大而变得越来越准确。相反，如果将恒定的伪计数应用于类似百万分之一的度量，则无论我们执行了多少额外的测序，后续对数倍更改的准确性都将永远不会提高。 在极少数情况下，出于由A.Lun所描述的影响，不适合直接对计数进行缩放。 简而言之，这是由于对数归一化计数的平均值与对数变换后的归一化计数的平均值不同而造成的。 它们之间的差异取决于原始计数的均值和方差，因此相对于计数大小，对数计数的平均值存在系统的趋势。 这通常表现为即使在文库大小归一化之后，轨迹也与文库大小密切相关，如图7.5所示，通过合并和拆分方法生成的合成scRNA-seq数据如图5所示。 由于问题是由于计数大小的差异而引起的，因此最直接的解决方案是降低取样高覆盖率细胞的以匹配低覆盖率细胞。 这使用大小因子来确定达到大小因子的第1个百分位数所需的每个细胞的减采样。 （只有少数几个具有较小尺寸因子的细胞被简单地按比例放大。我们不会尝试将采样缩减为最小尺寸因子，因为这将导致一个尺寸因子非常低的异常细胞过度丢失信息。）我们可以看到 这消除了前两个PC中与库大小因子相关的轨迹，从而提高了基于混合比的已知差异的分辨率（图7.6）。 对数转换仍然是必需的，但是当细胞之间的计数大小相似时，不再会导致均值变化。 虽然减采样是一种方便的解决方案，但由于需要增加高覆盖率细胞的噪声以避免与低覆盖率细胞之间的差异，因此它在统计上是无效的。 它也比简单缩放慢。 因此，我们只建议在按比例缩放的初始分析显示与大小因子高度相关的可疑轨迹后再使用此方法。 在这种情况下，通过减采样重新确定轨迹是否是对数转换的伪像是一件简单的事情。

Normalization 是为了样本之间可以比较，用来矫正系统误差。例如上样量A样本是B样本的两倍，最后得出A样本里所有蛋白都是B样本蛋白的两倍，显然是不对的。这种现象在基因测序中也存在，例如测序深度差异等，常用的R包 edgeR 等也有不同的 Normalization 方法。 最简单最粗暴的方法是假设是大部分蛋白是没有发生变化的，只有少数改变了，只要每个样本除以自身所有蛋白丰度和，就可以矫正误差。但显然也有明显的弊端，如果某些蛋白丰度极高，凭一己之力改变了丰度之和，就无法正确矫正。如下 因此，将丰度总和作为Normalization是不太可取的。因此也有其他的一些方法，取出样本中一部分代表总体来进行矫正。例如取中位数，取四分之一和四分之三分位数之间的样本来剔除极端值等。 下面文章来自 Nature -- Proteogenomics connects somatic mutations to signalling in breast cancer 首先作者对样本进行了过滤。reference 是混合样本，因为无论是 TMT 还是 iTRAQ 标记都只能标记有限样本，需要一个混合样本做参照，使在不同批次间可以比较。我们看下图每个样本与 reference的比值取对数结果大部分是符合预期的单峰分布（右），以0（1倍）为中心高斯（正太）分布，也有一些样本是明显的双峰分布（左）。 作者使用 R 包 mclust 双重高斯混合模型进行聚类，较小均值的77个样本通过QC。 其实用的就是 z-score 方法的变种，(x-均值)/标准差 。区别是，这里并不是用的总样本的标准差。 首先假设样本中只有一部分蛋白发生了改变，另一部分没有发生改变，双峰原因是因为污染等，而没有发生上下调的蛋白拥有较小的标准差。 为了归一化前面讲的进样样和系统误差，采用了下面方式，使用 mixtools 包。 以单峰模型估计出均值 双峰模型估计两个标准差 使用最小的标准差标准化 矫正前 如有错误，欢迎指正 其他方法参考文献 A systematic evaluation of normalization methods in quantitative label-free proteomics

在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数据归一化的方法有：min-max标准化(Min-max normalization)也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下：其中max为样本数据的最大值，min为样本数据的最小值。log函数转换通过以10为底的log函数转换的方法同样可以实现归一下，具体方法如下：看了下网上很多介绍都是x*=log10(x)，其实是有问题的，这个结果并非一定落到[0,1]区间上，应该还要除以log10(max)，max为样本数据最大值，并且所有的数据都要大于等于1。而并非所有数据标准化的结果都映射到[0,1]区间上，其中最常见的标准化方法就是Z标准化，也是SPSS中最为常用的标准化方法：z-score 标准化(zero-mean normalization)也叫标准差标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为：其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

转自： http://www.bio-info-trainee.com/2043.html 提到normalization很多人都烦了，几十种方法，而对于芯片或者其它表达数据来说，最常见的莫过于quantile normalization啦。那么它到底对我们的表达数据做了什么呢？ 首先要么要清楚一个概念，表达矩阵的每一列都是一个样本，每一行都是一个基因或者探针，值就是表达量咯。 quantile normalization 就是对每列单独进行排序，排好序的矩阵求平均值，得到 平均值向量 ，然后根据原矩阵的排序情况替换对应的平均值，所以normalization之后的值只有平均值了。具体看下面的图： 在R里面，推荐用preprocessCore 包来做quantile normalization，不需要自己造轮子啦！ 但是需要明白什么时候该用quantile normalization，什么时候不应该用，就复杂很多了。 R包做： http://jtleek.com/genstats/inst/doc/02_05_normalization.html

在使用过程中存在一些疑问，所以就认真一探究竟。Normalization 的方法很多，适应的条件也不一样。下面两篇讲的比较清晰建议下看下。 参考： https://www.jianshu.com/p/a9d5065f82a6 https://www.jianshu.com/p/a3b78bd49bcc R 包edgeR中 calcNormFactors() 函数默认使用的方法为 "TMM"，使用于没有经过其他处理的原始 RNA-seq counts 数据。 参考原作者的文章 A scaling normalization method for differential expression analysis of RNA-seq data. Mark D Robinson and Alicia Oshlack 根据经验，作者提出了一个假设——个体之间大部分的基因表达水平是没有太大变化的，变化的只是少数。一般标准化（包括TPM），都会除以 library 大小，即除以所有基因reads总和，来消除不同批次间测序深度造成的影响。例如下面的，sample A /4，sample B /8，所有基因表达量都一样，是没有差异的。 但是如果像下面这样，简简单单除以 library 大小是不行的。因为此时 library 大小不同不仅仅受到可能的测序批次的影响，而且受到 差异基因gene4 表达量的影响。sample A /4，sample B /14，你会发现所有的基因都有差异，这是不合理的。 所以，根据最开始提出的假设，大多数基因是不发生变化的，对 library 大小进行矫正。默认情况下，TMM会修剪Mg值中最高和最低的30%，剩余的基因计算factors。 如果只是edgeR 来计算差异基因，很简单。函数返回每个样本library 大小和 factors，不需要其他额外操作可以进行下一步。 如果我们想自己做些额外的事情，比如我想做生存分析，根据某个基因表达量将群体分为高表达组和低表达组此时可向下面那样做进行简单标准化。 或者 上面两种方法是等价的。 相比于TPM，此方法没有考虑转录本本身长度的影响，所以样本内不同转录本丰度我们是无法比较的（即同一个样本内测序为相同reads数的两个转录本，并不表示丰度一样，因为他们本身的基因长度不一样。理论上，基因长的，能检测到的可能性越大，如果reads数相当，表明它表达量少。）。但做差异分析的时候，我们比较的是样本之间的关系，所以这也是为什么edgeR等R包要求输入的是最原始的counts数据而不是TPM吧。（FPKM/RPKM等就不讨论了，已经被很多人认为是错误的。）

最典型的就是0-1标准化和Z标准化，也是最常用的。1、0-1标准化(0-1 normalization)　　也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下：　　其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。2、Z-score 标准化(zero-mean normalization)　　也叫标准差标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1，也是SPSS中最为常用的标准化方法，其转化函数为：　　其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

英文叫Normalization已知随机变量X的期望Mu, 和方差Sigma square (标准差是sigma)那么X的标准化变量是(X-Mu)/Sigma

奇偶性 parityparity；odevity双语例句2. We obtained the very important characteristic of probability of photon number of atoms through cavity field.由于量子相干的作用，腔场中的平均光子数统计因超冷原子团中原子个数的奇偶性不同而表现出重要的特征。来自互联网3. The parity scheme is used to check for errors produced by interference with the current. 奇偶性模式用于检查由电流干扰产生的错误。4. This paper discloses properties of the Hilbert and Zhang-Hartley Transforms in Finite Abe-lian Groups.本文讨论了有限阿贝尔群上的希尔伯特变换和张—哈特莱变换的性质。 由于引入了群元素排序的概念和定义了函数的奇偶性，从而能够将函数划分出真函数与虚函数两种类别。5. The parity scheme is used to check for errors produced by interference with the electrical current.奇偶性是用于检查电流干扰产生的错误。Normalized functions 归一化函数由此可知，归一性就是 normalization1) normalization [英][,nu0254:mu0259lai"zeiu0283u0259n] [美][,nu0254rmlu0323u0259"zeu0283u0259n]归一性1.The research results show that the stress - strain curve and normalized curve are both hyperbolic, and the normalizationof the stress - strain relationship is low, but is large in suffering the influence of all round pressure.研究表明:昆明某地软土的应力-应变曲线及其归一化曲线都呈典型的双曲线型,应力-应变关系的归一性较差,受围压的影响较大。2.The normalization of relationship between stress and strain of gallet, reinforced or not, is not as good as that of soil.碎石土加筋前后应力一应变关系的归一性较差。3.completeness and normalization of thecoherent state are studied. 利用三维各向同性q变形振子的动力学代数，构造了相应的相干态，讨论了相干态的归一性和完备性，导出了量子代数在该相干态下的测不准关系。

将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别就是在， batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好； layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显； instanceNorm在图像像素上，对HW做归一化，用在风格化迁移； GroupNorm将channel分组，然后再做归一化； SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。 归一化与反归一化 https://blog.csdn.net/rehe_nofish/article/details/111413690 pytorch优雅的反归一化 https://blog.csdn.net/square_zou/article/details/99314197?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control 重点关注 图片保存：torchvision.utils.save_image(img, imgPath) https://blog.csdn.net/weixin_43723625/article/details/108159190

归一化互相关系数 1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed. Snake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法 1.Introduced by GC 9800 TFP gas chromatography, quartz capillary column, the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process. 介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程。 2.The normalization was recommended to check the reliability of the analytical result. 推荐使用归一法检验分析结果的可靠性。3) normalization归一化 1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming . 本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线。 2.This paper provides a concept of normalization,and a calculation method to deal with the data. 如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法 3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively, and doing intensitive normalization may semi - quantitatively analyse major components percent, the results have shown that there is obvious absorption and enhancement effect. 直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应。4) Th normalization钍归一化 1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration. 介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集。

observations = c(2 , 4.6 , 1 , 3.7 , 5.9 , 4.0 , 6.7 , 2.8) observations_standard=(observations-mean(observations))/(sd(observations))#验证下是否靠谱mean(observations_standard)var(observations_standard)

批归一化是现在越来越多的神经网络采用的方法，其具有加快训练速度、防止过拟合等优点，尤其在深度神经网络中效果非常好。现将BN的学习整理一篇文章备忘。 随着神经网络的层数加深，研究者发现神经网络训练起来越困难，收敛越慢。BN就是为解决这一问题提出的。 首先明确神经网络之所以可以先训练，再预测并取得较好效果的前提假设： 在神经网络的训练过程中，如果输入数据的分布不断变化，神经网络将很难 稳定的学习规律 ，这也是one example SGD训练收敛慢的原因(随机得到的数据前后之间差距可能会很大)。而网络的每一层通过对输入数据进行线性和非线性变换都会改变数据的分布，随着网络层数的加深，每层接收到的数据分布都不一样，这还怎么学习规律呀，这就使得深层网络训练困难。 BN的启发来源是：之前的研究表明如果在图像处理中对输入图像进行白化操作的话(所谓白化，就是对输入数据分布变换到0均值，单位方差的正态分布)那么神经网络会较快收敛。神经网络有很多隐藏层，图像只是第一层的输入数据，对于每一个隐藏层来说，都有一个输入数据，即前一层的输出。BN将每一层的输入都进行了类似于图像白化的操作，将每层的数据都控制在稳定的分布内，并取得了很好的效果。 BN算法是专门针对mini-batch SGD进行优化的，mini-batch SGD一次性输入batchsize个数据进行训练，相比one example SGD，mini-batch SGD梯度更新方向更准确，毕竟多个数据的分布和规律更接近整体数据的分布和规律，类似于多次测量取平均值减小误差的思想，所以收敛速度更快。 BN究竟对数据的分布做了什么处理，我们来看下面的示意图： 在概率论中我们都学过，数据减去均值除以方差后，将变成均值为0，方差为1的标准正态分布。如果数据分布在激活函数(图中假设为sigmoid)梯度比较小的范围，在深层神经网络训练中将很容易出现梯度消失的现象，这也是深度网络难训练的原因。通过规范化处理后的数据分布在0附近，图中为激活函数梯度最大值附近，较大的梯度在训练中收敛速度自然快。 但是，关键问题出现了，分布在0附近的数据，sigmoid近似线性函数，这就失去了非线性激活操作的意义，这种情况下，神经网络将降低拟合性能，如何解决这一问题呢？作者对规范化后的(0,1)正态分布数据x又进行了scale和shift操作：y = scale * x + shift，即对(0,1)正态分布的数据进行了均值平移和方差变换，使数据从线性区域向非线性区域移动一定的范围，使数据在较大梯度和非线性变换之间找到一个平衡点，在保持较大梯度加快训练速度的同时又不失线性变换提高表征能力。这两个参数需要在训练中由神经网络自己学习，即公式中的γ和β。如果原始数据的分布就很合适，那么即使经过BN，数据也可以回到原始分布状态，这种情况下就相当于恒等变换了，当然这是特殊情况。 在训练时，BN的操作步骤如第一张图所示，那么在预测时，每次只输入一张图的情况下，无法进行均值和方差的计算，此时该怎么实现BN呢？ 正是因为训练数据和测试数据是独立同分布的，所以我们可用训练时的所有均值和方差来对测试数据的均值和方差进行 无偏估计 。本来mini-batch SGD就是在整体数据量大无法一次性操作的情况下，把数据切割成几部分，用部分近似整体的解决方案。在训练时，将每一个mini-batch的均值和方差记录下，估计出整体的均值和方差如下： 首先要明确一点：BN是沿着batch方向计算的，每个神经元都会有一组（ ）在非线性激活前面约束数据。 假设batch_size=m, 输入的每一个样本有d维，记为 下标表示batch，上标表示一个样本中第几个维度，即第几个神经元。 那么BN计算如下： 中间的过程省略了，其核心思想就是BN是对每一个batch的某一固定维度规范化的，一个样本中有d维，就会求出d组（ ），即每一个神经元都有一组（ ）。 （2）卷积层的BN计算方法： 在卷积层中，数据在某个卷积层中的维度是[batch, w, h, c]，其中batch表示batch_size，w是feature map的宽，h是feature map的高，c表示channels。在沿着batch的方向，每个channel的feature map就相当于一个神经元，经过BN后会得到c组（ ）。此时的BN算法可表示如下： 原论文中BN操作是放在线性计算后，非线性激活前，即： 其中g()表示激活函数。 这里建议参考一下ResNet_v1和ResNet_v2的用法： 最后一点还需要注意的是，在使用BN后，神经网络的线性计算（WX + b）中的偏置b将不起作用，因为在（WX + b）求均值后b作为常数均值还是b，在规范化的过程中原数据要减去均值，所以b在这两步计算中完全抵消了。但由于BN的算法中有一个偏置项β，它完全可以代替b的作用，所以有BN的计算中可不用b。

normalization是标准化，表示的是r/||r||=（r1/||r||,r2/||r||,……,rn/||r||）可以验证||r/||r||||=根号（（r1/||r||）^2+(r2/||r||)^2+……+(rn/||r||)^2）=1，所以标准化后的r，实际上是在n维空间球面上的点。因为这些点是随机的（r随机产生），所以在n球面上任何点处出现的概率相同，故而随机变量r服从n维空间上的均匀分布

回归方程，主要是看各个自变量的假设检验结果，和系数。两个自变量都有统计学意义，系数分别为-5.423和0.001，也就是说，随着自变量一增加一个单位，因变量要降低5.423三个单位。自变量二同理。比如我的因变量是高血压患病与否，随着自变量一得增加，患病危险降低。说明自变量一为保护因素。

假设我们有一些来自微阵列实验的数据 如果你不熟悉微阵列，这里有解释: 因此，我们需要标准化数据来解释实验之间的技术差异，这与生物学无关。 这是我们的数据。在这张图中，每种颜色代表一个不同的基因。这些颜色与实际微阵列实验中扫描到的颜色不同。此时，那些颜色已经转换为强度值。每个样本都有不同的平均值，这表明我们需要对不同的整体光强进行补偿。 分位数标准化(Quantile Normalization) 纠正了这个技术。 分位数标准化(Quantile Normalization) 后，每个样本的值都相同，但是原始的基因顺序被保留了下来。他们称之为“Quantile Normalization”，因为标准化的数据集有分位数相同。

归一化：以归一化的方法将有量纲的数据转换成无量纲的数据表达。简单点说，例如考虑人的身高和体重，如果身高以米为单位，则比以厘米为单位的方差要小得多，这样与体重的方差进行对比时，由于取的单位不同，所以无法进行对比。数据归一化后，例如归一化到(0,1)区间，则身高和体重的取值都在这个区间内，则身高和体重的均值、方差等量才可以比较。常用的方法有基于线性映射的最小最大值归一化(min-max normalization)以及基于统计特性的Z-score等方法。你说的这个是数据离散化(data discretization)，是数据规约(data reduction)的一种方式。例如要对一个数据库中的人的收入进行统计，由于收入可能精确到分，所以导致这个维度的取值过于离散，这样计算该属性的统计量就变得计算复杂了，数据离散化可以在不影响精度的情形下极大减少复杂度。最常用的方法是分箱(binning)，即把一个取值区间看成一个箱子，例如(100,150)看成一个箱子的话，则所有收入在(100,150)里的都会落入这个箱子。数据转换的方法可以有最小值法、中值法等等，例如你说的就是最小值法，此时所有落入箱子的值会被转换为100，若是平均值法，则所有(100,150)间的值都会被转换为125了。希望对你有所帮助。

想了解这个需要先知道Batch Normalization提出的原因以及原理。其主要目的是为了减缓“梯度弥散”或者“梯度爆炸”，具体看下面：Batch Normalization的计算机制可以发现BN会将输出归一化，有点类似于数据标准化，当然这在数据处理里面又叫白化，关于白化的好处，可自行百度。这样做的好处是能使得各层的输出满足相似的分布，更容易收敛，有论文已经证明了这一观点（大家都知道在统计机器学习中的一个经典假设是“源空间（source domain）和目标空间（target domain）的数据分布是一致的”。如果不一致，那么就出现了新机器学习问题，如transfer learning/domain adaptation 等。梯度传播机制如果你研究过梯度反向传播算法，你会发现，由于BN每次都将数据标准化了，所以就能减缓梯度的过大或者过小，从而延缓梯度爆炸或者梯度弥散，相关概念可以自行百度。防止过拟合。有意思的是，之前比较热门的dropout方法在BN提出之后再也没用过了，因为BN能有效减少过拟合的概率。

评价是现代社会各领域的一项经常性的工作，是科学做出管理决策的重要依据。随着人们研究领域的不断扩大，所面临的评价对象日趋复杂，如果仅依据单一指标对事物进行评价往往不尽合理，必须全面地从整体的角度考虑问题，多指标综合评价方法应运而生。所谓多指标综合评价方法，就是把描述评价对象不同方面的多个指标的信息综合起来，并得到一个综合指标，由此对评价对象做一个整体上的评判，并进行横向或纵向比较。 而在 多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。 因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。 目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是， 在数据标准化方法的选择上，还没有通用的法则可以遵循。 数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数据归一化的方法有：min-max标准化（Min-max normalization），log函数转换，atan函数转换，z-score标准化（zero-mena normalization，此方法最为常用），模糊量化法。本文只介绍min-max法（规范化方法），z-score法（正规化方法），比例法（名字叫啥不太清楚，归一化方法）。 也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下: 通过以10为底的log函数转换的方法同样可以实现归一下，具体方法看了下网上很多介绍都是 x =log10(x) ，其实是有问题的，这个结果并非一定落到[0,1]区间上， 应该还要除以log10(max) *，max为样本数据最大值，并且所有的数据都要大于等于1。 用反正切函数也可以实现数据的归一化，使用这个方法需要注意的是如果想映射的区间为[0,1]，则 数据都应该大于等于0，小于0的数据将被映射到[-1,0]区间上。 而并非所有数据标准化的结果都映射到[0,1]区间上，其中最常见的标准化方法就是Z标准化；也是SPSS中最为常用的标准化方法，也叫 标准差标准化 ，

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间这样去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。

数据归一化方法的本质是一种对数据进行线性转换的方法，通过构建一种样本空间之间的线性映射关系来进行数据数值的转化，这种转化并不会影响数据分布，即不会影响数据的内在规律，只是对数据的数值进行调整。数据归一化有很多方法，并且在机器学习领域有诸多用途，不仅是能够作为梯度下降的优化算法，同时还能帮助一些数据集避免量纲不一致等问题。u2003u2003经典机器学习领域的数据归一化算法主要有两种，分别是0-1标准化（Max-Min Normalization）和Z-Score标准化。我们先讨论归一化基本流程，再探讨归一化对机器学习算法在各方面的影响。关于归一化和标准化的概念辨析u2003u2003一般来说，归一化和标准化都是指对数据进行数值转化，根据维基百科的解释，都是Feature scaling(特征缩放)的方法，并且都可以称为normalization。但某些场景下也会有不同的称呼，例如将0-1标准化称为normalization，也就是归一化，而把Z-Score标准化称为Standardization，即标准化。课上对二者概念不做具体区分。1.数据归一化计算公式1.1 0-1标准化u2003u20030-1标准化是最简单同时也是最常用的标准化方法。该方法通过在输入特征中逐列遍历其中里的每一个数据，将Max和Min的记录下来，并通过Max-Min作为基数（即Min=0，Max=1）进行数据的归一化处理，基本公式为：U0001d465U0001d45bU0001d45cU0001d45fU0001d45aU0001d44eU0001d459U0001d456U0001d467U0001d44eU0001d461U0001d456U0001d45cU0001d45b=U0001d465u2212U0001d440U0001d456U0001d45bU0001d440U0001d44eU0001d465u2212U0001d440U0001d456U0001d45bxnormalization=xu2212MinMaxu2212Minu200b 实际计算过程中需要逐列进行处理，即用每一列中的元素减去当前列的最小值，再除以该列的极差。1.2 Z-Score标准化u2003u2003和0-1标准化不同，Z-score标准化利用原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。同样是逐列进行操作，每一条数据都减去当前列的均值再除以当前列的标准差，在这种标准化操作下，如果原数据服从正态分布，处理之后的数据服从标准正态分布。Z-Score标准化计算公式如下：U0001d465U0001d45bU0001d45cU0001d45fU0001d45aU0001d44eU0001d459U0001d456U0001d467U0001d44eU0001d461U0001d456U0001d45cU0001d45b=U0001d465u2212U0001d707U0001d70exnormalization=xu2212μσu200b 其中U0001d707μ代表均值，U0001d70eσ代表标准差。u200b 和0-1标准化不同，Z-Score标准化并不会将数据放缩在0-1之间，而是均匀地分布在0的两侧。类似这种数据也被称为Zero-Centered Data，在深度学习领域有重要应用。一种更加严谨的做法，是在分母项、也就是标准差上加上一个非常小的常数U0001d707μ，从而使得分母恒大于0。1.3 非线性标准化u2003u2003除了0-1标准化和Z-Score标准化外，还有一类使用非线性函数进行归一化操作的方法。其中最具代表性的是Sigmoid标准化。u2003u2003Sigmoid标准化其实非常好理解，就是利用Sigmoid函数对数据集的每一列进行处理，由于Sigmoid函数特性，处理之后的数据也将被压缩到0-1之间。u2003u2003当然，相比Sigmoid标准化，Z-Score标准化实际用途更广。2.数据归一化算法执行过程u2003u2003我们以0-1标准化为例，来探讨数据归一化处理对量纲的影响以及在实际建模过程中的计算流程。当然其他标准化也类似。u2003u2003对于0-1标准化来说，表面上看起来只是将每一列数据都放缩至0-1区间内，但实际上却有着非常多的用途。一个最简单的使用场景是，当数据集中不同列的量纲不一致时，通过对每一列的0-1标准化处理，能够消除因为这种不一致而引发的算法学习偏差。例如，在鸢尾花数据中，每一列都是以厘米作为单位，整体数据分布相对统一，但如果把其中某一列改为毫米、而其他几列改为米作为单位，则以毫米为单位的列数值将特别大，而其他几列数值将特别小，如此一来就会对包括线性方程在内的一系列模型建模造成重大影响，模型将无法“均匀的”从各列中提取信息。u200b 数据的真实规律是第一个特征其实对标签的取值起到非常重大的作用，但在实际数据获取记录过程中，如果量纲错配，即给了第一个特征一个非常大的量纲、第二个特征一个非常小的量纲，那么数据情况和实际建模情况就将产生较大误差。u2003u2003此时模型为了捕捉第一列相对更加重要的特性，计算所得的第一列特征取值非常大，甚至是第二列特征系数的10的5次方倍左右。尽管上述模型结果仍然是可以使用的结果，但特征系数差异性的增加（由200倍变成20000倍差异）会导致两个问题，其一是部分系数太小而导致计算精度问题，其二则是在特征重要性判别上会忽视系数较小的特征。而为了能够消除这种量纲差异所带来的规律挖掘方面的影响，我们就需要采用归一化方法。u2003u2003注意，关于标签是否需要归一化的问题，一般来说这并不是一个典型的操作，在绝大多数情况下我们也并不会对标签进行归一化操作。但此处，由于需要在归一化后全都为正数的特征上进行回归类问题预测，且标签取值有正有负，因此可以考虑对标签进行归一化处理，以方便观测后续模型参数。不过尽管如此，此处的标签归一化也并不是必须的。u2003u2003当然，如果是划分训练集和测试集进行建模并且进行归一化操作，那么在遵循“在训练集上训练，在测试集上进行测试”的基本原则下，我们首先在训练集上进行数据归一化处理并记录各列的极值，然后当模型训练完成之后，再借助训练集各列的极值来对测试机数据进行归一化，再带入模型进行测试。当然，如果这个过程对标签也进行了归一化处理，则标签的归一化过程和特征归一化过程无异，唯一需要注意的是如果是对未知数据进行预测，即需要模型输出和真实采集到数据类似的结果，则需要在模型输出的归一化的标签基础上进行逆向归一化处理。u2003u2003此外，一般来说如果是Z-Score标准化，则无需对标签进行标准化处理。3.数据归一化算法评价u2003u2003此处我们通过量纲不一致问题引出归一化方法，但归一化方法却并不一定、且不仅仅应用于处理量纲不一致问题中。u2003u2003首先，并非所有模型都受到数据各列的绝对数值大小影响，在通用的模型中，线性模型和距离类模型是两类典型的会受到各列绝对数值大小影响的模型，例如线性回归、KNN、K-Means（一种无监督的聚类模型）等，并且逻辑回归在使用ECOC编码进行类别判别时也是利用距离来判别样本最终归属，此时，由于各列的绝对数值会影响模型学习的偏重，模型会更加侧重于学习那些数值比较大的列，而无法“均匀”的从各列中提取有效信息，因此有时会出现较差的模型结果。但有些模型却不受此影响，典型的如树模型。辩证的看，“均匀”的从各列提取有效信息其实也并不一定是最好的做法，本身对于有监督学习算法来说，大多数数据集各列的重要性就不是等价的。但是，比起无法“均匀”的从各列提取有效信息，更可怕的是我们会不受控制的“不均匀”的去提取有效信息，这也是归一化要解决的核心问题。u2003u2003其次，我们需要知道，一旦对数据进行归一化处理，数据就将失去可解释性，也就是失去了量纲。例如对于鸢尾花数据来说，原始数据代表花瓣花萼的长宽测量结果，而如果我们对其进行归一化处理，则每条数据就无法再给予明确的现实意义，这也是在很多要求可解释性的情况下我们应该避免使用归一化方法的原因。不仅是归一化方法，其实所有的样本空间的映射都会改变数据集的可解释性。u2003u2003其三，归一化方法属于仿射变换的一种特殊形式，而所有的仿射变换其实都不会影响数据集原始分布，也就是并不影响数据集真实规律，只会影响某些算法挖掘规律的难度（也就是受到特征绝对数值影响的算法）。例如对如下数据，我们可以观察其归一化前后的数据分布变化情况：仿射变换指的是样本空间平移（加减某个数）和放缩（乘除某个数）的变换。0-1标准化过程中，平移就是减去每一列最小值，放缩就是除以某一列的极差。u2003u2003最后，也是最重要的一点，那就是对于梯度下降算法来说，归一化能够提高收敛速度，例如下图所示，经过归一化处理之后的数据，在进行损失函数构造时损失函数的等高线图将更加均匀，此时梯度下降的收敛速度也将更快，具体理论理解详见下文论述，而在实际使用过程中，经过归一化的数据在梯度下降过程中往往收敛更快，这其实是相比消除量纲影响，归一化方法更加重要应用场景。在提高收敛速度方面，Z-Score效果要好于0-1标准化。关于归一化能够让等高线更加均匀从而加快迭代收敛过程的理解：u2003u2003从理论角度出发，其实梯度下降过程每一步参数点移动的方向是能够让梯度最快速下降的方向，也就是图片上垂直于等高线的方向。但这种所谓的最快速的方向只在开始移动的一瞬间满足，由于梯度是连续变化的函数，因此当移动了一小步之后“最优方向”其实就可能发生了变化，但参数只能在下次移动时再改变方向，因此中间其实很长一段距离参数并不不一定是沿着最优方向在进行移动。这里需要注意，如果下一次移动的方向和上一次移动方向一致或者类似，那就说明这次移动过程中参数并没有偏离方向太多，反之则这次移动走了很多弯路。而当损失函数的等高线是均匀分布时，外圈的垂直线也就是内圈的垂直线，此时参数两次移动过程大概率最优方向一致，也就是说相同的移动能够更大程度降低损失函数值，而如果类似图1中的情况，内外圈分布不均匀，则参数两次迭代过程最优方向将发生偏移，也就是说明上一次迭代过程有很长一段距离没有沿着最优方向迭代，该次迭代只降低了有限的损失函数计算值。经次过程不断迭代，由于经过归一化的损失函数每次迭代效率都更高，因此相比其他损失函数，经过归一化的数据只需要更少次的迭代就能抵达最小值点，这也就是加快收敛速度的根本原因。另外需要注意的是，收敛更快往往也意味着能够收敛至更靠近全局最小值的点。4.Z-Score标准化算法评价及横向对比u2003u2003从大类上来分，Z-Score的使用场景要远高于0-1标准化使用场景。当然这也并不是绝对的，要区分二者使用情景，我们首先需要进一步了解二者算法性能。生成Zero-Centered Datau2003u2003一般来说，由于Z-Score标准化生成数据的Zero-Centered特性，使得其在深度学习领域倍受欢迎（是Batch Normalization的一种特殊情况）。而在机器学习领域对于标签同时存在正负值的回归类问题，使用Z-Score能够避免对标签进行归一化。标准正态分布u2003u2003由于该方法同时也是正态分布转换为标准正态分布的计算公式，因此如果原始数据满足正态分布，则经过Z-Score转化之后就能转化为标准正态分布，进而可以利用标准正态分布诸多统计性质。保留极端值分布u2003u2003还有一点非常实用的功能，就是相比0-1标准化，Z-Score标准化能够保留极端值的分布。u200b 由于极端值的存在，会将其他数值压缩在一个非常小的范围内。而如果此时我们采用Z-Score进行标准化，极端值仍然还是极端值（相对该列其他数值而言），此时我们即可采用极端值处理方法对其进行处理（删除或者盖帽（默认凡小于百分之1分位数和大于百分之99分位数的值将会被百分之1分位数和百分之99分位数替代））。二、梯度下降算法优化初阶u2003u2003归一化和学习率调度，是梯度下降算法优化的基本方法。1.数据归一化与梯度下降算法优化u2003u2003接下来，我们讨论归一化与梯度下降之间的关系。此前我们通过简单例子观察了数据归一化对梯度下降的影响——即归一化能够改变损失函数形态，而这种改变将显著加快梯度下降的迭代收敛过程，直观判断是归一化之后的损失函数等高线图更加均匀。本小节我们将从梯度下降算法优化角度出发，讨论数据归一化和梯度下降之间的关系。u2003u2003在机器学习模型优化体系中，构建损失函数和损失函数求解是模型优化的两大核心命题，通过损失函数的构建和求解，就能够找到模型最优参数。但对于很多复杂模型来说，损失函数构建和求解并非易事，而梯度下降作为损失函数求解的重要方法，如何优化梯度下降求解过程，使其能够“又快又好”的找到最小值点，就成了决定建模成败的核心因素。当然，从梯度下降到随机梯度下降再到小批量梯度下降，我们可以理解其为算法层面上的优化，但除此以外还有许多围绕优化梯度下降求解过程的算法和方法，例如本节介绍的归一化和学习率调度方法。u2003u2003当然，优化方法的学习也需要遵循循序渐进的过程，本节我们仍然还是在线性回归损失函数、也就是凸函数上进行基本优化思路的介绍和基本优化方法的学习，围绕现线性回归的凸函数损失函数求解，其实是可以使用最小二乘法一步到位求出数值解的，但也正是因为其最优解明确存在，也就给了我们进行对照实验的基础。我们将利用梯度下降算法，在更加复杂的数据集上，探索如何使用优化方法，来逼近明确存在的全域最小值点，并在这个过程中深化对优化方法的理解，进而能够在后续更加复杂的损失函数上、甚至是非凸的损失函数上，凭借我们的理解和所掌握的工具，用好最小二乘法这把利器进行更快更好的最优参数的求解。u200b 为何在相同学习率下，在归一化之后的数据集上进行梯度下降，却更加接近全域最小值点，这又是什么原因呢？回顾此前我们所讨论的归一化对损失函数的影响，从等高线图上来看是等高线变得更加均匀，但实际上是整个损失函数在不同区域对应梯度都更加均匀，从而在靠近最小值点附近的梯度也比归一化之前的损失函数梯度要大，也就是说，虽然学习率相同，但由于归一化之后最小值点附近梯度要更大，因此同样的迭代次，在归一化之后的损失函数上参数点将移动至更加靠近最小值地附近的点。u200b 我们可以通过不断尝试，直到“测出”最佳学习率为止。当然，在Scikit-Learn中其实也提供了这种类似枚举去找出最佳超参数取值的方法，但如果是面对超大规模数据集的建模，受到计算资源的限制，我们其实是无法反复建模来找到最优学习率的，此时就需要采用一种更加先进的计算流程来解决这个问题。2.学习率调度基本概念u2003u2003其实梯度下降优化的核心目标就是希望“更快更好”的找到最小值点，归一化是通过修改损失函数来达成这个目标，而所谓学习率调度，则是通过调整学习率来达到这个目标。值得注意的是，此时找到一个确定的最优学习率并不是目标，“更快更好”找到最小值点才是目标，因此我们完全可以考虑在迭代过程动态调整学习率。而所谓学习率调度，也并不是一个寻找最佳学习率的方法，而是一种伴随迭代进行、不断调整学习率的策略。u2003u2003学习率调度方法有很多种，目前流行的也达数十种之多，而其中一种最为通用的学习率调度方法是学习率衰减法，指的是在迭代开始时设置较大学习率，而伴随着迭代进行不断减小学习率。通过这样的学习率设置，能够让梯度下降收敛速度更快、效果更好。实践过程u2003u2003例如在上述例子中，我们不妨设置这样的减速衰减的一个学习调度策略，衰减过程比例由如下函数计算得出：lr_lambda = lambda epoch: 0.95 ** epochu2003u2003即假设初始学习率为0.5，则第一次迭代时实际学习率为0.5*1，第二轮迭代时学习率为0.5*0.95，以此类推。据此，我们可以优化梯度下降迭代过程。算法评价u2003u2003接下来，简单总结学习率调度的使用场景和注意事项。u2003u2003首先，在很多海量数据处理场景下，学习率调度的重大价值在于能够提供对学习率超参数设置更大的容错空间。在很多情况下，搜索出一个最佳学习率取值进而设置恒定学习率进行梯度下降，难度会远高于设置一组学习率衰减的参数。并且有的时候，刚开始学习率设置过大其实也可以通过多轮迭代进行调整，其所消耗的算力也远低于反复训练模型寻找最佳恒定学习率。u2003u2003其次，尽管上述例子我们是在梯度下降中使用学习率衰减这一调度策略，但实际上更为一般的情况是学习率调度和小批量梯度下降或者随机梯度下降来配合使用。一般来说梯度下降的使用场景在于小规模数据集且损失函数较为简单的情况，此时可利用梯度下降+枚举找到最佳学习率的策略进行模型训练，其相关操作的技术门槛相对较低（枚举法可借助Scikit-Learn的网格搜索）；而对于更大规模的数据集且损失函数情况更加复杂时，则需要考虑小批量梯度下降+学习率调度方法来进行梯度下降求解损失函数。u2003u2003当然，除了学习率衰减外还有很多学习率调度策略，甚至有些学习率调度策略会间接性提高和降低学习率，来帮助梯度下降找到最小值点。3.梯度下降组合优化策略u2003u2003无论是数据归一化、学习率调度还是采用小批量梯度下降，这些方法并不互斥，我们完全可以组合进行使用，达到组合优化的目的。

在讨论Batch Normalization之前，先讨论一下feature scaling可能会对后续的讨论有很大的帮助。 feature scaling ，即特征归一化，是机器学习领域中一种通用的数据预处理方法，其目的是将模式向量中尺度不一致的不同维度特征归一到同一尺度，以保证训练速度与精度。 假设有一个大小为n的数据集 ，其中每个模式向量有m个维度的特征 。如果在这个数据集中，第i维的特征 服从均值为0、方差为1的高斯分布，而第j维的特征 服从均值为200，方差为1的高斯分布，那么这个数据集将难以用于模型训练。其原因在于， 与 的分布相差甚远，模型中与 相关的参数只进行很小的改变往往难以对结果造成显著性的改变，而与 相关的参数则恰恰相反，这让训练过程的learning rate很难统一，过小收敛过慢，过大则可能不收敛。 为了解决以上问题，feature scaling对每个维度的特征都进行如下变换，变换的结果则是所有维度的特征都归一化到均值为0、方差为1这个尺度： 以上方法对于模型的训练是十分有效的，而在深度神经网络的研究中，研究人员延续这种思路提出了Batch Normalization。相对于传统的模型，深度神经网络遇到的问题是，随着网络深度增加，网络中一个小小的改变可能在经过若干层的传播之后令整个网络出现极大的波动，如bp过程中的梯度消失与爆炸（事实上，ReLU、有效的初始化、设置更小的learning rate等方法都能用于解决该问题）。 Batch Normalization可以用于解决深度神经网络的 Internal Covariate Shift 问题，其实质是： 使用一定的规范化方法，把每个隐层神经元的输入控制为均值为0、方差为1的标准正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域（如Sigmoid函数只在0附近具有较好的梯度），以此避免梯度消失问题。 在Batch Normalization中，Batch是指每次训练时网络的输入都是一批训练数据，这一批数据会同时经过网络的一层，然后在经过 之后，网络再一起对这一批数据的 做规范化处理。当然，Batch Normalization的论文中还使用了两个参数处理规范化之后的数据，即 。事实上，如果 ， ，这就等价于Normalization的一个逆运算，那么normalization的意义似乎就不存在了，但是，事实并非如此，因为 ， 与 相关，而 ， 则完全独立，二者并不等价。合理的解释是，后续操作是为了防止normalization矫枉过正增加的人为扰动。Batch Normalization的具体结构如下所示： 在tensorflow2中使用BN层的方法如下，需要注意的是BN层在训练和推理两种模式下存在不同。 BN层有4*num_channels个参数，每4个参数对应一个通道，分别是 。其中 和其他层的参数的逻辑是一致的，训练时不断调整，推理时不再改变（即只有优化器更新参数时才会改变）。而 不同，在推理时，即使没有优化器更新参数，也可能不断变化。这两个参数受BatchNormalization层的参数training控制，当training=False时，二者为移动均值和方差（固定）；当training=True时，二者与每次输入的batch相关， 是当前batch的均值、方差。 综上，在使用TF2的BN层时，推理时需要指定当前模式为推理模式，方法如下（还存在其他方法，如显示地声明training参数为False）。此外，BN层也有trainable参数，和其他层一样，该参数意在冻结 两个参数，但是当trainable=True时，该BN层会以推理模式运行， 两个参数也就随之固定。

regularization 正则化 regularizing operator 正则化算子

简介 ：如果是对Computer Vision有所了解的同学应该都不会对LeNet-5陌生，这篇由LeCun和Bengio在1998年（我竟然还没出生）撰写的论文着实牛掰。实际上LeNet-5的诞生还要早（大约是1994年）。LeNet-5基本上为CNN在2012年以后的爆发奠定了基调。当然除了LeNet-5还有LeNet-1、LeNet-4等网络结构，在原始论文中也作为比较提到。 背景 ：当初LeNet-5的设计主要是为了解决手写识别问题。那时传统的识别方案很多特征都是hand-crafted，识别的准确率很大程度上受制于所设计的特征，而且最大的问题在于手动设计特征对领域性先验知识的要求很高还耗时耗力，更别谈什么泛化能力，基本上只能针对特定领域。 稍微有一点computer vision经验的人都不会对下面这张图陌生，这张图是LeCun在原始论文中po的一张结构图，很直观能get到LeNet-5的结构。但是原始论文的操作手法和现在的大多数人的implementation稍微不同，这里针对每一层做一个阐释。 原论文中的损失函数采用MSE，并添加了一个惩罚项（后文查看 为什么要添加惩罚项 ），计算公式为： 右边这个对数部分就是惩罚项，且小于等于左边。但实际上现在很多对于LeNet-5的实现是没有这一部分的，因为效果不明显。 关于标准化和归一化，网上有的博客是混用的，这个我都接受，毕竟英文翻译都是normalization，但是有人怎么会把正则化和这两个搞混？？？正则化完全不同，英文是regularization，这里按下不表。个人认为归一化和标准化只是方法上的区别，这两者都是数据缩放的方法，本质都是一种 线性变换 ，但是标准化特指将数据缩放为均值为0，方差为1的区间（z-score normalization/Standardization）。而归一化有Rescaling、Mean normalization、Scaling to unit length三种不同的选择，方法不同，目的一致。但是这两者还是稍有差别，具体表现在归一化的方法直接是根据极值进行缩放到 ，易受极值影响。而标准化是根据方差进行数据缩放平移，数据范围可能是 ，也就是会考虑数据分布特征，更适合对于噪声和异常值的处理。 但……我还是没说normalization到底有什么用？ 这里祭出Andrew Ng的图： 所以总结一下normalization作用就是更容易 正确收敛 ！ 这里这个权重和偏置很有意思，大多数初学者可能都没有考虑过，你细品，这 难道不就是初中的 ？？？套了件马甲就不认识了？一次函数在高等数学里应该是一条直线，能够用直线区分的两个类别被称为线性可分，但是有这么一个问题，如果非要用线性去解决线性不可分问题呢？？？ 这里就是为什么要用w作为权重，w是决定那个分离超平面的方向所在。b就是对该平面的移动，如果没有b，所有的分离超平面都过原点。 对于输入图像（或者特征图）大小为input_size，给定kernel_size、padding、stride，计算得出output_size为： 该公式既适用于卷积过程，也适用于池化过程。 根据Occam"s Razor原理： 如无必要，勿增实体 。在机器学习过程中，我们希望训练得到的是泛化能力强的模型，然鹅生活中越简洁、抽象的对象越容易描述，越具体、复杂、明显就越不容易描述区分，描述区分的泛化能力就越不好。问题来了：如何控制这个复杂度？通常的做法是在损失函数后面加上一个正则惩罚项： 没有加上正则项的部分叫做 经验风险 ，加上正则项的损失函数叫做 结构风险 ，结构风险多的 这一部分叫做penalty（惩罚项），惩罚项常用的是 或者 范数。惩罚项的意思就是通过计算权重绝对值的均值加上一个权重因子 作为重视程度，也叫做惩罚系数。 结构风险通过通过惩罚项控制模型复杂程度，降低过拟合并提高泛化能力。 由于笔者本身能力有限，文章内容和文字可能出现一些错误，欢迎各位批评指正，共同讨论，共同学习。

归一化互相关系数 1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed. Snake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法 1.Introduced by GC 9800 TFP gas chromatography, quartz capillary column, the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process. 介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程。 2.The normalization was recommended to check the reliability of the analytical result. 推荐使用归一法检验分析结果的可靠性。3) normalization归一化 1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming . 本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线。 2.This paper provides a concept of normalization,and a calculation method to deal with the data. 如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法 3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively, and doing intensitive normalization may semi - quantitatively analyse major components percent, the results have shown that there is obvious absorption and enhancement effect. 直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应。4) Th normalization钍归一化 1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration. 介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集。

归一化互相关系数 1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed. Snake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法 1.Introduced by GC 9800 TFP gas chromatography, quartz capillary column, the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process. 介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程。 2.The normalization was recommended to check the reliability of the analytical result. 推荐使用归一法检验分析结果的可靠性。3) normalization归一化 1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming . 本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线。 2.This paper provides a concept of normalization,and a calculation method to deal with the data. 如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法 3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively, and doing intensitive normalization may semi - quantitatively analyse major components percent, the results have shown that there is obvious absorption and enhancement effect. 直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应。4) Th normalization钍归一化 1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration. 介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集。

基于R语言的数据标准化处理脚本数据标准化（Normalization）将数据按比例缩放，使之落入一个小的特定区间。去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。min-max标准化（Min-max normalization）也叫离差标准化，是对原始数据的线性变换，使结果落在[0,1]区间，转换函数如下：正向指标：（x-min）/（max-min）负向指标：（max-x）/（max-min）其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。R语言实现# 标准化处理min.max.norm <- function(x){ ((x-min(x))/(max(x)-min(x)))} #正向指标max.min.norm <- function(x){ ((max(x)-x)/(max(x)-min(x)))} #负向指标data_1 <- apply(data[,-c(3,4)],2,min.max.norm) #正向指标处理data_2 <- apply(data[,c(3,4)],2,max.min.norm) #负向指标处理#注意array只能用在二维及以上data_t <- cbind(data_1,data_2)

归一化互相关系数 1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed. Snake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法 1.Introduced by GC 9800 TFP gas chromatography, quartz capillary column, the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process. 介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程。 2.The normalization was recommended to check the reliability of the analytical result. 推荐使用归一法检验分析结果的可靠性。3) normalization归一化 1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming . 本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线。 2.This paper provides a concept of normalization,and a calculation method to deal with the data. 如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法 3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively, and doing intensitive normalization may semi - quantitatively analyse major components percent, the results have shown that there is obvious absorption and enhancement effect. 直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应。4) Th normalization钍归一化 1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration. 介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集。

1) normalized mutual correlation coefficient 归一化互相关系数 1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed. Snake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法 1.Introduced by GC 9800 TFP gas chromatography, quartz capillary column, the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process. 介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程。 2.The normalization was recommended to check the reliability of the analytical result. 推荐使用归一法检验分析结果的可靠性。3) normalization归一化 1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming . 本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线。 2.This paper provides a concept of normalization,and a calculation method to deal with the data. 如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法 3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively, and doing intensitive normalization may semi - quantitatively analyse major components percent, the results have shown that there is obvious absorption and enhancement effect. 直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应。4) Th normalization钍归一化 1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration. 介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集。

描述性分析（Descriptives）主要用于描述连续变量统计量计算，也可将原始数据转换成标准Z分值（标准化数据）并存入数据集。同Frequencies分析相比，Descriptives分析不能计算百分位数外，其他与Frequencies分析相同。 例：对于资料中的年龄和APACHEⅢ评分进行简单描述性分析，数据如下： 注：数据标准化 在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。 （1）min-max标准化(Min-max normalization)/0-1标准化(0-1 normalization) z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。 （3）小数定标标准

归一化互相关系数x0d1.At first,an algorithm of moving shadows detection based on the normalized mutual correlation coefficient is proposed.x0dSnake算法(动态轮廓模型)在图像处理过程中有着广泛的应用.提出基于归一化互相关系数的阴影检测方法,利用由帧间差分法得到的目标边界,自动设置Snake初始位置,采用贪婪算法得到最终目标收敛轮廓.实验结果表明,该算法能够快速有效地检测出多运动目标2) normalization归一法x0d1.Introduced by GC 9800 TFP gas chromatography,quartz capillary column,the use of that area for industrial normalization method O-chlorobenzylidine quantitative determination of the steps and calculation process.x0d介绍了采用GC 9800TFP气相色谱仪,石英毛细管色谱柱,使用面积修正归一法对工业邻氯氯苄进行定量测定的步骤及计算过程.x0d2.The normalization was recommended to check the reliability of the analytical result.x0d推荐使用归一法检验分析结果的可靠性.3) normalization归一化x0d1.On that basis,the paper suggests a method,in which the separate weighting factors are assigned to multiple logging traces and then normalization processing is carried out,forming .x0d本文在此基础上提出把多条曲线分别赋予不同的加权因子,然后进行归一化处理,形成一条标准综合参数测井曲线.x0d2.This paper provides a concept of normalization,and a calculation method to deal with the data.x0d如何对反渗透系统运行的综合性能进行评价,在实践中往往由于影响的因素多种多样,而且环境条件也发生变化,掌握运用其实并不是容易的.针对具体工程情况,在参考有关文献的基础上,提出了运行指标归一化处理的概念和计算方法.实践证明:这种方法是一反渗透系统进行更加科学管理的手段和量化方法.并还对反渗透系统运行中产水量和脱盐性能的变化进行了分析,列举了可能的各种原因;对影响膜组件的污染因素进行了说明,并提出膜组件污染现象和清洗方法x0d3.By using white copper alloy tablet to determine Ni - Cu- Zn X - ray fluorescence instensity qualitively,and doing intensitive normalization may semi - quantitatively analyse major components percent,the results have shown that there is obvious absorption and enhancement effect.x0d直接用白铜合金片样定性扫描测定Ni、Cu和Zn的X-射线荧光强度值,作强度归一化可以半定量确定主量元素质量百分数(％),结果发现元素之间有明显的吸收—增强效应.4) Th normalization钍归一化x0d1.In this paper,the principle and characteristics of Th normalization are introduced by using Th normalization techniques which relate to mineralization with information on element migration.x0d介绍了钍归一化的原理及特点,采用与矿化有关的元素迁移信息的钍归一化方法,分析了二连盆地东部的γ能谱资料,揭示了该区放射性元素的分布特征、地球化学作用和后期铀元素的迁移与富集.

(V-mean(V))/std(V) ——————————————————就是和平均值的差再除以标准差。zscore的帮助里写得很清楚的，你自己看看就知道了。

现在因参加夏令营数学建模，我用主成分分析法，在Mathematica 7.0很轻松地将大量数据标准化，数据进行标准差标准化的公式你应该知道吧，可以在网上查到，自己在Mathematica 7.0编制简单的代码就好了在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。

金属热处理是将金属工件放在一定的介质中加热到适宜的温度，并在此温度中保持一定时间后，又以不同速度冷却。回火：高温回火所得组织为回火索氏体。回火一般不单独使用，在零件淬火处理后进行回火，主要目的是消除淬火应力，得到要求的组织，回火根据回火温度的不同分为低温、中温和高温回火。分别得到回火马氏体、屈氏体和索氏体。其中淬火后进行高温回火相结合的热处理称为调质处理，其目的是获得强度，硬度和塑性，韧性都较好的综合机械性能。因此，广泛用于汽车，拖拉机，机床等的重要结构零件，如连杆，螺栓，齿轮及轴类。回火后硬度一般为HB200－330。退火：退火过程中发生得是珠光体转变，退火的主要目的是使金属内部组织达到或接近平衡状态，为后续加工和最终热处理做准备。去应力退火是为了消除由于塑性形变加工、焊接等而造成的以及铸件内存在的残余应力而进行的退火工艺。锻造、铸造、焊接以及切削加工后的工件内部存在内应力，如不及时消除，将使工件在加工和使用过程中发生变形，影响工件精度。采用去应力退火消除加工过程中产生的内应力十分重要。去应力退火的加热温度低于相变温度，因此，在整个热处理过程中不发生组织转变。内应力主要是通过工件在保温和缓冷过程中自然消除的。为了使工件内应力消除得更彻底，在加热时应控制加热温度。一般是低温进炉，然后以100℃/h左右得加热速度加热到规定温度。焊接件得加热温度应略高于600℃。保温时间视情况而定，通常为2～4h。铸件去应力退火的保温时间取上限，冷却速度控制在（20～50）℃/h，冷至300℃以下才能出炉空冷。时效处理可分为自然时效和人工时效两种自然时效是将铸件置于露天场地半年以上，便其缓缓地发生，从而使残余应力消除或减少，人工时效是将铸件加热到550～650℃进行去应力退火，它比自然时效节省时间，残余应力去除较为彻底。

电力系统采用的基准值一般选定为基准功率和基准电压。基准功率一般选为100MW或1000MW，根据所需要计算的网络容量而定。基准电压一般选为平均电压。如额定电压为3、6、10、35、110、220、330、500kV时， Uav分别为 3.15、6.3、10.5、37、115、230、345、525kV。

使用min-max规范化怎么把数字弄到(0,1)区间如下1、min-max标准化（Min-max normalization）min-max标准化也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数：其中，max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新计算定义。2、log函数转换通过以10为底的log函数转换的方法同样可以实现归一化，具体看了下网上很多介绍都是x*= log10 (x)，其实是有问题的，这个结果并非一定落在[0,1]区间上，应该还要除以log10 (max)max为样本数据最大值，并且所有的数据都要大于等于1.3、atan函数转换用反正切函数也可以实现数据的归一化：使用这个方法需要注意的是如果想映射到区间为[0,1]，则数据都应该大于等于0，小于0的数据将被映射到[-1, 0]区间上。而并非所有数据标准化的结果都映射到[0,1]区间上，其中最长久的标准化方法就是Z标准化，也是SPSS中最为常用的标准化方法。

蓝海大脑深度学习液冷工作站研究人员表示：简言之，引起梯度消失和梯度爆炸的原因分别是：梯度消失：根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0可以采用ReLU激活函数有效的解决梯度消失的情况，也可以用Batch Normalization解决这个问题。关于深度学习中 Batch Normalization为什么效果好？参见：深度学习中 Batch Normalization为什么效果好？梯度膨胀：根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大可以通过激活函数来解决，或用Batch Normalization解决这个问题。

归一化：以归一化的方法将有量纲的数据转换成无量纲的数据表达。简单点说，例如考虑人的身高和体重，如果身高以米为单位，则比以厘米为单位的方差要小得多，这样与体重的方差进行对比时，由于取的单位不同，所以无法进行对比。数据归一化后，例如归一化到(0,1)区间，则身高和体重的取值都在这个区间内，则身高和体重的均值、方差等量才可以比较。常用的方法有基于线性映射的最小最大值归一化(min-maxnormalization)以及基于统计特性的Z-score等方法。你说的这个是数据离散化(datadiscretization)，是数据规约(datareduction)的一种方式。例如要对一个数据库中的人的收入进行统计，由于收入可能精确到分，所以导致这个维度的取值过于离散，这样计算该属性的统计量就变得计算复杂了，数据离散化可以在不影响精度的情形下极大减少复杂度。最常用的方法是分箱(binning)，即把一个取值区间看成一个箱子，例如(100,150)看成一个箱子的话，则所有收入在(100,150)里的都会落入这个箱子。数据转换的方法可以有最小值法、中值法等等，例如你说的就是最小值法，此时所有落入箱子的值会被转换为100，若是平均值法，则所有(100,150)间的值都会被转换为125了。希望对你有所帮助。

这个问题中国目前还不可能达到归一化处理。首先需数据标准化（归一化）：处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：一、min-max标准化（Min-Max Normalization）也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。……二、Z-score标准化方法这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。……参考文献：http://webdataanalysis.net/data-analysis-method/data-normalization/以上供参考。

有两种位置。论文作者建议放在affine后面，affine-BN-非线性函数也有人发现，放在激活函数后面效果也不错。

在我有限的理解中，标准化和归一化只是同一种方法的不同叫法，毕竟英文都可以是normalization。在看完这篇文章后 http://www.raincent.com/content-10-12066-1.html ，我更加困惑了。这篇文章首先将归一化和标准化相区别。但在之后的举例中只涉及了标准化，而且标准化和归一化的概念混着用，我：... ... 但文中提及的一个词让我很感兴趣—— 特征缩放 。 特征缩放的作用包括： 特征缩放的方法有四种： 把数据缩放到[0, 1] 或 [u22121, 1]。如果是[0, 1] ，则算法如下 将数据映射到[a,b]区间，这里应该可以理解为标准化吧，毕竟处理过的数据也不[0, 1]之间。 具体可以阅读这篇 https://www.jianshu.com/p/a9d5065f82a6

表达量数据预处理 原始数据包含质控样本（quality control, QC）和检测样本，为了更好地分析数据，需要对原始数据进行一系列的预处理，主要包括对原始数据缺失值过滤，模拟（missing value recoding），数据归一化（normalization），QC验证和数据转换。经过数据的预处理，可以减小数据中与研究目的不相关的变异对数据分析的影响，利于潜在目标差异代谢物的筛选和分析。 缺失值过滤 样本可能会由于某些原因（a. 信号很低检测不到；b. 检测错误，如离子抑制或者仪器性能不稳定；c. 提峰的算法限制，不能从背景中将低的 信号提取出来；d. 解卷积时不能将重叠的峰全部解析出来。），造成一个或多个值的缺失。在表格中缺失值通常是以空值的形式或者是NA （Not A Number）存在的。根据样本或分组内缺失值的比例，进行数据过滤是代谢组学分析中常用的方法。 缺失值填充 对于未被过滤的缺失值，如果直接忽视，这样的数据矩阵可能会影响后续算法的计算，将会触发异常。因此需要进行模拟填充，主要方法有极 小值、中位数（适合偏态分布）、平均值（适合正态分布）、随机森林、最大期望值和补零。 数据归一化 数据归一化是将数据映射到特定范围之内再进行处理，有利于便捷快速的运算。数据归一化是数据预处理重要一步，可消除样本处理、浓度差异、仪器偏差等统误差。代谢组学常用数据归一化方法：中位数、平均数、总和、指定样本和内参。 QC验证 计算某个离子在QC样本中的RSD（标准差/均值），其值越小，说明偏差越小；代谢组学需要剔除RSD超过该阈值的变量，一般RSD > 30%的变量 在实验过程中波动较大，不参与做差异定量分析。 数据转换 代谢组学分析一般要求数据为正态分布或者高斯分布，数据通常需要进行Log转化。Log转化可以矫正数据集的异方差性，减少或消除数据结构的不对称性，提高数据结构的正态分布性。从而满足常见的统计分析方法如student"s test，线性回归和相关性分析等假设，达到减少分析误差的效果。

深度网络层次太多后，信号和梯度越来越小，深层难以训练。被称作梯度弥散。也有可能越来越大，又被称作梯度爆炸。batchnormalization，可以把过大或过小的信号进行归一化。有效避免上述问题，使得深度学习网络更容易训练。所以效果好。：）

求助用L曲线法确定正则化参数最佳答案　　正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。　　求解不适定问题的普遍方法是:用一组与原不适定问题相“邻近”的适定问题的解去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各类反问题的研究中被广泛采用,并得到深入研究。　　正则化:Normalization，代数几何中的一个概念。

1,范式7大范式：1NF, 2NF,3NF,BCNF,4NF,5NF,6NF什么叫normalization?Denormalization?Normalization是数据库规范化,denormalization是数据库逆规范化.在设计和操作维护数据库时,关键的步骤就是要确保数据正确地分布到数据库的表中.使用正确的数据结构,不仅便于对数据库进行相应的存取操作,而且可以极大地简化应用程序的其他内容（查询、窗体、报表、代码等）.正确进行表设计的正式名称就是"数据库规范化".目的：减少数据库中数据冗余,增进数据的一致性.范式概念：1）1NF：目标就是表中每列都不可分割；2）2NF：目标就是表中的每行都是有标识的.前提是满足了1NF. 当关键字为单field时,一定满足2NF.当关键字为组合field时（即超过一个field）,不能存在组合关键字中有某个字段能够决定非关键字段的某部分.非主field非部分依赖于主field,即非关键字段必须完全依赖于一组 组合关键字,而不是组合关键字的某一部分.3）3NF：目标是一个table里面所有的列不依赖于另外一个table里面非关键的列.前提是满足了2NF,不存在某个非关键字段决定另外一个非关键字段.即：不存在传递依赖（关键字x->非关键属性y->非关键属性z）4）BCNF：前提是满足了2NF,不存在某个非关键字段决定另外一个非关键字段.也不存在某个关键字段决定另外一个关键字段.即：在3NF基础上,加上约束：不存在某个关键字段决定另外一个关键字段.1 第一范式（1NF）在任何一个关系数据库中,第一范式（1NF）是对关系模式的基本要求,不满足第一范式（1NF）的数据库就不是关系数据库.所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性.如果出现重复的属性,就可能需要定义一个新的实体,新的实体由重复的属性构成,新实体与原实体之间为一对多关系.在第一范式（1NF）中表的每一行只包含一个实例的信息.例如,对于图3-2 中的员工信息表,不能将员工信息都放在一列中显示,也不能将其中的两列或多列在一列中显示；员工信息表的每一行只表示一个员工的信息,一个员工的信息在表中只出现一次.简而言之,第一范式就是无重复的列.2 第二范式（2NF）第二范式（2NF）是在第一范式（1NF）的基础上建立起来的,即满足第二范式（2NF）必须先满足第一范式（1NF）.第二范式（2NF）要求数据库表中的每个实例或行必须可以被惟一地区分.为实现区分通常需要为表加上一个列,以存储各个实例的惟一标识.如图3-2 员工信息表中加上了员工编号（emp_id）列,因为每个员工的员工编号是惟一的,因此每个员工可以被惟一区分.这个惟一属性列被称为主关键字或主键、主码.第二范式（2NF）要求实体的属性完全依赖于主关键字.所谓完全依赖是指不能存在仅依赖主关键字一部分的属性,如果存在,那么这个属性和主关键字的这一部分应该分离出来形成一个新的实体,新实体与原实体之间是一对多的关系.为实现区分通常需要为表加上一个列,以存储各个实例的惟一标识.简而言之,第二范式就是非主属性非部分依赖于主关键字.3 第三范式（3NF）满足第三范式（3NF）必须先满足第二范式（2NF）.简而言之,第三范式（3NF）要求一个数据库表中不包含已在其它表中已包含的非主关键字信息.例如,存在一个部门信息表,其中每个部门有部门编号（dept_id）、部门名称、部门简介等信息.那么在图3-2的员工信息表中列出部门编号后就不能再将部门名称、部门简介等与部门有关的信息再加入员工信息表中.如果不存在部门信息表,则根据第三范式（3NF）也应该构建它,否则就会有大量的数据冗余.简而言之,第三范式就是属性不依赖于其它非主属性.例子：第一范式（1NF）：数据库表中的字段都是单一属性的,不可再分.这个单一属性由基本类型构成,包括整型、实数、字符型、逻辑型、日期型等.例如,如下的数据库表是符合第一范式的：字段1 字段2 字段3 字段4而这样的数据库表是不符合第一范式的：字段1 字段2 字段3 字段4 字段31字段32很显然,在当前的任何关系数据库管理系统（S）中,傻瓜也不可能做出不符合第一范式的数据库,因为这些S不允许你把数据库表的一列再分成二列或多列.因此,你想在现有的S中设计出不符合第一范式的数据库都是不可能的.第二范式（2NF）：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖（部分函数依赖指的是存在组合关键字中的某些字段决定非关键字段的情况）,也即所有非关键字段都完全依赖于任意一组候选关键字.假定选课关系表为Ss(学号, 姓名, 年龄, 课程名称, 成绩, 学分),关键字为组合关键字(学号, 课程名称),因为存在如下决定关系：(学号, 课程名称) → (姓名, 年龄, 成绩, 学分)这个数据库表不满足第二范式,因为存在如下决定关系：(课程名称) → (学分)(学号) → (姓名, 年龄)即存在组合关键字中的字段决定非关键字的情况.由于不符合2NF,这个选课关系表会存在如下问题：1) 数据冗余：同一门课程由n个学生选修,"学分"就重复n-1次；同一个学生选修了门课程,姓名和年龄就重复了-1次.2) 更新异常：若调整了某门课程的学分,数据表中所有行的"学分"值都要更新,否则会出现同一门课程学分不同的情况.3) 插入异常：假设要开设一门新的课程,暂时还没有人选修.由于还没有"学号"关键字,课程名称和学分也无法记录入数据库.4) 删除异常：假设一批学生已经完成课程的选修,这些选修记录就应该从数据库表中删除.但是,与此同时,课程名称和学分信息也被删除了.很显然,这也会导致插入异常.把选课关系表Ss改为如下三个表：学生：Sn(学号, 姓名, 年龄)；课程：s(课程名称, 学分)；选课关系：Ss(学号, 课程名称, 成绩).这样的数据库表是符合第二范式的,消除了数据冗余、更新异常、插入异常和删除异常.另外,所有单关键字的数据库表都符合第二范式,因为不可能存在组合关键字.第三范式（3NF）：在第二范式的基础上,数据表中如果不存在非关键字段对任一候选关键字段的传递函数依赖则符合第三范式.所谓传递函数依赖,指的是如果存在"A → → "的决定关系,则传递函数依赖于A.因此,满足第三范式的数据库表应该不存在如下依赖关系：关键字段 → 非关键字段x → 非关键字段y假定学生关系表为Sn(学号, 姓名, 年龄, 所在[]学院[], 学院地点, 学院电话),关键字为单一关键字"学号",因为存在如下决定关系：(学号) → (姓名, 年龄, 所在[]学院[], 学院[]地点, []学院[]电话)这个数据库是符合2NF的,但是不符合3NF,因为存在如下决定关系：(学号) → (所在[]学院[]) → ([]学院[]地点, []学院[]电话)即存在非关键字段"[]学院[]地点"、"[]学院[]电话"对关键字段"学号"的传递函数依赖.它也会存在数据冗余、更新异常、插入异常和删除异常的情况,读者可自行分析得知.把学生关系表分为如下两个表：学生：(学号, 姓名, 年龄, 所在[]学院[])；[]学院[]：([]学院[], 地点, 电话).这样的数据库表是符合第三范式的,消除了数据冗余、更新异常、插入异常和删除异常.鲍依斯-科得范式（BCNF）：在第三范式的基础上,数据库表中如果不存在任何字段对任一候选关键字段的传递函数依赖则符合BCNF.假设仓库管理关系表为Ssanag(仓库, 存储物品, 管理员, 数量),且有一个管理员只在一个仓库工作；一个仓库可以存储多种物品.这个数据库表中存在如下决定关系：(仓库, 存储物品) →(管理员, 数量)(管理员, 存储物品) → (仓库, 数量)所以,(仓库, 存储物品)和(管理员, 存储物品)都是Ssanag的候选关键字,表中的唯一非关键字段为数量,它是符合第三范式的.但是,由于存在如下决定关系：(仓库) → (管理员)(管理员) → (仓库)即存在关键字段决定关键字段的情况,所以其不符合BCNF范式.它会出现如下异常情况：1) 删除异常：当仓库被清空后,所有"存储物品"和"数量"信息被删除的同时,"仓库"和"管理员"信息也被删除了.2) 插入异常：当仓库没有存储任何物品时,无法给仓库分配管理员.3) 更新异常：如果仓库换了管理员,则表中所有行的管理员都要修改.把仓库管理关系表分解为二个关系表：仓库管理：Ssanag(仓库, 管理员)；仓库：Ss(仓库, 存储物品, 数量).这样的数据库表是符合BCNF范式的,消除了删除异常、插入异常和更新异常.简言之数据库五大范式：第一范式：对于表中的每一行,必须且仅仅有唯一的行值.在一行中的每一列仅有唯一的值并且具有原子性.（第一范式是通过把重复的组放到每个独立的表中,把这些表通过一对多关联联系起来这种方式来消除重复组的）第二范式：第二范式要求非主键列是主键的子集,非主键列活动必须完全依赖整个主键.主键必须有唯一性的元素,一个主键可以由一个或更多的组成唯一值的列组成.一旦创建,主键无法改变,外键关联一个表的主键.主外键关联意味着一对多的关系.（第二范式处理冗余数据的删除问题.当某张表中的信息依赖于该表中其它的不是主键部分的列的时候,通常会违反第二范式）第三范式：第三范式要求非主键列互不依赖.（第三范式规则查找以消除没有直接依赖于第一范式和第二范式形成的表的主键的属性.我们为没有与表的主键关联的所有信息建立了一张新表.每张新表保存了来自源表的信息和它们所依赖的主键）第四范式：第四范式禁止主键列和非主键列一对多关系不受约束第五范式：第五范式将表分割成尽可能小的块,为了排除在表中所有的冗余.

参考资料： YOLO之外的另一选择，手机端97FPS的Anchor-Free目标检测模型NanoDet现已开源~ 1、什么是 Nanodet Nanodet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型，是基于 FCOS 模型进行轻量化改进而来的2、Nanodet 跟其他模型的性能对比华为 P30 上用 NCNN 移植跑 benchmark，一张图片仅需 10.23 毫秒，比 YoloV4-Tiny 快 3 倍，参数量小 6 倍，COCO mAP(05:0.95) 能够达到 20.6。而且模型权重文件仅有 1.8m 由此可见，Nanodet 能够在有较低参数量和较小的模型权重文件情况下，能够拥有跟 YoloV4-Tiny 一样的 mAP3、Nanodet 的网络结构图backbone 是 ShuffNetV2 1.0x，去掉最后一层的卷积层，并且抽取 8/16/32倍下采样率的特征输入到 PAN 中做多尺度的特征融合4、Nanodet 相对于 FCOS 的改进① 检测头 FCOS：共享检测头权重 Nanodet：不共享检测头，因为在移动端是使用 CPU 来进行计算的，共享检测头权重并不会对推理过程加速；共享检测头会使得其检测能力进一步下降 ② 归一化方式 FCOS：使用 Group Normalization Nanodet：使用 Batch Normalization 来取代 Group Normalization，因为后者虽然比前者有很多优点，但却有一个缺点：Batch Normalization 可以在推理时将其参数融入到卷积核中，节省这一步计算可以节省时间 ③ 检测头大小 FCOS：检测头大小为 4 个 256 通道数的卷积核组为一个分支，因此边框回归和分类两个分支，则总共需要 8 个 256 通道数的卷积 Nanodet：将 4 个卷积核组减少为 2 个卷积核组。在通道数上将 256 维降低为 96 维。将边框回归和分类共享检测头，然后再切割成两份，分别去预测边框回归和分类。 ④ FPN 层 FCOS：没有该模块 Nanodet：基于 FPN 改进为 PAN，原版的 FPN 在对高层特征图使用线性插值后，再使用 3*3 卷积。但是 Nanodet 去掉了 FPN 中线性插值后再使用的 3*3 卷积，只保留从骨干网络特征提取后的 1*1 卷积来进行特征通道维度的对齐。同时 FPN 只是在多层特征融合端使用了自上而下的特征融合，而 PAN 则不仅使用了自上而下的特征融合，而且还使用了自底向上的特征融合，使用的方法也是线性插值。5、Nanodet 的算法步骤6、Nanodet 的损失函数7、Nanodet 的优点 ① 速度快 ② 模型参数权重文件小8、Nanodet 的缺点 ① mAP 不高

batch normalization: BN能够给模型收敛带来显著地提升，同时也消除了其他形式正则化的必要。作者在每层卷积层的后面加入BN后，在mAP上提升了2%。BN也有助于正则化模型。有了BN便可以去掉用dropout来避免模型过拟合的操作。 BN层的添加直接将mAP硬拔了2个百分点，这一操作在yolo_v3上依然有所保留，BN层从v2开始便成了yolo算法的标配。 high resolution classifier： 所有最顶尖的检测算法都使用了基于ImageNet预训练的分类器。从AlexNet开始，大多数分类器的输入尺寸都是小于256x256的。最早的YOLO算法用的是224x224，现在已经提升到448了。这意味着网络学习目标检测的时候必须调整到新的分辨率。 对于YOLOv2，作者一开始在协调分类网络(指DarkNet-19)用的448X448全分辨率在ImageNet上跑了10个epoch。这使得网络有时间去调整自己的filter来使得自己能够在更高分辨率的输入上表现更佳。然后，作者们把这种更高分辨率的分类网络用到detection上，发现mAP提升了4% 。 convolutional with Anchor Boxes :在yolo_v2 的优化尝试中加入了anchor机制。YOLO通过全连接层直接预测Bounding Box 的坐标值。Faster R-CNN并不是直接预测坐标值。Faster R-CNN只是用RPN种的全连接来为每一个box预测offset（坐标的偏移量或精修量）以及置信度（得分）。（说明：faster r-cnn的box主体来自anchor，RPN只是提供精修anchor的offset量） 由于预测层是卷积性的，所以RPN预测offset是全局性的。预测offset而不是坐标简化了实际问题，并且更便于网络学习。 作者去除了YOLO的全连接层，使用anchor框来预测bounding box。首先，作者去除了一层池化层以保证卷积输出具有较高的分辨率。作者把448X448的图像收缩到416大小。因为作者想让输出特征图的维度是奇数(416/32=13，13为奇数)，这样的话会有一个中间单元格(center cell)。物体(尤其是大物体)经常占据图像的中心，所以有一个单独位置恰好在中心位置能够很好地预测物体。YOLO的卷积层下采样这些图像以32(即2525)为采样系数(416/32 = 13)，所以输出feature map为13x13。 使用了anchor boxes机制之后，准确率有一点点下降。YOLO(指YOLO v1)只能在每张图给出98个预测框，但是使用了anchor boxes机制之后模型能预测超过1000个框。 Dimension Clusters： 当作者使用anchor机制时，遇到2个问题。 直接预测（x，y），就像yolo_v1的做法，不过v2是预测一个相对位置，相对单元格的左上角的坐标（上图所示）。当(x, y)被直接预测出来，那整个bounding box还差w和h需要确定。yolo_v2的做法是既有保守又有激进，x和y直接暴力预测，而w和h通过bounding box prior的调整来确定。yolo为每个bounding box预测出5个坐标（tx,ty,tw,th,to） Fine-Grained Features: 调整后的yolo将在13X13的特征图上做检测任务。虽然这对大物体检测来说用不着这么细粒度的特征图，但这对小物体检测十分有帮助。Fast R-CNN和SSD都是在各种特征图上做推荐网络以得到一个范围内的分辨率。我们采用不同的方法，只添加了一个passthrough层，从26x26的分辨率得到特征。 multi-scale training： 用多种分辨率的输入图片进行训练。 darknet-19： 用darknet-19作为yolo_v2的backbone网络。一般的检测任务模型都会有一个分类网络作为backbone网络，比如faster R-CNN拿VGG作为backbone。yolo_v2用的自家的分类网络darknet-19作为base，体现出自家的优越性。同时在darknet-19中使用batch normalization来加速收敛。 YOLOv2采用了一个新的基础模型（特征提取器），称为Darknet-19，包括19个卷积层和5个maxpooling层，如图所示。Darknet-19与VGG16模型设计原则是一致的，主要采用3 3卷积，采用2 2的maxpooling层之后，特征图维度降低2倍，而同时将特征图的channles增加两倍。与NIN(Network in Network)类似，Darknet-19最终采用global avgpooling做预测，并且在3 3卷积之间使用1 1卷积来压缩特征图channles以降低模型计算量和参数。Darknet-19每个卷积层后面同样使用了batch norm层以加快收敛速度，降低模型过拟合。在ImageNet分类数据集上，Darknet-19的top-1准确度为72.9%，top-5准确度为91.2%，但是模型参数相对小一些。使用Darknet-19之后，YOLOv2的mAP值没有显著提升，但是计算量却可以减少约33%。

fpkm和count区别是：Counts是数据后台没有处理的原始表达量，而FPKM和是一种数据处理的方法。也就是说，如果下载Counts数据，是表达量数据，如果下载FPKM数据，那么要注意这些数据是经过处理的。正常情况下，我们下载Counts数据就可以了，特殊情况选择FPKM数据也是可以的。下载数据后，在数据分析时，用的方法也是不同的，Counts数据一般使用edgeR包或DESeq包，对数据做分析。如果下载FPKM数据，就不能使用edgeR包，只能只用DESeq包进行处理。在使用edgeR包做Counts数据处理时，是需要对数据进行normalize的，所以我们在下载数据时，下载counts是比较常用的。选择Normalization方法的原因是：1、学术界已经不再推荐RPKM、FPKM。2、比较基因的表达丰度，例如哪个基因在哪个组织里高表达，用TPM做均一化处理。3、不同组间比较，找差异基因，先得到read counts，然后用DESeq2或edgeR，做均一化和差异基因筛选；如果对比某个基因的KO组和对照，推荐DESeq2。

在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。　　一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x"，其公式为： 新数据=（原数据-极小值）/（极大值-极小值） 二、z-score 标准化这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x"。 z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。 新数据=（原数据-均值）/标准差 spss默认的标准化方法就是z-score标准化。 用Excel进行z-score标准化的方法：在Excel中没有现成的函数，需要自己分步计算，其实标准化的公式很简单。步骤如下： 1.求出各变量（指标）的算术平均值（数学期望）xi和标准差si ； 2.进行标准化处理： zij＝（xij－xi）／si 其中：zij为标准化后的变量值；xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。 三、Decimal scaling小数定标标准化 这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x"的计算方法是： x"=x/(10*j) 其中，j是满足条件的最小整数。 例如 假定A的值由-986到917，A的最大绝对值为986，为使用小数定标标准化，我们用1000（即，j=3）除以每个值，这样，-986被规范化为-0.986。 注意，标准化会对原始数据做出改变，因此需要保存所使用的标准化方法的参数，以便对后续的数据进行统一的标准化。 除了上面提到的数据标准化外还有对数Logistic模式、模糊量化模式等等： 对数Logistic模式：新数据=1/（1+e^(-原数据)）模糊量化模式：新数据=1/2+1/2sin[派3.1415/（极大值-极小值）*（X-（极大值-极小值）/2） ] X为原数据