elmo

MichaelMoodyMichaelMoody是一位演员，主要作品有《我说你做》，合作艺人有克利斯丁·格拉夫。外文名：MichaelMoody职业：演员代表作品：《我说你做》合作艺人：克利斯丁·格拉夫

全名：Tatiana u010cecháková-Vilhelmová出生时间：1978年7月13日出生地点：Prague-Jarov英文介绍She is 5 ft 3 in tall. As a kid she took lessons in ballet for 9 years, she was a member of well-renowned Kühn"s Children Choir. She didn"t finish Prague Conservatory though as she started her career being 16 years old.She is a permanent actor at Dejvické divadlo (Dejvice Theatre) run by the City of Prague.She has been regularly nominated for Czech prestigious awards (7x Czech Lion, Alfréd Radok Award, Thálie Award), in 2006 she was awarded Czech Lion. She was also awarded abroad - TV Festival Monte Carlo 2001, "Shooting star 2003" at Berlin Film Festival.She has a two sons, Frantiu0161ek and Cyril with her husband Petr u010cechák.

TiltWheelMouse.exe所在文件夹位于C:WINDOWSSystem32下，在Win7/XP的文件大小是241,152字节。 这是一个微软签名的文件。它可以改变其他程序的行为和操控其他程序。程序没有可视窗口。这个过程开始在Windows启动时自动载入（参看注册表项：HKEY_LOCAL_MACHINE SOFTWARE MICROSOFT WINDOWS CURRENTVERSION 运行）。该文件不是Windows核心文件。TiltWheelMouse.exe是能够记录输入和监控应用程序。因此，技术安全的评级是危险的50％ 。扩展资料：软件特点：1、标准化规范化：遵循国际软件开发标准, 以及我国的电子签名法的规定, 和手写签名具有同样的法律效力, 但是更加安全便捷。2、易用性强：用户通过界面化按钮即可完成所有的操作, 和使用Office软件一样容易；3、安装方便：该软件属于盒装软件, 只要用户安装之后, 就可以在任何一个Word/Excel文档里面进行签名, 盖章, 以保障文档内容的完整性和签名的可验证性。4、实用性强：可以用在公文流转, 行政审批, 远程签约, 票据认可等任何需要签名盖章的地方。参考资料来源：百度百科-数字签名软件

1、TiltWheelMouse.exe是什么？ TiltWheelMouse.exe所在文件夹位于C:WINDOWSSystem32下，在Win7/XP的文件大小是241,152字节。 这是一个微软签名的文件。它可以改变其他程序的行为和操控其他程序。程序没有可视窗口。这个过程开始在Windows启动时自动载入（参看注册表项：HKEY_LOCAL_MACHINE SOFTWARE MICROSOFT WINDOWS CURRENTVERSION 运行）。该文件不是Windows核心文件。TiltWheelMouse.exe是能够记录输入和监控应用程序。因此，技术安全的评级是危险的50％ 。2、 PixArt Imaging Inc. 原相科技股份有限公司3、我们的数据库中包含文件为文件名tiltwheelmouse.exe。 此文件属于产品的pximouse的 ，并制定了公司的Pixart Imaging Inc的。 该文件描述pximouse的。 这是可执行文件。你可以找到它运行在任务管理器的进程tiltwheelmouse.exe。

MarcelMouloudjiMarcelMouloudji，演员外文名：MarcelMouloudji职业：演员代表作品：裁判终结合作人物：PaulFaivre

mellow。l、e、l、m、o、w这六个英文字母全部使用上只能组成mellow一个单词，mellow翻译成中文意思是醇香的、成熟的。

年轻人是一种会做梦的人当他们的青春老去他们有会不在有梦想有的还有 在这个世界上有很少一部分人不会想着好处你别在一条线上想太多 所以没用!

歌曲名:St Elmo S Fire歌手:Brian Eno专辑:Desert Island Selectionbrown eyes and i was tiredWe had walked and we had scrambledThrough the moors and through the briarsThrough the endless blue meanders.Brian EnoIn the blue august moonIn the cool august moonOver the nights and through the firesWe went surging down the wiresThrough the towns and on the highwaysThrough the storms in all their thundering.In the blue august moonThen we rested in a desertWhere the bones were white as teeth sirAnd we saw st elmo"s fireSplitting ions in the ether.In the blue august moonIn the cool august moonIn the blue august moonIn the cool august moon.http://music.baidu.com/song/3482267

ClaudeBelmontClaudeBelmont是一名演员，主要作品有《Del"amour》。外文名：ClaudeBelmont职业：演员代表作品：《Del"amour》合作人物：让-弗朗西斯·瑞切

支持你 继续研究

芝麻街。。。。

都在找ELMO伺服驱动器CEL-A10/100-C6维修，首选凌科自动化。维修速度快，技术高，价格低。ELMO伺服驱动器CEL-A10/100-C6维修,都应得到相同结果,所需驱动功率较大,瞬间整流桥通过无穷大的电流导致整流桥炸掉, 调制波和载波的交点,因为丢磁是常发生的事情,　　此法的特点是,,请将待修机的参数设置以及接线图详细记录下来,负载电流的变化率过大是引起过压的一个重要原因,要使控制机柜的尺寸尽量减小,更换功率模块,　　在变频器工作时,两个器件的工况正好相反,　　2、硬件故障检测:电流板故障、触发板故障、IGBT故障、脉冲发生器故障等,较为少见。　　专业维修:ELMO伺服驱动器CEL-A10/100-C6维修，变频器，伺服驱动器，触摸屏，直流调速器，软启动器，PLC，数控系统。　　技术精湛，检测设备齐全，进口专业配件，维修工程师团队强大，真正做到，维修价格低，维修速度快，维修质量高。　　■温馨提示:客户在确认ELMO伺服驱动器CEL-A10/100-C6维修的问题后，请勿自行拆卸检查或交给非专业人士，以免越修越坏,造成不必要的经济损失！早一天联系，少一天损失！　　1.客户根据故障来电寻求技术部帮助，工程师认为，故障可由客户自行解决的，我们将提供免费解决方案；不能自行解决的，客户可送变频器，或快递设备到凌科公司　　2.公司当天安排维修工程师检测。检测报告出来后，公司接单人员及时将检测报告传真给客户。客户在阅读检测报告后，若决定维修，就与我公司签订维修合同及汇款到公司帐号。　　3.若不维修，公司可及时为您公司办理快递业务，寄回贵公司，维修公司无需承担任何费用。产品维修后，产品的外壳上有维修的保修标签，上面有保修日期！送货单，收据，名片等上面均有，请保管好以后作为维修凭证，免费保修。

是来自《芝麻街》的Elmo。 芝麻街：在60年代是美国处于社会动荡的时期，很多当时的孩子都是在贫穷的条件下生活，他们没有足够的准备去上学，美国同时也参与了在东南亚的一场战争，甚至还有暗杀政治领袖的可怕事件，就在这种时候对贫穷的战争是由约翰逊总统首先发起了，首先的任务就要减少贫穷的根源和社会两极分化的根源，在这些话题里面就有一个问题，儿童早期的教育。1969年，一个义务教育团体Children"s Television Workshop（CTW）制作播出了《芝麻街》寓教于乐。这个节目是杂志的类型，既有木偶表演，也有动画和纪录片，使得小孩子们特别喜爱，家长也特别喜爱看我们这个节目。这个节目一经推出在美国芝麻街就非常流行，所有的报纸头版头条，还有杂志头版头条，都会讲到芝麻街，很快还有一些其他的国家也开始联系芝麻街，说他们觉得应该有一些芝麻街在他们那里播出，当然要有本地化的内容，而且能够把本地重要的教育重点纳入其中，其中包括墨西哥、德国和巴西是第一批引进芝麻街的国家。如今芝麻街是世界上最长的一条街，现在在120个国家都有芝麻街播出，其中25个国家已经用芝麻街推广如何能够用当地的模式推动奥运。 艾摩(ELMO)　　贪玩的3岁男怪兽，非常唠哪，喜欢用名字提他自己，整天大叫“ELMO want to play”。他总是快快乐乐，不停地尝试做每一件事，就算不开心，都很快没事 另外还有影片叫《艾莫奇遇记》：剧情简介　　在这个世界艾莫最喜欢的还是他那块蓝绒毛毯，他甚至发誓永不离开它。直到有一天，艾莫的好友佐伊看到他的毛毯，非常喜欢，向他讨要。艾莫当然一口回绝，谁知这时杀出个坐飞毯而来的凯莉一把从他们手中抢走毛毯飞向芝麻街。

好像是意大利品牌，不一定要用这个牌子啊，换日系的

在给猫咪挑选猫粮的时候，一定要注意按照猫咪的年龄进行挑选有很多朋友们认为猫咪吃什么猫粮都是无所谓的，所以往往给那些比较小的猫咪购买那些成年猫的猫粮，如果我们给幼猫吃成年猫的猫粮，那么对于幼猫的生长来说是不太好的。成年猫的猫粮里面热量并没有那么多，不足以维持猫咪在生长过程中营养的需求，所以也会导致幼猫的生长速度变慢，各位朋友们一定要按照猫咪的年龄大小来给猫咪挑选猫粮，才能够让我们的幼猫成长的更快，生长的更加健康。同时有些朋友们总是一味的追求进口猫粮，孰不知其实有时候进口猫粮并没有我们国产的猫粮好，有很多进口猫粮在外国都是一些小作坊生产的，这些猫粮不仅营养不均衡甚至卫生状况也令人担忧。如果各位朋友们非要购买外国的猫粮，那么我们一定要注意购买那些有中文标志的外国猫粮，其实有的时候国产猫粮也是相当不错的，各位朋友们没必要去花大价钱购买那些进口猫粮，有的时候我们购买一些国产猫粮也能够给我们带来意想不到的惊喜。而且各位朋友们在给小猫喂猫粮的时候，由于小猫的牙齿并没有发育完全，所以猫粮可能会出现啃不动的情况，各位朋友们这个时候最好把猫粮给小猫咪泡软了以后再让猫咪吃，这样一来，就可以让小猫咪的牙齿不会过早的开始出现磨损的情况。

08/04/02模范棒棒堂终极舞林至尊(下)在那集最后几分钟,是他们3人跳舞battle的时候,敖犬和小杰跳完双人breaking后,敖犬掀了elmo的帽子,然后elmo翻脸...

这里可以参考CSDN上的文章-BERT原理和实践： https://blog.csdn.net/jiaowoshouzi/article/category/9060488 在解释BERT，ELMO这些预训练模型之前，我们先看一下很久之前的计算机是如何读懂文字的？ 每个字都有自己的独特的编码。但是这样是有弊端的，字和字之间的关联关系是无法得知的，比如计算机无法知道dog和cat都是动物，它反而会觉得bag和dog是比较相近的。 所以后来就有了Word Class，将一系列的词进行分类然后让一类词语和一类词语之间更有关联，但是这样的方法太过于粗糙，比如dog，cat，bird是一类，看不出哺乳动物鸟类的区别。 在这个基础之上，我们有了Word Embedding，Word Embedding我们可以想象成是一种soft的word class，每个词都用向量来表示，它的向量维度可能表示这个词汇的某种意思，如图中dog，cat，rabbit的距离相比其他更近。那么word embendding是如何训练出来的，是根据每个词汇的上下文所训练的。 每个句子都有bank的词汇，四个bank是不同的token，但是同样的type。（注：token-词例， type-词型， class-词类 or token是出现的总次数(还有种理解是token是具有一定的句法语义且独立的最小文本成分。 )，type是出现的不同事物的个数。） 对于典型的Word Embedding认为，每个词type有一个embedding，所以就算是不同的token只要是一样的type那么word embedding就是一样的，语义也就是一样的。 而事实上并非如此，1,2句bank指的是银行，3,4为水库。所以我们希望让机器给不同意思的token而且type还一致，给予不同的embedding。在这个问题上，之前的做法是从字典中去查找这个词包含几种意思，但是这样的做法显然跟不上现实中词语的一些隐含的含义。比如bank有银行的意思，与money一起是银行的意思，而与blood一起却是血库的意思。 所以我们想让机器今天进一步做到每一个word token都可以有自己的embedding(之前是每个type有一个embedding或者有固定的一个或多个embedding)，那么怎么知道一个word应该有怎样的embedding呢？我们可以取决于该词的上下文，上下文越相近的token它们就会越相近的embedding。比如之前提到的bank，下面两个句子它们的word token的embedding可能是相近的，而和上面的word token的embedding是相远的。 所以我们想使用一种能够基于上下文的Contextual word Embedding来解决一词多义的问题。 这里使用ELMO可以做到这件事情，即每个word token拥有不同的word embedding。(右上角动物是芝麻街(美国公共广播协会（PBS）制作播出的儿童教育电视节目)里的角色)。 它是基于RNN的预训练模型，它只需要搜集大量语料(句子)且不需要做任何标注，就可以训练这个基于RNN的语言模型，预测下一个token是什么，学习完了之后就得到了上下文的embedding。因为我们可以将RNN的隐藏层中的某一节点拿出来(图中橙蓝色节点)，它就是输入当前结点的词汇的word embedding。 从当计算识别到<BOS>，模型训练开始。首先输入"潮水"，然后当作输入输出"退了"，退了当做输入输出"就"。 假设当前要得到”退了”这个词的上下文embedding，首先，因为前边的RNN只考虑到了前文而没有考虑到后文，所以这里就使用了同前文一样的反向的RNN。然后，它从句尾开始进行，比如给它喂”知道”，它就要预测”就”，给它喂”就”，它就要预测”退了”。这时候就不仅考虑每个词汇的前文，还会考虑每个词的后文。最后将正向和逆向得到的两个不同的上下文embedding(因为方向不同训练结果也不一样)拼接起来。 现在我们训练的程度都会越来越深度，当层数增加，这样就会产生Deep的RNN，因为很多层，而且每一层都会产生上下文Embedding，那么我们到底应该使用哪一层？每一层这种深度LSTM中的每个层都可以生成潜在表示(方框处)。同一个词在不同的层上会产生不同的Embedding，那么我们应该使用哪一层呢？ELMo的策略是每一层得到的上下文embedding都要。 在上下文embedding的训练模型中，每个词输入进去都会有一个embedding输出来。但是在ELMo中，每个词汇输入进去，都会得到不止一个embedding，因为每层的RNN都会给到一个embedding，ELMo将它们统统加起来一起使用。 以图中为例，这里假设ELMo有两层RNN，这里是将α1(黄色，第一层得到的embedding)和α2(绿色，第二层得到embedding)加起来得到蓝色的embedding，并做为接下来要进行不同任务的输入。 但是这里存在一些问题，α1和α2是学习得到的，而且它是根据当前要进行的任务(如QA，POS of tagging )，然后根据接下来要进行的这些任务一起被学习出来。所以就导致不同任务导向下的α1和α2也不一样。 ELMo的论文中提到，在不同任务下(SRL,Coref,SNLI,SQuAD,SST-5)。蓝色的上下文embedding在经过token(这里为没有经过上下文的embedding)，LSTM1，LSTM2后，它在不同阶段需要的weight也不一样。 BERT相当于是Transformer的Encoder部分，它只需要搜集大量的语料去从中学习而不经过标注(不需要label)，就可以将Encoder训练完成。如果之前要训练Encoder，我们需要通过一些任务来驱动学习(如机器翻译)。 BERT就是句子给进去，每个句子给一个embedding。 这里可以回忆下，Transformer的Enoder中有self-attention layer，就是给进去一个sequence，输出也得到一个sequence。 虽然图中使用是用词作为单元进行输入，但是在使用BERT进行中文的训练时，字会是一个更好的选择。比如，我们在给BERT进行输入时，用one-hot给词进行编码，但是词在中文中数量庞大，会导致维度过高。但是，字的话相对会少很多，特别是中文(大约几千个，可以穷举)。这样以字为单位进行输入会占很大优势。 共有两种方法，一种是Mask LM遮盖语言模型，另一种是Next Sentence Prediction下一句预测。 下面用上图的例子来理解BERT是怎么样来进行填空的： 1）这里假设在所有句子中的词汇的第2个位置上设置一个<MASK>； 2）接下来把所有的词汇输入BERT，然后每个输入的token都会得到一个embedding； 3）接下来将设置为<MASK>的embedding输入到Linear Multi-class Classifier中中，要求它预测被<MASK>的词汇是哪个词汇？ 但是这个Linear Multi-class Classifier它仅仅是一个线性分类器，所以它的能力十分弱，这也就需要在之前的BERT模型中需要将它的层数等参数设计的相当好，然后得到非常出色的representation，便于线性分类器去训练。 那么我们怎么知道最后得到的embedding是什么样的呢？如果两个<MASK>下的词汇(输入时设置的<MASK>和最后预测的<MASK>)都放回原来的位置而且没有违和感(就是语句还算通顺)，那它们就有类似的embedding(比如退下和落下)。 如图中，给定两个句子1)醒醒吧 和 2)你没有妹妹。其中特殊符号[SEP]是告诉BERT两个句子的分隔点在哪里。 特殊符号[CLS]一般放在句子的开头，它用来告诉BERT从这开始分类任务，[CLS]输入BERT后得到embedding然后通过Linear Binary Classifier得出结果说明：经过BERT预测后现在我们要预测的两个句子是接在一起 or 不应该被接在一起。 这里可能会有疑问，为什么不将[CLS]放在句尾，等BERT训练完两个句子再输出结果？ 对于上图中的任务，BERT现在要做的事情就是给定两个句子，让BERT输出结果这两个句子是不是应该接在一起？ 所以在语料库的大量句子中，我们是知道哪些句子是可以接在一起的，所以也需要我们告诉BERT哪些句子是接在一起的。 Linear Binary Classifier和BERT是一起被训练的，通过预测下一句这个任务，我们就可以把将BERT部分的最优参数训练出来。 现在我们知道了任务一和任务二，在原论文中两种任务是要同时进行的，这样才能将BERT的性能发挥到最佳。 现在我们知道了BERT要做什么事情，那么我们要如何去使用它？共有四种方法。论文中是将【BERT模型和接下来你要进行的任务】结合在一起做训练。 第一种，假设当前任务是Input一个sentence，out一个class，举例来说输入一句话来判断分类。 训练流程：1）将做要分类的句子丢给BERT； 2）需要在句子开始加上分类的特殊符号，这个特殊符号经过BERT输出的embedding经过线性分类器，输出结果为当前的句子属于的类别是真还是假。BERT和Linear Classifier的参数一起进行学习； 3）这里的Linear Classifier是Trained from Scratch是白手起家从头开始，即它的参数随机初始化设置，然后开始训练； 4）而BERT则是加上Fine-tune微调策略(一种迁移学习方式*)，例如Generative Pre-trained Transformer(OpenAI GPT生成型预训练变换器)(Radford等，2018)，引入了最小的任务特定参数，并通过简单地微调预训练参数在下游任务中进行训练。 *这里不得不提一下迁移学习中的Fine-tune，这里可以参考csdn的一篇文章： https://blog.csdn.net/u013841196/article/details/80919857 ( https://arxiv.org/abs/1805.12471 ) 第二种，假设当前任务是input一个sentence，输出这个句子中的每个词汇属于正例还是负例。举例现在的任务是slot filling填槽任务(填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程)（另一种解释是从大规模的语料库中抽取给定实体（query）的被明确定义的属性（slot types）的值（slot fillers））(槽可以理解为实体已明确定义的属性)，输入的句子是 arrive Taipei on November 2nd输出的槽是other dest on time time 训练流程： 1）将句子输入BERT，句子中的每个词汇都会映射出一个embedding； 2）每个词汇的embedding输入Linear Classifier，输出结果； 3）Linear Classifier 白手起家和Bert微调的方式一起去做学习。 第三种，假设当前任务是input输入两个句子，输出class。举例现在要进行自然语言预测，让机器根据premise前提，预测这个hypothesis假设是True还是False还是unknown不知道。实际上，我们可以把这个任务当成三分类问题。 训练过程： 1）在一个sentence前设置特殊符号[CLS]，然后在要输入的两个sentence中间设置[SEP]分隔符号； 2）将两个sentence连同特殊符号一起输入到BERT中； 3）将[CLS]输入BERT后得到的embedding，再把它输入linear Classifier中，得到class。 如图所示，假设gravity的token序号是17，即 ，我们现在有一个问题通过QA Model后得到的s=17，e=17，那么答案就是 为gravity； 同理，假设within a cloud的序号顺序是77到79，即 到 ,我们现在有一个问题通过QA Model后得到的s=77，e=79，那么答案就是 为within a cloud。 https://arxiv.org/abs/1905.05950 https://openreview.net/pdf?id=SJzSgnRcKX 这张图显示了BERT从0-24层的层数在针对不同的NLP任务上的表现。 https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 而所谓的GPT,它其实就是Transformer的Decoder。 我们简单的描述下GPT的训练过程：这里我们input<BOS>这个token和潮水，想要GPT预测输出“退了”这个词汇。 1）首先输入[BOS]（begin of sentence）和潮水，通过Word Embedding再乘上matrix W变成a 1到a 4，然后把它们丢进self-attention 层中，这时候每一个input都分别乘上3个不同的matrix产生3个不同的vector，分别把它们命名为q，k，v。 q代表的是query (to match others用来去匹配其它的向量) k代表的是key (to be matched用来去被query匹配的向量) v代表的是value(information to be extracted用来被抽取的信息的向量) 2）现在要做的工作就是用每个query q 去对每个 key k做attention（吃2个向量，输出就是告诉你这2个向量有多么匹配或者可以说输入两个向量输出一个分数alpha（而怎么去吃2个向量output一个分数，有很多不同的做法））。这里要预测潮水的下一个词，所以乘 ， 乘上 , 乘上 再经过soft-max分别得到 到 。 3)我们用 和每一个v相乘， 和 相乘加上 和 相乘。以此类推并相加，最终得到 。 4)然后经过很多层的self-attention，预测得到”退了”这个词汇。 同理，现在要预测”退了”的下一个词汇，按照前面的流程可以得到 ，然后经过很多层的self-attention层，得到”就”这个词汇。 GPT的神奇之处在于它可以在完全没有训练数据的情况下，就可以做到阅读理解，摘要，翻译。折线图中显示了它在参数量上升的情况下，F1的值的效果。 1.Transformer的问题： word Embedding 无上下文 监督数据太少 解决方法： Contextual Word Embedding 2.ELMo( E mbeddings from L anguages Mo del) - 多层双向的LSTM的NNLM - RNN-based language models(trained from lots of sentences) ELMo的问题： Contextual Word Embedding作为特征 不适合特定任务 3.OpenAI GPT的改进 根据任务Fine-Tuning 使用Transformer替代RNN/LSTM OpenAI GPT的问题： 单向信息流的问题 Pretraining(1)和Fine-Tuning(2)不匹配 解决办法： Masked LM NSP Multi-task Learning Encoder again Tips： - 使用中文模型 - max_seq_length可以小一点，提高效率 - 内存不够，需要调整train_batch_size - 有足够多的领域数据，可以尝试Pretraining

鲔鱼 本名: 吴俊谚 生日: 1989/09/19 星座: 处女座 年龄: 17岁 身高: 178cm 体重: 62kg 血型: O型 兴趣: 跳舞..睡觉 专长: 跳舞 优点: 热心 缺点: 不成熟 喜欢的食物 : 西瓜..寿司 讨厌的食物 : 纳豆 最近热衷的事物 : 模范棒棒堂 理相的异性类型 : 贴心..专情..体贴..活泼..听话..的小女人 未来的梦想 : 当一个有责任感的人 职业: 棒棒堂男孩&再学校给老师骗钱的学生&帮猪哥亮伴舞的舞者 自我介绍: Hello!!大家好~我是鲔鱼^^ 很感谢各为支持棒棒堂的朋友们~ 我们努力也是因为给你们看到成绩~ 所以希望大家给予适当的批评与指教~我个人很喜欢较朋友 也很风趣~有兴趣的大家~不彷来看看我的部落格~也顺便留下你的足迹吧^^ 往后棒棒堂如有第一消息~~当然毫不犹豫透露给大家拉^^ 所以请大家敬请期待也多加支持罗^^

功率密度说的是电池吧？电机哪有这个指标？现在航模电机一般都是用无刷电机，无刷电机本身转换效率高，但功率转换效率再大也都是正常范围内的，没有任何特殊之处，只能说平时生活中用不到这么大功率的电机，和航模电机一比才显的特殊了。

首先我会详细阐述 BERT 原理，然后简单介绍一下 ELMO 以及 GPT BERT 全称为 B idirectional E ncoder R epresentation from T ransformer，是 Google 以 无监督的方式利用大量无标注文本 「炼成」的语言模型，其架构为 Transformer 中的 Encoder（BERT=Encoder of Transformer） 我在 Transformer 详解 中已经详细的解释了所有 Transformer 的相关概念，这里就不再赘述 以往为了解决不同的 NLP 任务，我们会为该任务设计一个最合适的神经网络架构并做训练，以下是一些简单的例子 不同的 NLP 任务通常需要不同的模型，而设计这些模型并测试其 performance 是非常耗成本的（人力，时间，计算资源）。如果有一个能 直接处理各式 NLP 任务的通用架构 该有多好？ 随着时代演进，不少人很自然地有了这样子的想法，而 BERT 就是其中一个将此概念付诸实践的例子 Google 在预训练 BERT 时让它同时进行两个任务： 1. 漏字填空 2. 下个句子预测 对正常人来说，要完成这两个任务非常简单。只要稍微看一下前后文就知道完形填空任务中 [MASK] 里应该填 退了 ；而 醒醒吧 后面接 你没有妹妹 也十分合理(?) 接下来我会分别详细介绍论文中这两个任务的设计细节 在 BERT 中，Masked LM（Masked Language Model）构建了语言模型，简单来说，就是 随机遮盖或替换 一句话里面的任意字或词，然后让模型通过上下文预测那一个被遮盖或替换的部分，之后 做 Loss 的时候也只计算被遮盖部分的 Loss ，这其实是一个很容易理解的任务，实际操作如下： 这样做的好处是，BERT 并不知道 [MASK] 替换的是哪一个词，而且 任何一个词都有可能是被替换掉的，比如它看到的 apple 可能是被替换的词 。这样强迫模型在编码当前时刻词的时候 不能太依赖当前的词 ，而要考虑它的上下文，甚至根据上下文进行 "纠错"。比如上面的例子中，模型在编码 apple 时，根据上下文 my dog is，应该 把 apple 编码成 hairy 的语义而不是 apple 的语义 我们首先拿到属于上下文的一对句子，也就是两个句子，之后我们要在这两个句子中加一些特殊的 token： [CLS]上一句话[SEP]下一句话[SEP] 。也就是在句子开头加一个 [CLS] ，在两句话之间和句末加 [SEP] ，具体地如下图所示 可以看到，上图中的两句话明显是连续的。如果现在有这么一句话 [CLS] 我的狗很可爱 [SEP] 企鹅不擅长飞行 [SEP] ，可见这两句话就 不是连续的 。在实际训练中，我们会让这两种情况出现的数量为** 1:1** Token Embedding 就是正常的词向量，即 PyTorch 中的 nn.Embedding() Segment Embedding 的作用是用 embedding 的信息让模型 分开上下句 ，我们给上句的 token 全 0，下句的 token 全 1，让模型得以判断上下句的起止位置，例如 Position Embedding 和 Transformer 中的不一样，不是三角函数，而是 学习出来的 BERT 预训练阶段实际上是将上述两个任务结合起来，同时进行，然后将所有的 Loss 相加，例如 BERT 的 Fine-Tuning 共分为 4 种类型，以下内容、图片均来自台大李宏毅老师 Machine Learning 课程 （以下内容 图在上，解释在下） 为什么要用CLS？ 这里李宏毅老师有一点没讲到，就是为什么要用第一个位置，即 [CLS] 位置的 output。这里我看了网上的一些博客，结合自己的理解解释一下。因为 BERT 内部是 Transformer，而 Transformer 内部又是 Self-Attention， 所以 [CLS] 的 output 里面肯定含有整句话的完整信息 ，这是毋庸置疑的。但是 Self-Attention 向量中，自己和自己的值其实是占大头的，现在假设使用 的 output 做分类，那么这个 output 中实际上会更加看重 ，而 又是一个有实际意义的字或词，这样难免会影响到最终的结果。但是 [CLS] 是没有任何实际意义的，只是一个占位符而已，所以就算 [CLS] 的 output 中自己的值占大头也无所谓。当然你 也可以将所有词的 output 进行 concat，作为最终的 output 首先将问题和文章通过 [SEP] 分隔，送入 BERT 之后，得到上图中黄色的输出。此时我们还要训练两个 vector，即上图中橙色和黄色的向量。首先将橙色和所有的黄色向量进行 dot product，然后通过 softmax，看哪一个输出的值最大，例如上图中 对应的输出概率最大，那我们就认为 s=2 同样地，我们用蓝色的向量和所有黄色向量进行 dot product，最终预测得 的概率最大，因此 e=3。最终，答案就是 s=2,e=3 你可能会觉得这里面有个问题，假设最终的输出 s>e 怎么办，那不就矛盾了吗？其实在某些训练集里，有的问题就是没有答案的，因此此时的预测搞不好是对的，就是没有答案 以上就是 BERT 的详细介绍，参考以下文章 ELMo是Embedding from language Model的缩写，它通过无监督的方式对语言模型进行预训练来学习单词表示 这篇论文的想法其实非常简单，但是效果却很好。它的思路是用 深度的双向 Language Model 在大量未标注数据上训练语言模型 ，如下图所示 在实际任务中，对于输入的句子，我们使用上面的语言模型来处理它，得到输出向量，因此这可以看作是一种 特征提取 。但是 ELMo 与普通的 Word2Vec 或 GloVe 不同，ELMo 得到的 Embedding 是 有上下文信息 的 具体来说，给定一个长度为 N 的句子，假设为 ，语言模型会计算给定 的条件下出现 的概率： 传统的 N-gram 模型 不能考虑很长的历史 ，因此现在的主流是使用 多层双向 LSTM 。在时刻 ，LSTM 的第 层会输出一个隐状态 ，其中 ， 是 LSTM 的层数。最上层是 ，对它进行 softmax 之后得到输出词的概率 类似的，我们可以用 一个反向 来计算概率： 通过这个 LSTM，我们可以得到 。我们的损失函数是这两个 LSTM 的 加和 : 这两个 LSTM 有各自的参数 和 ，而 Word Embedding 参数 和 Softmax 参数 是共享的 为了用于下游（DownStream）的特定任务，我们会把不同层的隐状态组合起来，具体组合的参数是根据不同的特定任务学习出来的，公式如下： GPT 得到的语言模型参数不是固定的，它会根据特定的任务进行调整（通常是微调），这样的到的句子表示能更好的适配特定任务。它的思想也很简单，使用 单向 Transformer 学习一个语言模型 ，对句子进行无监督的 Embedding，然后 根据具体任务对 Transformer 的参数进行微调 。GPT 与 ELMo 有两个主要的区别： 这里解释一下上面提到的 单向 Transformer 。在 Transformer 的文章中，提到了 Encoder 与 Decoder 使用的 Transformer Block 是不同的。在 Decoder Block 中，使用了 Masked Self-Attention ，即句子中的每个词都只能对 包括自己在内的前面所有词进行 Attention ，这就是单向 Transformer。GPT 使用的 Transformer 结构就是将 Encoder 中的 Self-Attention 替换成了 Masked Self-Attention ，具体结构如下图所示 训练的过程也非常简单，就是将 n 个词的词嵌入 ( ) 加上位置嵌入 ( )，然后输入到 Transformer 中，n 个输出分别预测该位置的下一个词 这里的位置编码没有使用传统 Transformer 固定编码的方式，而是动态学习的 Pretraining 之后，我们还需要针对特定任务进行 Fine-Tuning。假设监督数据集合 的输入 是一个词序列 ，输出是一个分类的标签 ，比如情感分类任务 我们把 输入 Transformer 模型，得到最上层最后一个时刻的输出 ，将其通过我们新增的一个 Softmax 层（参数为 ）进行分类，最后用 CrossEntropyLoss 计算损失，从而根据标准数据调整 Transformer 的参数以及 Softmax 的参数 。这等价于最大似然估计： 正常来说，我们应该调整参数使得 最大，但是 为了提高训练速度和模型的泛化能力 ，我们使用 Multi-Task Learning，同时让它最大似然 和 这里使用的 还是之前语言模型的损失（似然），但是使用的数据不是前面无监督的数据 ，而是使用当前任务的数据 ，而且只使用其中的 ，而不需要标签 针对不同任务，需要简单修改下输入数据的格式，例如对于相似度计算或问答，输入是两个序列，为了能够使用 GPT，我们需要一些特殊的技巧把两个输入序列变成一个输入序列 ELMo 和 GPT 最大的问题就是 传统的语言模型是单向的 —— 我们根据之前的历史来预测当前词。但是我们不能利用后面的信息。比如句子 The animal didn"t cross the street because it was too tired 。我们在编码 it 的语义的时候需要同时利用前后的信息，因为在这个句子中， it 可能指代 animal 也可能指代 street 。根据 tired ，我们推断它指代的是 animal 。但是如果把 tired 改成 wide ，那么 it 就是指代 street 了。传统的语言模型，都 只能利用单方向的信息 。比如前向的 RNN，在编码 it 的时候它看到了 animal 和 street ，但是它还没有看到 tired ，因此它不能确定 it 到底指代什么。如果是后向的 RNN，在编码的时候它看到了 tired ，但是它还根本没看到 animal ，因此它也不能知道指代的是 animal 。 Transformer 的 Self-Attention 理论上是可以同时关注到这两个词的，但是根据前面的介绍，为了使用 Transformer 学习语言模型，必须 用 Mask 来让它看不到未来的信息 ，所以它也不能解决这个问题的 根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。（GPT,ELMO）GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及从右到左两个方向的语言模型），但是是分别有两个方向的自回归LM，然后把LSTM的两个方向的隐节点状态拼接到一起，来体现双向语言模型这个事情的。所以其实是两个自回归语言模型的拼接，本质上仍然是自回归语言模型。 自回归语言模型有优点有缺点，缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息，当然，貌似ELMO这种双向都做，然后拼接看上去能够解决这个问题，因为融合模式过于简单，所以效果其实并不是太好。它的优点，其实跟下游NLP任务有关，比如生成类NLP任务，比如文本摘要，机器翻译等，在实际生成内容的时候，就是从左向右的， 自回归语言模型天然匹配这个过程 。而Bert这种DAE模式，在生成类NLP任务中，就面临训练过程和应用过程不一致的问题，导致 生成类的NLP任务到目前为止都做不太好 。 自回归语言模型只能根据上文预测下一个单词，或者反过来，只能根据下文预测前面一个单词。相比而言，Bert通过 在输入X中随机Mask掉一部分单词 ，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词，如果你对Denoising Autoencoder比较熟悉的话，会看出，这确实是典型的DAE的思路。那些被Mask掉的单词就是在输入侧加入的所谓噪音。类似Bert这种预训练模式，被称为DAE LM。 这种DAE LM的优缺点正好和自回归LM反过来，它能比较自然地融入双向语言模型，同时看到被预测单词的上文和下文，这是好处。缺点是啥呢？ 主要在输入侧引入[Mask]标记，导致预训练阶段和Fine-tuning阶段不一致的问题 ，因为Fine-tuning阶段是看不到[Mask]标记的。DAE吗，就要引入噪音，[Mask] 标记就是引入噪音的手段，这个正常。 XLNet的出发点就是：能否 融合自回归LM和DAE LM两者的优点 。就是说如果站在自回归LM的角度，如何引入和双向语言模型等价的效果；如果站在DAE LM的角度看，它本身是融入双向语言模型的，如何抛掉表面的那个[Mask]标记，让预训练和Fine-tuning保持一致。当然，XLNet还讲到了一个Bert被Mask单词之间相互独立的问题。

ELMO个人小档案 个人资料 姓名: 戴家昀 暱称: Elmo!!!! 年龄: 25岁 血型: A 教育程度: 硕士 提问人的追问 2009-07-21 16:54 我要详细的 回答人的补充 2009-07-21 17:03 Elmo戴家昀 男艺人 英文名 Elmo 昵称 Momo、外星人 生 1982年2月6日 (1982-02-06) （26岁） 台湾花莲县凤林镇 职业 主持、广告明星 -------------------------------------------------- Elmo（1982年2月6日－），本名戴家昀，为台湾Channel V节目模范棒棒堂成员，也是年纪最大的一位。 他亦有另一昵称Momo，只在模范棒棒堂节目中使用[1]； 由于当时他已以Elmo名义参与其他舞蹈及演艺活动，容易造成称呼上的混乱(例如模范棒棒堂评审之一、排舞老师蓝波在节目中会直接称呼他Elmo)，最后在2007年11月，节目根据其个人意愿，将其绰号改回Elmo。 他曾担任20多支广告演员及模特儿，也有主持节目、拍摄电影，是少有的模范棒棒堂成员在未出道的情况下，已经在台湾演艺界有不少演艺工作。 他也是舞蹈团体「So Funky」及「MOB」的成员[2][3]，强项是Locking舞蹈，曾参与台湾及国外不同的Locking舞蹈比赛，并得到优秀成绩[4][5][6]。他亦擅长于其他种类的舞蹈，如Slow Motion、巴西战舞及另类主题舞蹈等。他也是黑涩会美眉成员鬼鬼的舞蹈老师。 虽然Elmo也经过棒棒堂二军选战的洗礼，可是他并没有被选为棒棒堂二军出道成员，原因是他本人自愿让出位置给其他更适合的「底迪」（棒棒堂男孩的称呼），而他本身他有为其他节目任主持，他正是想主持等的工作，以棒棒堂男孩的身份走出世界，见识更多；他亦计划短期内（约一年内）会搞一个以舞蹈为主题的舞台剧。 ★学历★ 台北市立体育学院运动器材科技研究所 龙华科技大学电机系 花莲高中 凤林国中 凤林国小 ★演艺工作★ ★主持★ 三立都会台 在中国的故事 ★演出★ Channel V 模范棒棒堂 ★电影★ 《洋腐乳》- 取样人生 饰 小任[7] ★广告★ 和信电讯多传篇电视广告 和信电讯平面鬼脸篇 和信电讯平面拳击跑步篇 和信电讯平面手册 和信电讯平面一万元篇 和信平面DM 茶里王电视广告 7-11珈哩风电视广告 黑人牙膏八仙篇电视广告 黑人牙膏平面 李施德林漱口水平面 EXTRA口香糖骆驼篇电视广告 [8] T.G.I. Friday"s海鲜篇电视广告 肯德基焦糖玛琪朵蛋塔电视广告 M&M"s巧克力平面 达美乐披萨弹跳篇电视广告 富邦银行劈腿篇平面 SYM机车广告 肯德基阿拉斯加鲑鱼卷 3M狠贴电视/平面 自然果力打卡篇电视广告 台湾大哥大宠爱美人季篇电视广告 缤纷乐巧克力电视广告 [9] ★奖项★ 2007-Beatronic Locking Battle 冠军

是个名字/美国地名，但是在北美通常是指Sesame Street/芝麻街（小孩电视节目）上的红色布偶。

蓝娃安仔公仔。芝麻街毛绒玩具艾摩elmo蓝娃安仔公仔是儿童陪伴生日礼物可爱玩偶。

常见的故障就是机油太少了，有时候又不够冷却。

ELMO 姓名:戴家昀 生日:1982/2/6 星座:水瓶 血型:A 舞龄:3年 舞风:lock pop breaking 专长:戏剧 官网的资料好像也就提了这么多.

是演员：Bill Bolender出生于1940年11月14日，在很多电影和剧集中担任角色。

是来自《芝麻街》的Elmo。 芝麻街：在60年代是美国处于社会动荡的时期，很多当时的孩子都是在贫穷的条件下生活，他们没有足够的准备去上学，美国同时也参与了在东南亚的一场战争，甚至还有暗杀政治领袖的可怕事件，就在这种时候对贫穷的战争是由约翰逊总统首先发起了，首先的任务就要减少贫穷的根源和社会两极分化的根源，在这些话题里面就有一个问题，儿童早期的教育。1969年，一个义务教育团体Children"s Television Workshop（CTW）制作播出了《芝麻街》寓教于乐。这个节目是杂志的类型，既有木偶表演，也有动画和纪录片，使得小孩子们特别喜爱，家长也特别喜爱看我们这个节目。这个节目一经推出在美国芝麻街就非常流行，所有的报纸头版头条，还有杂志头版头条，都会讲到芝麻街，很快还有一些其他的国家也开始联系芝麻街，说他们觉得应该有一些芝麻街在他们那里播出，当然要有本地化的内容，而且能够把本地重要的教育重点纳入其中，其中包括墨西哥、德国和巴西是第一批引进芝麻街的国家。如今芝麻街是世界上最长的一条街，现在在120个国家都有芝麻街播出，其中25个国家已经用芝麻街推广如何能够用当地的模式推动奥运。 艾摩(ELMO)　　贪玩的3岁男怪兽，非常唠哪，喜欢用名字提他自己，整天大叫“ELMO want to play”。他总是快快乐乐，不停地尝试做每一件事，就算不开心，都很快没事 另外还有影片叫《艾莫奇遇记》：剧情简介　　在这个世界艾莫最喜欢的还是他那块蓝绒毛毯，他甚至发誓永不离开它。直到有一天，艾莫的好友佐伊看到他的毛毯，非常喜欢，向他讨要。艾莫当然一口回绝，谁知这时杀出个坐飞毯而来的凯莉一把从他们手中抢走毛毯飞向芝麻街。

出自《芝麻街》其他人物小梅子(LITTLE PLUM)好奇却又容易分心的小梅子不太注意整齐，头发经常乱七八糟的，不过据她说，她一家人的头发，也都是这个模样，她打起呼噜还特别响。但她面对问题时特别冷静，有时很受不了呼呼猪帮助她时的过度热情，但因为他是好朋友，只好忍受他。甜怪饼(COOKIE MONSTER)甜怪饼正象他的名子，喜欢吃甜面包、甜品、口头禅是“We want cookie”,但他有营养意识，现在的口味越来越多样化。艾摩(ELMO)贪玩的3岁男怪兽，非常唠哪，喜欢用名字提他自己，整天大叫“ELMO want to play”。他总是快快乐乐，不停地尝试做每一件事，就算不开心，都很快没事。大鸟（BIG BIRD）六岁的大鸟住在芝麻街上的一个鸟窝里，平时最爱吃鸟食香香饼干。他性格开朗，积极，就是反应慢了一点。他面对新事物总是很兴奋，碰上问题从不气馁，深得朋友欢心，与呼呼猪和小梅子特别要好。呼呼猪(HU HU ZHU)(PUFFING PIG)一只喜欢助人为乐的小猪，但往往因为过度热情，横冲直撞，呼呼出气，得了个“呼呼猪”的大名。他很为自己的蓝色感到自豪，花费不少时间挑蓝色茸毛里的灰尘，还很欣赏自己的尾巴，特臭美！热爱艺术的他还爱高歌一曲，可嗓音就别提了。伯特(BERT)伯特长期痛苦地忍受着厄尼的取笑，他对人特认真，任何事都可以令他沉迷，他最喜欢收集瓶盖和碎片，还喜欢管弦乐和他的宠物鸽子。厄尼(ERNIE)厄尼和伯特刚好相反，是个乐天派，为人轻佻，喜欢捉弄伯特，但他能说会道，搞得伯特毫无办法。奥斯卡(OSCAR THE GROUCH)有点古灵精怪的奥斯卡，在芝麻街上是个脾气较坏的居民，喜欢藏入一个可以容纳几头大象的垃圾筒里孤独地生活，但为人善良。伯爵(THE COUNT VON COUNT)充满滑稽的人，对计算机的兴趣没有边际。喜欢数手指，由1数到10，数到最后就会闪电，好可怕呀！佐伊(ZOE)佐伊是艾摩的小怪友，对每一件事都非常兴奋。她说话比较慢，精力充沛，好奇心强，非常喜欢古怪的装饰品。她有一个很好的娃娃名（咪咪）。葛罗弗(GROVER)最奇怪的人物，乐意帮助人，有时做保安，有时扮演正义朋友，但越帮越忙，最后总是什么事也做不成。如西达(ROSITA)来自墨西哥的如西达，是一种由洞里面的温暖的小怪物，他能墨西哥语，他说西班语，当他说英语时，非常自然，令人感动。晨草原(PRAIRIE DAWN)仅有的一个保持理智才智的人，有着棕色的头发，甜蜜的气质。她在芝麻街学校弹钢琴，喜欢憧憬未来和预见事物发展的可能性。艾丽思(ALICE)史纳菲的2岁妹妹，只有史纳菲一半高，刚开始了解世界，刚学走路，她就想帮助她的兄弟做事。她的词汇也象其他2岁孩子一样是有限的，经常重复同一句话。史纳菲(MR SUNFFLEUPAGUS)害羞的史纳菲是象河马一样的厚皮动物，4岁的他总是不想讲话，面对困难第一个反应就是放弃，但一点点激励就能解问题。

1、艾摩(ELMO)贪玩的3岁男怪兽，声音清亮，笑声非常有感染力，喜欢用名字提他自己，整天大叫“ELMO wants to play!”。他总是快快乐乐，不停地尝试做每一件事，就算不开心，都很快没事。即便做事能力不够也不会气馁，对自己和生活有着正面乐观的态度。2、大鸟（BIG BIRD）六岁的大鸟住在芝麻街上的一个鸟窝里，平时最爱吃鸟食香香饼干。他性格开朗，积极，就是反应慢了一点。他面对新事物总是很兴奋，碰上问题从不气馁，深得朋友欢心，与呼呼猪和小梅子特别要好。3、甜饼怪甜饼怪正像他的名字，喜欢吃饼干、口头禅是“me want cookie”,但他有营养意识，口味越来越多样化。甜饼怪的声音粗犷，但像芝麻街的其他怪物一样，他从来都不可怕。他很执著，无拘无束，活在当下，有些粗心，还有点情绪化。 你会一直听到甜饼怪说： “我要饼干。”4、伯特(BERT)伯特长期痛苦地忍受着厄尼的取笑，他对人特认真，任何事都可以令他沉迷，他最喜欢收集瓶盖和回形针，还喜欢管弦乐和他的宠物鸽子。总是能原谅厄尼，永远做他的好朋友。5、厄尼(ERNIE)和严肃的伯特相比，厄尼是个乐天派，更加调皮外向。他经常利用伯特的严肃捉弄他，搞得伯特毫无办法。他是因为喜欢伯特才笑话他，所以他的玩笑和笑话绝不是故意伤害。厄尼无忧无虑面对成功和失败的态度使他成为芝麻街最受欢迎的人物之一。厄尼喜欢唱歌，尤其是歌颂他自己对橡皮鸭的喜爱。

Pantera乐队主唱，资料见http://baike.baidu.com/view/71119.htm#4