欧力shit是什么意思

这个...其实是一个脏话!文明一点解释,就是"该死"...holy就是"太,真的"的意思.所以holy shit就是"太该死"的意思.

bah

我了个去

holy shit不是褒义一不是贬义就相当与wow!明白了吧.好有holy cow!也是这个意思.

谈不上一定骂人了，比如你杯子掉地上了 holy shit

这个是英文holy shit的谐音，也可以说成厚礼蟹，表示惊叹的意思

这些都是骂人的话,fuck:日hell:地狱

holy ..........................

holy shit

go to hell

Defence of The Ancient

firstbloodDouble killkilling spreetriple killunstoppablewhickedsickmonster killgodlikeMegaKillHoly shit

表达一种惊叹的语气，大意为我的天呐，略带贬义(根据语境不是一定是贬义)。

holy shitHoly shit 是表达一种惊叹的语气，大意为我的天呐...略带贬义(根据语境不是一定是贬义)相当于Oh my god或是说 Oh my fucking god!Holy直译为神圣，这里只是表示强调语气..文明点的后面不一定跟shit..如"美国派"里就用到过holy potato,《生活大爆炸》中女主角也说过holy smokes.其实表达意思一样，只是shit比较不文明..Shit直译为屎，意义可以理解为靠，日.等等表达一种或是抱怨的情绪.或是惊讶的情绪.

同上厚礼谢特。

是哪个网站！！！太欺负人了！居然这样说我们的小巨人！这是骂人的。类似还有：Shit! Damn it! Bullshit! 等等

是

triple kill 3杀 是指短时间内（6秒）杀了3个英雄Holy shit 是表达一种惊叹的语气...略带贬义(根据语境不是一定是贬义) 相当于Oh my god或是说 Oh my fucking god! Holy直译为神圣 这里只是表示强调语气..文明点的后面不一定跟shit..如"美国派"里就用到过holy potato!其实表达意思一样，只是shit比较不文明.. Shit直译为屎 意义可以理解为靠，日.等等表达一种或是抱怨的情绪.或是惊讶的情绪. ----------------------------------------------------------------------------------------------------------------------------------------------- holy shit 在魔兽争霸 DOTA地图中 连续杀死10位敌人 就会 有holy shit 的配音出现。 同时会出现beyond godlike(中文版本 已经超越神了） 意思也是同样..表示惊叹

dissimilarity. because“a shit” It means something is bad. however“the shit” It means something is good. taboo： You can"t say it in public： shit

米田共。

整个Transformer模型由Encoder和Decoder两部分组成。Encoder负责对输入数据的编码，而Decoder负责对编码后的数据进行解码。 Encoder由N个结构相同，参数不共享的模块组成，每个模块又由多头自注意力层和全连接层组成，其中多头自注意力层和全连接层都加上了残差连接和layer normalization。 Decoder与Encoder结构类似，相比于Encoder，Decoder部分多了一个 Multi-Head Attention ，第一个 Multi-Head Attention 采用Masked操作，第二个 Multi-Head Attention 的 K 和 V 使用Encoder的输出，而Q使用上一个Decoder block的输出。 Decoder的输出通过一个线性层和softmax输出下一个翻译单词的概率。 Encoder由N个结构相同，参数不共享的的Layer组成(论文中N=6)，也即图1左侧的单元，最左边有个“Nx”。 每个Layer由 Multi-Head Attention 和 Feed-Forward 两个sub_layer组成。其中每个sub_layer都加了残差连接(Residual Connect)和归一化(Normalization)操作。则每个sub_layer的输出可表示为： Muti-Head Attention从结构上来看就是通过h个不同的线性变换将输入 投影到h个不同的 组合，最后将h个不同的Attention结果拼接起来，最后经过一个Liner层得到Muti-Head Attention的输出。 其中， 、 Muti-Head Attention输出的维度是 关于Attention的详细介绍，可以参考之前文档： Feed Forward也称Position-wise feed-forward networks，该层主要提供非线性变换。之所以是position-wise是因为过线性层时每个位置i的变换参数是一样的。 该层比较简单，是一个两层的全连接层，第一层的激活函数为 Relu，第二层不使用激活函数，对应公式为： 问 ：Attention输出之后的结果会和 相乘来进行维度变换，那这里为什么又要增加一个2层的FFN网络呢？ 答 ：FFN网络的加入给模型增加了非线性(Relu激活函数)，增加了模型的表现能力。当然去掉FFN层也是可以的，只不过效果上会差些。 Decoder是图1的右半部分，与左半部分的Encoder类似，但又存在一些区别。 Decoder比Encoder多了一个Multi-Head Attention，第一个Multi-Head Attention采用Masked操作，因为在生成任务中，前面的词语是看不到后面词语的信息的，因此需要加入Masked来避免信息泄露。第二个Multi-Head Attention输入的 是根据Encoder的输出编码矩阵映射而来，而 是根据上一个Decoder的输出映射而来。 最后有一个 Softmax 层计算下一个翻译单词的概率。 模型在解码的过程中需要注意的是训练和预测不一样。 在训练时，解码是一次全部decode出来，用上一步的ground truth来预测（mask矩阵也会改动，让解码时看不到未来的token）； 而预测时，因为没有ground truth了，需要一个个预测。 上面简单介绍了 Encoder 和 Decoder 模块，下面简单介绍一下Transformer的Position Embedding。 引入Position Embedding主要是为了弥补Transformer模型对位置信息的不足，将Position Embedding与token Embedding相加后，即可保留各个token的位置信息。 论文作者提出了两种添加位置信息的的方法： 一种方法是直接用不同频率的正余弦函数直接计算各个token的位置id，公式如下： 另一种方法是直接学习出一个Position Embedding。 通过实验发现，两种方法结果差不多，最后作者选择了第一种方法。 Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。 Transformer 中 Multi-Head Attention 中有多个 Self-Attention，可以捕获单词之间多种维度上的相关系数 attention score。 Transformer 模型详解 (推荐) 【NLP】Transformer模型原理详解 【经典精读】Transformer模型深度解读

可以去看电影，当然也可以去看书

free这里不是自由的意思，

ShawnMcGillShawnMcGill是一名演员，代表作品有《克莱克城的生活是火热的》、《急诊室的故事》等。外文名：ShawnMcGill职业：演员代表作品：《克莱克城的生活是火热的》合作人物：巴迪·吉奥维纳佐

希沃白板5启动不了是防火墙或者其他杀毒软件导致的。操作步骤如下：1、重启电脑后先关闭杀毒软件。2、不行就重装。3、看下是不是被防火墙限制了。4、把软件先卸载，用360安全卫士清理系统后重装即可。

例句Take the lot of the happiest - it is a tangled yarn.就拿最幸福的人来说吧 -- 他们的命运就是一团纠缠不清的纱线.

军训基地男的女的男的女的你男的女的你的内心你的呢你发你的几点能到你电脑呢

雪花superx9°P。勇闯天涯superX为年轻人量身定制。华润雪花表示，勇闯天涯superX的“super”代表超级、无限，X代表探索、未知，“superX”意味着未来将为年轻用户带来无限探索的可能。

1、首先打开希沃白板，点击云课件新建课件。2、其次输入课件名字，闯关游戏点击新建。3、最后点击完成即可。希沃白板是一款由希沃自主研发，针对信息化教学而设计的互动教学平台。

由罗尔德·达尔的同名小说改编而成的电影《查理的巧克力工厂》，是一部极具有喜剧色彩的奇幻冒险片。影片中丰富有趣的冒险过程大大激发了孩子们想象力，而奇幻的视觉效果也能令大家眼前一亮，总之是一部值得大人与孩子一起观看的影片。

这句话是 Sir Walter Scott, 1st Baronet 说的. 他是18世纪晚期苏格兰著名的历史小说家和诗人. 这句话是他有名的一首诗 Marmion 里的一句. 含有这句话的那一段是: Yet Clare"s sharp questions must I shun, Must separate Constance from the nun Oh! what a tangled web we weave When first we practise to deceive! A Palmer too! No wonder why I felt rebuked beneath his eye; 这句话是讲有关deception, 就是欺骗, 大概意思是应由欺骗而编织起来的网是很复杂, 很难解开的.

没什么区别，就容量和瓶身不一样

你把free理解为没有就不担心了smoke free就是没有烟，那么就是禁烟it"s free of charge，就是没有收费，就是免费自由的时候直接就是free，前后不会跟什么名词或者介词

enbx软件是SeewoEasinote5，又称“希沃白板5”对应文件的后缀名。enbx是二进制文件能源。包含在ASCII及扩展ASCII字符中编写的数据或程序指令的文件。计算机文件基本上分为二种：二进制文件和ASCII，也称纯文本文件，图形文件及文字处理程序等计算机程序都属于二进制文件。这些文件含有特殊的格式及计算机代码。ASCII则是可以用任何文字处理程序阅读的简单文本文件。希沃白板产品特点1、课堂活动：课堂活动是游戏化教学在产品中实践，它为课堂注入强互动性，以游戏化的方式呈现知识点，将课堂教学由传统的单向灌输转变为兴趣引导。2、思维导图：通过将知识点的结构化表达，进而让学习过程变得可视化，有助于提升学生的学习效果。希沃白板的思维导图类型包括：逻辑图、鱼骨图、组织架构图。

ShawnBachynskiShawnBachynski，演员，主要作品有《昆虫诱惑之激战食人虫》、《黑房间》、《致命虫灾》。外文名：ShawnBachynski职业：演员代表作品：《昆虫诱惑之激战食人虫》、《黑房间》、《致命虫灾》合作人物：JefferyScottLando

华润雪花品牌。根据查询华润雪花啤酒的资料显示，勇创未来superx是华润雪花啤酒推出品牌重塑以来首支核心产品。 华润雪花啤酒成立于1993年，是一家生产、经营啤酒的全国性的专业啤酒公司，总部位于中国北京。华润雪花啤酒在中国经营超过78家啤酒厂，旗下含雪花啤酒品牌及30多个区域品牌。

我有了解过

Something That I Want

日英文歌《im gonna getcha good》的第一句歌词是lets go,非常能鼓舞人。下面是小编给音乐爱好者带来lets go开头好听的英文歌,供大家参阅! lets...养生之道网

smoke-free environment词典结果smoke-free environment无烟环境

雪花勇闯天涯superX这个酒还是可以的，像我们宴请客户的时候，都带这个酒，包装也比较时尚，口感也好。 你喝了也会喜欢上的，试试吧。

Load是载入的意思，只有在窗体中才有此类事件，如果窗体中用到此事件的话，那么程序在运行的时候是先产生个Load 事件，然后才弹出个窗体，如下面的代码，Private Sub Form_Load()msgbox "弹出对话框后，然后你才看到窗体"End sub也就是说，在执行代码的时候，Load 事件是最先将事件中的处理语句装入内存然后在执行装入窗体的，如果没有则直接将窗体装入内存另外；没有Load text（） 事件 但是如果你要设置 text 属性可以在某个事件中执行;如：Private Sub Form_Load()text1.visible=false End sub"打开窗体时看不到text1Private Sub Form_click()text1.visible=true End sub"单击窗体时出现text1这里还可以做很多，不一一列举

歌曲名:Rise歌手:Shawn McDonald专辑:CloserRise (The Dog Barks)Ryan CabreraWinding down, tying upIn this waxed and empty boxTwisted nights, drowned in wineDropping shots in empty barsBroken glass, moments pastHold now, the dog barksBroken windows, broken doorsBroken chairs on broken floorsAll these things remind me of youI rise away, don"t feel no pain"Cause you"re with me nowIn time it seems a slower songIt"s a perfect soundSleep right through the day and we fade awayYou flow right through my veinsLike a morning rainLike a morning rain, yeahDown the stairs to neon roomsBlink eyes and cheap perfumesAll these strangers getting strangeFeeding off each other"s painI crawl inside, inside my headRusty springs and burning bedsFrozen people, frozen lungsFrozen buildings block the sunAll these things remind me of youI rise away, don"t feel no pain"Cause you"re with me nowIn time it seems a slower songIt"s a perfect soundSleep right through the day and we fade awayFlow right through my veinsLike a morning rainLike a morning rain, yeahAlone, my home, away from youAlone, my home, a wasted viewAlone, my home, away from youI rise away, don"t feel no pain"Cause you"re with me nowIn time it seems a slower songIt"s a perfect soundSleep right through the day and we fade awayFlows right through my veinsLike a morning rainLike a morning rain, yeahLike a morning rainLike a morning rain, yeahLike a morning rainLike a morning rainLike a morning rainhttp://music.baidu.com/song/5557278

查理和巧克力工厂的主要人物有哪些书中有7个主要人物，其中最重要的两个是威利·旺卡先生和查理。一。威利·旺卡。巧克力工厂的老板，在他父亲的严厉管教下，扭曲了他对父爱的理解。当他发现自己年事已高，想继承巧克力工厂时，于是给5个孩子发了一张参观工厂的代金券。2。查理巴克斯特。影片的主角是一个低收入家庭的小男孩。幸运的是，他赢得了最后一枚金牌，并最终成为巧克力工厂的接班人。三。威利特·博雷德。来自佐治亚州亚特兰大，第三个给现金票的孩子。一种强烈的功利意识，对任何事情来说，都必须获胜。最后，我吃了三顿威利·旺卡发明的口香糖，成了一个大蓝莓胖子。四。迈克·德维。来自科罗拉多州丹佛市，第四个给孩子开现金罚单。脾气暴躁，固执己见，个性恶棍。最后，他跳进了时间机器，变成了一个手掌大小的小男人。5个。维鲁卡·索尔特。来自英国白金汉郡，发行现金彩票的第二个孩子。高傲的小金，自信，什么都想对父母发脾气。最后，因为他想从威利旺卡那里捉一只松鼠，他掉进了垃圾厂。6。奥古斯都·盖洛普。来自德国杜塞尔多夫，第一个发现金彩票的孩子，爱暴饮暴食，对食物没有抵抗力，最后掉进巧克力河。7号。约瑟夫爷爷。巧克力厂的工人们喜欢唱歌和笑。

女主名字

答： 多头可以使参数矩阵形成多个子空间，矩阵整体的size不变，只是改变了每个head对应的维度大小，这样做使矩阵对多方面信息进行学习，但是计算量和单个head差不多。 答： 请求和键值初始为不同的权重是为了解决可能输入句长与输出句长不一致的问题。并且假如QK维度一致，如果不用Q，直接拿K和K点乘的话，你会发现attention score 矩阵是一个对称矩阵。因为是同样一个矩阵，都投影到了同样一个空间，所以泛化能力很差。 答： K和Q的点乘是为了得到一个attention score 矩阵，用来对V进行提纯。K和Q使用了不同的 , 来计算，可以理解为是在不同空间上的投影。正因为有了这种不同空间的投影，增加了表达能力，这样计算得到的attention score矩阵的泛化能力更高。 答： 假设 Q 和 K 的均值为0，方差为1。它们的矩阵乘积将有均值为0，方差为dk，因此使用dk的平方根被用于缩放，因为，Q 和 K 的矩阵乘积的均值本应该为 0，方差本应该为1，这样可以获得更平缓的softmax。当维度很大时，点积结果会很大，会导致softmax的梯度很小。为了减轻这个影响，对点积进行缩放。 参考链接： https://blog.csdn.net/tailonh/article/details/120544719 答： 对需要mask的位置设为负无穷，再对attention score进行相加 答： 将原有的高维空间转化为多个低维空间并再最后进行拼接，形成同样维度的输出，借此丰富特性信息，降低了计算量 答： 输入嵌入-加上位置编码-多个编码器层（每个编码器层包含全连接层，多头注意力层和点式前馈网络层（包含激活函数层）） 答： embedding matrix的初始化方式是xavier init，这种方式的方差是1/embedding size，因此乘以embedding size的开方使得embedding matrix的方差是1，在这个scale下可能更有利于embedding matrix的收敛。 答： 因为self-attention是位置无关的，无论句子的顺序是什么样的，通过self-attention计算的token的hidden embedding都是一样的，这显然不符合人类的思维。因此要有一个办法能够在模型中表达出一个token的位置信息，transformer使用了固定的positional encoding来表示token在句子中的绝对位置信息。 答： 相对位置编码（RPE）1.在计算attention score和weighted value时各加入一个可训练的表示相对位置的参数。2.在生成多头注意力时，把对key来说将绝对位置转换为相对query的位置3.复数域函数，已知一个词在某个位置的词向量表示，可以计算出它在任何位置的词向量表示。前两个方法是词向量+位置编码，属于亡羊补牢，复数域是生成词向量的时候即生成对应的位置信息。 答： encoder和decoder的self-attention层和ffn层都有残差连接。反向传播的时候不会造成梯度消失。 答： 多头注意力层和激活函数层之间。CV使用BN是认为channel维度的信息对cv方面有重要意义，如果对channel维度也归一化会造成不同通道信息一定的损失。而同理nlp领域认为句子长度不一致，并且各个batch的信息没什么关系，因此只考虑句子内信息的归一化，也就是LN。 答： 批归一化是对每一批的数据在进入激活函数前进行归一化，可以提高收敛速度，防止过拟合，防止梯度消失，增加网络对数据的敏感度。 答： 输入嵌入-加上位置编码-多个编码器层（每个编码器层包含全连接层，多头注意力层和点式前馈网络层（包含激活函数层））-多个解码器层（每个编码器层包含全连接层，多头注意力层和点式前馈网络层）-全连接层，使用了relu激活函数 答： 通过转置encoder_ouput的seq_len维与depth维，进行矩阵两次乘法，即q*kT*v输出即可得到target_len维度的输出 答： Decoder有两层mha，encoder有一层mha，Decoder的第二层mha是为了转化输入与输出句长，Decoder的请求q与键k和数值v的倒数第二个维度可以不一样，但是encoder的qkv维度一样。 答： Transformer的并行化主要体现在self-attention模块，在Encoder端Transformer可以并行处理整个序列，并得到整个输入序列经过Encoder端的输出，但是rnn只能从前到后的执行 答： 训练的时候可以，但是交互的时候不可以 答： 传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题） 传统词tokenization方法不利于模型学习词缀之间的关系” BPE（字节对编码）或二元编码是一种简单的数据压缩形式，其中最常见的一对连续字节数据被替换为该数据中不存在的字节。后期使用时需要一个替换表来重建原始数据。 优点：可以有效地平衡词汇表大小和步数（编码句子所需的token次数）。 缺点：基于贪婪和确定的符号替换，不能提供带概率的多个分片结果。 答： LN是为了解决梯度消失的问题，dropout是为了解决过拟合的问题。在embedding后面加LN有利于embedding matrix的收敛。 答： BERT和transformer的目标不一致，bert是语言的预训练模型，需要充分考虑上下文的关系，而transformer主要考虑句子中第i个元素与前i-1个元素的关系。

lade vt.(laded; laden )装载(贷物等), 装车[船]用勺舀(水); 汲出(船 里的水)塞满; 把...压倒加负担(常用过去分词)lade a ship with cargo 把货物装在船上lade water out of a boat 把水从船里舀出来be laden with responsibility 担负着责任习惯用语laden with 载满, 充满烦恼load n.【生】(不利)负荷(指有害基因的存在)担子, 负载物, 车等所载的重量; [喻]负担; 重任, 工作量[pl. ]许多, 大量, 一大堆【电】负载(量), 发电量; 电力输出, 电力消耗充填, 装药, 装弹搀(入)[俚]使人喝醉的量; 酒气装, 装载, 装入, 输入a train of twenty empties and ten loads 一列有二十辆空车厢和十辆有货物车厢的火车the live load 活负载, 动荷载the peak load 最大负载, 峰负载load meter 测荷仪, 落地磅秤edge [side] load 边(缘)荷载the permissible load 容许负载the rated load 额定负载free load [美俚]白吃白喝case load (法庭等)办案件数; (医生的)诊疗病例数loads of friends 大批朋友loads of time 充裕的时间The normal teaching load of a full professor is eight hours a week. 正教授正常的授课是为每周八小时。vt.装满; 使负担; [喻]使备受赞扬(恩宠等); 施以片面的、带有片面性的影响; 赋以感情上的联想把弹药装入(枪, 炮); 把胶卷装入(照相机)(使)饱和(将费用、利润等)附加于(纯保险费、成本等)内(垒球的)使一垒、二垒、三垒都有跑垒队员load a ship with coal 把煤装上船load cargo into the hold 把货装入船舱load a camera (with film) 把胶卷装入照相机load sb. with praise 对某人大加颂扬Load ! 【军】装子[炮]弹!习惯用语a load of (=loads of) [俚]很多, 大量be a load off one"s mind 如释重负be loaded down [up] with 装着..., 存有(某种股票等)bear a load on one "s shoulders 挑起重担cast [lay] the load on [upon] 把责任推给...get a load of [美俚]仔细地看[听]; 打量; 估计have a load on [美俚]喝醉lay not all the load on the lame horse 别把希望寄托在不中用的人身上lazy man"s load 懒人挑的重担(懒人懒得多跑路, 经常把两次担的东西做一次担)take a load off one"s feet [美俚]坐下歇歇脚take a load off sb."s mind 使某人放心; 解除某人思想 负担load down 使负担过重load up 装载, 装满

雪花勇闯天涯superX，是一款为年轻人量身打造的啤酒新品，它外观时尚个性，口感清新酷爽又不失丰满，酒味醇厚之余又苦味适中维稳，非常符合年轻人口味。视之炫酷，嗅之醇香，品之回甘，这些都是雪花勇闯天涯superX的特点所在。所以，你这个沙龙选择这个酒还是很合适的。

ShawnFlanaganShawnFlanagan，演员、编剧、摄影、导演、制作人，主要作品《电影之星》、《危机最前线》、《棒球天使》。外文名：ShawnFlanagan职业：演员,编剧,摄影,导演,制作人代表作品：《电影之星》、《危机最前线》、《棒球天使》合作人物：科斯塔·加夫拉斯电影作品

司法人员经常考虑使用rule-based和symbol-based方法解决任务，NLP研究者主要考虑data-driven和embedding方法。 在这篇文章中就主要讨论Legal AI的历史、现况、和未来的研究方向。 进行了一些试验来对现有的工作进行更有深度的分析，分析他们的优缺点，并揭示一些未来的研究方向。 可解释性强的symbolic models的效率不高，embedding-methods有更好的性能，但通常没有好的解释性，在一些道德相关的问题上有比较大的问题：经典性别和种族偏见。 我们总结了symbol-based methods和embedding-based方法共同面临的三个主要的挑战： 本文的研究贡献主要如下： 字和词嵌入很重要。 直接从司法案情描述中学习出专业词汇很困难。为了克服这种困难，可以同时捕捉 语法信息 和 司法知识 。 knowledge graph methods在司法领域很有前景，但是在实际使用之前，还是有两个主要的挑战： 这两种挑战让LegalAI通过embedding进行知识建模不平凡（non-trivial）。研究者在未来会尝试去克服这些困难。 预训练的语言模型（Pretrained language model，PLM）比如BERT，最近集中于很多NLP的领域。鉴于预训练模型的成功，在LegalAI中使用预训练模型是一个很合理很直接的选择。但是在司法文本中，这里还有一些不同，如果直接使用这些PLM会导致不好的性能。这些不同就来自于司法文本中所包含的术语和知识。为了解决这些问题，Zhong(2019)提出了一个中文司法文档的预训练模型，包括民事和（civil）刑事（criminal）案件的文档。针对司法领域设计的PLM给LegalAI任务提供了一个更有质量的baseline系统。我们在实验中对比不同的BERT模型应用于LegalAI任务。 对于在未来探索LegalAI中的PLM，研究者可以把目标放在整合knowledge进入PLM。整合knowledge进入预训练模型可以帮助推理司法概念之间。很多工作已经做了，去把general domain融入模型。 symbol-based methods也被叫做structured prediction methods。 符号化的司法知识包括：事件（events）和关系（relationship），这些可以提供可解释性。 深度学习方法可以用于提高symbol-based methods的性能。 信息提取（information extraction，IE）已经被广泛地在NLP中被研究。IE强调从文本中提取有价值的信息，一些技术比如：实体识别（entity recognition），关系提取（relation extraction），事件提取（event extraction）。 为了更好的使用司法文本，研究者尝试使用本体论（ontology）或者全球一致性（global consistency）在LegalAI的命名实体识别（named entity recognition）任务中。为了从司法文本中提取关系和事件，研究者尝试去使用不同的方法，包括：人工规则（hand-crafted rules），CRF（不知道这是啥），联合模型比如SVM，CNN，GRU，或者（scale-free identifier network）（不知道这是啥）。 现存的工作已经做出了很大努力去改善IE的效果，但我们需要跟多的注意力放在怎么好好利用这些提取出来的信息。这些提取出来的符号有司法基础（legal basis）而且可以对司法应用提供可解释性。所以我们不能只把目标定在方法的性能。在这里我们展示两个利用提取出的符号来提高LegalAI可解释性的例子： 在未来的工作中，我们需要更多注意，应用提取的信息在LegalAI任务中。这些信息的利用取决于特定任务的要求，而且这些信息可以提供更多的可解释性。 除了NLP中的共同的symbol，LegalAI有独有的symbol，称作legal elements。提取legal element专注于提取一些关键元素，比如：某个人是不是被杀了，或者某个东西是不是被偷了。这些元素是犯罪活动（crime）的基本组成元素，而且我们可以基于这些元素，直接给犯罪者定罪。利用这些元素，不仅可以给判决预测任务带来直接的监管信息，而且可以让模型的预测结果更加可解释。 从这个例子可以看出，提取元素可以决定判决结果。这些元素对于下游任务很有用。 为了更深度分析基于元素的symbol，Shu(2019)构造了用于提取元素的三个数据集：离婚纠纷，劳工纠纷，贷款纠纷。这些数据集需要我们检测相关元素是否被满足，并把这个任务规范化为一个多标签的分类任务。为了展示现存方法在element extraction上的性能，我们进行了一系列实验，如下表格所示。 我们实现了NLP中几个经典的encoding模型，为了检验elemetnt extraction。包括TextCNN，DPCNN，LSTM，BiDAF，BERT。我们用了两种不同的BERT预训练参数（原始BERT、用中文司法文档训练的BERT：BERT-MS）。从这个结果中可以看到，在广泛领域（general domain）上的预训练模型效果不如在特定领域（domain-specific）训练的预训练模型，这就是在LegalAI中推进PLM的必要性。paper的以下部分，我们就会使用在legal documents上预训练的BERT来达到一个更好的表现。 从目前的element extraction的结果来看，现存的方法已经达到了一个很好的性能，但是在相关的应用上仍然不够。这些元素可以被看作是预先定义好的legal knowledge并且帮助下游任务。怎么改善element extraction也是需要进一步研究。 介绍几个典型的应用： Legal Judgment Prediction Similar Case Matching Legal Question Answering Legal Judgment Prediction 和Similar Case Matching可以看作民事法律（Civil Law）和普通法系（Common Law System，英美法系，普通法系）判决的核心功能。Legal Question Answering可以给不懂法律的人提供咨询服务。因此探究这三个任务可以基本上涵盖LegalAI的大部分方面。 Legal Judgment Predction（LJP）在民事法律体系中很中国要。在民事法律体系中，判决结果是基于事实和法律条文。LJP主要关心怎么通过 事实描述 和民法中 相关条文 ，来预测判决结果。 下面将介绍LJP方面的研究进展，和未来的研究方向。 早期的工作包括：使用统计和数学方法在特定场景下分析司法案件。同时结合数学方法和司法规则让预测结果具有可解释性。 为了LJP的进展，Xiao(2018)提出了一个大规模的中文刑事判决预测数据集，C-LJP（c指chinese）。这个数据集包含2.68 million个司法文档，是一个LJP的有效的benchmark。C-LJP包含三个子任务：相关文章relevant articles，应用的指控applicable charges，刑期term of penalty。前两个可以被formalize为多标签分类任务，最后一个是回归任务。英文的LJP也有，但是规模比较小。 随着NLP发展，研究者开始考虑在LJP中使用NLP任务。这些工作可以分为两个主要方向：1. 使用更新的模型提高性能：Chen(2019)用门机制提高预测刑期（term of penalty）的性能，Pan(2019)提出使用多尺度（multi-scale）的attention，来处理含有多个被告的案件。除此之外，其他的研究者探究怎么使用legal knowledge和LJP的一些属性。Luo(2017)在fact和law articles之间使用attention来帮助预测可应用的指控（applicable charges）。Zhong(2018)使用拓扑图来利用不同LJP不同任务之间的关系。Hu(2018)整合了是个可辩别的（discriminative）司法属性（legal attributes）来帮助预测低频率的指控。 一系列在C-LJP上的实验 实验结果： 可以看到很多模型在预测高频率指控（high-frequency charges）和文章（articles）中达到了很好的性能。 但是在低频率的标签上表现不好，表现为micro-F1和macro-F1之间有很大的差距。 Hu(2018)展示了把few-shot learning应用于LJP。然而他们的模型需要额外的人工添加一些属性信息，这就导致很费劲，而且难以在其他的数据集上应用。除此之外，我们发现BERT的性能不够好，因为在一些模型参数较少的模型上没有什么提升。主要的原因是司法文本的长度一般较长，但是BERT最长的文本长度是512。根据统计数据，最长的司法文本长度是5w多字，15%文档场都超过了512。因此LJP需要一些文本理解（document understanding）和推理技术（reasoning technique）。 虽然embedding-based方法已经有很好的效果了，但是在LJP中我们需要结合embedding-based和symbol-based。拿TopJudge作为一个例子，这个模型规范化LJP任务中（symbol-based part）的拓扑序， 并使用TextCNN用于编码fact description。 （有点好奇这个TopJudge里是怎么通过symbol-based搞一个拓扑序的？对模型是怎么样有用的。）通过结合symbol-based和embedding-based，TopJudge达到了一个很好的效果。通过对比TextCNN和TopJudge可以发现加judgements 的顺序（order）可以提升性能。 为了更好的LJP性能。 一些挑战需要研究者来探索： 在使用Common Law System（这好像可以解释为卷宗法律系统，通过相似的案件来判案）的国家中，比如美国，加拿大，印度，判决决策是通过相似案件和有代表性的（representative）案件来进行的。因此，怎么识别出相似的案件，时Common Law System中所最需要的。 为了更好的预测Common Law System的判决结果，Similar Case Matching（SCM）成了LegalAI的一个重要的话题。SCM中对于相似度（similarity）的定义也是多种多样。SCM需要从不同的信息粒度（information of different granularity）来建模（modeling）案件之间的关联（relationship），比如事实级别（fact-level），事件级别（event-level），和元素级别（element-level）。换一种话说，就是SCM是语义匹配的一种特殊形式（semantic matching），这个对于提取司法信息（legal information retrieval）有帮助。 传统的IR方法集中于使用统计方法来衡量term-level 的相似性，比如TF-IDF。除此之外，其他研究者还尝试利用元信息（meta-information），来捕捉语义相似度。许多机器学习方法也被应用于IR，比如SVD或者矩阵分解（factorization），随着深度学习发展，多层感知机（multi-layer perceptron），CNN，RNN也被应用于IR。 已经有一些LegalIR的数据集：COLIEE，CaseLaw，CM。COLIEE和CaseLaw都被用于从大的语料库中提取最相关的文章。CM中的数据样例提供了三个司法文档用于计算相似度。这些dataset都提供了一个benchmark。许多研究者专注于建立易用的司法搜索引擎（legal search engine，司法版google）。 以计算语义级别（semantic-level）的相似度为目标，深度学习方法被用于LegalIR。Tran(2019)提出了一个CNN-based model，结合了文档级别（document-level）和句子级别（sentence-level）的池化（pooling），在COLIEE上达到了SOTA的效果。 为了对当前的LegalIR进展有一个更好的理解视角，我们使用CM(Xiao 2019)来进行实验。CM包含8964个三元组，每个三元组包含三个司法文档（A, B, C）。CM的任务就是分辨出B和C哪个更接近A。我们实现了几个不同类型的baseline： 我们发现，能够捕捉语义信息的模型性能超过了TF-IDF，但是应用到SCM还不够。如Xiao(2019)所说，主要的原因是司法人员认为数据集中的elements定义了司法案件之间的相似度。司法人员会比较看重两个案件是否有相关的元素（elements）。只考虑term-level和semantic-level的相似度是不足够的。 更深的SCM研究有以下几个方向需要努力： Legal Question Answering（LQA）：司法方面的问答系统。 司法专业人员的一个很重要的任务是向不懂法的人提供可靠的、高质量的司法咨询服务。 LQA中，问题的形式会有比较大的变化：有的问题强调对于司法概念的解释，有的问题主要考虑对于特定案件的分析。另外，从专业人员和非专业人员口中表达专业词汇可能会有差别。这些问题给LQA带来了很多挑战。 LegalAI中有很多数据集，Duan(2019)提出CJRC，一个司法阅读理解数据集，和SQUAD 2.0有相似的格式，包括span extraction（不懂），yes/no questions，unanswerable questions。另外COLIEE包含500个yes/no questions。另外，律师资格考试（bar exam）对于律师来说是一个很重要的考试，因此律师资格考试数据集会比较难，因为需要专业的司法知识和技能。 除了这些数据集之外，研究者还用了很多方法在LQA上。rule-based systems在早期的研究中效果显著。为了更好的性能，研究者利用更多的信息，比如概念解释（explanation of concepts）或者把相关文档格式化为图（formalize relevant documents as graph）来帮助推理。机器学习和深度学习方法比如CRF，SVM，CNN也用于LQA。但是，大多数现存方法只在小数据集上进行了实验。 我们选择JEC-QA来作为实验的数据集，因为这是从律师资格考试中收集到的最大的数据集，保证他的困难程度。JEC-QA包含了28641个多项选择、多项回答问题，还包含了79433个相关的文章来帮助回答问题。JEC-QA把问题分为知识驱动问题（knowledge-driven questions, KD-Questions）和案件分析问题（case-analysis questions），并且提供了人类的表现。我们实现了几个有代表性的QA模型，包括BiDAF、BERT、Co-matching、HAF，这些实验结果在表6中呈现。 对比发现，这些模型不能在回答这些司法问题上跟回答open-domain的问题时有一样好的效果。在LQA上，模型和人类之间有巨大的差距。 为了有更好的LQA方法，这里有几个困难需要克服： 除了这篇文章中的，还有其他的LegalAI任务：司法文献概述（legal text summarization），从司法合同中进行信息提取（information extraction from legal contracts）。不管怎样，我们都能够应用embedding-based方法来提高性能，结合symbol-based方法提高可解释性。 三个主要的挑战： 未来的研究者可以主要结合embedding方法和symbol方法解决这三个挑战。 对于一些任务，还没有数据集，或者数据集不够大。我们可以尝试构建规模大、质量高的数据集，或者使用few - shot / zero - shot learning方法来解决这些问题。