ear

learn是及物动词也是不及物动词。作及物动词时意为“学习；得知；认识到”，作不及物动词时意为“学习；获悉”。例句:Their children were going tolearn English.他们的小孩会学英语。 learn用法 一、learn+介词，如learn from（向·····学习）、learn about（了解，学习）、learn of（听说，获悉）、learn by oneself(自学）等。 二、learn+名词，如learn english，learn a lesson。 三、learn to do something（学习做某事），learn doing sth.学过什么什么···· learn的短语有 1、learn about了解；学习 2、learn by oneself自学 3、learn of听说，听到；获悉 4、learn to do做事；学会做某事；学习做… 5、learn how to learn学习如何学习 6、learn by heart记住 7、learn a lesson受到教训

to do learn to do sth 学做某事你好！ 有疑问可追问； 如果帮到你，请及时采纳。Have a good day ！

learn的用法主要如下：一：learn+介词,如learn from（向·····学习）、learn about（了解,学习）、learn of（听说,获悉）、learn by oneself(自学）等.二：learn+名词,如learn english,learn a lesson.三：learn to do something（学习做某事）,learn doing sth.学过什么什么····

Learning is acquiring new, or modifying existing, knowledge, behaviors, skills, values, or preferences and may involve synthesizing different types of information.While ,study is to revise materials already learned in order to make sure one does not forget them, usually in preparation for an examination. or it can have other relating meanings .:learn主要用于学习的初级阶段或带有模仿性的操作技艺等，而study 则常用于较高深或周密的研究。

你好！learn和study的区别见下：【learn】用作及物动词(1) 主语+learn+ n./pron.He studied hard and finally learned the lesson. 他努力学习,终于掌握了这一课。 The child has learned quite a few Tang poems. 这孩子学会了很多首唐诗。 (2) 主语+learn+to- vYou must learn to keep your balance in skating. 在溜冰时你得学会保持平衡。 She is learning to speak American English. 她在学说美式英语。 (3) S+～+wh-/how to- vI"m learning how to repair motors. 我正在学习怎样修理发动机。 You must learn when to speak and when to keep silent. 你必须学会什么时候讲话,什么时候沉默。 (4)主语+learn+ v -ingI learnt reading and writing at school. 我在学校学会了读和写。 He learned swimming in his childhood. 他在童年时学会了游泳。 此外，learn做及物动词还有其他用法，请参见字典。 【2和4的区别】：learn v -ing强调学习的过程;learn to- v 强调学习的结果。-----【study】用作及物动词时(1) 主语+study+ n./pron.He is studying German. 他在学习德语。 Helen studied her spelling lesson for half an hour. 海伦花了半个小时学习拼写课程。 study基本上没有你举例的(2) (3)的用法。 但是study后面可以跟wh-/how等引导的从句。比如： They are studying what to do next Sunday. 他们在研究下星期日做什么。 He studied how to finish the work in the shortest possible time. 他研究了怎样才能在最短的时间里完成这项工作。 所以不存在你说的要对比learn to do 和study to do的情况。因为study没有那种用法。要区别词意的话，study 和learn 都可以表示“学习”, study 含有“研究”的意思, learn 指模仿性地学习。

learn的第三人称单数：learnslearn的用法1、learn的基本意思是“学,学习”,指通过他人的讲授或从经验中获得知识或技能,表示处于初级阶段或具有技术性的学习活动,强调的是一个由“不知道”到“知道”的过程,也可表示学习的成果,即“学会,学到”。还可指“听说,得知”。learn的用法2：learn可用作及物动词,也可用作不及物动词。用作及物动词时,接名词、动名词、(带疑问词的)动词不定式、或由that或疑问词引导的从句作宾语。当作“教”或“给某人一个教训”解时,还可接双宾语,偶尔还可接以形容词充当补足语的复合宾语。learn的用法3：learn作“听说,获悉”解时,是传达信息的动词,常可用一般现在时来代替一般过去时。learn的用法4：learn用作不及物动词作“吸取教训”解时,多用于否定句。learn第三人称单数例句：　　1. Livy"s getting on very well in Russian. She learns very quickly.　　莉薇的俄语很有起色，她学得非常快。　　2. One can only pray that the team"s manager learns something from it.　　大家也只能希冀球队教练从中汲取教训。　　3. The human organism learns partly by nature, partly by nurture.　　人的学习能力部分是天生的，部分是后天培养的。　　4. Each person learns in a slightly different way.　　每个人的学习方法都稍有不同。　　5. Every individual learns differently.　　每个人的学习方式都不一样。　　6. A bright boy learns quickly.　　聪明的孩子学得快.　　7. He learns very quickly.　　他学得很快.　　8. Very early in life when the baby feels the pangs of hunger, she learns to scream.　　当新生儿感到饥饿时，就学会了喊叫。

1、意义不同：learn强调的是获得知识，内容或信息等结果，study强调的是学习、研究等行为的举动或过程。例句：I like to study in the library. 我喜欢在图书馆学习。2、侧重点不同：study是学习，研究的意思。是延续性动词。learn是学会，弄懂的意思。是瞬间动词。例句：l never learned his name.我从未听说过他的名字。3、用法不同：learn 多用于学习的初级阶段或带有模仿性的操作技艺等；而 study 则常用于较高深或周密的研究。例句：This question should be carefully studied. 这个问题必须认真研究。作动词时，study 表示通过花费时间或努力来获得学术知识，且主要是在课堂上或通过读书，所以我们通常不说 study to play the guitar，意为”学习，攻读“，例如：Students who spend some time each day studying will do well on tests.每天花一些时间学习的学生会在考试中取得好成绩。

learn sth.(学某事）learn to do sth（学做某事）learn by oneseif （自学)

下个灵格斯软件 不比在百度上问更好

字典上有。vt.1. 学习;学会[+to-v][+v-ing][+wh-]He has learnt a new skill.他学会了一项新技能。My brother is learning English now.我的弟弟正在学英语。2. 认识到[Y][+(that)]He has learned that dishonesty does not pay.他已经认识到不诚实是没有好报的。3. 记住The boy soon learned the poem by heart.这男孩不久便能熟背这首诗了。4. 得知,获悉[+(that)][+wh-]I learned from his letter that he was in Spain.我从他的信中得知他正在西班牙。We learnt the news this morning.我们今天早晨得悉这一消息。5. 【幽】教训vi.1. 学,学习[(+from)]Why don"t you learn from my mistakes?你为何不从我的错误中吸取教训呢?2. 得知,获悉[(+of/about)]We learned of his marriage in the newspapers.我们从报上获悉他结婚了。

就是没有learn doing learn to do sth OR learn sth e.g.learn a lesson

一、指代不同1、learn：表示“学会；学习；得知”2、learn about：表示“了解，知道”二、用法不同1、learn：用作及物动词时，接名词、动名词、(带疑问词的)动词不定式、或由that或疑问词引导的从句作宾语。It"s more useful to learn modern languages, such as English and German, than Latin.学习英语和德语等现代语言比学习拉丁语更为有用。2、learn about：可接双宾语，偶尔还可接以形容词充当补足语的复合宾语。I read Lives of the Poets and learned about the lives of many English poets.我读了《诗人传》, 从中了解了许多英国诗人的生活。三、侧重点不同1、learn：侧重表示学习的成果。2、learn about：侧重强调的是一个由“不知道”到“知道”的过程。

1 learn 强调从不会/不懂到知道2 study 强调从知道到精通，并且还要研究下去，如有可能。

Learnt是英式英语的词，learned是美式（也是通俗）的用法。通常（除非是地道的英国人）从来不用“learnt”，而且写出来也怪怪的。还有就是在过去时的用法也不一样：美式英语中的learned任何时候（只要是简单的过去时）都可以用，而learnt则必须是soon,later,等之后（例如hesoonlearnt,shelaterlearnt）。英式英语大部分时间都是用learnt（不分场合），而learned则是有学问的意思（形容词）。如果对您有帮助的话，给个好评吧，谢谢~

learn强调的是获得知识，内容或信息等结果，study强调的是学习、研究等行为的举动或过程。learn是学会，弄懂的意思，是瞬间动词。study是学习，研究的意思，是延续性动词。learn和study的区别：1、 learn为“学习，学会”，侧重学习的成果，指从不知到知，从不会到会的学习，强调通过学习去获得知识和技能，它没有凭勤奋努力而获得知识的意味。learn亦可指向某人学习，从某处学习及学习一门技能等。如learn music, learn new words, learn to skate, learn fromexperience。2、study为“学习，研究”，强调学习的过程，指深入系统地学习，带有努力，勤奋的意味。其学习对象往往是科学，艺术和需要深入探讨，研究的问题及学科，不是单纯地获得技巧。如: study medicine, study science，study a map,studyengineering,studypainting。3、在指某学科的“学习”时，或在不需要强调两者的区别时， learn和study可以换用。

study和learn的区别为意思不同、用法不同、侧重点不同。一、意思不同1、study意思：学习;研究;功课;课业;学业;用于某些学科名称。2、learn意思：学;学习;学到;学会;听到;得知;获悉;记住;背熟;熟记。二、用法不同1、study用法：基本意思是“学习”“研究”“攻读”“仔细察看”，指通过读书和思索倾注精神而获得知识或比较深入系统地学习或周密地研究。强调注意的连续性和细致性。作不及物动词，也可用作及物动词。用作及物动词时，接名词、代词或带疑问词的动词不定式或从句作宾语，有时还可接“反身代词+形容词”构成的复合宾语。可用于被动结构。2、learn用法：基本意思是“学，学习”，指通过他人的讲授或从经验中获得知识或技能，表示处于初级阶段或具有技术性的学习活动，强调的是一个由“不知道”到“知道”的过程，也可表示学习的成果，即“学会，学到”。还可指“听说，得知”。三、侧重点不同1、study侧重点：study则侧重指学习过程。2、learn侧重点：learn虽然可指学习的过程，但更侧重指学到的成果。扩展资料：study，consider，ponder，weigh，contemplate这些动词均有“考虑、思考、估量”之意。辨析如下：study普通用词，指对各方面考虑，在制订出计划或采取具体动作之前作认真检查。consider既指一时的对某事的考虑，也指长时间的深入的思考。ponder侧重仔细、深入、连续地考虑问题，以作出认真的估计和正确的抉择。weigh指作出决策前把问题的各个方面进行比较，权衡利害得失，取有利的方面。contemplate通常指长时间思考某事，有时含无确定的实际目的。

　　1、learn的基本意思是“学,学习”,指通过他人的讲授或从经验中获得知识或技能,表示处于初级阶段或具有技术性的学习活动,强调的是一个由“不知道”到“知道”的过程,也可表示学习的成果。 　　2、learn可用作及物动词,也可用作不及物动词。用作及物动词时,接名词、动名词、(带疑问词的)动词不定式、或由that或疑问词引导的从句作宾语。当作“教”或“给某人一个教训”解时,还可接双宾语,偶尔还可接以形容词充当补足语的复合宾语。 　　3、learn作“听说,获悉”解时,是传达信息的动词,常可用一般现在时来代替一般过去时。

分类: 教育/科学 >> 外语学习 问题描述: 这是我上英语课老师说的一个问题，老师说她也没有查出这个到底来自哪里，请知情着不惜吝教，谢谢！ 解析: 说年轻人涉世未深，言行幼稚，中文中有个成语叫“乳臭未干”。英文中也有个现成的说法：Wet behind the ear。Wet behind the ear 从20世纪早期开始在报刊杂志中出现，而在此之前，这一说法已经被人们广泛使用了。 大家也许不知道，胎生 动物 ，如马、牛、老虎和狮子之类的幼崽出生后，浑身都是湿的，身上渐渐干了之后，耳朵背后还是湿的，还没有真正长大呢。所以当你发现某人太年轻, 缺乏经验，不适合做某事的时候, 就可以用wet behind the ear，也可以说成not dry behind the ear。 例如：You are still wet behind the ears.（你还嫩了点儿。） 但是，正如一句广告语所说：年轻, 没有什么不可以! 所以，风华正茂的你可不要被You are wet behind the ears.给吓坏了哦!

疑问句：Is he ten years old?

你好同学，意思是：“那里有猪”，there are pigs。谢谢。

Tibetan New Year藏历新年

nest:词典释义]n. 1. 巢;窝;穴;(鸟等的)一窝,一群 2. 安乐窝,舒适之处 3. (盗贼等的)巢窟;(罪...vi. 1. 筑巢;巢居;伏窝 2. 找鸟巢,摸鸟蛋 3. (物体)相互套叠 vt. 1. 使入巢;为...筑巢 2. 把(物件)按大小顺序套叠在一起 [网络释义]nest 1.嵌套后进先出 2.插孔，座 ②一套，群，组 3.筑巢 4.巢状 5.巢造巢成堆near:词典释义]a. 1. 近的 2. (关系、程度上)接近的;近似的 3. (两者中)较近的[Z][B] 4. 几乎...ad. 1. 近,接近 2. 几乎,差不多 prep. 1. 在...附近 2. 近似于 [网络释义]1.靠近....。 2.在...附近

year是辅音开头的词亲：高老师祝你学习进步，每天都开心V_V！望采纳，thanks(thx)!

i wear 穿着状态并不能用ing

My mother never wears jeans or trainers.

B

it"s comfortable to wear trainers. they are very suitable to long travels.

我也听Ne-Yo的歌 He used to put me up one day他曾经包装过我Show me what to look for告诉我要追寻什么Wanted his eyes怀恋他的眼睛So I wouldn"t have get to fall因此我才没有失败Everything I had by a fella因为他我所拥有的一切Knew the right things to say我知道该说些什么And I was a real good student我也真是个很有天赋的学生So when he was trying to gave me, couldn"t do it所以当他想告诉我什么却办不到时I thought he was looking out for me我还以为他在找我Never thought he"d turn out to be…永远不曾想到他居然是Tell me watch our for heartbreakers他告诉我小心负心者All they do is take your love and leave那些家伙只会拿了你的爱就走I never know he"d turn out to be我永不会想到他居然自己就是那个The heartbreaker he warned me about他警告过我的负心者Tell me watch our for heartbreakers告诉我小心负心者All they do is take your love and leave那些家伙只会拿了爱就走I never know he"d turn out to be我永不会想到他自己就是那The heartbreaker he warned me about他警告过我的负心者He used to tell me a playa他曾经告诉我 花花公子Would say just about anything to lay her down会花言巧语骗你躺下See ya later再见了Opening my eyes but blinding me at the same time挣开双眼 却同时蒙上了我的心I can"t name nobody, ooh I really wish I could blame somebody 我想不起任何人的名字 我真希望能找个人责备下But it was my fault, had me so gone但这是我自己的错Not paying attention当时是我没有注意That"s when it went wrong那也是错误的开始Tell me watch our for heartbreakers他要我小心负心者All they do is take your love and leave他们只会拿了爱就走I never know he"d turn out to be我永远也不成想他自己却是那The heartbreaker he warned me about他告诉过我的负心者Tell me watch our for heartbreakers告诉我小心负心者All they do is take your love and leave他们只会拿了爱就走I never know he"d turn out to be我永不曾想他自己却是那The heartbreaker he warned me about要我小心的负心者Oooh ooooh喔 喔Silly me, silly me我真笨 我真笨I was so busy stressing我当时那么紧张That I forget the first lesson尽然忘了第一课Keep your eyes open at all times"永远把你的双眼睁大silly me, silly me我真笨 我真笨now I"m promising myself现在 我对自己承诺I"m only fallin" for the one time我只会犯这一次错Mistakes I learnt from my从中吸取教训Tell me watch our for heartbreakers教我小心负心者All they do is take your love and leave他们只会拿了爱就走I never know he"d turn out to be我永不曾想到他自己却是那The heartbreaker he warned me about让我小心的负心者

Wolfram Research　　Wolfram Research 是当今世界科技计算软件的领导开发商。公司由天才科学家Stephen Wolfram创建。Stephen Wolfram是公司的创建者和首席执行官。　　公司的主打产品为Mathematica.公司的主要产品和服务如下：　　软件　　Mathematica是当今世界四大数学软件之一。Mathematica是由WolframResearch开发的一个广泛使用的计算机代数系统。它拥有强大的数值计算和符号运算能力。它是目前为止使用最广泛的数学软件之一。Mathematica同时也为Wolfram公司的注册商标。

D

加s

spread 英 [spred] 美 [spru025bd] vt. 展开; 伸开; （使） 传播; （使） 散布; n. 范围; 连续的一段时间; vt. 涂; 把…覆盖在…上(over); 把…敲平; 散发（气、烟等）; [例句]She spread a towel on the sand and lay on it她在沙滩上铺了一条毛巾，躺在上面。[其他] 第三人称单数：spreads 复数：spreads 现在分词：spreading 过去式：spread 过去分词：spread

Sweetheart是对的 是甜心的意思 Sweat是汗的意思.所以肯定是不对的,没有sweatheart这种说法

Tear当作名词眼泪时是不可数的，当加上S时，是广泛意义上的泪水，并不是可数的意思。例如cloth是布，不可数。但cloth+es=clothes泛指衣服，虽然也是不可数，但是是cloth加es变的。

Tear当作名词眼泪时是不可数的，当加上S时，是广泛意义上的泪水，并不是可数的意思。例如cloth是布，不可数。但cloth+es=clothes泛指衣服，虽然也是不可数，但是是cloth加es变的。

眼泪一滴滴的嘛汗水有时候不是一滴滴的，冒的汗算不清啊

英语谚语: No piper can please all ears 中文意思: 众口难调。 随机推荐10条英文谚语： Pleasure has a sting in its tail 乐中必有苦。 Plenty is no plague 富裕绝非灾祸。 Poetry is simply the most beautiful impressive and widely effective mode of saying things and hence its importance 诗歌只不过是最美丽、最感人、最有力的说话方式，这也就是诗歌的价值。 Poets are the unacknowledged legislators of the world 诗人是世上没有得到承认的立法者。 Politeness costs nothing and gains everything 礼貌不费分文而可赢得一切。 He that is ill to himself will be good to nobody 不知自爱的人也不会爱别人。 He that is master must serve 主人必须会服务。 He that is master of himself will soon be master of others 能主宰自己的人不久就可以主宰别人。 He that knows nothing doubts nothing 无知就无疑。 He that knows not how to hold his tongue knows not how to talk 不知缄口的不善言。 英语谚语: No piper can please all ears 中文意思: 众口难调。

听到我们的呼声主， 听到我们的祈祷。 把我们的负担， 平静了我们的担心。 上帝让我们将您 这个民族爱你。 请把我们的产品 我们之前，先确定。 上帝听到我们的祈祷 我们正在解除由您决定。 上帝看到我们的眼泪 我们正在努力识破。 上帝听到我们的祈祷给您。 在我们的弱点， 你依然存在。 当我们正在打破， 您维持。 上帝让我们将您 这个民族爱你。 请把我们的产品 我们之前，先确定。 上帝听到我们的祈祷 我们正在解除由您决定。 上帝看到我们的眼泪 我们正在努力识破。 上帝听到我们的祈祷。 我们向您解除。 上帝听到我们的祈祷， 上帝让我们的心如此。 你使我们的心真的吗？ 听到我们的祈祷上帝。 上帝让我们将您 这个民族爱你。 请把我们的产品 我们之前，先确定。 上帝听到我们的祈祷 我们正在解除由您决定。 上帝看到我们的眼泪 我们正在努力识破。 上帝听到我们的祈祷 正如我们解除天堂。 我们正在祈祷的天使 接收和接受。 希望的空白， 声音的中断。 我们正在实现我们的手了， 哦上帝，你让他们？

这个五角星是对这篇文章的基本信息的注释。中文期刊中大多数用“*”。请看本页左下角的文字：☆ On invitation, to be published 2013 in Nuclear Engineering & Design, special issueon: The 14th International Topical Meeting on Nuclear Reactor Thermal Hydraulics(NURETH-14) Toronto, Ontario, Canada, September 25–29, 2011.E-mail address: groetzbach@kit.edu

您好！据我所知，Wearfit Pro 智能手表是一款兼容 Android 和 iOS 系统的智能手表应用，可以帮助用户监测健康数据、管理运动等。要将 Wearfit Pro 智能手表连接到手机并添加 NFC 功能，可以参考以下步骤：1. 下载并安装 Wearfit Pro 智能手表应用。2. 打开手机的 NFC 功能。3. 在手机上打开 Wearfit Pro 智能手表应用。4. 将手表贴近手机背部，等待手机自动开始复制门卡。5. 给已经复制的门卡标注名称并完成添加，点击使用即可。以上是添加 wearfitpro 智能手表 NFC 的步骤，希望对您有帮助。

一、ElasticSearch是什么？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便，零配置和完全。我们先说说ES的基本概念。1、索引(Index)ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。2、类型(Type)类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。3、文档(Document)文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。4、映射(Mapping)ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成token、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。5、集群(Cluster)ES集群是一个或多个节点的集合，它们共同存储了整个数据集，并提供了联合索引以及可跨所有节点的搜索能力。多节点组成的集群拥有冗余能力，它可以在一个或几个节点出现故障时保证服务的整体可用性。集群靠其独有的名称进行标识，默认名称为“elasticsearch”。节点靠其集群名称来决定加入哪个ES集群，一个节点只能属一个集群。如果不考虑冗余能力等特性，仅有一个节点的ES集群一样可以实现所有的存储及搜索功能。6、节点(Node)运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。类似于集群，节点靠其名称进行标识，默认为启动时自动生成的随机Marvel字符名称。用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。7、分片(Shard)和副本(Replica)ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。每个分片其内部都是一个全功能且独立的索引，因此可由集群中的任何主机存储。创建索引时，用户可指定其分片的数量，默认数量为5个。ES集群可由多个节点组成，各Shard分布式地存储于这些节点上。ES可自动在节点间按需要移动shard，例如增加节点或节点故障时。简而言之，分片实现了集群的分布式存储，而副本实现了其分布式处理及冗余功能。OK，上面把ES相关的基本概念及原理大致说明了下，那么ES到底是怎么实现全文检索的呢？Elasticsearch实现全文检索，首先要确定分词器，ES默认有很多分词器，可参考官方文档。了解分词器主要是怎么实现的。一般中文分词器使用第三方的ik分词器、mmsegf分词器和paoding分词器，最初可能构建于lucene，后来移植于ES。目前我们在最新版的ES中，使用的是IK分词。安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik, 分别拷贝到plugins和conf目录就可以了。当你有大量的文本数据时，ES均会将其进行分词并将这些词语保存在索引中，当输入关键词进行查询时，索引就会起到作用，查找对应的相同的查询词，从而实现全文检索。当然这个过程是很吃内存的哦。

elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master: true指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

主要看数据量ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。（本文主要介绍）索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化：“index.translog.flush_threshold_ops”: “100000″“index.refresh_interval”: “-1″,这两个参数第一是到tranlog数据达到多少条进行平衡，默认为5000，而这个过程相对而言是比较浪费时间和资源的。所以我们可以将这个值调大一些还是设为-1关闭，进而手动进行tranlog平衡。第二参数是刷新频率，默认为120s是指索引在生命周期内定时刷新，一但有数据进来能refresh像lucene里面commit,我们知道当数据addDoucment会，还不能检索到要commit之后才能行数据的检索所以可以将其关闭，在最初索引完后手动refresh一之，然后将索引setting里面的index.refresh_interval参数按需求进行修改，从而可以提高索引过程效率。另外的知道ES索引过程中如果有副本存在，数据也会马上同步到副本中去。我个人建议在索引过程中将副本数设为0，待索引完成后将副本数按需量改回来，这样也可以提高索引效率。“number_of_replicas”: 0上面聊了一次索引过程的优化之后，我们再来聊一下检索速度比较慢的问题，其实检索速度快度与索引质量有很大的关系。而索引质量的好坏与很多因素有关。一、分片数分片数，与检索速度非常相关的的指标，如果分片数过少或过多都会导致检索比较慢。分片数过多会导致检索时打开比较多的文件别外也会导致多台服务器之间通讯。而分片数过少为导至单个分片索引过大，所以检索速度慢。在确定分片数之前需要进行单服务单索引单分片的测试。比如我之前在IBM-3650的机器上，创建一个索引，该索引只有一个分片，分别在不同数据量的情况下进行检索速度测试。最后测出单个分片的内容为20G。所以索引分片数=数据总量/单分片数目前，我们数据量为4亿多条，索引大小为近1.5T左右。因为是文档数据所以单数据都中8K以前。现在检索速度保证在100ms 以下。特别情况在500ms以下，做200,400,800，1000，1000+用户长时间并发测试时最坏在750ms以下.二、副本数副本数与索引的稳定性有比较大的关系，怎么说，如果ES在非正常挂了，经常会导致分片丢失，为了保证这些数据的完整性，可以通过副本来解决这个问题。建议在建完索引后在执行Optimize后，马上将副本数调整过来。大家经常有一个误去副本越多，检索越快，这是不对的，副本对于检索速度其它是减无增的我曾做过实现，随副本数的增加检索速度会有微量的下降，所以大家在设置副本数时，需要找一个平衡值。另外设置副本后，大家有可能会出现两次相同检索，出现出现不同值的情况，这里可能是由于tranlog没有平衡、或是分片路由的问题，可以通过?preference=_primary 让检索在主片分上进行。三、分词其实分词对于索引的影响可大可小，看自己把握。大家越许认为词库的越多，分词效果越好，索引质量越好，其实不然。分词有很多算法，大部分基于词表进行分词。也就是说词表的大小决定索引大小。所以分词与索引膨涨率有直接链接。词表不应很多，而对文档相关特征性较强的即可。比如论文的数据进行建索引，分词的词表与论文的特征越相似，词表数量越小，在保证查全查准的情况下，索引的大小可以减少很多。索引大小减少了，那么检索速度也就提高了。四、索引段索引段即lucene中的segments概念，我们知道ES索引过程中会refresh和tranlog也就是说我们在索引过程中segments number不至一个。而segments number与检索是有直接联系的，segments number越多检索越慢，而将segments numbers 有可能的情况下保证为1这将可以提到将近一半的检索速度。$ curl -XPOST ‘http://localhost:9200/twitter/_optimize? max_num_segments =1′五、删除文档删除文档在Lucene中删除文档，数据不会马上进行硬盘上除去，而进在lucene索引中产生一个.del的文件，而在检索过程中这部分数据也会参与检索，lucene在检索过程会判断是否删除了，如果删除了在过滤掉。这样也会降低检索效率。所以可以执行清除删除文档。$ curl -XPOST ‘http://localhost:9200/twitter/_optimize? only_expunge_deletes =true

由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然后一个不能索引的like语句，直接拉低MySQL的性能。后来，我们曾考虑过sphinx，并且sphinx也在之前的项目中成功实施过，但想想现在的数据量级，多台MySQL，以及搜索服务本身HA，还有后续扩容的问题，我们觉得sphinx并不是一个最优的选择。于是自然将目光放到了Elasticsearch上面。根据官网自己的介绍，Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard的方式保证数据安全，并且提供自动resharding的功能，加之github等大型的站点也采用 Elasticsearch作为其搜索服务，我们决定在项目中使用Elasticsearch。对于Elasticsearch，如果要在项目中使用，需要解决如下问题：索引，对于需要搜索的数据，如何建立合适的索引，还需要根据特定的语言使用不同的analyzer等。搜索，Elasticsearch提供了非常强大的搜索功能，如何写出高效的搜索语句？数据源，我们所有的数据是存放到MySQL的，MySQL是唯一数据源，如何将MySQL的数据导入到Elasticsearch？对于1和2，因为我们的数据都是从MySQL生成，index的field是固定的，主要做的工作就是根据业务场景设计好对应的mapping以及search语句就可以了，当然实际不可能这么简单，需要我们不断的调优。而对于3，则是需要一个工具将MySQL的数据导入Elasticsearch，因为我们对搜索实时性要求很高，所以需要将MySQL的增量数据实时导入，笔者唯一能想到的就是通过row based binlog来完成。而近段时间的工作，也就是实现一个MySQL增量同步到Elasticsearch的服务。LuceneElasticsearch底层是基于Lucene的，Lucene是一款优秀的搜索lib，当然，笔者以前仍然没有接触使用过。:-)Lucene关键概念：Document：用来索引和搜索的主要数据源，包含一个或者多个Field，而这些Field则包含我们跟Lucene交互的数据。Field：Document的一个组成部分，有两个部分组成，name和value。Term：不可分割的单词，搜索最小单元。Token：一个Term呈现方式，包含这个Term的内容，在文档中的起始位置，以及类型。Lucene使用Inverted index来存储term在document中位置的映射关系。譬如如下文档：Elasticsearch Server 1.0 （document 1）Mastring Elasticsearch （document 2）Apache Solr 4 Cookbook （document 3）使用inverted index存储，一个简单地映射关系：TermCountDocuemnt1.0 1 <1> 4 1 <3> Apache 1 <3> Cookbook 1 <3> Elasticsearch 2 <1>.<2> Mastering 1 <2> Server 1 <1> Solr 1 <3> 对于上面例子，我们首先通过分词算法将一个文档切分成一个一个的token，再得到该token与document的映射关系，并记录token出现的总次数。这样就得到了一个简单的inverted index。Elasticsearch关键概念要使用Elasticsearch，笔者认为，只需要理解几个基本概念就可以了。在数据层面，主要有：Index：Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的db概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。Document：Elasticsearch里面存储的实体数据，类似于关系数据中一个table里面的一行数据。document由多个field组成，不同的document里面同名的field一定具有相同的类型。document里面field可以重复出现，也就是一个field会有多个值，即multivalued。Document type：为了查询需要，一个index可能会有多种document，也就是document type，但需要注意，不同document里面同名的field一定要是相同类型的。Mapping：存储field的相关映射信息，不同document type会有不同的mapping。对于熟悉MySQL的童鞋，我们只需要大概认为Index就是一个db，document就是一行数据，field就是table的column，mapping就是table的定义，而document type就是一个table就可以了。Document type这个概念其实最开始也把笔者给弄糊涂了，其实它就是为了更好的查询，举个简单的例子，一个index，可能一部分数据我们想使用一种查询方式，而另一部分数据我们想使用另一种查询方式，于是就有了两种type了。不过这种情况应该在我们的项目中不会出现，所以通常一个index下面仅会有一个 type。在服务层面，主要有：Node: 一个server实例。Cluster：多个node组成cluster。Shard：数据分片，一个index可能会存在于多个shards，不同shards可能在不同nodes。Replica：shard的备份，有一个primary shard，其余的叫做replica shards。Elasticsearch之所以能动态resharding，主要在于它最开始就预先分配了多个shards（貌似是1024），然后以shard为单位进行数据迁移。这个做法其实在分布式领域非常的普遍，codis就是使用了1024个slot来进行数据迁移。因为任意一个index都可配置多个replica，通过冗余备份的方式保证了数据的安全性，同时replica也能分担读压力，类似于MySQL中的slave。Restful APIElasticsearch提供了Restful API，使用json格式，这使得它非常利于与外部交互，虽然Elasticsearch的客户端很多，但笔者仍然很容易的就写出了一个简易客户端用于项目中，再次印证了Elasticsearch的使用真心很容易。Restful的接口很简单，一个url表示一个特定的资源，譬如/blog/article/1，就表示一个index为blog，type为aritcle，id为1的document。而我们使用http标准method来操作这些资源，POST新增，PUT更新，GET获取，DELETE删除，HEAD判断是否存在。这里，友情推荐httpie，一个非常强大的http工具，个人感觉比curl还用，几乎是命令行调试Elasticsearch的绝配。一些使用httpie的例子:# createhttp POST :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch"]"# gethttp GET :9200/blog/article/1# updatehttp PUT :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch", "hello"]"# deletehttp DELETE :9200/blog/article/1# existshttp HEAD :9200/blog/article/1索引和搜索虽然Elasticsearch能自动判断field类型并建立合适的索引，但笔者仍然推荐自己设置相关索引规则，这样才能更好为后续的搜索服务。我们通过定制mapping的方式来设置不同field的索引规则。而对于搜索，Elasticsearch提供了太多的搜索选项，就不一一概述了。索引和搜索是Elasticsearch非常重要的两个方面，直接关系到产品的搜索体验，但笔者现阶段也仅仅是大概了解了一点，后续在详细介绍。同步MySQL数据Elasticsearch是很强大，但要建立在有足量数据情况下面。我们的数据都在MySQL上面，所以如何将MySQL的数据导入Elasticsearch就是笔者最近研究的东西了。虽然现在有一些实现，譬如elasticsearch-river-jdbc，或者elasticsearch-river-mysql，但笔者并不打算使用。elasticsearch-river-jdbc的功能是很强大，但并没有很好的支持增量数据更新的问题，它需要对应的表只增不减，而这个几乎在项目中是不可能办到的。elasticsearch-river-mysql倒是做的很不错，采用了python-mysql-replication来通过binlog获取变更的数据，进行增量更新，但它貌似处理MySQL dump数据导入的问题，不过这个笔者真的好好确认一下？话说，python-mysql-replication笔者还提交过pull解决了minimal row image的问题，所以对elasticsearch-river-mysql这个项目很有好感。只是笔者决定自己写一个出来。为什么笔者决定自己写一个，不是因为笔者喜欢造轮子，主要原因在于对于这种MySQL syncer服务（增量获取MySQL数据更新到相关系统），我们不光可以用到Elasticsearch上面，而且还能用到其他服务，譬如cache上面。所以笔者其实想实现的是一个通用MySQL syncer组件，只是现在主要关注Elasticsearch罢了。项目代码在这里go-mysql-elasticsearch，现已完成第一阶段开发，内部对接测试中。go-mysql-elasticsearch的原理很简单，首先使用mysqldump获取当前MySQL的数据，然后在通过此时binlog的name和position获取增量数据。一些限制：binlog一定要变成row-based format格式，其实我们并不需要担心这种格式的binlog占用太多的硬盘空间，MySQL 5.6之后GTID模式都推荐使用row-based format了，而且通常我们都会把控SQL语句质量，不允许一次性更改过多行数据的。需要同步的table最好是innodb引擎，这样mysqldump的时候才不会阻碍写操作。需要同步的table一定要有主键，好吧，如果一个table没有主键，笔者真心会怀疑设计这个table的同学编程水平了。多列主键也是不推荐的，笔者现阶段不打算支持。一定别动态更改需要同步的table结构，Elasticsearch只能支持动态增加field，并不支持动态删除和更改field。通常来说，如果涉及到alter table，很多时候已经证明前期设计的不合理以及对于未来扩展的预估不足了。更详细的说明，等到笔者完成了go-mysql-elasticsearch的开发，并通过生产环境中测试了，再进行补充。总结最近一周，笔者花了不少时间在Elasticsearch上面，现在算是基本入门了。其实笔者觉得，对于一门不懂的技术，找一份靠谱的资料（官方文档或者入门书籍），蛋疼的对着资料敲一遍代码，不懂的再问google，最后在将其用到实际项目，这门技术就算是初步掌握了，当然精通还得在下点功夫。现在笔者只是觉得Elasticsearch很美好，上线之后铁定会有坑的，那时候只能慢慢填了。话说，笔者是不是要学习下java了，省的到时候看不懂代码就惨了。:-)

Kibana是一个为ElasticSearch提供的数据分析的Web接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana目前最新的版本5.0.2，回顾一下Kibana3和Kibana4的界面。

Elasticsearch是什么?Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理。Elasticsearch是一个分布式文档存储。Elasticsearch存储的是序列化为JSON文档的复杂数据结构，而不是以列行数据的形式存储信息。当集群中有多个Elasticsearch节点时，存储的文档分布在整个集群中，可以立即从任何节点访问。Elasticsearch是由ShayBanon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应用程序。Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。搜索引擎，不支持join表等操作。主要用于全文检索。不适合做数据库。如何选择合适的数据库解决方案？1、如果有强大的技术团队，关系型和非关系型数据库都可选择。一般来讲，非关系型数据库需要更多管理维护的时间。2、如果你要储存会话信息，用户配置信息，购物车数据，建议使用NoSQL数据库；不过90%的企业或个人，首选数据库都是MySQL数据库。3、(一)、Access(二)SQLServer(三)MySQL，Access是一种桌面数据库，只适合数据量少的应用，在处理少量数据和单机访问的数据库时是很好的，效率也很高。但是它的同时访问客户端不能多于4个。4、虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。5、例如，如果你需要的是数据分析仓库，关系数据库可能不是一个适合的选择；如果你处理事务的应用要求严格的数据完整性和一致性，就不要考虑NoSQL了。不要重新发明轮子在过去的数十年，开源数据库技术迅速发展壮大。6、本文首先讨论了基于第三范式的数据库表的基本设计，着重论述了建立主键和索引的策略和方案，然后从数据库表的扩展设计和库表对象的放置等角度概述了数据库管理系统的优化方案。ElasticSearch倒排索引及其原理1、倒排索引采用ImmutableDesign，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、之前我们已经了解过，Elasticsearch是一个基于Lucene实现的分布式全文检索引擎，其实Elasticsearch倒排索引就是Lucene的倒排索引。3、所谓的倒排索引，就是把你的数据内容先分词，每句话分成一个一个的关键词，然后记录好每一个关键词对应出现在了哪些id标识的数据。4、可以将对es的操作记录下来，来确保当出现故障的时候，已经落地到磁盘的数据不会丢失，并在重启的时候可以从操作记录中将数据恢复过来。5、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。elasticsearch-倒排索引原理1、倒排索引采用ImmutableDesign，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。3、elasticsearch提供了translog来记录这些操作，结合oscachedsegments数据定时落盘来实现数据可靠性保证（flush）。文档被添加到buffer同时追加到translog：进行refresh操作，清空buffer，文档可被搜索但尚未flush到磁盘。4、如果Elasticsearch密钥库受密码保护，则必须先输入密钥库密码，然后才能为内置用户设置密码。为弹性用户设置密码后，引导密码不再有效，无法使用该命令。在某些情况下，分片副本的Lucene索引或事务日志可能会损坏。5、Elasticsearch的查询原理是将查询的关键词与倒排索引中的词条进行匹配，查询的关键词与倒排索引中的词条必须完全相同视为匹配，否则不匹配。这意味着在插入文档时是否进行分析和查询时是否进行分析将产生非常不同的结果。6、财务平台亿级数据量毫秒级查询优化之elasticsearch原理解析_wang123459的博客-CSDN博客_elasticsearch查询优化mysql底层B-tree支持矮胖，高胖的时候就很难受，说白了就是数据量多会增加IO操作。ES底层倒排索引。Elasticsearch一般情况下如果es服务正常启动，可以通过接口的方式获取elasticsearch版本信息：curlhttp：//10.1：9200上述命令可以得到elasticsearch的服务状态和其他信息包括版本号。Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch架构简单介绍如下。索引索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。你可以把索引看成关系型数据库的表。然而，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。如何用elasticsearch5.2实现全文索引1、安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik，分别拷贝到plugins和conf目录就可以了。2、ES使用倒序索引来加速全文索引。一个倒序索引由两部分组成：如果我们想要搜索quickbrown，我们仅仅只需要找每一个term出现的文档即可。如下图：每一个文档都匹配到了，但是第一个比第二个要匹配的多。3、每次将文本类型数据插入Elasticsearch索引时，都会对其进行分析，然后存储在反向索引中。根据分析器的配置方式，这会影响您的搜索功能，因为分析器也适用于全文搜索。

很多刚开始学习 Elasticsearch 的人经常会混淆Text 和Keyword数据类型。 它们之间的区别很简单，但非常关键。 它们之间的本质区别在于：对于 Text 类型，将文本存储到倒排索引之前，会使用分析器对其进行分析，而 Keyword 类型则不会分析。文档是否被分析过会影响其查询的结果。关于倒排索引和分析器的内容可以参考： https://www.jianshu.com/p/04d29098851a 如果将包含字符串的文档添加到 Elasticsearch，而之前没有定义字段的映射关系，那么 Elasticsearch 会自动创建一个包含 Text 和 Keyword 类型的动态映射。 即使它适用于动态映射，也建议在文档添加之前定义索引的映射关系，以节省空间并提高写入速度。 如：未定义mapping，直接添加文档内容，发现"message”的数据类型是 text ，“message.keyword"的数据类型是 keyword 。 返回mapping的结果 现在新建一个索引 text-vs-keyword ，并设置其mapping， keyword_field 字段设置为 keyword 类型， text_field 字段设置为 text 类型， text_and_keyword_mapping 为多字段类型，其本身为 text 类型，而 text_and_keyword_mapping.keyword 字段为 keyword 类型。 这两种字段类型在倒排索引中的存储方式不同，索引过程中的差异会影响Elasticsearch 进行查询的时间。 首先添加一条文档 添加后，索引中便会有一条文档 对于 keyword 类型，由于Elasticsearch不会使用分析器对其进行分析，所以你输入什么文本，索引就会按照原样进行保存。下图为文本在倒排索引中存储的样子。对于 text 类型，Elasticsearch会先使用分析器对文本进行分析，再存储到倒排索引中。Elasticsearch默认使用标准分析器(standard analyzer)，先对文本分词再转化为小写。关于标准分析器可以参考先前文章： https://www.jianshu.com/p/04d29098851a 标准分析器对文本进行分析后的结果 根据分析后的结果，下图为分词存储在倒排索引中的样子。 现在已经知道了 Text 和 Keyword 存储在倒排索引中的区别，接下来学习他们在查询中的区别。 查询分为两种查询 Match Query 和 Term Query 的区别与 Text 和 Keyword 的区别类似， Match Query 在查询时会对输入的关键词进行分析，而 Term Query 不会。 Elasticsearch 的查询原理是将查询的关键词与倒排索引中的词条进行匹配，查询的关键词与倒排索引中的词条必须完全相同视为匹配，否则不匹配。 这意味着在插入文档时是否进行分析和查询时是否进行分析将产生非常不同的结果。 不同的字段和不同的查询一共可以产生4种情况：以X代表不分析，O代表分析，左侧代表插入文档时是否分析，右侧代表查询时是否分析，则OX代表插入时分析，查询时不分析。 由于插入文档的 keyword 字段和 Term Query 查询时都不会进行分析，因此只有当文本完全匹配才会返回结果。 如果尝试文档中的一些词，由于不能与整篇文档相匹配，也不会返回结果。 这里有个疑问，查询关键词分析后的各个分词与倒排索引中的“The quick brown fox jumps over the lazy dog”不完全匹配，但为什么会产生结果呢？ 这是因为我们在 Match Query 查询时使用的分析器不是标准分析器，Elasticsearch使用了关键词分析器(Keyword Analyzer)，因此 Elasticsearch 在查询中没有任何改变。更多分析器可以参考： https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-analyzers.html 查看Keyword Analyzer分析后的结果，发现并没有对搜索关键词进行分词。 当选择标准分词器时进行 Match Query 查询时将不会得到任何结果。 text 字段在文档插入时会对文本进行分析，得到若干个分词。 尝试两条查询语句，一条查询关键词为完整的句子，另一条只有一个单词。 两条语句都返回空结果： 将查询单词转换为小写试下，由于查询关键字"the"与倒排索引中的"the"正好匹配，所以会返回该条记录。 text 字段和Match Query查询都会进行分析。 下面尝试两条查询语句 这两条查询语句都返回了结果： 以下情况推荐使用 keyword 类型： 掌握 text 和 keyword 数据类型的工作原理是学习Elasticsearch的内容之一，这两者的区别似乎很简单，但非常重要。如果需要两种数据类型，则可以在创建映射时使用多字段功能。 https://codecurated.com/blog/elasticsearch-text-vs-keyword/

一、ElasticSearch是什么？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便，零配置和完全免费。我们先说说ES的基本概念。1、索引(Index)ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。2、类型(Type)类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。3、文档(Document)文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。4、映射(Mapping)ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成token、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。5、集群(Cluster)ES集群是一个或多个节点的集合，它们共同存储了整个数据集，并提供了联合索引以及可跨所有节点的搜索能力。多节点组成的集群拥有冗余能力，它可以在一个或几个节点出现故障时保证服务的整体可用性。集群靠其独有的名称进行标识，默认名称为“elasticsearch”。节点靠其集群名称来决定加入哪个ES集群，一个节点只能属一个集群。如果不考虑冗余能力等特性，仅有一个节点的ES集群一样可以实现所有的存储及搜索功能。6、节点(Node)运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。类似于集群，节点靠其名称进行标识，默认为启动时自动生成的随机Marvel字符名称。用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。7、分片(Shard)和副本(Replica)ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。每个分片其内部都是一个全功能且独立的索引，因此可由集群中的任何主机存储。创建索引时，用户可指定其分片的数量，默认数量为5个。ES集群可由多个节点组成，各Shard分布式地存储于这些节点上。ES可自动在节点间按需要移动shard，例如增加节点或节点故障时。简而言之，分片实现了集群的分布式存储，而副本实现了其分布式处理及冗余功能。OK，上面把ES相关的基本概念及原理大致说明了下，那么ES到底是怎么实现全文检索的呢？Elasticsearch实现全文检索，首先要确定分词器，ES默认有很多分词器，可参考官方文档。了解分词器主要是怎么实现的。一般中文分词器使用第三方的ik分词器、mmsegf分词器和paoding分词器，最初可能构建于lucene，后来移植于ES。目前我们在最新版的ES中，使用的是IK分词。安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik, 分别拷贝到plugins和conf目录就可以了。当你有大量的文本数据时，ES均会将其进行分词并将这些词语保存在索引中，当输入关键词进行查询时，索引就会起到作用，查找对应的相同的查询词，从而实现全文检索。当然这个过程是很吃内存的哦。

或如何了解缺少哪些官方文件 如果我不得不用一个短语来描述Elasticsearch，我会说： 目前，Elasticsearch在十大最受欢迎的开源技术中。 公平地说，它结合了许多本身并不独特的关键功能，但是，当结合使用时，它可以成为最佳的搜索引擎/分析平台。 更准确地说，由于以下功能的结合，Elasticsearch变得如此流行： · 搜索相关性评分 · 全文搜索 · 分析（汇总） · 无模式（对数据模式无限制），NoSQL，面向文档 · 丰富的数据类型选择 · 水平可扩展 · 容错的 通过与Elasticsearch进行合作，我很快意识到，官方文档看起来更像是所谓文档的"挤压"。 我不得不在Google上四处搜寻，并且大量使用stackowerflow，所以我决定编译这篇文章中的所有信息。 在本文中，我将主要撰写有关查询/搜索Elasticsearch集群的文章。 您可以通过多种不同的方式来实现大致相同的结果，因此，我将尝试说明每种方法的利弊。 更重要的是，我将向您介绍两个重要的概念-查询和过滤器上下文-在文档中没有很好地解释。 我将为您提供一组规则，以决定何时使用哪种方法更好。 在阅读本文后，如果我只想让您记住一件事，那就是： 当我们谈论Elasticsearch时，总会有一个相关性分数。 相关性分数是严格的正浮点数，表示每个文档满足搜索标准的程度。 该分数是相对于分配的最高分数的，因此，分数越高，文档与搜索条件的相关性越好。 但是，过滤器和查询是您在编写查询之前应该能够理解的两个不同概念。 一般来说，过滤器上下文是一个"是/否"选项，其中每个文档都与查询匹配或不匹配。 一个很好的例子是SQL WHERE，后面是一些条件。 SQL查询总是返回严格符合条件的行。 SQL查询无法返回歧义结果。 另一方面，Elasticsearch查询上下文显示了每个文档与您的需求的匹配程度。 为此，查询使用分析器查找最佳匹配。 经验法则是将过滤器用于： · 是/否搜索 · 搜索精确值（数字，范围和关键字） 将查询用于： · 结果不明确（某些文档比其他文档更适合） · 全文搜索 此外，Elasticsearch将自动缓存过滤器的结果。 在第1部分和第2部分中，我将讨论查询（可以转换为过滤器）。 请不要将结构化和全文与查询和过滤器混淆-这是两件事。 结构化查询也称为术语级查询，是一组查询方法，用于检查是否应选择文档。 因此，在很多情况下，没有真正必要的相关性评分-文档匹配或不匹配（尤其是数字）。 术语级查询仍然是查询，因此它们将返回分数。 名词查询 Term Query 返回字段值与条件完全匹配的文档。 查询一词是SQL select * from table_name where column_name =...的替代方式 名词查询直接进入倒排索引，这可以使其快速进行。 在处理文本数据时，最好仅将term用于keyword字段。 名词查询默认情况下在查询上下文中运行，因此，它将计算分数。 即使所有返回的文档的分数相同，也将涉及其他计算能力。 带有过滤条件的 名词 查询 如果我们想加速名词查询并使其得到缓存，则应将其包装在constant_score过滤器中。 还记得经验法则吗？ 如果您不关心相关性得分，请使用此方法。 现在，该查询没有计算任何相关性分数，因此，它更快。 而且，它是自动缓存的。 快速建议-对文本字段使用匹配而不是名词。 请记住，名词查询直接进入倒排索引。名词查询采用您提供的值并按原样搜索它，这就是为什么它非常适合查询未经任何转换存储的keyword字段。 多名词查询 Terms query 如您所料，多名词查询使您可以返回至少匹配一个确切名词的文档。 多名词查询在某种程度上是SQL select * from table_name where column_name is in...的替代方法 重要的是要了解，Elasticsearch中的查询字段可能是一个列表，例如{“ name”：[“ Odin”，“ Woden”，“ Wodan”]}。如果您执行的术语查询包含以下一个或多个，则该记录将被匹配-它不必匹配字段中的所有值，而只匹配一个。 与名词查询相同，但是这次您可以在查询字段中指定多少个确切术语。 您指定必须匹配的数量-一，二，三或全部。 但是，此数字是另一个数字字段。 因此，每个文档都应包含该编号（特定于该特定文档）。 返回查询字段值在定义范围内的文档。 等价于SQL select * from table_name where column_name is between... 范围查询具有自己的语法： · gt 大于 · gte 大于或等于 · lt 小于 · lte 小于或等于 一个示例，该字段的值应≥4且≤17 范围查询也可以很好地与日期配合使用。 正则表达式查询返回其中字段与您的正则表达式匹配的文档。 如果您从未使用过正则表达式，那么我强烈建议您至少了解一下它是什么以及何时可以使用它。 Elasticsearch的正则表达式是Lucene的正则表达式。 它具有标准的保留字符和运算符。 如果您已经使用过Python的re软件包，那么在这里使用它应该不是问题。 唯一的区别是Lucene的引擎不支持^和$等锚运算符。 您可以在官方文档中找到regexp的完整列表。 除正则表达式查询外，Elsticsearch还具有通配符和前缀查询。从逻辑上讲，这两个只是regexp的特殊情况。 不幸的是，我找不到关于这三个查询的性能的任何信息，因此，我决定自己对其进行测试，以查看是否发现任何重大差异。 在比较使用rehexp和通配符查询时，我找不到性能上的差异。如果您知道有什么不同，请给我发消息。 由于Elasticsearch是无模式的（或没有严格的模式限制），因此当不同的文档具有不同的字段时，这是一种很常见的情况。 结果，有很多用途来了解文档是否具有某些特定字段。 全文查询适用于非结构化文本数据。 全文查询利用了分析器。 因此，我将简要概述Elasticsearch的分析器，以便我们可以更好地分析全文查询。 每次将文本类型数据插入Elasticsearch索引时，都会对其进行分析，然后存储在反向索引中。根据分析器的配置方式，这会影响您的搜索功能，因为分析器也适用于全文搜索。 分析器管道包括三个阶段： 总有一个令牌生成器和零个或多个字符和令牌过滤器。 1）字符过滤器按原样接收文本数据，然后可能在对数据进行标记之前对其进行预处理。 字符过滤器用于： · 替换与给定正则表达式匹配的字符 · 替换与给定字符串匹配的字符 · 干净的HTML文字 2）令牌生成器将字符过滤器（如果有）之后接收到的文本数据分解为令牌。 例如，空白令牌生成器只是将文本分隔为空白（这不是标准的）。 因此，Wednesday is called after Woden， 将被拆分为[Wednesday, is, called, after, Woden.]。 有许多内置标记器可用于创建自定义分析器。 删除标点符号后，标准令牌生成器将使用空格分隔文本。 对于绝大多数语言来说，这是最中立的选择。 除标记化外，标记化器还执行以下操作： · 跟踪令牌顺序， · 注释每个单词的开头和结尾 · 定义令牌的类型 3）令牌过滤器对令牌进行一些转换。您可以选择将许多不同的令牌过滤器添加到分析器中。一些最受欢迎的是： · 小写 · 词干（存在多种语言！） · 删除重复 · 转换为等效的ASCII · 模式的解决方法 · 令牌数量限制 · 令牌的停止列表（从停止列表中删除令牌） 标准分析器是默认分析器。 它具有0个字符过滤器，标准令牌生成器，小写字母和停止令牌过滤器。 您可以根据需要组成自定义分析器，但是内置分析器也很少。 语言分析器是一些最有效的即用型分析器，它们利用每种语言的细节来进行更高级的转换。 因此，如果您事先知道数据的语言，建议您从标准分析器切换为数据的一种语言。 全文查询将使用与索引数据时使用的分析器相同的分析器。更准确地说，您查询的文本将与搜索字段中的文本数据进行相同的转换，因此两者处于同一级别。 匹配查询是用于查询文本字段的标准查询。 我们可以将匹配查询称为名词查询的等效项，但适用于文本类型字段（而在处理文本数据时，名词应仅用于关键字类型字段）。 默认情况下，传递给查询参数的字符串（必需的一个）将由与应用于搜索字段的分析器相同的分析器处理。 除非您自己使用analyzer参数指定分析器。 当您指定要搜索的短语时，将对其进行分析，并且结果始终是一组标记。默认情况下，Elasticsearch将在所有这些标记之间使用OR运算符。这意味着至少应该有一场比赛-更多的比赛虽然会得分更高。您可以在运算符参数中将其切换为AND。在这种情况下，必须在文档中找到所有令牌才能将其返回。 如果要在OR和AND之间输入某些内容，则可以指定minimum_should_match参数，该参数指定应匹配的子句数。 可以数字和百分比指定。 模糊参数（可选）可让您忽略错别字。 Levenshtein距离用于计算。 如果您将匹配查询应用于关键字keyword字段，则其效果与词条查询相同。 更有趣的是，如果将存储在反向索引中的令牌的确切值传递给term查询，则它将返回与匹配查询完全相同的结果，但是会更快地返回到反向索引。 与匹配相同，但顺序和接近度很重要。 匹配查询不了解序列和接近度，因此，只有通过其他类型的查询才能实现词组匹配。 match_phrase查询具有slop参数（默认值为0），该参数负责跳过术语。 因此，如果您指定斜率等于1，则短语中可能会省略一个单词。 多重比对查询的功能与比对相同，唯一的不同是多重比对适用于多个栏位 · 字段名称可以使用通配符指定 · 默认情况下，每个字段均加权 · 每个领域对得分的贡献都可以提高 · 如果没有在fields参数中指定任何字段，那么将搜索所有符合条件的字段 有多种类型的multi_match。 我不会在这篇文章中描述它们，但是我将解释最受欢迎的： best_fields类型（默认值）更喜欢在一个字段中找到来自搜索值的令牌的结果，而不是将搜索的令牌分配到不同字段中的结果。 most_fields与best_fields类型相反。 phrase类型的行为与best_fields相同，但会搜索与match_phrase类似的整个短语。 我强烈建议您查阅官方文档，以检查每个字段的得分计算准确度。 复合查询将其他查询包装在一起。 复合查询： · 结合分数 · 改变包装查询的行为 · 将查询上下文切换到过滤上下文 · 以上任意一项 布尔查询将其他查询组合在一起。 这是最重要的复合查询。 布尔查询使您可以将查询上下文中的搜索与过滤器上下文搜索结合在一起。 布尔查询具有四个可以组合在一起的出现（类型）： · must或"必须满足该条款" · should或"如果满足条款，则对相关性得分加分" · 过滤器filter或"必须满足该条款，但不计算相关性得分" · must_not或“与必须相反”，不会有助于相关度得分 必须和应该→查询上下文 过滤器和must_not→过滤器上下文 对于那些熟悉SQL的人，必须为AND，而应为OR运算符。 因此，必须满足must子句中的每个查询。 对于大多数查询，提升查询与boost参数相似，但并不相同。 增强查询将返回与肯定子句匹配的文档，并降低与否定子句匹配的文档的得分。 如我们在术语查询示例中先前看到的，constant_score查询将任何查询转换为相关性得分等于boost参数（默认值为1）的过滤器上下文。 让我知道是否您想阅读另一篇文章，其中提供了所有查询的真实示例。 我计划在Elasticsearch上发布更多文章，所以不要错过。 你已经读了很长的内容，所以如果你阅读到这里： 综上所述，Elasticsearch符合当今的许多用途，有时很难理解什么是最佳工具。 如果不需要相关性分数来检索数据，请尝试切换到过滤器上下文。 另外，了解Elasticsearch的工作原理也至关重要，因此，我建议您始终了解分析器的功能。 Elasticsearch中还有许多其他查询类型。 我试图描述最常用的。 我希望你喜欢它。 (本文翻译自kotartemiy u2714ufe0f的文章《Deep Dive into Querying Elasticsearch. Filter vs Query. Full-text search》，参考：https://towardsdatascience.com/deep-pe-into-querying-elasticsearch-filter-vs-query-full-text-search-b861b06bd4c0)

使用ElasticSearch快一年了，自认为相关API使用的还比较6，产品提的一些搜索需求实现起来都从心应手；但是前几天同事的一个问题直接将我打回到小白，同事问了句：“ ElasticSearch的索引是怎么存储的？删除文档和更新文档是怎么实现的？ ”，当时我就懵逼了，说了句得查一下，好尴尬...... 回想起来发现自己从来都没有深入了解过这些细节，于是便觉得非常有必要对ElasticSearch的文档存储做一次深入的了解，知其然不知其所以然对于我们来说是远远不够的，在ElasticSearch中，文档（ Document ）存储的介质分为内存和硬盘两种: 同时，ElasticSearch进程自身的运行也需要内存空间，必须保证ElasticSearch进程有充足的运行时内存。为了使ElasticSearch引擎达到最佳性能，必须合理分配有限的内存和硬盘资源。 ElasticSearch引擎把文档数据写入到倒排索引（ Inverted Index ）的数据结构中，倒排索引建立的是分词（ Term ）和文档（ Document ）之间的映射关系,在倒排索引中，数据是面向词（ Term ）而不是面向文档（ Document ）的。 举个栗子，假设我们有两个文档，每个文档的content域包含如下内容： 1. The quick brown fox jumped over the lazy dog 2. Quick brown foxes leap over lazy dogs in summer 文档和词之间的关系如下图： 字段值被分析之后，存储在倒排索引中，倒排索引存储的是分词（ Term ）和文档（ Doc ）之间的关系，简化版的倒排索引如下图： 从图中可以看出，倒排索引有一个词条的列表，每个分词在列表中是唯一的，记录着词条出现的次数，以及包含词条的文档。实际中ElasticSearch引擎创建的倒排索引比这个复杂得多。 段是倒排索引的组成部分，倒排索引是由段（ Segment ）组成的，段存储在硬盘（ Disk ）文件中。 索引段不是实时更新的，这意味着，段在写入硬盘之后，就不再被更新。在删除文档时，ElasticSearch引擎把已删除的文档的信息存储在一个单独的文件中，在搜索数据时，ElasticSearch引擎首先从段中执行查询，再从查询结果中过滤被删除的文档 。这意味着，段中存储着被删除的文档，这使得段中含有”正常文档“的密度降低。 多个段可以通过段合并（Segment Merge）操作把“已删除”的文档将从段中物理删除，把未删除的文档合并到一个新段中，新段中没有”已删除文档“，因此，段合并操作能够提高索引的查找速度 ；但是，段合并是IO密集型操作，需要消耗大量的硬盘IO。 在ElasticSearch中，大多数查询都需要从硬盘文件（索引的段数据存储在硬盘文件中）中获取数据；因此， 在全局配置文件elasticsearch.yml 中，把结点的路径（Path）配置为性能较高的硬盘，能够提高查询性能 。默认情况下，ElasticSearch使用基于安装目录的相对路径来配置结点的路径，安装目录由属性path.home显示，在home path下，ElasticSearch自动创建config，data，logs和plugins目录，一般情况下不需要对结点路径单独配置。结点的文件路径配置项： path.data：设置ElasticSearch结点的索引数据保存的目录，多个数据文件使用逗号隔开。 例如，path.data: /path/to/data1,/path/to/data2 ； path.work：设置ElasticSearch的临时文件保存的目录； 映射参数index决定ElasticSearch引擎是否对文本字段执行分析操作，也就是说分析操作把文本分割成一个一个的分词，也就是标记流（ Token Stream ），把分词编入索引，使分词能够被搜索到： 1） 当index为analyzed时，该字段是分析字段，ElasticSearch引擎对该字段执行分析操作，把文本分割成分词流，存储在倒排索引中，使其支持全文搜索。 2）当index为not_analyzed时，该字段不会被分析，ElasticSearch引擎把原始文本作为单个分词存储在倒排索引中，不支持全文搜索，但是支持词条级别的搜索；也就是说，字段的原始文本不经过分析而存储在倒排索引中，把原始文本编入索引，在搜索的过程中，查询条件必须全部匹配整个原始文本。 3）当index为no时，该字段不会被存储到倒排索引中，不会被搜索到。 字段的原始值是否被存储到倒排索引，是由映射参数store决定的，默认值是false，也就是，原始值不存储到倒排索引中。 映射参数index和store的区别在于： store用于获取（Retrieve）字段的原始值，不支持查询，可以使用投影参数fields，对stroe属性为true的字段进行过滤，只获取（Retrieve）特定的字段，减少网络负载； index用于查询（Search）字段，当index为analyzed时，对字段的分词执行全文查询；当index为not_analyzed时，字段的原始值作为一个分词，只能对字段的原始文本执行词条查询； 如果设置字段的index属性为not_analyzed，原始文本将作为单个分词，其最大长度跟UTF8 编码有关，默认的最大长度是32766Bytes（约32KB），如果字段的文本超过该限制，那么ElasticSearch将跳过（ Skip ）该文档，并在Response中抛出异常消息： operation[607]: index returned 400 _index: ebrite _type: events _id: 76860 _version: 0 error: Type: illegal_argument_exception Reason: "Document contains at least one immense term in field="event_raw" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped. Please correct the analyzer to not produce such terms. The prefix of the first immense term is: "[112, 114,... 115]...", original message: bytes can be at most 32766 in length; got 35100" CausedBy:Type: max_bytes_length_exceeded_exception Reason: "bytes can be at most 32766 in length; got 35100" 可以在字段中设置ignore_above属性，该属性值指的是字符数量，而不是字节数量；由于一个UTF8字符最多占用3个字节，因此，可以设置 “ignore_above”：10000 这样，超过30000字节之后的字符将会被分析器忽略，单个分词（ Term ）的最大长度是30000Bytes。 The value for ignore_above is the character count, but Lucene counts bytes. If you use UTF-8 text with many non-ASCII characters, you may want to set the limit to 32766 / 3 = 10922 since UTF-8 characters may occupy at most 3 bytes. 默认情况下，大多数字段被索引之后，能够被搜索到。 倒排索引是由一个有序的词条列表构成的，每一个词条在列表中都是唯一存在的，通过这种数据存储模式，你可以很快查找到包含某一个词条的文档列表 。 但是，排序和聚合操作采用相反的数据访问模式，这两种操作不是查找词条以发现文档，而是查找文档，以发现字段中包含的词条。ElasticSearch使用列式存储实现排序和聚合查询。 文档值（ doc_values ）是存储在硬盘上的数据结构，在索引时（ index time ）根据文档的原始值创建，文档值是一个列式存储风格的数据结构，非常适合执行存储和聚合操作，除了字符类型的分析字段之外，其他字段类型都支持文档值存储。默认情况下，字段的文档值存储是启用的，除了字符类型的分析字段之外。如果不需要对字段执行排序或聚合操作，可以禁用字段的文档值，以节省硬盘空间。 字符类型的分析字段，不支持文档值（doc_values），但支持fielddata数据结构。fielddata数据结构存储在JVM的堆内存中。相比文档值（数据存储在硬盘上），fielddata字段（数据存储在内存中）的查询性能更高。默认情况下，ElasticSearch引擎在第一次对字段执行聚合或排序查询时（query-time），创建fielddata数据结构；在后续的查询请求中，ElasticSearch引擎使用fielddata数据结构以提高聚合和排序的查询性能。 在ElasticSearch中，倒排索引的各个段（ segment ）的数据存储在硬盘文件上，从整个倒排索引的段中读取字段数据之后，ElasticSearch引擎首先反转词条和文档之间的关系，创建文档和词条之间的关系，即创建顺排索引，然后把顺排索引存储在JVM的堆内存中。把倒排索引加载到fielddata结构是一个非常消耗硬盘IO资源的过程。因此，数据一旦被加载到内存，最好保持在内存中，直到索引段( segment )的生命周期结束。 默认情况下，倒排索引的每个段( segment )，都会创建相应的fielddata结构，以存储字符类型的分析字段值，但是，需要注意的是，分配的JVM堆内存是有限的，Fileddata把数据存储在内存中，会占用过多的JVM堆内存，甚至耗尽JVM赖以正常运行的内存空间，反而会降低ElasticSearch引擎的查询性能。 fielddata会消耗大量的JVM内存，因此，尽量为JVM设置大的内存，不要为不必要的字段启用fielddata存储。通过format参数控制是否启用字段的fielddata特性，字符类型的分析字段，fielddata的默认值是paged_bytes，这就意味着，默认情况下，字符类型的分析字段启用fielddata存储。一旦禁用fielddata存储，那么字符类型的分析字段将不再支持排序和聚合查询。 loading属性控制fielddata加载到内存的时机，可能的值是lazy，eager和eager_global_ordinals，默认值是lazy。 lazy：fielddata只在需要时加载到内存，默认情况下，在第一次搜索时，fielddata被加载到内存中；但是，如果查询一个非常大的索引段（Segment），lazy加载方式会产生较大的时间延迟。 eager：在倒排索引的段可用之前，其数据就被加载到内存，eager加载方式能够减少查询的时间延迟，但是，有些数据可能非常冷，以至于没有请求来查询这些数据，但是冷数据依然被加载到内存中，占用紧缺的内存资源。 eager_global_ordinals：按照global ordinals积极把fielddata加载到内存。 ElasticSearch使用 JAVA_OPTS 环境变量（ Environment Variable ）启动JVM进程，在 JAVA_OPTS 中，最重要的配置是： -Xmx参数控制分配给JVM进程的最大内存，-Xms参数控制分配给JVM进程的最小内存 。（在ElasticSearch启动命令后面可以通过参数方式配置，如： /usr/local/elasticsearch/bin/elasticsearch -d --Xmx=10g --Xms=10g ）通常情况下，使用默认的配置就能满足工程需要。 ES_HEAP_SIZE 环境变量控制分配给JVM进程的堆内存（ Heap Memory ）大小，顺排索引（ fielddata ）的数据存储在堆内存（ Heap Memory ）中。 大多数应用程序尝试使用尽可能多的内存，并尽可能把未使用的内存换出，但是，内存换出会影响ElasticSearch引擎的查询性能，推荐启用内存锁定，禁用ElasticSearch内存的换进换出。 在全局配置文档 elasticsearch.yml 中，设置 bootstrap.memory_lock 为ture，这将锁定ElasticSearch进程的内存地址空间，阻止ElasticSearch内存被OS换出（ Swap out ）。 通过学习，算是对ElasticSearch索引存储及更新有了一个较深的了解，至少能让我从容去面对同事的提问，但与此同时给我敲响了警钟，在使用一门技术的同时，更应该去了解它具体的原理，而不仅仅是停留在使用级别；在学习的路上，我们仍需要更加努力......

本文讨论如何跨集群迁移ES数据以及如何实现ES的同城跨机房容灾和异地容灾。 在ES的生产实践中，往往会遇到以下问题： 根据业务需求，存在以下场景： 如果是第一种场景，数据迁移过程中可以停止写入，可以采用诸如elasticsearch-dump、logstash、reindex、snapshot等方式进行数据迁移。实际上这几种工具大体上可以分为两类： 如果是第二种场景，数据迁移过程中旧集群不能停止写入，需要根据实际的业务场景解决数据一致性的问题： 下面介绍一下在旧集群可以停止写入的情况下进行数据迁移的几种工具的用法。 elasticsearch-dump是一款开源的ES数据迁移工具，github地址: https://github.com/taskrabbit/elasticsearch-dump 以下操作通过elasticdump命令将集群x.x.x.1中的companydatabase索引迁移至集群x.x.x.2。注意第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步mapping与data logstash支持从一个ES集群中读取数据然后写入到另一个ES集群，因此可以使用logstash进行数据迁移，具体的配置文件如下： 上述配置文件将源ES集群的所有索引同步到目标集群中，当然可以设置只同步指定的索引，logstash的更多功能可查阅logstash官方文档 logstash 官方文档 . reindex是Elasticsearch提供的一个api接口，可以把数据从一个集群迁移到另外一个集群。 snapshot api是Elasticsearch用于对数据进行备份和恢复的一组api接口，可以通过snapshot api进行跨集群的数据迁移，原理就是从源ES集群创建数据快照，然后在目标ES集群中进行恢复。需要注意ES的版本问题： 如果旧集群不能停止写入，此时进行在线数据迁移，需要保证新旧集群的数据一致性。目前看来，除了官方提供的CCR功能，没有成熟的可以严格保证数据一致性的在线数据迁移方法。此时可以从业务场景出发，根据业务写入数据的特点选择合适的数据迁移方案。 一般来说，业务写入数据的特点有以下几种： 下面来具体分析不同的写入数据的特点下，该如何选择合适的数据迁移方式。 在日志或者APM的场景中，数据都是时序数据，一般索引也都是按天创建的，当天的数据只会写入当前的索引中。此时，可以先把存量的不再写入的索引数据一次性同步到新集群中，然后使用logstash或者其它工具增量同步当天的索引，待数据追平后，把业务对ES的访问切换到新集群中。 具体的实现方案为： add only的数据写入方式，可以按照数据写入的顺序(根据_doc进行排序，如果有时间戳字段也可以根据时间戳排序)批量从旧集群中拉取数据，然后再批量写入新集群中；可以通过写程序，使用用scroll api 或者search_after参数批量拉取增量数据，再使用bulk api批量写入。 使用scroll拉取增量数据： 上述操作可以每分钟执行一次，拉起前一分钟新产生的数据，所以数据在旧集群和新集群的同步延迟为一分钟。 使用search_after批量拉取增量数据： 上述操作可以根据需要自定义事件间隔执行，每次执行时修改search_after参数的值，获取指定值之后的多条数据；search_after实际上相当于一个游标，每执行一次向前推进，从而获取到最新的数据。 使用scroll和search_after的区别是： 另外，如果不想通过写程序迁移旧集群的增量数据到新集群的话，可以使用logstash结合scroll进行增量数据的迁移，可参考的配置文件如下： 使用过程中可以根据实际业务的需求调整定时任务参数schedule以及scroll相关的参数。 业务场景如果是写入ES时既有追加，又有存量数据的更新，此时比较重要的是怎么解决update操作的数据同步问题。对于新增的数据，可以采用上述介绍的增量迁移热索引的方式同步到新集群中。对于更新的数据，此时如果索引有类似于updateTime的字段用于标记数据更新的时间，则可以通过写程序或者logstash，使用scroll api根据updateTime字段批量拉取更新的增量数据，然后再写入到新的集群中。 可参考的logstash配置文件如下： 实际应用各种，同步新增(add)的数据和更新(update)的数据可以同时进行。但是如果索引中没有类似updateTime之类的字段可以标识出哪些数据是更新过的，目前看来并没有较好的同步方式，可以采用CCR来保证旧集群和新集群的数据一致性。 如果业务写入ES时既有新增(add)数据,又有更新(update)和删除(delete)数据，可以采用6.5之后商业版X-pack插件中的CCR功能进行数据迁移。但是使用CCR有一些限制，必须要注意： 具体的使用方式如下： 如果业务是通过中间件如kafka把数据写入到ES， 则可以使用如下图中的方式，使用logstash消费kafka的数据到新集群中，在旧集群和新集群数据完全追平之后，可以切换到新集群进行业务的查询，之后再对旧的集群下线处理。 使用中间件进行同步双写的优点是： 当然，双写也可以使用其他的方式解决，比如自建proxy，业务写入时向proxy写入，proxy把请求转发到一个或者多个集群中，但是这种方式存在以下问题： 随着业务规模的增长，业务侧对使用的ES集群的数据可靠性、集群稳定性等方面的要求越来越高，所以要比较好的集群容灾方案支持业务侧的需求。 如果是公司在自建IDC机房内，通过物理机自己搭建的ES集群，在解决跨机房容灾的时候，往往会在两个机房 部署两个ES集群，一主一备，然后解决解决数据同步的问题；数据同步一般有两种方式，一种方式双写，由业务侧实现双写保证数据一致性，但是双写对业务侧是一个挑战，需要保证数据在两个集群都写成功才能算成功。另外一种方式是异步复制，业务侧只写主集群，后台再把数据同步到备集群中去，但是比较难以保证数据一致性。第三种方式是通过专线打通两个机房，实现跨机房部署，但是成本较高。 因为数据同步的复杂性，云厂商在实现ES集群跨机房容灾的时候，往往都是通过只部署一个集群解决，利用ES自身的能力同步数据。国外某云厂商实现跨机房部署ES集群的特点1是不强制使用专用主节点，如上图中的一个集群，只有两个节点，既作为数据节点也作为候选主节点；主分片和副本分片分布在两个可用区中，因为有副本分片的存在，可用区1挂掉之后集群仍然可用，但是如果两个可用区之间网络中断时，会出现脑裂的问题。如下图中使用三个专用主节点，就不会存在脑裂的问题了。 但是如果一个地域没有三个可用区怎么办呢，那就只能在其中一个可用区中放置两个专用主节点了，如国内某云厂商的解决方案： 但是重建节点的过程还是存在问题的，如上图中，集群本身的quorum应该为2，可用区1挂掉后，集群中只剩一个专用主节点，需要把quorum参数(discovery.zen.minimum_master_nodes)调整为1后集群才能够正常进行选主，等挂掉的两个专用主节点恢复之后，需要再把quorum参数(discovery.zen.minimum_master_nodes)调整为2，以避免脑裂的发生。 当然还是有可以把无法选主和脑裂这两个可能发生的问题规避掉的解决方案，如下图中国内某云厂商的解决思路： 创建双可用区集群时，必须选择3个或者5个专用主节点，后台会在一个隐藏的可用区中只部署专用主节点；方案的优点1是如果一个可用区挂掉，集群仍然能够正常选主，避免了因为不满足quorum法定票数而无法选主的情况；2是因为必须要选择三个或5个专用主节点，也避免了脑裂。 想比较一主一备两个集群进行跨机房容灾的方式，云厂商通过跨机房部署集群把原本比较复杂的主备数据同步问题解决了，但是，比较让人担心的是，机房或者可用区之间的网络延迟是否会造成集群性能下降。这里针对腾讯云的双可用区集群，使用标准的benchmark工具对两个同规格的单可用区和双可用区集群进行了压测，压测结果如下图所示： 从压测结果的查询延时和写入延时指标来看，两种类型的集群并没有明显的差异，这主要得益与云上底层网络基础设施的完善，可用区之间的网络延迟很低。 类似于同城跨机房容灾，异地容灾一般的解决思路是在异地两个机房部署一主一备两个集群。业务写入时只写主集群，再异步地把数据同步到备集群中，但是实现起来会比较复杂，因为要解决主备集群数据一致性的问题，并且跨地域的话，网络延迟会比较高；还有就是，当主集群挂掉之后，这时候切换到备集群，可能两边数据还没有追平，出现不一致，导致业务受损。当然，可以借助于kafka等中间件实现双写，但是数据链路增加了，写入延迟也增加了，并且kafka出现问题，故障可能就是灾难性的了。 一种比较常见的异步复制方法是，使用snapshot备份功能，定期比如每个小时在主集群中执行一次备份，然后在备集群中进行恢复，但是主备集群会有一个小时的数据延迟。以腾讯云为例，腾讯云的ES集群支持把数据备份到对象存储COS中，因为可以用来实现主备集群的数据同步，具体的操作步骤可以参考 https://cloud.tencent.com/document/product/845/19549 。 在6.5版本官方推出了CCR功能之后，集群间数据同步的难题就迎刃而解了。可以利用CCR来实现ES集群的异地容灾： CCR是类似于数据订阅的方式，主集群为Leader, 备集群为Follower, 备集群以pull的方式从主集群拉取数据和写请求；在定义好Follwer Index时，Follwer Index会进行初始化，从Leader中以snapshot的方式把底层的segment文件全量同步过来，初始化完成之后，再拉取写请求，拉取完写请求后，Follwer侧进行重放，完成数据的同步。CCR的优点当然是因为可以同步UPDATE/DELETE操作，数据一致性问题解决了，同步延时也减小了。 另外，基于CCR可以和前面提到的跨机房容灾的集群结合，实现两地多中心的ES集群。在上海地域，部署有多可用区集群实现跨机房的高可用，同时在北京地域部署备集群作为Follwer利用CCR同步数据，从而在集群可用性上又向前走了一步，既实现了同城跨机房容灾，又实现了跨地域容灾。 但是在出现故障时需要把集群的访问从上海切换到北京时，会有一些限制，因为CCR中的Follwer Index是只读的，不能写入，需要切换为正常的索引才能进行写入，过程也是不可逆的。不过在业务侧进行规避，比如写入时使用新的正常的索引，业务使用别名进行查询，当上海地域恢复时，再反向的把数据同步回去。 现在问题就是保证上海地域集群数据的完整性，在上海地域恢复后，可以在上海地域新建一个Follower Index，以北京地域正在进行写的索引为Leader同步数据，待数据完全追平后，再切换到上海地域进行读写，注意切换到需要新建Leader索引写入数据。 数据同步过程如下所示： 1.上海主集群正常提供服务，北京备集群从主集群Follow数据 2.上海主集群故障，业务切换到北京备集群进行读写，上海主集群恢复后从北京集群Follow数据

0、引言 在业务开发中，我们往往会陷入开发的细枝末节之中，而忽略了事物的本源。 经常有同学问到： 等等等等….. 以上的看似复杂的问题，如果转换成DSL，清楚的写出来，梳理清楚问题的来龙去脉，问题就自然解决了一大半。 所以，请亮出你的dsl,不论什么语言的检索，转换到es查询都是sql查询，在es中对应dsl语法，es再拆解比如：分词match_phrase拆解成各term组合，最终传给lucene处理。 亮出你的dsl,确保编程里的实现和你的kibana或者head插件一致是非常重要、很容易被忽视的工作。 如果对dsl拆解不理解，那就再 加上 profile:true或者explain:true拆解结果一目了然。 维基百科定义：领域特定语言（英语：domain-specific language、DSL）指的是专注于某个应用程序领域的计算机语言。又译作领域专用语言。 Elasticsearch提供基于JSON的完整查询DSL来定义查询。 将Query DSL视为查询的AST（抽象语法树），由两种类型的子句组成： 1、叶子查询子句 叶查询子句查找特定字段中的特定值，例如匹配，术语或范围查询。 这些查询可以单独使用。 2、复合查询子句 复合查询子句可以组合其他叶子或复合查询，用于以逻辑方式组合多个查询（例如bool或dis_max查询），或更改其行为（例如constant_score查询）。 给个例子，一看就明白。 看到这里，可能会有人着急了：“我X，这不是官网定义吗？再写一遍有意思吗？” 引用一句鸡汤话，“再显而易见的道理，在中国，至少有一亿人不知道”。同样的，再显而易见的问题，在Elasticsearch技术社区也会有N多人提问。 基础认知不怕重复，可怕的是对基础的专研、打磨、夯实。 Elasticsearch相关的核心操作，广义上可做如下解读，不一定涵盖全，仅抛砖引玉，说明DSL的重要性。 从大到小。 集群的管理，一般我们会使用Kibana或者第三方工具Head插件、cerebro工具、elastic-hq工具。 基本上硬件的（磁盘、cpu、内存）使用率、集群的 健康 状态都能一目了然。 但基础的DSL会更便捷，便于细粒度分析问题。 如：集群状态查询： 如：节点热点线程查看： 如：集群分片分配情况查看： 索引生命周期是一直强调的概念，主要指索引的“生、老、病、死”的全过程链条的管理。 创建索引我们优先使用较单纯index更灵活的template模板。 创建索引类似Mysql的创建表的操作，提前设计好表结构对应ES是提前设计好M app ing非常重要。 两个维度： 举例： 如：索引清理缓存。 如：某原因导致分片重新分配，_recovery查看分片分配状态。 高版本的索引生命周期管理推荐使用：ILM功能。 这个是大家再熟悉不过的了。 举例： 删除数据包括：指定id删除 delete和批量删除delete_by_query（满足给定条件）。 更新操作。包括：指定id的update/upsert或者批量更新update_by_query。 这是ES的重头戏。包含但不限于： 1、支持精确匹配查询的：term、range、exists、wildcard、prefix、fuzzy等。 2、支持全文检索的：match、match_phrase、query_string、multi_match等 1、Bucketing分桶聚合 举例：最常用的terms就类似Mysql group by功能。2、Metric计算聚合 举例：类比Mysql中的： MIN, MAX, SUM 操作。3、Pipeline针对聚合结果聚合 举例：bucket_script实现类似Mysql的group by 后having的操作。 留给大家 结合 业务场景思考添加。 这里把开头提到的几个问题逐一解答一下。 实际Mysql业务中，我们一般是先验证sql没有问题，再写业务代码。 实际ES业务中，也一样，先DSL确认没有问题，再写业务代码。 写完java或者python后，打印DSL，核对是否完全一致。 不一致的地方基本就是结果和预期不一致的原因所在。 第一步：借助analyzer API分析查询语句和待查询document分词结果。 这个API的重要性，再怎么强调都不为过。 第二步：可以借助profile:true查看细节。第三步：核对match_phrase词序的原理。 6.3版本后已经支持sql，如果不会写，可以借助translate 如下API翻译一下。 不够精确，但足够参考用了，需要根据业务细节微调。 当然，还是 建议 ，从业务出发，自己写DSL。 从大往小，逐步细化排解 END 公众号 ( zhisheng )里回复 面经、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章 1、《从0到1学习Flink》—— Apache Flink 介绍 2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、《从0到1学习Flink》—— Flink 配置文件详解 4、《从0到1学习Flink》—— Data Source 介绍 5、《从0到1学习Flink》—— 如何自定义 Data Source ？ 6、《从0到1学习Flink》—— Data Sink 介绍 7、《从0到1学习Flink》—— 如何自定义 Data Sink ？ 8、《从0到1学习Flink》—— Flink Data transformation(转换) 9、《从0到1学习Flink》—— 介绍 Flink 中的 Stream Windows 10、《从0到1学习Flink》—— Flink 中的几种 Time 详解 11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch 12、《从0到1学习Flink》—— Flink 项目如何运行？ 13、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka 14、《从0到1学习Flink》—— Flink JobManager 高可用性配置 15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍 16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL 17、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ 18、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了 19、大数据“重磅炸弹”——实时计算框架 Flink 20、《Flink 源码解析》—— 源码编译运行 21、为什么说流处理即未来？ 22、OPPO数据中台之基石：基于Flink SQL构建实数据仓库 23、流计算框架 Flink 与 Storm 的性能对比 24、Flink状态管理和容错机制介绍 25、原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理 26、Apache Flink 是如何管理好内存的？ 27、《从0到1学习Flink》——Flink 中这样管理配置，你知道？ 28、《从0到1学习Flink》——Flink 不可以连续 Split(分流)？ 29、Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文 30 、360深度实践：Flink与Storm协议级对比 31、Apache Flink 1.9 重大特性提前解读 32、如何基于Flink+TensorFlow打造实时智能异常检测平台？只看这一篇就够了 33、美团点评基于 Flink 的实时数仓建设实践 34、Flink 灵魂两百问，这谁顶得住？ 35、一文搞懂 Flink 的 Exactly Once 和 At Least Once 36、你公司到底需不需要引入实时计算引擎？

Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。 在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同理，在 Elasticsearch 中，也应该尽量避免使用深度分页。 这篇文章主要介绍 Elasticsearch 中分页相关内容！ 在ES中，分页查询默认返回最顶端的10条匹配hits。 如果需要分页，需要使用from和size参数。 一个基本的ES查询语句是这样的： 上面的查询表示从搜索结果中取第100条开始的10条数据。 「那么，这个查询语句在ES集群内部是怎么执行的呢？」 在ES中，搜索一般包括两个阶段，query 和 fetch 阶段，可以简单的理解，query 阶段确定要取哪些doc，fetch 阶段取出具体的 doc。 如上图所示，描述了一次搜索请求的 query 阶段：· 在上面的例子中，coordinating node 拿到 (from + size) * 6 条数据，然后合并并排序后选择前面的 from + size 条数据存到优先级队列，以便 fetch 阶段使用。 另外，各个分片返回给 coordinating node 的数据用于选出前 from + size 条数据，所以，只需要返回唯一标记 doc 的 _id 以及用于排序的 _score 即可，这样也可以保证返回的数据量足够小。 coordinating node 计算好自己的优先级队列后，query 阶段结束，进入 fetch 阶段。 query 阶段知道了要取哪些数据，但是并没有取具体的数据，这就是 fetch 阶段要做的。 上图展示了 fetch 过程： coordinating node 的优先级队列里有 from + size 个 _doc _id ，但是，在 fetch 阶段，并不需要取回所有数据，在上面的例子中，前100条数据是不需要取的，只需要取优先级队列里的第101到110条数据即可。 需要取的数据可能在不同分片，也可能在同一分片，coordinating node 使用 「multi-get」 来避免多次去同一分片取数据，从而提高性能。 「这种方式请求深度分页是有问题的：」 我们可以假设在一个有 5 个主分片的索引中搜索。当我们请求结果的第一页（结果从 1 到 10 ），每一个分片产生前 10 的结果，并且返回给 协调节点 ，协调节点对 50 个结果排序得到全部结果的前 10 个。 现在假设我们请求第 1000 页—结果从 10001 到 10010 。所有都以相同的方式工作除了每个分片不得不产生前10010个结果以外。然后协调节点对全部 50050 个结果排序最后丢弃掉这些结果中的 50040 个结果。 「对结果排序的成本随分页的深度成指数上升。」 「注意1：」 size的大小不能超过 index.max_result_window 这个参数的设置，默认为10000。 如果搜索size大于10000，需要设置 index.max_result_window 参数 「注意2：」 _doc 将在未来的版本移除，详见： Elasticsearch 的From/Size方式提供了分页的功能，同时，也有相应的限制。 举个例子，一个索引，有10亿数据，分10个 shards，然后，一个搜索请求，from=1000000，size=100，这时候，会带来严重的性能问题：CPU，内存，IO，网络带宽。 在 query 阶段，每个shards需要返回 1000100 条数据给 coordinating node，而 coordinating node 需要接收 10 * 1000 ，100 条数据，即使每条数据只有 _doc _id 和 _score ，这数据量也很大了？ 「在另一方面，我们意识到，这种深度分页的请求并不合理，因为我们是很少人为的看很后面的请求的，在很多的业务场景中，都直接限制分页，比如只能看前100页。」 比如，有1千万粉丝的微信大V，要给所有粉丝群发消息，或者给某省粉丝群发，这时候就需要取得所有符合条件的粉丝，而最容易想到的就是利用 from + size 来实现，不过，这个是不现实的，这时，可以采用 Elasticsearch 提供的其他方式来实现遍历。 深度分页问题大致可以分为两类： 「下面介绍几个官方提供的深度分页方法」 我们可以把scroll理解为关系型数据库里的cursor，因此，scroll并不适合用来做实时搜索，而更适合用于后台批处理任务，比如群发。 这个分页的用法， 「不是为了实时查询数据」 ，而是为了 「一次性查询大量的数据（甚至是全部的数据」 ）。 因为这个scroll相当于维护了一份当前索引段的快照信息，这个快照信息是你执行这个scroll查询时的快照。在这个查询后的任何新索引进来的数据，都不会在这个快照中查询到。 但是它相对于from和size，不是查询所有数据然后剔除不要的部分，而是记录一个读取的位置，保证下一次快速继续读取。 不考虑排序的时候，可以结合 SearchType.SCAN 使用。 scroll可以分为初始化和遍历两部，初始化时将 「所有符合搜索条件的搜索结果缓存起来（注意，这里只是缓存的doc_id，而并不是真的缓存了所有的文档数据，取数据是在fetch阶段完成的）」 ，可以想象成快照。 在遍历时，从这个快照里取数据，也就是说，在初始化后，对索引插入、删除、更新数据都不会影响遍历结果。 「基本使用」 初始化指明 index 和 type，然后，加上参数 scroll，表示暂存搜索结果的时间，其它就像一个普通的search请求一样。 会返回一个 _scroll_id ， _scroll_id 用来下次取数据用。 「遍历」 这里的 scroll_id 即 上一次遍历取回的 _scroll_id 或者是初始化返回的 _scroll_id ，同样的，需要带 scroll 参数。 重复这一步骤，直到返回的数据为空，即遍历完成。 「注意，每次都要传参数 scroll，刷新搜索结果的缓存时间」 。另外， 「不需要指定 index 和 type」 。 设置scroll的时候，需要使搜索结果缓存到下一次遍历完成， 「同时，也不能太长，毕竟空间有限。」 「优缺点」 缺点： 「优点：」 适用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。 ES提供了scroll scan方式进一步提高遍历性能，但是scroll scan不支持排序，因此scroll scan适合不需要排序的场景 「基本使用」 Scroll Scan 的遍历与普通 Scroll 一样，初始化存在一点差别。 需要指明参数： 「Scroll Scan与Scroll的区别」 如果你数据量很大，用Scroll遍历数据那确实是接受不了，现在Scroll接口可以并发来进行数据遍历了。 每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，比用Scroll遍历要快很多倍。 上边的示例可以单独请求两块数据，最终五块数据合并的结果与直接scroll scan相同。 其中max是分块数，id是第几块。 Search_after 是 ES 5 新引入的一种分页查询机制，其原理几乎就是和scroll一样，因此代码也几乎是一样的。 「基本使用：」 第一步： 返回出的结果信息 ： 上面的请求会为每一个文档返回一个包含sort排序值的数组。 这些sort排序值可以被用于 search_after 参数里以便抓取下一页的数据。 比如，我们可以使用最后的一个文档的sort排序值，将它传递给 search_after 参数： 若我们想接着上次读取的结果进行读取下一页数据，第二次查询在第一次查询时的语句基础上添加 search_after ，并指明从哪个数据后开始读取。 「基本原理」 es维护一个实时游标，它以上一次查询的最后一条记录为游标，方便对下一页的查询，它是一个无状态的查询，因此每次查询的都是最新的数据。 由于它采用记录作为游标，因此 「SearchAfter要求doc中至少有一条全局唯一变量（每个文档具有一个唯一值的字段应该用作排序规范）」 「优缺点」 「优点：」 「缺点：」 SEARCH_AFTER 不是自由跳转到任意页面的解决方案，而是并行滚动多个查询的解决方案。 分页方式性能优点缺点场景 from + size低灵活性好，实现简单深度分页问题数据量比较小，能容忍深度分页问题 scroll中解决了深度分页问题无法反应数据的实时性（快照版本）维护成本高，需要维护一个 scroll_id海量数据的导出需要查询海量结果集的数据 search_after高性能最好不存在深度分页问题能够反映数据的实时变更实现复杂，需要有一个全局唯一的字段连续分页的实现会比较复杂，因为每一次查询都需要上次查询的结果，它不适用于大幅度跳页查询海量数据的分页 参照：https://www.elastic.co/guide/en/elasticsearch/reference/master/paginate-search-results.html#scroll-search-results 在 7.* 版本中，ES官方不再推荐使用Scroll方法来进行深分页，而是推荐使用带PIT的 search_after 来进行查询； 从 7.* 版本开始，您可以使用 SEARCH_AFTER 参数通过上一页中的一组排序值检索下一页命中。 使用 SEARCH_AFTER 需要多个具有相同查询和排序值的搜索请求。 如果这些请求之间发生刷新，则结果的顺序可能会更改，从而导致页面之间的结果不一致。 为防止出现这种情况，您可以创建一个时间点(PIT)来在搜索过程中保留当前索引状态。 在搜索请求中指定PIT： 分别分页获取 1 - 10 ， 49000 - 49010 ， 99000 - 99010 范围各10条数据（前提10w条），性能大致是这样： 对于向前翻页，ES中没有相应API，但是根据官方说法（https://github.com/elastic/elasticsearch/issues/29449），ES中的向前翻页问题可以通过翻转排序方式来实现即： Scroll和 search_after 原理基本相同，他们都采用了游标的方式来进行深分页。 这种方式虽然能够一定程度上解决深分页问题。但是，它们并不是深分页问题的终极解决方案，深分页问题 「必须避免！!」 。 对于Scroll，无可避免的要维护 scroll_id 和 历史 快照，并且，还必须保证 scroll_id 的存活时间，这对服务器是一个巨大的负荷。 对于 Search_After ，如果允许用户大幅度跳转页面，会导致短时间内频繁的搜索动作，这样的效率非常低下，这也会增加服务器的负荷，同时，在查询过程中，索引的增删改会导致查询数据不一致或者排序变化，造成结果不准确。 Search_After 本身就是一种业务折中方案，它不允许指定跳转到页面，而只提供下一页的功能。 Scroll默认你会在后续将所有符合条件的数据都取出来，所以，它只是搜索到了所有的符合条件的 doc_id (这也是为什么官方推荐用 doc_id 进行排序，因为本身缓存的就是 doc_id ，如果用其他字段排序会增加查询量)，并将它们排序后保存在协调节点(coordinate node)，但是并没有将所有数据进行fetch，而是每次scroll，读取size个文档，并返回此次读取的最后一个文档以及上下文状态，用以告知下一次需要从哪个shard的哪个文档之后开始读取。 这也是为什么官方不推荐scroll用来给用户进行实时的分页查询，而是适合于大批量的拉取数据，因为它从设计上就不是为了实时读取数据而设计的。

"浅"分页是最简单的分页方案。es会根据查询条件在每一个DataNode分片中取出from+size条文档，然后在MasterNode中聚合、排序，再截取size-from的文档返回给调用方。当页数越靠后，也就是from+size越大，es需要读取的数据也就是越大，聚合和排序的时候处理的数据量也越大，此时会加大服务器CPU和内存的消耗。 其中，from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。 在这里有必要了解一下from/size的原理： 因为es是基于分片的，假设有5个分片，from=100，size=10。则会根据排序规则从5个分片中各取回100条数据数据，然后汇总成500条数据后选择最后面的10条数据。 做过测试，越往后的分页，执行的效率越低。总体上会随着from的增加，消耗时间也会增加。而且数据量越大，就越明显！ from+size查询在10000-50000条数据（1000到5000页）以内的时候还是可以的，但是如果数据过多的话，就会出现深分页问题。 为了解决上面的问题，elasticsearch提出了一个scroll滚动的方式。 scroll 类似于sql中的cursor，使用scroll，每次只能获取一页的内容，然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容，所以scroll并不适用于有跳页的情景。 scroll=5m表示设置scroll_id保留5分钟可用。 使用scroll必须要将from设置为0。 size决定后面每次调用_search搜索返回的数量 然后我们可以通过数据返回的_scroll_id读取下一页内容，每次请求将会读取下10条数据，直到数据读取完毕或者scroll_id保留时间截止： 注意：请求的接口不再使用索引名了，而是 _search/scroll，其中GET和POST方法都可以使用。 scroll删除 根据官方文档的说法，scroll的搜索上下文会在scroll的保留时间截止后自动清除，但是我们知道scroll是非常消耗资源的，所以一个建议就是当不需要了scroll数据的时候，尽可能快的把scroll_id显式删除掉。 清除指定的scroll_id： DELETE _search/scroll/DnF1ZXJ5VGhlbkZldGNo..... 清除所有的scroll： DELETE _search/scroll/_all scroll 的方式，官方的建议不用于实时的请求（一般用于数据导出），因为每一个 scroll_id 不仅会占用大量的资源，而且会生成历史快照，对于数据的变更不会反映到快照上。 search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置，同时在分页请求的过程中，如果有索引数据的增删改查，这些变更也会实时的反映到游标上。但是需要注意，因为每一页的数据依赖于上一页最后一条数据，所以无法跳页请求。 为了找到每一页最后一条数据，每个文档必须有一个全局唯一值，官方推荐使用 _uid 作为全局唯一值，其实使用业务层的 id 也可以。 使用search_after必须要设置from=0。 这里我使用timestamp和_id作为唯一值排序。 我们在返回的最后一条数据里拿到sort属性的值传入到search_after。 使用sort返回的值搜索下一页： 4：修改默认分页限制值10000 可以使用下面的方式来改变ES默认深度分页的index.max_result_window 最大窗口值 curl -XPUT http://127.0.0.1:9200/my_index/_settings -d "{ "index" : { "max_result_window" : 500000}}" 其中my_index为要修改的index名，500000为要调整的新的窗口数。将该窗口调整后，便可以解决无法获取到10000条后数据的问题。 注意事项 通过上述的方式解决了我们的问题，但也引入了另一个需要我们注意的问题，窗口值调大了后，虽然请求到分页的数据条数更多了，但它是用牺牲更多的服务器的内存、CPU资源来换取的。要考虑业务场景中过大的分页请求，是否会造成集群服务的OutOfMemory问题。 修改最大限制值之后确实可以使from+size查询到更后面页的数据，但是每次查询得到的总数量最大任然是10000，要想获取大于1万的查询数据量，可以分两步查询，第一步使用scroll查询获取总数据量；第二部使用from+size查询每页的数据，并设置分页。这样即解决了from+size无法查询10000之后的数据，也解决了scroll无法跳页的问题。 使用scroll可能遇到的问题： Caused by: org.elasticsearch.ElasticsearchException: Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting. 这个报错是从es的日志文件中查出来的，大致意思是：尝试创建更多的scroll对象失败了，scroll对象总数量应该控制在500以内。可修改search.max_open_scroll_context的值来改变500这个阈值。 原因：通过scroll 深分页可知道，es服务端会在内存中生成一个scroll_id对象，并会为该值指定过期时间，翻页的时候使用scroll_id来获取下一页的数据。默认情况下，一个实例下面仅可以创建最多500个scroll上下文对象，也就是500个scroll_id。报此错误的原因就是创建scroll上下文对象失败，因为当前已经存在500个这样的对象了。 解决办法： 1：通过观察可以发现，即使不做任何的处理，过一会就又可以发起scroll请求了，这是因为时间超过了scroll生命周期时间，scroll对象自己死掉了一些。 2：按照提示说的，修改search.max_open_scroll_context的值 put http://{{es-host}}/_cluster/settings { } [图片上传失败...(image-4dc354-1583253824871)] 3：在使用完scroll_id之后立即调用删除接口，删除该scroll对象 删除单个scroll DELETE http://{{es-host}}/_search/scroll { } 删除所有scroll delete http://{{es-host}}/_search/scroll/_all

前面已经介绍了ElasticSearch的写入流程，了解了ElasticSearch写入时的分布式特性的相关原理。ElasticSearch作为一款具有强大搜索功能的存储引擎，它的读取是什么样的呢？读取相比写入简单的多，但是在使用过程中有哪些需要我们注意的呢？本篇文章会进行详细的分析。 在前面的文章我们已经知道ElasticSearch的读取分为两种GET和SEARCH。这两种操作是有一定的差异的，下面我们先对这两种核心的数据读取方式进行一一分析。 （图片来自官网） 以下是从主分片或者副本分片检索文档的步骤顺序： 注意： 在协调节点有个http_server_worker线程池。收到读请求后它的具体过程为： 数据节点上有一个get线程池。收到了请求后，处理过程为： 注意： get过程会加读锁。处理realtime选项，如果为true，则先判断是否有数据可以刷盘，然后调用Searcher进行读取。Searcher是对IndexSearcher的封装在早期realtime为true则会从tranlog中读取，后面只会从index的lucene读取了。即实时的数据只在lucene之中。 对于Search类请求，ElasticSearch请求是查询lucene的Segment，前面的写入详情流程也分析了，新增的文档会定时的refresh到磁盘中，所以搜索是属于近实时的。而且因为没有文档id，你不知道你要检索的文档在哪个分配上，需要将索引的所有的分片都去搜索下，然后汇总。ElasticSearch的search一般有两个搜索类型 所有的搜索系统一般都是两阶段查询： 第一阶段查询到匹配的docID，第二阶段再查询DocID对应的完整文档。这种在ElasticSearch中称为query_then_fetch，另一种就是一阶段查询的时候就返回完整Doc，在ElasticSearch中叫query_and_fetch，一般第二种适用于只需要查询一个Shard的请求。因为这种一次请求就能将数据请求到，减少交互次数，二阶段的原因是需要多个分片聚合汇总，如果数据量太大那么会影响网络传输效率，所以第一阶段会先返回id。 除了上述的这两种查询外，还有一种三阶段查询的情况。 搜索里面有一种算分逻辑是根据TF和DF来计算score的，而在普通的查询中，第一阶段去每个Shard中独立查询时携带条件算分都是独立的，即Shard中的TF和DF也是独立的。虽然从统计学的基础上数据量多的情况下，每一个分片的TF和DF在整体上会趋向于准确。但是总会有情况导致局部的TF和DF不准的情况出现。 ElasticSearch为了解决这个问题引入了DFS查询。 比如DFS_query_then_fetch，它在每次查询时会先收集所有Shard中的TF和DF值，然后将这些值带入请求中，再次执行query_then_fetch，这样算分的时候TF和DF就是准确的，类似的有DFS_query_and_fetch。这种查询的优势是算分更加精准，但是效率会变差。 另一种选择是用BM25代替TF/DF模型。 在ElasticSearch7.x，用户没法指定以下两种方式： DFS_query_and_fetch 和 query_and_fetch 。 注：这两种算分的算法模型在《ElasticSearch实战篇》有介绍： 这里query_then_fetch具体的搜索的流程图如下： （图片来自官网） 查询阶段包含以下四个步骤: 以上就是ElasticSearch的search的详细流程，下面会对每一步进行进一步的说明。 协调节点处理query请求的线程池为： http_server_work 负责该解析功能的类为： org.elasticsearch.rest.action.search.RestSearchAction 主要将restquest的参数封装成SearchRequest 这样SearchRequest请求发送给TransportSearchAction处理 将索引涉及到的shard列表或者有跨集群访问相关的shard列表合并 如果有多个分片位于同一个节点，仍然会发送多次请求 shardsIts为搜索涉及的所有分片，而shardRoutings.nextOrNull()会从分片的所有副本分片选出一个分片来请求。 onShardSuccess对收集到的结果进行合并，这里需要检查所有的请求是否都已经有了回复。 然后才会判断要不要进行executeNextPhase 当返回结果的分片数等于预期的总分片数时，协调节点会进入当前Phase的结束处理，启动下一个阶段Fetch Phase的执行。onPhaseDone()会executeNextPhase来执行下一个阶段。 当触发了executeNextPhase方法将触发fetch阶段 上一步的executeNextPhase方法触发Fetch阶段，Fetch阶段的起点为FetchSearchPhase#innerRun函数，从查询阶段的shard列表中遍历，跳过查询结果为空的 shard。其中也会封装一些分页信息的数据。 使用了countDown多线程工具，fetchResults存储某个分片的结果，每收到一个shard的数据就countDoun一下，当都完毕后，触发finishPhase。接着会进行下一步： CountedCollector: finishPhase: 执行字段折叠功能，有兴趣可以研究下。即ExpandSearchPhase模块。ES 5.3版本以后支持的Field Collapsing查询。通过该类查询可以轻松实现按Field值进行分类，每个分类获取排名前N的文档。如在菜单行为日志中按菜单名称（用户管理、角色管理等）分类，获取每个菜单排名点击数前十的员工。用户也可以按Field进行Aggregation实现类似功能，但Field Collapsing会更易用、高效。 ExpandSearchPhase执行完了，就返回给客户端结果了。 处理数据节点请求的线程池为：search 根据前面的两个阶段，数据节点主要处理协调节点的两类请求：query和fetch 这里响应的请求就是第一阶段的query请求 executeQueryPhase: executeQueryPhase会执行loadOrExecuteQueryPhase方法 这里判断是否从缓存查询，默认启用缓存，缓存的算法默认为LRU，即删除最近最少使用的数据。如果不启用缓存则会执行queryPhase.execute(context);底层调用lucene进行检索，并且进行聚合。 关键点： ElasticSearch查询分为两类，一类为GET，另一类为SEARCH。它们使用场景不同。 本文主要分析了ElasticSearch分布式查询主体流程，并未对lucene部分进行分析，有兴趣的可以自行查找相关资料。

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。但是Lucene只是一个工具类库，且接口较为复杂。你必须先理解搜索引擎的工作原理，才能有效利用Lucene。ElasticSearch通过隐藏Lucene背后复杂的搜索理论知识，预设了搜索引擎默认的参数，只需要最少的理解，就能快速搭建出搜索引擎，开箱即用。 1. 索引（Index） ElasticSearch的Index类似于关系型数据库的Database，用来存储各种类型的文档。一个索引应该是因共同的特性被分组到一起的文档集合。 以Google作为栗子，我们可以把Index理解为Google所抓取网页（文档）存储的地方。 2. 类型（Type） Type类似于关系型数据库的Table，用来存储相似文档的地方。 以Google作为栗子，我们可以把网页、图片、视频等不同类型的搜索，存放在不同的Type里面。 3. 文档（Document） Document类似于关系型数据库里面的Row，存储具体的一个对象。 ElasticSearch的文档是以JSON格式存储的。形如： 以Google作为栗子，一个网页就是一个文档。 4. 字段（Field） Field类似于关系型数据库的Column，存储某一个具体的属性。 以Google作为栗子，网页的标题（Title）就是一个字段。 注意： ElasticSearch的Type与传统关系型数据库的Table不一样的地方在于：同一个Index下的Type，名称相同的Field，类型要保持一致。 以Google作为栗子，当Google把网页类型的文档和图片类型的文档都存储在同一个Index下面时，假设网页和图片都有一个Title属性，那么在同一个Index下面，这两个属性的类型必须保持一致，比如必须都是String类型的。因为ElasticSearch更倾向于存储同构类型的文档。 下载安装包，并解压到/opt目录下 编辑elasticsearch.yml文件 vim/opt/elasticsearch-2.4.4/config/elasticsearch.yml 启动项目 安装head插件 打开浏览器访问页面：http://192.168.204.151:9200/_plugin/head/

1、Gossip 是一种去中心化、容错而又最终一致性的绝妙算法, 其收敛性不但得到证明还具有指数级的收敛速度。2、使用 Gossip 的系统可以很容易的把 Server 扩展到更多的节点, 满足弹性扩展轻而易举。3、唯一的缺点是收敛是最终一致性, 不适应那些强一致性的场景, 比如 2PC。

Elasticsearch是什么?Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理。Elasticsearch是一个分布式文档存储。Elasticsearch存储的是序列化为JSON文档的复杂数据结构，而不是以列行数据的形式存储信息。当集群中有多个Elasticsearch节点时，存储的文档分布在整个集群中，可以立即从任何节点访问。Elasticsearch是由Shay Banon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应用程序。Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。搜索引擎，不支持join表等操作。主要用于全文检索。不适合做数据库。如何选择合适的数据库解决方案？1、如果有强大的技术团队，关系型和非关系型数据库都可选择。一般来讲，非关系型数据库需要更多管理维护的时间。2、如果你要储存会话信息，用户配置信息，购物车数据，建议使用NoSQL数据库； 不过90%的企业或个人，首选数据库都是MySQL数据库。3、(一)、Access (二)SQL Server (三)MySQL，Access是一种桌面数据库，只适合数据量少的应用，在处理少量数据和单机访问的数据库时是很好的，效率也很高。但是它的同时访问客户端不能多于4个。4、虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。 混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。5、例如，如果你需要的是数据分析仓库，关系数据库可能不是一个适合的选择；如果你处理事务的应用要求严格的数据完整性和一致性，就不要考虑NoSQL了。不要重新发明轮子 在过去的数十年，开源数据库技术迅速发展壮大。6、本文首先讨论了基于第三范式的数据库表的基本设计，着重论述了建立主键和索引的策略和方案，然后从数据库表的扩展设计和库表对象的放置等角度概述了数据库管理系统的优化方案。ElasticSearch倒排索引及其原理1、倒排索引采用Immutable Design，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、之前我们已经了解过，Elasticsearch 是一个基于 Lucene 实现的分布式全文检索引擎，其实 Elasticsearch 倒排索引就是 Lucene 的倒排索引。3、所谓的倒排索引，就是把你的数据内容先分词，每句话分成一个一个的关键词，然后记录好每一个关键词对应出现在了哪些 id 标识的数据。4、可以将对es的操作记录下来，来确保当出现故障的时候，已经落地到磁盘的数据不会丢失，并在重启的时候可以从操作记录中将数据恢复过来。5、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。elasticsearch-倒排索引原理1、倒排索引采用Immutable Design，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。3、elasticsearch提供了translog来记录这些操作，结合os cached segments数据定时落盘来实现数据可靠性保证（flush）。文档被添加到buffer同时追加到translog：进行 refresh 操作，清空buffer，文档可被搜索但尚未 flush 到磁盘。4、如果Elasticsearch密钥库受密码保护，则必须先输入密钥库密码，然后才能为内置用户设置密码。 为弹性用户设置密码后，引导密码不再有效，无法使用该命令。在某些情况下，分片副本的Lucene索引或事务日志可能会损坏。5、Elasticsearch 的查询原理是将查询的关键词与倒排索引中的词条进行匹配，查询的关键词与倒排索引中的词条必须完全相同视为匹配，否则不匹配。 这意味着在插入文档时是否进行分析和查询时是否进行分析将产生非常不同的结果。6、财务平台亿级数据量毫秒级查询优化之elasticsearch原理解析_wang123459的博客-CSDN博客_elasticsearch 查询优化 mysql底层B-tree 支持矮胖，高胖的时候就很难受，说白了就是数据量多会增加IO操作。ES底层倒排索引。Elasticsearch一般情况下如果es服务正常启动，可以通过接口的方式获取elasticsearch版本信息：curlhttp：//10.1：9200 上述命令可以得到elasticsearch的服务状态和其他信息包括版本号。Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elasticsearch 中。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch架构简单介绍如下。索引 索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。你可以把索引看成关系型数据库的表。然而，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。如何用elasticsearch5.2实现全文索引1、安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik， 分别拷贝到plugins和conf目录就可以了。2、ES使用倒序索引来加速全文索引。一个倒序索引由两部分组成：如果我们想要搜索 quick brown，我们仅仅只需要找每一个term出现的文档即可。如下图：每一个文档都匹配到了，但是第一个比第二个要匹配的多。3、每次将文本类型数据插入Elasticsearch索引时，都会对其进行分析，然后存储在反向索引中。根据分析器的配置方式，这会影响您的搜索功能，因为分析器也适用于全文搜索。

一、高亮的一些问题 elasticsearch提供了三种高亮方式，前面我们已经简单的了解了elasticsearch的高亮原理; 高亮处理跟实际使用查询类型有十分紧密的关系，其中主要的一点就是muti term 查询的重写，例如wildcard、prefix等，由于查询本身和高亮都涉及到查询语句的重写，如果两者之间的重写机制不同，那么就可能会碰到以下情况 相同的查询语句， 使用unified和fvh得到的高亮结果是不同的，甚至fvh Highlighter无任何高亮信息返回； 二、数据环境 elasticsearch 8.0 三、muti term查询重写简介 所谓muti term查询就是查询中并不是明确的关键字，而是需要elasticsearch重写查询语句，进一步明确关键字；以下查询会涉及到muti term查询重写； 以上查询都支持rewrite参数，最终将查询重写为bool查询或者bitset； 查询重写主要影响以下几方面 重写需要抓取哪些关键字以及抓取的数量； 抓取关键字的相关性计算方式； 查询重写支持以下参数选项 constant_score，默认值，如果需要抓取的关键字比较少，则重写为bool查询，否则抓取所有的关键字并重写为bitset；直接使用boost参数作为文档score，一般term level的查询的boost默认值为1； constant_score_boolean，将查询重写为bool查询，并使用boost参数作为文档的score，受到indices.query.bool.max_clause_count 限制，所以默认最多抓取1024个关键字； scoring_boolean，将查询重写为bool查询，并计算文档的相对权重，受到indices.query.bool.max_clause_count 限制，所以默认最多抓取1024个关键字； top_terms_blended_freqs_N，抓取得分最高的前N个关键字，并将查询重写为bool查询；此选项不受indices.query.bool.max_clause_count 限制；选择命中文档的所有关键字中权重最大的作为文档的score； top_terms_boost_N，抓取得分最高的前N个关键字，并将查询重写为bool查询；此选项不受indices.query.bool.max_clause_count 限制；直接使用boost作为文档的score； top_terms_N，抓取得分最高的前N个关键字，并将查询重写为bool查询；此选项不受indices.query.bool.max_clause_count 限制；计算命中文档的相对权重作为评分； 三、wildcard查询重写分析 我们通过elasticsearch来查看一下以下查询语句的重写逻辑； 通过查询使用的字段映射类型构建WildCardQuery，并使用查询语句中配置的rewrite对应的MultiTermQuery.RewriteMethod； 根据查询语句中配置的rewrite，查找对应的MultiTermQuery.RewriteMethod，由于我们没有在wildcard查询语句中设置rewrite参数，这里直接返回null； WildCardQuery继承MultiTermQuery，直接调用rewrite方法进行重写，由于我们没有在wildcard查询语句中设置rewrite参数，这里直接使用默认的CONSTANT_SCORE_REWRITE； 可以看到CONSTANT_SCORE_REWRITE是直接使用的匿名类，rewrite方法返回的是MultiTermQueryConstantScoreWrapper的实例； 在以下方法中，首先会得到查询字段对应的所有term集合； 然后通过 query.getTermsEnum获取跟查询匹配的所有term集合； 最后根据collectTerms调用的返回值决定是否构建bool查询还是bit set； 调用collectTerms默认只会提取查询命中的16个关键字； 通过以上分析wildcard查询默认情况下，会提取字段中所有命中查询的关键字； 四、fvh Highlighter中wildcard的查询重写 在muti term query中，提取查询关键字是高亮逻辑一个很重要的步骤； 我们使用以下高亮语句，分析以下高亮中提取查询关键字过程中的查询重写； 默认情况下只有匹配的字段才会进行高亮，这里构建CustomFieldQuery； 通过调用flatten方法得到重写之后的flatQueries，然后将每个提取的关键字重写为BoostQuery； 由于WildCardQuery是MultiTermQuery的子类，所以在flatten方法中最终直接使用MultiTermQuery.TopTermsScoringBooleanQueryRewrite进行查询重写，这里的top N是MAX_MTQ_TERMS = 1024； 这里首先计算设置的size和getMaxSize(默认值1024， IndexSearcher.getMaxClauseCount())计算最终提取的命中关键字数量，这里最终是1024个； 这里省略了传入collectTerms的TermCollector匿名子类的实现，其余最终提取关键字数量有关； 这里首先获取查询字段对应的所有term集合，然后获取所有的与查询匹配的term集合，最终通过传入的collector提取关键字； 这里通过控制最终提取匹配查询的关键字的数量不超过maxSize； 通过以上分析可以看到，fvh Highlighter对multi term query的重写，直接使用MultiTermQuery.TopTermsScoringBooleanQueryRewrite，并限制只能最多提取查询关键字1024个； 五、重写可能导致的高亮问题原因分析 经过以上对查询和高亮的重写过程分析可以知道，默认情况下 query阶段提取的是命中查询的所有的关键字，具体行为可以通过rewrite参数进行定制； Highlight阶段提取的是命中查询的关键字中的前1024个，具体行为不受rewrite参数的控制； 如果查询的字段是大文本字段，导致字段的关键字很多，就可能会出现查询命中的文档的关键字不在前1024个里边，从而导致明明匹配了文档，但是却没有返回高亮信息； 六、解决方案

倒排索引采用Immutable Design，一旦生成，不可更改。 Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。但为了保证数据不会丢失，所以在创建索引时，会同时写Tansaction Log，类似操作日志。 在ES进行Refresh时，Index Buffer会被清空，Transaction Log不会清空。 Flush操作： Flush触发条件： 随着索引的不断创建，Segments文件会越来越多。ES会自动进行merge操作，将多个segments文件合并，以提高查询效率。但Merge是很重的操作，对磁盘有频繁IO操作，会对系统性能有影响。 除此之外，我们还可以通过api强制merge： 我们还可以通过配置refresh的频率（refresh_interval），来适当减少Segments产生的数量。

首先理解三个概念 1）集群内的节点共同承担数据和负载的压力。 2）当有节点加入或者移出集群时，集群会重新平均分配所有的数据。 1）主节点负责集群内的所有变更（如增加、删除节点，增加、删除索引等） 2）主节点并不需要涉及到文档级别的变更和搜索 3）任何节点都可以成为主节点 4）每个节点都知道任意文档所处的位置，当用户请求时无论请求哪个节点都能直接将请求转发给实际存储文档的节点 5）无论用户请求哪个节点，它都能负责从个个包含我们所需文档的各个节点收集回数据并发给客户端，对这一切都是透明的 1）一个分片是一个底层的 工作单元 2）它本身就是一个完整的搜索引擎 3）应用程序是直接与索引而不是与分片进行交互 4）Elasticsearch 是利用分片将数据分发到集群内各处的 5）分片是数据的容器，文档保存在分片内 6）分片又被分配到集群内的各个节点里 7） 当你的集群规模扩大或者缩小时， Elasticsearch 会自动的在各节点中迁移分片，使得数据仍然均匀分布在集群里。 8）一个分片可以是 主分片 或者 副本分片 9）索引内任意一个文档都归属于一个主分片，所以主分片的数目决定着索引能够保存的最大数据量 10）一个副本分片只是一个主分片的拷贝。副本分片作为硬件故障时保护数据不丢失的冗余备份，并为搜索和返回文档等读操作提供服务 11）在索引建立的时候就已经确定了主分片数，但是副本分片数可以随时修改 其中 status 字段表示当前集群的健康状态（是否正常工作），有三种颜色

倒排索引被写入磁盘后是不可变的，ES解决不变性和更新索引的方式是使用多个索引，利用新增的索引来反映修改，在查询时从旧的到新的依次查询，最后来一个结果合并。 ES底层是基于Lucene，最核心的概念就是 Segment(段) ，每个段本身就是一个倒排索引。 ES中的Index由多个段的集合和 commit point(提交点) 文件组成。 提交点文件中有一个列表存放着所有已知的段，下面是一个带有1个提交点和3个段的Index示意图： Doc会先被搜集到内存中的Buffer内，这个时候还无法被搜索到，如下图所示： 每隔一段时间，会将buffer提交，在flush磁盘后打开新段使得搜索可见，详细过程如下： 下面展示了这个过程完成后的段和提交点的状态： 通过这种方式，可以使得新文档从被索引到可被搜索间的时间间隔在数分钟，但是还不够快。因为磁盘需要 fsync ，这个就成为性能瓶颈。我们前面提到过Doc会先被从buffer刷入段写入文件系统缓存（很快），那么就自然想到在这个阶段就让文档对搜索可见，随后再被刷入磁盘（较慢）。 Lucene支持对新段写入和打开，可以使文档在没有完全刷入硬盘的状态下就能对搜索可见，而且是一个开销较小的操作，可以频繁进行。 下面是一个已经将Docs刷入段，但还没有完全提交的示意图： 我们可以看到，新段虽然还没有被完全提交，但是已经对搜索可见了。 引入refresh操作的目的是提高ES的实时性，使添加文档尽可能快的被搜索到，同时又避免频繁fsync带来性能开销，依靠的就是文件系统缓存OS cache里缓存的文件可以被打开(open/reopen)和读取，而这个os cache实际是一块内存区域，而非磁盘，所以操作是很快的，这就是ES被称为近实时搜索的原因。 refresh默认执行的间隔是1秒，可以使用 refreshAPI 进行手动操作，但一般不建议这么做。还可以通过合理设置 refresh_interval 在近实时搜索和索引速度间做权衡。 index segment刷入到os cache后就可以打开供查询，这个操作是有潜在风险的，因为os cache中的数据有可能在意外的故障中丢失，而此时数据必备并未刷入到os disk，此时数据丢失将是不可逆的，这个时候就需要一种机制，可以将对es的操作记录下来，来确保当出现故障的时候，已经落地到磁盘的数据不会丢失，并在重启的时候可以从操作记录中将数据恢复过来。elasticsearch提供了translog来记录这些操作，结合os cached segments数据定时落盘来实现数据可靠性保证（flush）。 文档被添加到buffer同时追加到translog： 进行 refresh 操作，清空buffer，文档可被搜索但尚未 flush 到磁盘。translog不会清空： 每隔一段时间（例如translog变得太大），index会被flush到磁盘，新的translog文件被创建，commit执行结束后，会发生以下事件： 下面示意图展示了这个状态： translog记录的是已经 在内存生成(segments)并存储到os cache但是还没写到磁盘的那些索引操作 （注意，有一种解释说，添加到buffer中但是没有被存入segment中的数据没有被记录到translog中，这依赖于写translog的时机，不同版本可能有变化，不影响理解），此时这些新写入的数据可以被搜索到，但是当节点挂掉后这些未来得及落入磁盘的数据就会丢失，可以通过trangslog恢复。 当然translog本身也是磁盘文件，频繁的写入磁盘会带来巨大的IO开销，因此对translog的追加写入操作的同样操作的是os cache，因此也需要定时落盘（fsync）。translog落盘的时间间隔直接决定了ES的可靠性，因为宕机可能导致这个时间间隔内所有的ES操作既没有生成segment磁盘文件，又没有记录到Translog磁盘文件中，导致这期间的所有操作都丢失且无法恢复。 translog的fsync是ES在后台自动执行的，默认是每5秒钟主动进行一次translog fsync，或者当translog文件大小大于512MB主动进行一次fsync，对应的配置是 index.translog.flush_threshold_period 和 index.translog.flush_threshold_size 。 当 Elasticsearch 启动的时候， 它会从磁盘中使用最后一个提交点去恢复已知的段，并且会重放 translog 中所有在最后一次提交后发生的变更操作。 translog 也被用来提供实时 CRUD 。当你试着通过ID来RUD一个Doc，它会在从相关的段检索之前先检查 translog 中最新的变更。 默认 translog 是每5秒或是每次请求完成后被 fsync 到磁盘（在主分片和副本分片都会）。也就是说，如果你发起一个index, delete, update, bulk请求写入translog并被fsync到主分片和副本分片的磁盘前不会反回200状态。 这样会带来一些性能损失，可以通过设为异步fsync，但是必须接受由此带来的丢失少量数据的风险： flush 就是执行commit清空、干掉老translog的过程。默认每个分片30分钟或者是translog过于大的时候自动flush一次。可以通过flush API手动触发，但是只会在重启节点或关闭某个索引的时候这样做，因为这可以让未来ES恢复的速度更快(translog文件更小)。 满足下列条件之一就会触发冲刷操作： 整体流程： 删除一个ES文档不会立即从磁盘上移除，它只是被标记成已删除。因为段是不可变的，所以文档既不能从旧的段中移除，旧的段也不能更新以反映文档最新的版本。 ES的做法是，每一个提交点包括一个 .del 文件（还包括新段），包含了段上已经被标记为删除状态的文档。所以，当一个文档被做删除操作，实际上只是在 .del 文件中将该文档标记为删除，依然会在查询时被匹配到，只不过在最终返回结果之前会被从结果中删除。ES将会在用户之后添加更多索引的时候，在后台进行要删除内容的清理。 文档的更新操作和删除是类似的：当一个文档被更新，旧版本的文档被标记为删除，新版本的文档在新的段中索引。 该文档的不同版本都会匹配一个查询，但是较旧的版本会从结果中删除。 通过每秒自动刷新创建新的段，用不了多久段的数量就爆炸了，每个段消费大量文件句柄，内存，cpu资源。更重要的是，每次搜索请求都需要依次检查每个段。段越多，查询越慢。 ES通过后台合并段解决这个问题。ES利用段合并的时机来真正从文件系统删除那些version较老或者是被标记为删除的文档。被删除的文档（或者是version较老的）不会再被合并到新的更大的段中。 可见，段合并主要有两个目的： ES对一个不断有数据写入的索引处理流程如下： 合并过程如图： 从上图可以看到，段合并之前，旧有的Commit和没Commit的小段皆可被搜索。 段合并后的操作: 合并完成后新的段可被搜索，旧的段被删除，如下图所示： 注意 ：段合并过程虽然看起来很爽，但是大段的合并可能会占用大量的IO和CPU，如果不加以控制，可能会大大降低搜索性能。段合并的optimize API 不是非常特殊的情况下千万不要使用，默认策略已经足够好了。不恰当的使用可能会将你机器的资源全部耗尽在段合并上，导致无法搜索、无法响应。

分布式搜索引擎：把大量的索引数据拆散成多块，每台机器放一部分，然 后利用多台机器对分散之后的数据进行搜索，所有操作全部是分布在多台机器上进行，形成了 完整的分布式的架构。 近实时，有两层意思： 集群包含多个节点，每个节点属于哪个集群都是通过一个配置来决定的， Node 是集群中的一个节点，节点也有一个名称，默认是随机分配的。默认节点会去加入一个名 称为 elasticsearch 的集群。如果直接启动一堆节点，那么它们会自动组成一个elasticsearch 集群，当然一个节点也可以组成 elasticsearch 集群。 文档是 es 中最小的数据单元，一个 document 可以是1条客户数据、1条商品分类数据、1条 订单数据，通常用json 数据结构来表示。每个 index 下的 type，都可以存储多条 document。 1个 document 里面有多个 field，每个 field 就是1个数据字段。 es 集群多个节点，会自动选举1个节点为 master 节点，这个 master 节点其实就是干一些管理 的工作的，比如维护索引元数据、负责切换 primary shard 和 replica shard 身份等。要是 master 节点宕机了，那么会重新选举1个节点为 master 节点。 如果是非 master节点宕机了，那么会由 master 节点，让那个宕机节点上的 primary shard 的身 份转移到其他机器上的 replica shard。接着你要是修复了那个宕机机器，重启了之后，master 节点会控制将缺失的 replica shard 分配过去，同步后续修改的数据之类的，让集群恢复正常。 说得更简单1点，就是说如果某个非 master 节点宕机了，那么此节点上的 primary shard 不就 没了。那好，master 会让 primary shard 对应的 replica shard（在其他机器上）切换为 primary shard。如果宕机的机器修复了，修复后的节点也不再是 primary shard，而是 replica shard。 索引可以拆分成多个 shard ，每个 shard 存储部分数据。拆分多个 shard是有好处的，一是支持横向扩展，比如你数据量是 3T，3 个 shard，每个 shard 就 1T 的数据， 若现在数据量增加到 4T，怎么扩展，很简单，重新建1个有 4 个 shard 的索引，将数据导进 去；二是提高性能，数据分布在多个 shard，即多台服务器上，所有的操作，都会在多台机器 上并行分布式执行，提高了吞吐量和性能。 接着就是这个 shard 的数据实际是有多个备份，就是说每个 shard 都有1个 primary shard ，负责写入数据，但是还有多个 replica shard 。 primary shard 写入数据之后， 会将数据同步到其他几个 replica shard上去。 通过这个 replica 的方案，每个 shard 的数据都有多个备份，如果某个机器宕机了，没关系啊， 还有别的数据副本在别的机器上，这样子就高可用了。 总结：分布式就是两点，1.通过shard切片实现横向扩展；2.通过replica副本机制，实现高可用 基本概念 写数据过程：客户端通过hash选择一个node发送请求，这个node被称做coordinating node（协调节点），协调节点对docmount进行路由，将请求转发给到对应的primary shard，primary shard 处理请求，将数据同步到所有的replica shard，此时协调节点，发现primary shard 和所有的replica shard都处理完之后，就反馈给客户端。 客户端发送get请求到任意一个node节点，然后这个节点就称为协调节点，协调节点对document进行路由，将请求转发到对应的node，此时会使用随机轮询算法，在primary shard 和replica shard中随机选择一个，让读取请求负载均衡，接收请求的node返回document给协调节点，协调节点，返回document给到客户端 es最强大的是做全文检索，就是比如你有三条数据 1.java真好玩儿啊 2.java好难学啊 3.j2ee特别牛 你根据java关键词来搜索，将包含java的document给搜索出来。 更新/删除数据过程，首先还是write、merge操作，然后flush过程中： 1、write过程和上面的一致； 2、refresh过程有点区别 所谓的倒排索引，就是把你的数据内容先分词，每句话分成一个一个的关键词，然后记录好每一个关键词对应出现在了哪些 id 标识的数据。 然后你可以从其他地根据这个 id 找到对应的数据就可以了，这个就是倒排索引的数据格式 以及搜索的方式，这种利倒排索引查找数据的式，也被称之为全文检索。 Inverted Index就是我们常见的倒排索引, 主要包括两部分： 一个有序的数据字典 Dictionary（包括单词 Term 和它出现的频率）。 与单词 Term 对应的 Postings（即存在这个单词的文件） 当我们搜索的时候，首先将搜索的内容分解，然后在字典里找到对应 Term，从而查找到与搜索相关的文件内容。 本质上，Stored Fields 是一个简单的键值对 key-value。默认情况下，Stored Fields是为false的,ElasticSearch 会存储整个文件的 JSON source。 哪些情形下需要显式的指定store属性呢？大多数情况并不是必须的。从_source中获取值是快速而且高效的。如果你的文档长度很长，存储 _source或者从_source中获取field的代价很大，你可以显式的将某些field的store属性设置为yes。缺点如上边所说：假设你存 储了10个field，而如果想获取这10个field的值，则需要多次的io，如果从Stored Field 中获取则只需要一次，而且_source是被压缩过 的。 这个时候你可以指定一些字段store为true，这意味着这个field的数据将会被单独存储(实际上是存两份,source和 Stored Field都存了一份)。这时候，如果你要求返回field1（store：yes），es会分辨出field1已经被存储了，因此不会从_source中加载，而是从field1的存储块中加载。 Doc_values 本质上是一个序列化的 列式存储，这个结构非常适用于聚合（aggregations）、排序（Sorting）、脚本（scripts access to field）等操作。而且，这种存储方式也非常便于压缩，特别是数字类型。这样可以减少磁盘空间并且提高访问速度,ElasticSearch 可以将索引下某一个 Document Value 全部读取到内存中进行操作. Doc_values是存在磁盘的 在es中text类型字段默认只会建立倒排索引，其它几种类型在建立倒排索引的时候还会建立正排索引，当然es是支持自定义的。在这里这个正排索引其实就是Doc Value。 即上文所描述的动态索引 往 es 写的数据，实际上都写到磁盘文件里去了，查询的时候，操作系统会将磁盘文件里的数据自动缓存到 filesystem cache 中去。 es 的搜索引擎严重依赖于底层的 filesystem cache ，你如果给 filesystem cache 更多的 内存，尽量让内存可以容纳所有的 idx segment file 索引数据文件，那么你搜索的时候就 基本都是走内存的，性能会非常高。 性能差距究竟可以有多大？我们之前很多的测试和压测，如果走磁盘一般肯定上秒，搜索性能 绝对是秒级别的，1秒、5秒、10秒。但如果是走 filesystem cache ，是走纯内存的，那么一 般来说性能比走磁盘要高一个数量级，基本上就是毫秒级的，从几毫秒到几百毫秒不等。 那如何才能节约filesystem cache这部分的空间呢？ 当写数据到ES时就要考虑到最小化数据，当一行数据有30几个字段，并不需要把所有的数据都写入到ES，只需要把关键的需要检索的几列写入。这样能够缓存的数据就会越多。 所以需要控制每台机器写入的数据最好小于等于或者略大于filesystem cache空间最好。 如果要搜索海量数据，可以考虑用ES+Hbase架构。用Hbase存储海量数据，然后ES搜索出doc id后，再去Hbase中根据doc id查询指定的行数据。 当每台机器写入的数据大于cache os太多时，导致太多的数据无法放入缓存，那么就可以把一部分热点数据刷入缓存中。 对于那些你觉得比较热的、经常会有人访问的数据，最好做个专门的缓存预热系统，就是 对热数据每隔一段时间，就提前访问一下，让数据进入 filesystem cache 里去。这样下 次别人访问的时候，性能肯定会好很多。 把热数据和冷数据分开，写入不同的索引里，然后确保把热索引数据刷到cache里。 在ES里最好不要用复杂的关联表的操作。当需要这样的场景时，可以在创建索引的时候，就把数据关联好。比如在mysql中需要根据关联ID查询两张表的关联数据：select A.name ,B.age from A join B where A.id = B.id，在写入ES时直接去把相关联数据放到一个document就好。 es 的分页是较坑的，为啥呢？举个例子吧，假如你每页是 10 条数据，你现在要查询第 100 页，实际上是会把每个 shard 上存储的前 1000 条数据都查到1个协调节点上，如果你有个 5 个 shard，那么就有 5000 条数据，接着协调节点对这 5000 条数据进行一些合并、处理，再获取到 最终第 100 页的 10 条数据。 分布式的，你要查第 100 页的 10 条数据，不可能说从 5 个 shard，每个 shard 就查 2 条数据， 最后到协调节点合并成 10 条数据吧？你必须得从每个 shard 都查 1000 条数据过来，然后根据 你的需求进行排序、筛选等等操作，最后再次分页，拿到里面第 100 页的数据。你翻页的时 候，翻的越深，每个 shard 返回的数据就越多，而且协调节点处理的时间越长，非常坑爹。所 以用 es 做分页的时候，你会发现越翻到后面，就越是慢。 我们之前也是遇到过这个问题，用 es 作分页，前几页就几十毫秒，翻到 10 页或者几十页的时 候，基本上就要 5~10 秒才能查出来一页数据了。 解决方案吗？ 1）不允许深度分页：跟产品经理说，你系统不允许翻那么深的页，默认翻的越深，性能就越差； 2）在APP或者公众号里，通过下拉来实现分页，即下拉时获取到最新页，可以通过scroll api来实现； scroll 会1次性给你生成所有数据的1个快照，然后每次滑动向后翻页就是通过游标 scroll_id 移动获取下一页，性能会比上面说的那种分页性能要高很多很 多，基本上都是毫秒级的。 但是，唯1的缺点就是，这个适合于那种类似微博下拉翻页的，不能随意跳到任何一页的场 景。也就是说，你不能先进到第 10 页，然后去第 120 页，然后再回到第 58 页，不能随意乱跳 页。所以现在很多APP产品，都是不允许你随意翻页的，也有一些网站，做的就是你只能往 下拉，一页一页的翻。 初始化时必须指定 scroll 参数，告诉 es 要保存此次搜索的上下文多长时间。你需要确保用户不会持续不断翻页翻几个小时，否则可能因为超时而失败。 除了用 scroll api ，也可以用 search_after 来做， search_after 的思想是使用前一页的结果来帮助检索下一页的数据，显然，这种方式也不允许你随意翻页，你只能一页一页往后 翻。初始化时，需要使用一个唯1值的字段作为 sort 字段。

1、倒排索引采用ImmutableDesign，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。3、elasticsearch提供了translog来记录这些操作，结合oscachedsegments数据定时落盘来实现数据可靠性保证（flush）。文档被添加到buffer同时追加到translog：进行refresh操作，清空buffer，文档可被搜索但尚未flush到磁盘。4、如果Elasticsearch密钥库受密码保护，则必须先输入密钥库密码，然后才能为内置用户设置密码。为弹性用户设置密码后，引导密码不再有效，无法使用该命令。在某些情况下，分片副本的Lucene索引或事务日志可能会损坏。5、Elasticsearch的查询原理是将查询的关键词与倒排索引中的词条进行匹配，查询的关键词与倒排索引中的词条必须完全相同视为匹配，否则不匹配。这意味着在插入文档时是否进行分析和查询时是否进行分析将产生非常不同的结果。6、财务平台亿级数据量毫秒级查询优化之elasticsearch原理解析_wang123459的博客-CSDN博客_elasticsearch查询优化mysql底层B-tree支持矮胖，高胖的时候就很难受，说白了就是数据量多会增加IO操作。ES底层倒排索引。

我有一把尺子

I am taken photos when i play basketball. 我打篮球时被拍了照，被动语态一般现在时I have done part time work since my entering the university 现在完成时I was got my ears pierced被动语态的过去时I have achieved my first dream，entering the university现在完成时She has gone shopping for three hours现在完成时A choice should be made by mysef有情态动词的被动语态

楼主，图中并未发现你的ears pierced

其实，第一个 you，可以去掉了。两个动词没有问题：Let me pierce your ears.

不论在地上还是在天堂团结力量大无论何时何地即使是勇士也不能扰乱我们紧紧相连的心跳--------------------------------------------------------------------

歌曲名:Prelude (Learing To Trust Album Version)歌手:David Meece专辑:Learning To TrustMr.Children - Prelude作词：桜井和寿 / 作曲：桜井和寿Lyric by Jade　Hey you　日が暮れる今日はどんな一日だった?全部が思い通りにいくはずないって知ってて闻いてんだ　明日はどこに行こう?ねぇmy friend. where do we go?七色の光を放ってた梦がしぼんじゃったとしても颜を上げな　前奏曲(プレリュード)が闻こえてくるさぁ　耳を澄ませてごらん停留场で仆は待ってる君も一绪に乗らないか?　胸の高鸣りにその身をゆだねよう熏りをわだかまりを舍てに行こう深く考えないことが切符代わりだ　首を縦に振るただそれだけで昨日が过ぎてしまったそんな自分を嫌にならない为の言い訳を自分に缲り返しやり过ごしているのなら　梦幻(まぼろし)を振りまいて　今その列车は走り出す汽笛を轰かせて　躯体を震わせて　光の射す方へ悩んでたことなんて　今はとりあえず棚の上へ要らないぜ　荷物なんて何も持たないで飞び乗れ!　Hey you　その昔は英雄になれると勘违いしてたテーブルでスタンバってたって何も运ばれちゃこないのに　そこで何してるの?ねぇmy friend. what" s going on?探し物は见つかったの?それともニセモノをつかまされて泣き寝入りかい?　信じていれば梦は叶うだなんて口が裂けても言えないだけど信じてなければ成し得ないことがきっと何処かで仆らの访れを待っている　悲しみを追い越して　なおもその列车は走ってく暗闇を切り裂いて　风をおこして　目指してたその向こうへ良识やモラルなんて　今はとりあえず棚の上へ要らないぜ　客観视なんて息绝えるまで止まらないで!　长いこと続いてた自分探しの旅もこの辺で终わりにしようか明日こそ　谁かに必要とされる自分を见つけたい　Hey you　日が暮れる明日はどんな一日にしようか?前奏曲(プレリュード)が闻こえてるさぁ　耳を澄ませてごらん　憧れを连れ回して　今日もその列车は走ってる汽笛を轰かせて　躯体を震わせて　光の射す方へ悩んでたことなんて　今はとりあえず棚の上へ要らないぜ　荷物なんて何も手にしないで飞び回れ!　The End...http://music.baidu.com/song/2790174

歌曲名:sheila歌手:Steelheart专辑:steelheartSheilaSteelheart1990Well there"s a girl, lives on my blockShe got the rhythm, and likes to rockMost everynight, she"s out on the townBecause she likes to move aroundBut when I"m lonely, she always got the timeI got the bottle, she salt and limeOh Sheila, Sheila, Sheila likes tequilaOl" Margarita is her friendAnd Senor Cuervos her lovin" manWhen she needs some sympathyShe tends to see their companyWhen it all gets a bit too muchOh yeah, the lady needs the lovin" touchOh Sheila, oh Sheila, Sheila likes tequilaYeah oh Sheila, oh Sheila, Sheila, yeahShe"s quite a lady, oh she"s quite a girlTonight she"ll take me around the worldBut in the mornin" I"ll look in her eyesAnd only see a cold sunriseThe bottle"s dusty but the liquor"s clean, yeahBreak out the O.J. and grenadineOh Sheila, oh Sheila, Sheila likes tequilaYeah oh Sheila, oh Sheila, Sheila, yeahI try to give her all the love that I can, all the love that I canFor mister Cuervos, her lovin" manSheila, oh Sheila, SheilaSheila, oh Sheila, yeahSheila, oh Sheila, oh Sheila, ohhttp://music.baidu.com/song/384169

Accounting Loss：账目流失Taxable loss ： 税务流失 Carry forward year：转入下一年度By the end of year 2015：截止到2015年

当我穿过死亡阴影的山谷带着那满是荆棘的皇冠横刀胸前努力寻找一些我从来都没有找到过的东西或许永远不可能了因为我已错过现在对此已经迷恋，将永远不会改变始终是我的一部分，直到最后一天。从这里走向何方？即将踏上什么样的旅程？花费了一生来选择却总是选错。我试图用意愿来喘口气吗？虽然从未见过光明就不去争取了吗？如你现在所见，它已吹落满地愿最好的我陪你度过一生你将去哪里？你家在哪里？你怎样告别孤单？现在可否听见我？无声无光当你眠于地下，呼吸困难时现在可否听到我？听我说！我能佯装多久？满天星辰对我来说意味着一些什么如果我卑躬屈膝，天堂之门将会为我开说得多做得少的人毫无希望走过这些街道坚硬的枕头，无家可归的男人伸出一只手伴我走过泥泞路留下怜悯的美德，但我们却伴随耻辱或者很难想象活在一个没有阳光的世界但你醒来，你会发现比昨天夜里更加黑暗我们很快忘记早已牺牲生来就是走向远方，一生不停的走。在我的眼里我发现我看到了什么？一无所有即使再来一人环视我我看到了什么？一无所有当你眠于地下，呼吸困难时可否听到我？

现在都听我说----好莱坞永垂不朽！

As long as you learn the undead went dead这含义意思是：1/ “既然你认识到那唔死找死，何苦呢！”或是2/ “由于你得知到那唔衰找来衰，何必当初呢！”这英文句子用不着给老外理解语法对与错及含义，他们没有咱玄妙的中华文化， 不用管老外的阅读理解啊。这英文句子是翻译自我国非常玄妙创意的民间劝世文话语， 说话的含义是指出人世间，本来的生活是安安稳稳，仕途也是平步青云无病无痛到公卿；或是世间国事是天下太平，长治久安，可惜，人们作孽作恶自寻烦恼苦果，自挖坟墓，沦落到往事回首不堪的地步， 事到而今认识到后悔；As long as 既然、由于 ；you learn 你认识到、得知到不作孽作恶是不会死 （唔死、唔衰undead），而自寻烦恼去 （找死、找来衰went dead）的苦果， 带出引申的劝世文话语：何苦呢！和何必当初呢！的概叹。

v

一对印第安夫妻的小baby被蝎子给咬了，但是他们没钱看医生。镇上的医生非常势力，只给有钱人看病。丈夫Kino是个fisherman，为了挣钱他以打捞珍珠为生。有一天，他打捞了一颗非常珍贵的the pearl of the world~~~Kino幻想着把珍珠卖掉，换了钱让一家人过好日子，让他们的baby能去上学，以后不受富人欺凌。镇上的人都觊觎这枚珍珠。卖珍珠时那些卖家串通好骗他说珍珠不值钱，Kino没有上当受骗，迟迟没有卖了珍珠。后来珍珠又被抢劫。。Kino的媳妇认为珍珠虽值钱，但钱能招来邪恶，所以某天趁Kino不注意，要把珍珠扔进大海，Kino发现了把妻子打了一顿。。后来他们一家人为躲那些想抢啊偷啊珍珠的人，就躲到镇外的山洞里，结果被发现了，那些坏蛋带着枪来抓他们。Kino为保护妻儿出去跟他们搏斗，最终制服了恶人，但小baby却在混乱中中弹身亡。伤心欲绝的kino此刻醒悟珍珠带来的并不是幸福而是灾难，于是把它扔进大海，抱着儿子小小的尸体跟妻子回到镇上。。。。

在美剧中，医生使用心脏起搏器时要说“Clear”是清空周围的意思。电除颤的瞬间放电量很大，操作之前必须提醒周围的人离开，不然会在放电时伤到无辜的群众。因此，电除颤之前喊“Clear”是提醒大家让开，我要放电了。而且使用的不是心脏起搏器，是心脏除颤仪，一个用来治疗心动过缓类的心率失常，一个是在室颤时通过高压脉冲除颤。工作原理：心脏除颤复律时作用于心脏的是一次瞬时高能脉冲，一般持续时间是4~10ms，电能在40~400J（焦耳）。用于心脏电击除颤的设备称为除颤器，它能完成电击复律，即除颤。当患者发生严重快速心律失常时，如心房扑动、心房纤颤、室上性或室性心动过速等，往往造成不同程度的血液动力障碍。尤其当患者出现心室颤动时，由于心室无整体收缩能力，心脏射血和血液循环终止,如不及时抢救，常造成患者因脑部缺氧时间过长而死亡。如采用除颤器，控制一定能量的电流通过心脏，能消除某些心律失常，可使心律恢复正常，从而使上述心脏疾病患者得到抢救和治疗。原始的除颤器是利用工业交流电直接进行除颤的，这种除颤器常会因触电而伤亡，因此，目前除心脏手术过程中还有用交流电进行体内除颤（室颤）外，一般都用直流电除颤。

sherry英-["u0283eri]美-["u0283eri]释义n. 雪利酒（西班牙产的一种烈性白葡萄酒）；葡萄酒n. (Sherry)人名；(英)谢里bear英-[beu0259]美-[bu025br]释义n. 熊vt. 结果实，开花（正式）vt. 忍受；承受；具有；支撑n. (Bear)人名；(英)贝尔

Year-on-year growth rates are rates of change expressed over the corresponding period (month or quarter in relation to the frequency of the data) of the previous year.Annual growth rate is calculated by taking the nth root of the total percentage growth rate, where n is the number of years in the period being considered.