spark

大概4.5个小时Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

要清楚hdfs只是用来分布式存储数据的，spark总共有四种模式，local，standlone，yarn，mesos。只有yarn模式会用到hadoop的yarn集群

2.1.2　在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。（1）安装JDK相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。（2）安装CygwinCygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。1）运行安装程序，选择install from internet。2）选择网络最好的下载源进行下载。3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usrin两个目录。（3）安装sshd并配置免密码登录1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。（4）配置SSH免密码登录1）执行ssh-keygen命令生成密钥文件，如图2-4所示。2）执行此命令后，在你的Cygwinhome用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。cd ~/.ssh/ cp id_dsa.pub authorized_keys 这样就配置好了sshd服务。（5）配置Hadoop修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（6）配置Spark修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（7）运行Spark1）Spark的启动与关闭①在Spark根目录启动Spark。./sbin/start-all.sh ②关闭Spark。./sbin/stop-all.sh 2）Hadoop的启动与关闭①在Hadoop根目录启动Hadoop。./sbin/start-all.sh ②关闭Hadoop。./sbin/stop-all.sh 3）检测是否安装成功正常状态下会出现如下内容。-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker 如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。

老师说要我们学习LINUX，说是要在哪个里面编程，但是我还是不知道为什么要在LINUX里面编呢？听说LINUX很稳定，是不是这个原因呢？本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤：1、构建sbt标准项目工程结构：SBT项目工程结构图其：~/build.sbt文件用配置项目基本信息（项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包）；project/build.properties文件配置要使用版本sbt项目操作；project/plugins.sbt文件给项目添加所需插件；project/Build.scala文件项目进行些复杂高级配置；详细sbt安装配置实用参见博文：2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext(＂master＂, ＂projectName＂, ＂SPARK_HOME＂, ＂yourProject.jar path＂)3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径：项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar4、打包jar问价添加SPAK_CLASSPATH(linux根据作用范围同种更改环境变量式说我配置式：spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)5、配置环境变量spark根目录使用./run脚本运行程序例：./runspark.examples.SparkPispark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME；至于何修改路径待研究

·速度快：Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）。 ·容易上手开发：Spark的基于RDD的计算模型，比Hadoop的基于Map-Reduce的计算模型要更加易于理解，更加易于上手开发，实现各种复杂功能，比如二次排序、topn等复杂操作时，更加便捷。 ·超强的通用性：Spark提供了Spark RDD、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。 ·集成Hadoop：Spark并不是要成为一个大数据领域的“独裁者”，一个人霸占大数据领域所有的“地盘”，而是与Hadoop进行了高度的集成，两者可以完美的配合使用。Hadoop的HDFS、Hive、HBase负责存储，YARN负责资源调度；Spark负责大数据计算。实际上，Hadoop+Spark的组合，是一种“double win”的组合。 ·极高的活跃度：Spark目前是Apache基金会的顶级项目，全世界有大量的优秀工程师是Spark的committer。并且世界上很多顶级的IT公司都在大规模地使用Spark。

Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持Interactive Query、流计算、图计算等。Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具有非常好的易用性。目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年在社区和商业应用上会有爆发式的增长。 国内的淘宝、优酷土豆等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛，国外一些大型互联网公司已经部署了Spark。甚至连Yahoo是Hadoop的早期主要贡献者，现在也在多个项目中部署使用Spark，国内我们已经在运营商、电商等传统行业部署了Spark.百度百科传送门：http://baike.baidu.com/link?url=shmVM5DFONr5uEvXvs953fzvzl9lkUhSSdZQRYOJWqClPQv3K74LeTcPI-wFVgur2F9i4FyfNeBylkT1Y7occvT4Jn2_JZlyizhEYJFsZ1e

停产了，想买雪佛兰搜索名字低首付购车还能上私户

https://zhuanlan.zhihu.com/p/34436165 https://zhuanlan.zhihu.com/p/70424613 Spark 是专为大规模数据处理而设计的快速通用的计算引擎。是Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 1.RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 2.DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系。如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图（DAG图）。 3.Driver Program：控制程序，负责为Application构建DAG图。 4.Cluster Manager：集群资源管理中心，负责分配计算资源。 5.Worker Node：工作节点，负责完成具体计算。 6.Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行Task，并为应用程序存储数据。 7.Application：用户编写的Spark应用程序，一个Application包含多个Job。 8.Job：作业，一个Job包含多个RDD及作用于相应RDD上的各种操作。 9.Stage：阶段，是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为“阶段”。 10.Task：任务，运行在Executor上的工作单元，是Executor中的一个线程。 1.构建Spark Application的运行环境，启动SparkContext 2.SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend， 3.Executor向SparkContext申请Task 4.SparkContext将应用程序分发给Executor 5.SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行 6.Task在Executor上运行，运行完释放所有资源

Spark是一种通用的大数据计算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark 使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算。

.[C]1. 火花,火星A cigarette spark started the fire.香烟的火星引起这场火灾。2. (宝石等的)闪耀We saw a spark of light through the trees.我们透过树丛看到闪光。3. 【电】火花;火星Close the circuit and you"ll see a blue spark.接通电路你就会看到一个蓝色的电火花。4. (常用于否定句)微量;丝毫[S][(+of)]He showed not a spark of interest in the plan.他对这个计划一点不感兴趣。5. 生气,活力;(才智等的)焕发The spark of life still flickered in him.他的生命之火还在闪烁。6. 迹象,痕迹He still retains a spark of decency.他仍然保持着一点起码的体面。vt.1. 发动;点燃[(+off)]They were scheming to spark a revolt.他们策划发起反叛。2. 激励;鼓舞It was this incident that sparked her interest in politics.是这个事件激起了她对政治的兴趣。vi.1. 发出火花;飞出火星This wood burns steadily with no sparking.这木柴长时间燃烧正常,不爆火花。2. 闪耀,闪光Her eyes sparked.她双眼闪闪发光。3. 热烈赞同Her mother sparked to the idea of an early wedding date.她母亲欣然同意早日举行婚礼的打算。spark2KK: []DJ: []n.[C]1. 翩翩少年;花花公子2. 情郎;求婚者vt.1. 【美】【口】向...求婚;向...求爱The railroad didn"t pay him to spark a girl on its time.铁路付他工资不是让他在上班时间去向女孩子求爱的。vi.1. 【美】【口】求婚;求爱

第一阶段：熟练的掌握Scala语言 1，Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,; 2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序; 3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等;第二阶段：精通Spark平台本身提供给开发者API 1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用; 2， 掌握Spark中的宽依赖和窄依赖以及lineage机制; 3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等 第三阶段：深入Spark内核 此阶段主要是通过Spark框架的源码研读来深入Spark内核部分： 1， 通过源码掌握Spark的任务提交过程; 2， 通过源码掌握Spark集群的任务调度; 3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节; 第四阶级:掌握基于Spark上的核心框架的使用 Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等： 1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等; 2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握; 3， 对于Spark的机器学习和GraphX等要掌握其原理和用法; 第五阶级:做商业级别的Spark项目 通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。 第六阶级：提供Spark解决方案 1， 彻底掌握Spark框架源码的每一个细节; 2， 根据不同的业务场景的需要提供Spark在不同场景的下的解决方案; 3， 根据实际需要，在Spark框架基础上进行二次开发，打造自己的Spark框架; u200b

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

n.火花,火星,闪光,电信技师,活力,朝气,瞬间放电,花花公子,情郎vi.闪烁vt.发动,鼓舞,使有朝气,求婚

spark English 星火英语不知道有没有听说过！

spark[英][spɑ:k][美][spɑ:rk]n.燃烧的颗粒; 火星，火花，余火; （金属的）发光的颗粒; 电火花; vi.发出火星，发出闪光; 热烈赞同; 正常运转; vt.发动，触发; 激起运动，鼓舞; 第三人称单数：sparks过去分词：sparked复数：sparks现在进行时：sparking过去式：sparked例句:1.It might also spark fresh consumer price inflation. 刺激措施还可能引发新一轮消费价格通胀。

歌曲名:Connected歌手:sparkadia专辑:PostcardsSparkadia - Connected★ lrc 编辑 妙一法师Sitting in your little car it"sfeels like something"s pulling us apartMaybe it"s just gravity someforce of nature bigger than the two of usIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the nightDon"t tell me that we"re not connectedDon"t tell me that we"re not the sameDon"t say that we"ll be the only ones floating all aloneNot you, not me, not usMaybe it"s the hand of god, the twist of fate,the lucky break that never comes...(till it"s too late)Sitting in your little car it feels like something"s pulling us apartIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the nightDon"t tell me that we"re not connectedDon"t tell me that we"re not the sameDon"t say that we"ll be the only ones floating all aloneNot you, not me, not usIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the sky until the morning sun comes up.We don"t have the time,to wonder what connects us to each other"s lives,I guess we"ll never know,so don"t compromise what we have nowEndSparkadia - Connected★ lrc 编辑 妙一法师http://music.baidu.com/song/54208767

spark本义是火花、火星儿，用做动词“鼓舞”是引申义。因火星儿所具备的特点，这个词做动词时也有类似的含义。主要有两点。一是因为火星儿不同火苗，一般只起很小的引燃作用，所以在指鼓舞、激励时，也仅仅起到触发、激发的作用。二是火星儿所引发的是大火、火灾，所以在做动词讲时，所激发的也经常是辩论、争吵、打架等带有火药味的事件。spark另外一个含义是激发灵感，恰似黑暗中骤然出现的亮光。例子：the severity of the plan sparked off street protests.这项计划太过严厉，引发了街头示威。inspire指用激励的方式使某人愿意尝试做某事。所鼓舞的事情对受鼓舞者常常是新鲜事物，同时也是他们能够做到的。his passion for romantic literature inspired him to begin writing.他对浪漫主义文学的激情激励他开始写作。此外，inspire还指唤起某人的某种感情。their past record does not inspire confidence.他们过去的经历并没有带来信心。

选的时候呢，一定要选深一下一点的，不要有噪音

《Spark in Action》（Marko Bonau0107i）电子书网盘下载免费在线阅读资源链接：链接：https://pan.baidu.com/s/1m9bJ2Ez5igMRJIAdnWqwqg 提取码：esbq书名：Spark in Action作者：Marko Bonau0107i豆瓣评分：7.7出版社：Manning出版年份：2016-1页数：400内容简介：Working with big data can be complex and challenging, in part because of the multiple analysis frameworks and tools required. Apache Spark is a big data processing framework perfect for analyzing near-real-time streams and discovering historical patterns in batched data sets. But Spark goes much further than other frameworks. By including machine learning and graph processing capabilities, it makes many specialized data processing platforms obsolete. Spark"s unified framework and programming model significantly lowers the initial infrastructure investment, and Spark"s core abstractions are intuitive for most Scala, Java, and Python developers.Spark in Action teaches you to use Spark for stream and batch data processing. It starts with an introduction to the Spark architecture and ecosystem followed by a taste of Spark"s command line interface. You then discover the most fundamental concepts and abstractions of Spark, particularly Resilient Distributed Datasets (RDDs) and the basic data transformations that RDDs provide. The first part of the book also introduces you to writing Spark applications using the the core APIs. Next, you learn about different Spark components: how to work with structured data using Spark SQL, how to process near-real time data with Spark Streaming, how to apply machine learning algorithms with Spark MLlib, how to apply graph algorithms on graph-shaped data using Spark GraphX, and a clear introduction to Spark clustering.作者简介：Marko Bonau0107i has worked with Java for 13 years. He currently works as IBM Enterprise Content Management team lead at SV Group. Petar Zeu010deviu0107 is a CTO at SV Group. During the last 14 years he has worked on various projects as a Java developer, team leader, consultant and software specialist. He is the founder and, with Marko, organizer of popular Spark@Zg meetup group.

看函数的返回值，transformer返回spark的数据类型RDD或DataFrame，action返回Long，Array等类型

看到一篇关于spark partition的文件，讲的简单易懂通俗，故转。 我们要想对spark中RDD的分区进行一个简单的了解的话，就不免要先了解一下hdfs的前世今生。 众所周知，hdfs是一个非常不错的分布式文件系统，这是这么多年来大家有目共睹的。 hdfs文件为分布式存储，每个文件都被切分为block(默认为128M）。为了达到容错的目的，他们还提供为每个block存放了N个副本(默认为3个）。当然，以上说的这些也可以根据实际的环境业务调整。 多副本除了可以达到容错的目的，也为计算时数据的本地性提供了便捷。当数据所在节点的计算资源不充足时，多副本机制可以不用迁移数据，直接在另一个副本所在节点计算即可。此时看到这里，肯定就有人会问了，那如果所有副本所在的节点计算资源都不充足那该怎么办? 问的很好，一般会有一个配置来设置一个等待时长来等待的，假设等待时长为三秒，如果超过三秒，还没有空闲资源，就会分配给别的副本所在节点计算的，如果再别的副本所在节点也需等待且超过了三秒。则就会启动数据迁移了(诸多因素影响，代价就比较大了）。 接下来我们就介绍RDD，RDD是什么?弹性分布式数据集。 弹性:并不是指他可以动态扩展，而是血统容错机制。 分布式:顾名思义，RDD会在多个节点上存储，就和hdfs的分布式道理是一样的。hdfs文件被切分为多个block存储在各个节点上，而RDD是被切分为多个partition。不同的partition可能在不同的节点上。 再spark读取hdfs的场景下，spark把hdfs的block读到内存就会抽象为spark的partition。至于后续遇到shuffle的操作，RDD的partition可以根据Hash再次进行划分(一般pairRDD是使用key做Hash再取余来划分partition）。 再spark计算末尾，一般会把数据做持久化到hive，hbase，hdfs等等。我们就拿hdfs举例，将RDD持久化到hdfs上，RDD的每个partition就会存成一个文件，如果文件小于128M，就可以理解为一个partition对应hdfs的一个block。反之，如果大于128M，就会被且分为多个block，这样，一个partition就会对应多个block。 鉴于上述partition大于128M的情况，在做sparkStreaming增量数据累加时一定要记得调整RDD的分区数。假设，第一次保存RDD时10个partition，每个partition有140M。那么该RDD保存在hdfs上就会有20个block，下一批次重新读取hdfs上的这些数据，RDD的partition个数就会变为20个。再后续有类似union的操作，导致partition增加，但是程序有没有repartition或者进过shuffle的重新分区，这样就导致这部分数据的partition无限增加，这样一直下去肯定是会出问题的。所以，类似这样的情景，再程序开发结束一定要审查需不需要重新分区。 转自：https://www.jianshu.com/p/3e79db80c43c

storage内存用于broadcast、缓存cache 数据 ： Storage 堆内内存=(spark.executor.memory–300MB) * spark.memory.fraction * spark.memory.storageFraction Execution执行Shuffle、Join、Sort 等计算过程中的临时数据： Execution 堆内内存=(spark.executor.memory–300MB) * spark.memory.fraction * (1-spark.memory.storageFraction) other ：主要用于存储 RDD 转换操作所需要的数据，例如 RDD 依赖等信息： Reserved Memory：系统预留内存，会用来存储Spark内部对象 堆外内存：一种是DirectMemory, 一种是JVM Overhead。主要用于程序的共享库、Perm Space、 线程Stack和一些Memory mapping等, 或者类C方式allocate object

百度百科，很详细的，，

The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

请及时采纳Taylor Swift - Sparks Fly.mp3试听下载链接

怎么可能一样啦 taylor这首歌写了这么久了

u2192_u2192

　Taylor Swift - Sparks Fly（烟花飞舞）　　The way you move is like a full on rainstorm 你的一举一动都如暴风雨般让我刻骨铭心　　And I"m a house of cards 而我就像纸牌搭起的房子脆弱，轻易被攻陷　　You"re the kind of reckless that should send me running 你有点让我不计后果的迷恋，我应该远离　　But I kinda know that I won"t get far 但我深知我办不到　　And you stood there in front of me 你站在我面前　　Just close enough to touch 近的触手可及　　Close enough to hope you couldn"t see 希望你没有察觉　　What I was thinking of 我正在想什么　　Drop everything now 不顾一切　　Meet me in the pouring rain 与我相约在倾盆大雨中　　Kiss me on the sidewalk 在街边忘情拥吻　　Take away the pain 带走所有的痛楚　　Cause" I see sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神　　As the lights go down 就好像灯光都黯然失色　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　My mind forgets to remind me you"re a bad idea 理智忘了提醒自己你是容易让我入迷的坏念头 　　You touch me once and it"s really something 当你第一次抚摸我　　You find I"m even better than you imagined I would be 你会发现我比你想象中的还要好　　I"m on my guard for the rest of the world 我对外界保持着戒心　　But with you I know it"s no good 但与你在一起，却毫无防备　　And I could wait patiently but I really wish you would 我可以耐心等待　　Drop everything now 不顾一切　　Meet me in the pouring rain 与我相约在倾盆大雨中　　Kiss me on the sidewalk 在街边忘情拥吻　　Take away the pain 带走所有的痛楚　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神 　　As the lights go down 就好像灯光都黯然失色　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　I run my fingers through your hair 指间划过你的发丝　　And watch the lights go wild 凝望着灯火熄灭　　Just keep on keeping your eyes on me 就让你美丽的双眼注视着我　　It"s just strong enough to make it feel right 那足矣让我感到满足　　And lead me up the staircase 将我领上楼梯　　Won"t you whisper soft and slow 会在我耳边温柔的呢喃么？　　I"m captivated by you baby我彻底被你俘获　　Like a fireworks show 如同一场烟花秀　　

Sparks Fly 歌手：Taylor Swift所属专辑：Speak Now (Extended Version)作曲 : Taylor Swift作词 : Taylor Swift中英文歌词：The way you move is like a full on rainstorm你的一举一动都如暴风雨般让我刻骨铭心and I"m a house of cards而我就像纸牌搭起的房子脆弱，轻易被攻陷You"re the kinda reckless that should send me run你有点让我不计后果的迷恋，我应该远离But I kinda know that I won‘t get far但我深知我办不到And you stood there in front of me just你站在我面前Close enough to touch近的触手可及Close enough to hope you couldn"t see希望你没有察觉What I was thinking of我正在想什么Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色Give me something that"ll haunt me when you"re not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂My mind forgets to remind me理智忘了提醒自己You"re a bad idea（爱上）你是一个的坏注意You touch me once and it"s当你第一次抚摸我Really something我能感觉到，美妙的事情即将上演you find I"m even better Than you imagined I would be你会发现我比你想象中的还要好I"m on my guard for the rest of the world我对外界保持着戒心But with you I know it"s no good但与你在一起，却毫无防备And I could wait patiently but我可以耐心等待I really wish you would但是我真的希望你也一样Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色give me something that"ll haunt me when you are not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂I run my fingers through your hair指间划过你的发丝And watch the lights go out凝望着灯火熄灭Just keep on keepin your eyes on me就让你美丽的双眼注视着我It"s just wrong enough to make it feel right那足矣让我感到满足Lead me up the staircase将我领上楼梯Won"t you whisper soft and slow会在我耳边温柔的呢喃么？I"m captivated by you baby我彻底被你俘获like a fireworks show如同一场烟花秀Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色give me something that"ll haunt me when you"re not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂oh baby smile哦 宝贝 莞尔一笑and the sparks fly火花飞舞sparks fly火花飞舞

新版 Sparks Fly 翻译SelCampbell （转载的时候请加上这个~~谢谢你！）The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放参考资料： http://tieba.baidu.com/f?kz=921171891

[TI：火花 飞 ] [AR：泰勒迅速] []：现在发言] [：活在当下] 泰勒迅速- 火花 飞移动的方式就像是一个充满暴雨，我的卡你的房子 “ 再鲁莽，应该送我运行，，但我还挺知道，我不会得远，你站在我面前有足够接近触摸足够接近，希望你看不到我是想放下一切现在满足在瓢泼大雨中， 我吻在人行道上我带走疼痛的原因：“ 我 看到火花飞，每当你的微笑我与那些绿色的眼睛，婴儿灯下去给我的东西，就缠着我 ，当你不在身边因为我看到，火花 飞时，你的微笑我心中不忘提醒我，你是一个坏主意，你碰我一次，它真的是你找我甚至比你想象的，我想我在我的警觉为世界其他地区，但与你我知道它是没有很好的和我可以等待耐心，但我真的希望你会下降的一切现在满足倾盆大雨我吻在人行道上我采取远离疼痛的原因我看， 火花飞时你的微笑让我与那些绿色的眼睛，婴儿灯下去给我的东西，就缠着我，当你不在身边使我看到，火花 飞，每当你的微笑我通过你的头发上运行我的手指，看灯去野生只是保持你的眼睛，我保持它的强大到足以令其感到权利，并导致我的楼梯不会你耳语软，慢，我由你迷住婴儿像烟花秀放下一切现在我在满足瓢泼大雨吻我在人行道上带走的疼痛使我看到，火花 飞时，你的微笑我与那些绿色的眼睛， 宝宝的灯光下去给我的东西，就缠着我，当你不在身边使我看到，火花 飞，只要你的微笑

什么啊？去网上查一下就知道了

Sparks Fly 火花四溅 The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

我有，很好用

我有一个，里面有挺多可以看的，都是的，感兴趣的可以看点我个性签名。。，了解一下

这个是中国歌迷这么叫她。因为taylor十分漂亮，年龄又小，美国那边都叫她美国甜心之类的，中国这边就叫她小美女，美和“霉”读音相同，而且Taylor每次有强势的单曲冲击Billboard Hot100榜单冠军时，都会遇到各种妖孽，非常倒霉的屈居亚军。而且这是一种爱称，没有任何贬低的意思

White HorseHey Stephen

我刚看完，很精彩，可以找我拿。。。

The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

655442442211 56645642 655442442211 5664544 654455464 645642 244244455 4545546 564542 65424421 56666 4545465 4564 564 66765424 只有7是降的

不是专辑里的歌这歌只有现场版关于这歌的背景、原唱是谁 对不起 不太清楚

2010年10月25日，Taylor的第三张专辑Speak Now正式发行。在全专辑所有歌曲同时开下载的情况下，Sparks Fly脱颖而出，成为下载上升最快的一首歌，并在25小时后成为新专辑里第一首且唯一一首登顶iTunes下载榜的歌曲（之前单独开下载的宣传单曲除外），足以看出歌迷对它的支持。在新专辑发布的第一个星期，Sparks Fly最终以11万3千的下载量进入Billboard Hot 100，排在第十七，是所有歌曲里成绩最好的一首。当时Taylor同时有11首歌曲进入前100，包括Sparks Fly(17),Mine(21),Innocent(27),The Story of Us(41),Dear John(54),Better Than Revenge(56),Last Kiss(71),Enchanted(75),Never Grow Up(84),Long Live(85)，使她成为史上单周最多歌曲同时在榜的女歌手。2011年1月，Billboard评选出2011年最有潜力的五首歌，Sparks Fly被列在第二位。在专辑发布后，歌迷们对Sparks Fly的关注从是否收录进专辑，变成是否打单。2011年2月，在新加坡的演唱会上，Taylor亲口正式，Sparks Fly将会打单。但是她并没有说明是第几单。2011年7月18日，Sparks Fly最终作为Speak Now这张专辑的第五首单曲，村台的第四首单曲派台打单。到了11月26日，经过4个多月的打单，Sparks Fly终于登顶Billboard乡村榜，成为Speak Now这张专辑里的第一首村冠，也是Taylor自2009年8月2日You Belong With Me获得村冠两年后，再次有歌曲能在村榜登顶。而这也是近10年来再次有歌手在第4单才登顶的，上一次是发生在2002年的2月2日，Steve Holy的专辑《Blue Moon》中第4单“Good Morning Beautiful”登顶村榜。Sparks Fly在Billboard Hot 100及村榜的走势：Billboard Hot 100 Songs：*17*-78-84-70-67-68-64-57-59-60-54-50-49-46-42-49-54-55-65-85Billoard Hot Country Songs:49-39-31-25-23-19-17-16-14-13-13-10-10-9-7-5-3-3-*1*-5-10

火花 在Taylor Swift的这首歌里边我自己理解是那种很艳丽迷人的光芒的感觉吧..

《Sparks Fly》讲述了爱上一个或许你不应该爱上的人，但就像是有一种魔法，让你无法控制自己的故事。

《Sparks Fly》是专辑《Speak Now》里创作最早的一首歌，也是唯一一首不在发行《Fearless》后的这两年时间里完成创作的新作品。《Sparks Fly》是泰勒16岁创作的（早于2006年发行《泰勒·斯威夫特》），她曾在一些酒吧演出中，面向四五十人的观众演唱过这首歌曲，当时主要用班卓琴和小提琴演奏，歌词也与现在的版本略有不同。2007年5月30日，她在加州奥维尔市的Gold Country Casino表演了《Sparks Fly》，有歌迷将这段表演录了下来，并上传至视频网站YouTube，这首歌随即在歌迷中大受欢迎。2010年7月20日，Taylor在对新专辑介绍的Live Chat上证实《Sparks Fly》会收录进《Speak Now》。《Sparks Fly》这首歌说的是爱上一个或许你不应该爱上的人，但就像是有一种魔法，让你无法控制自己。这是一首她在几年前写下的歌，从那时起她就一直对它进行修改。

parks fly英[spɑ:ks flai]美[spɑrks flai]释义激烈争吵1The dockers worked so hard to get the cargo discharged before dark that they fairly made the sparks fly.码头工人紧张地工作，以便使货物能在天黑前卸完，大伙儿干得热火朝天。2Now just sit back and watch the sparks fly.现在可袖手旁观，看火花飞舞。

Taylor Swift

1.擦出火花2.火花飞溅3.火花飞 大概是这些意思吧

spark机器学习-聚类 聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常检测，最常用的一种聚类算法是K均值(K-means)聚类算法算法原理kmeans的计算方法如下：1 选取k个中心点2 遍历所有数据，将每个数据划分到最近的中心点中3 计算每个聚类的平均值，并作为新的中心点4 重复2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代算法的时间复杂度上界为O(n*k*t), 其中k为输入的聚类个数，n为数据量，t为迭代次数。一般t,k,n均可认为是常量，时间和空间复杂度可以简化为O(n)，即线性的spark ml编码实践可在spark-shell环境下修改参数调试以下代码，可以用实际的业务数据做测试评估，业务数据一般是多列，可以把维度列用VectorAssembler组装成向量列做为Kmeans算法的输入列，考虑现实的应用场景，比如做异常数据检测，正常数据分为一类，异常数据分为几类，分别统计正常数据与异常数据的数据量，求百分比等<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") // Trains a k-means model val kmeans = new KMeans().setK(3).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") val model = kmeans.fit(dataset) // Shows the result println("Final Centers: ") model.clusterCenters.foreach(println) model.clusterCenters.zipWithIndex.foreach(println) val myres = model.transform(dataset).select("features","prediction") myres.show()</span> 聚类算法是一类无监督式机器学习算法，聚类效果怎么评估，模型训练参数怎么调优，是否能用管道来训练模型来比较各种不同组合的参数的效果，即网格搜索法(gridsearch),先设置好待测试的参数，MLLib就会自动完成这些参数的不同组合,管道搭建了一条工作流，一次性完成了整个模型的调优，而不是独立对每个参数进行调优，这个还要再确认一下，查看SPARK-14516好像目前还没有一个聚类效果通用的自动的度量方法像这种代码（不过现在这个代码有问题）：<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.ml.tuning.{ ParamGridBuilder, CrossValidator } import org.apache.spark.ml.{ Pipeline, PipelineStage } val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") val kmeans = new KMeans().setK(2).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") //主要问题在这里，没有可用的评估器与label列设置 val evaluator = new BinaryClassificationEvaluator().setLabelCol("prediction") val paramGrid = new ParamGridBuilder().addGrid(kmeans.initMode, Array("random")).addGrid(kmeans.k, Array(3, 4)).addGrid(kmeans.maxIter, Array(20, 60)).addGrid(kmeans.seed, Array(1L, 2L)).build() val steps: Array[PipelineStage] = Array(kmeans) val pipeline = new Pipeline().setStages(steps) val cv = new CrossValidator().setEstimator(pipeline).setEvaluator(evaluator).setEstimatorParamMaps(paramGrid).setNumFolds(10) // Trains a model val pipelineFittedModel = cv.fit(dataset)</span>

服务运行时将服务信息展示出来方便用户查看时服务易用性的重要组成部分。特别时对于分布式集群服务。 spark服务本身有提供获取应用信息对方法，方便用户查看应用信息。Spark服务提供对master，worker，driver，executor，Historyserver进程对运行展示。对于应用（driver／executor）进程，主要提供metric和restapi对访问方式以展示运行状态。 服务/进程通过Metric将自身运行信息展示出来。spark基于Coda Hale Metrics Library库展示。需要展示的信息通过配置source类，在运行时通过反射实例化并启动source进行收集。然后通过配置sink类，将信息sink到对应的平台。 以driver为例：driver进程启动metricSystem的流程： SparkContext在初始化时调用 ： MetricsSystem.createMetricsSystem("driver", conf, securityManager) 然后等待ui启动后启动并绑定webui（executor则是初始化后直接启动） metricsSystem.start() metricsSystem.getServletHandlers.foreach(handler => ui.foreach(_.attachHandler(handler))) 创建MetricConfig， val metricsConfig = new MetricsConfig(conf) 初始化MetricConfig，首先设置默认的属性信息： prop.setProperty("*.sink.servlet.class","org.apache.spark.metrics.sink.MetricsServlet") prop.setProperty("*.sink.servlet.path","/metrics/json") prop.setProperty("master.sink.servlet.path","/metrics/master/json") prop.setProperty("applications.sink.servlet.path","/metrics/applications/json") 加载conf/metric.properties文件或者通过spark.metrics.conf制定的文件。读取相关配置，metricsConfig.initialize() 在启动metricSystem时，则会注册并启动source和sink registerSources() registerSinks() sinks.foreach(_.start) 默认启动对source如下： 可配置的source如下： 配置方法：修改$SPARK_HOME/conf目录下的metrics.properties文件： 默认相关source已经统计在列。可添加source为jvmsource。添加之后则相关进程的jvm信息会被收集。配置方法 添加如下行： driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource 或者*.source.jvm.class=org.apache.spark.metrics.source.JvmSource source信息的获取比较简单，以DAGSchedulerSource的runningStages为例，直接计算dagscheduler的runningStages大小即可。override def getValue: Int = dagScheduler.runningStages.size 通过这些收集的信息可以看到，主要是方便查看运行状态，并非提供用来监控和管理应用 Metric信息展示方法： 收集的目的是方便展示，展示的方法是sink。 常用的sink如下： a) metricserverlet spark默认的sink为metricsserverlet，通过driver服务启动的webui绑定，然后展示出来。ip:4040/metrics/json(ip位driver节点的ip)展示：由于executor服务没有相关ui，无法展示metricsource的信息。 下图是配置过JVMsource后，通过driver节点的看到的metric信息。 b) CSV方式(将进程的source信息，写入到csv文件,各进程打印至进程节点的相关目录下，每分钟打印一次)： *.sink.csv.class=org.apache.spark.metrics.sink.CsvSink *.sink.csv.period=1 *.sink.csv.directory=/tmp/ c) console方式（将进程的source信息写入到console/stdout ,输出到进程的stdout）： *.sink.console.class=org.apache.spark.metrics.sink.ConsoleSink *.sink.console.period=20 *.sink.console.unit=seconds d) slf4j方式（直接在运行日志中查看）： *.sink.slf4j.class=org.apache.spark.metrics.sink.Slf4jSink *.sink.slf4j.period=10 *.sink.slf4j.unit=seconds e) JMX方式（此情况下，相关端口要经过规划，不同的pap使用不同的端口，对于一个app来说，只能在一个节点启动一个executor，否则会有端口冲突）： executor.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink JMX方式在配置后，需要在driver/executor启动jmx服务。 可通过启动应用时添加如下操作实现--conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8090 -Dcom.sun.management.jmxremote.rmi.port=8001 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false --conf "spark.executor.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.rmi.port=8003 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false" 可通过jconsole工具链接至对应driver进程所在ip和端口查看jmx信息。 除例metrics之外，用户还可以通过restApi接口查看应用运行信息。可以查询的信息如下（参见 http://spark.apache.org/docs/latest/monitoring.html ）： 运行中的应用：通过driver进程查看： ip:port/api/v1/.... 其中Ip为driver所在节点ip，端口为4040. 如果一个节点运行多个driver，端口会以此累加至4040，4041，4042 . 如：10.1.236.65:4041/api/v1/applications/application_1512542119073_0229/storage/rdd/23(on yarn 模式会自动跳转至如下页面) 对于运行完的应用，可通过jobhistory服务查看 此场景下，需要提交应用时打开eventlog记录功能 打开方法在应用的spark-defaults.conf中添加如下配置spark.eventLog.enabled为true，spark.eventLog.dir为hdfs:///spark-history 。 其中/spark-history可配置，需要和jobhistory进程的路径配置一致 ，该路径可通过historyserver页面查看。 ip:port/api/v1/....(其中Ip为spark服务的jobhistory进程所在节点ip，默认端口为18080). 可通过如下方式访问： Spark作为计算引擎，对于大数据集群来说，作为客户端向Yarn提交应用来完成数据的分析。所使用的资源一般在yarn控制之下。其应用场景并非作为服务端为其他组件提供服务。其所提供的信息通常是针对app级别，如job，stage，task等信息。一般的信息监控需求均可通过其ui页面查看。对于一些应用的运行情况，可通过restapi获取和分析。

他们虽然都有“唤起 唤醒 激起”的意思，但还是有区别，基本上不能通用。arouse只能做动词rouse除了做动词，还能做名词arousevt. 唤醒, 唤起, 鼓励, 引起vi. 睡醒rousev. 唤醒, 激起, 使振奋, 惊起

小黑侠反正我是不想说了。。

具体操作步骤：1、准备Spark程序目录结构。2、编辑build.sbt配置文件添加依赖。3、创建WriteToCk.scala数据写入程序文件。4、编译打包。5、运行。参数说明：your-user-name：目标ClickHouse集群中创建的数据库账号名。your-pasword：数据库账号名对应的密码。your-url：目标ClickHouse集群地址。/your/path/to/test/data/a.txt：要导入的数据文件的路径，包含文件地址和文件名。说明文件中的数据及schema，需要与ClickHouse中目标表的结构保持一致。your-table-name：ClickHouse集群中的目标表名称。

“美国琼瑶”这个名字，不是我给Nicholas Sparks起的，但网友的这个比喻的确有几分道理。这位男作家专攻爱情故事，在占领言情小说的一众女作家里面混得风生水起。出版的18本小说里，有11本被拍成电影。原本可以成为职业田径运动员的他，生性不安分。混过各行各业，包括装修倒卖房屋和开厂生产医疗用品，三十岁实现全职写作，甚至可以捐九百万刀给学校建操场。很有意思吧？ 下面献上一个专访，原文来自他在自己的有声书《The Notebook》。根据书末的版权声明，翻译这个应该没有问题。 访问到这里，我想要给大家讲一下我自己，因为很多人都好奇作家是从哪里来的，他们的生活是怎样的。我觉得嘛，每个作家都不一样，以下是我的故事，希望大家会喜欢。 距离1965年只有40分钟的除夕夜里，我在内布拉斯加州奥马哈市出生了。 我老爸当时在酒吧当酒保，可能是冥冥注定吧，当晚他还要上班，因为除夕夜是一年中最忙的一晚。虽然兜里没几个钱，但他请了奥马哈市最好的产科医生，花了124刀（接生费连我妈的两天住院费），把我带到这个世界来。 我出生后的头几年随家人到处跑，那时候我爸还在找适合的硕士课程，最终进了明尼苏达州大学。我在那里生活了两年，但没啥印象。依稀记得我有一只叫“胡椒”的狗狗，一台我很喜欢坐的纸皮火车。1969年夏天搬家去洛杉矶时，我还在搬家货车的烧烤架上抠过虫子。 我对洛杉矶这座城市的记忆，只是跟着老爸在南加大念博士住了四年，印象同样模糊。我记得被一个十八岁的混混扔砖头打中我的脑袋，只磕掉一颗牙齿就学会了骑单车，还有我养的乌龟不幸从家里二楼的阳台跳楼自杀死了。 1973年老爸留在加州写论文时，我和我哥我姐就去跟老妈去她的老家，内布拉斯加州的Grand Island，在那儿住了一年。1974年十二月，我们又回到加州Fair Oaks和老爸团聚。我很清楚地记得搬进新家时，电视里正播着电视剧《Kolchak: The Night Stalker》。可能因为这个，我一看到Darren McGavin（主角扮演者）就会想起Fair Oaks这个第二故乡。 小学生涯总结起来说，就是勉强毕业。记得我第一个老师有一头火红的头发，脸蛋又大又圆，虎背熊腰还特喜欢穿贴身的荧光绿色晚装。语文课挂了，还好做过一个纸火山，里面放了汽水和醋加上食用颜料，能喷出紫色的熔岩。老师们觉得我的创意还不错，才勉强让我继续升学。 高中就好多了。不知道什么原因，我14岁大脑突然开窍，从此科科拿A。高中成绩全校第一，荣誉毕业但没能发表毕业演讲。后来去参加了在洛杉矶举行的加州田径比赛，还保持过几项高中全校记录，最后拿到全额田径奖学金上了诺查丹姆大学。 高中上得很爽，太爽了。可惜世事无常，没多久就开始倒霉了。破了诺查丹姆大学的四百米接力赛纪录后（好像还没被破），我受了伤，韧带敷了差不多一年的冰。 大学一年级暑假回家时，我除了给韧带敷冰，就是在家晃来晃去过日子。我妈就说，你不要老生自个儿闷气，干点啥行吗？我问她，那干嘛呢？她说，我咋知道，写本书吧！我就说，好吧。八个礼拜后，我的第一本小说就诞生了。这本书当然没有出版，直接埋进我家阁楼的“文学坟场”，现在还没扔，放在我那堆橄榄球收藏卡旁边。老实说，那个故事还是很不错的，就是写得很烂。我渺小的写作职业生涯，就是这样开始的。 镜头快进到大学，我交了一帮好朋友，成天看篮球赛，啤酒喝太多，直到1988年春假时在佛罗里达州遇上一个来自新罕布什尔州叫Cathy的女孩。那可谓是一见钟情啊。我认识她那天跟她说，我们以后会结婚。她一听乐了，叫我继续喝吧。1989年七月，我们结婚了。 就在这一年，我写完了第二本小说《The Royal Murders》。这次写得好一点，很多精彩对话，就是太长了。结果这本也和一堆的拒稿信一起，扔在阁楼里。 于是，我决定转行。因为出版社和法律系都不收，所以试了很多不同的工作，希望能找出自己的兴趣所在。我做过房屋估价、买房屋翻新转卖、餐馆侍应、电话推销牙医产品，最后还还开厂生产外科整形产品。虽然对医疗和工程方面的东西一窍不通，理科只上了初级课，我还是一头扎了下去。背上了三万刀信用卡债后，只能抛兵去卒孤军作战，还得躲着老婆朝我后脑勺狂射过来的镭射激光。奋勇向前打了两年半的持久战后，终于可以停战，做到收支平衡了。那天晚上我俩疯狂庆祝胜利，九个月后，Miles Andrew就出生了。 在这段期间，我和我的老朋友加奥运冠军Billy Mills又一起写了《Wokini》这本书，由萨加缅度（加州首府）一个很小的出版社Feather Publishing出版了。这书在本地还卖得不错，1994年被Random House（全球最大出版社，Penguin出版社的一个分支）看中。终于胜利了！ 后来我把生意卖掉，想趁还断气去找别的事情做做看。碰到一个药品销售的广告，我就想，好吧。这个决定做得很棒，工作时间和收入都不错，而且一个月才跟老板见一次面，实在不能再奢求什么了。 接着，我成功要求公司把我从萨加缅度转到北卡州的New Bern，1992年12月穿州过省搬到一个从来没有见过的地方。当晚我们伴着烛光和香槟庆祝搬家，九个月后，Ryan Cody就出生了。 二十五岁时，我检视了一下自己的人生。好工作、好妻子、好孩子，还有了门前流水潺潺的房子，还有什么想要的呢？1994年5月，我终于找到答案了。 《Cheers》这出喜剧播完大结局，播出以前还放了一个一小时的特辑，当晚我从头看到尾。这出喜剧连播了11年，可以说陪伴了我大半生的成长，但是我觉得自己还没有实现梦想呢。 凌晨四点的时候，我决定要再试试写书。这次要好好地写，不能像之前那样玩票。我参考了一下市场，选定爱情故事这个主题，然后根据我老婆祖父母的故事初步设计了几个角色，想了两个月的情节才动笔。当时阿兹海默症是一个社会热点，我认为借助这个营造悲剧效果，应该可以写出不错的爱情故事。开头写了八万字，裁掉两万八，1995年一月才完稿。 同年二月，公司把我们全家从New Bern转到南卡州的Greenville。等找到固定住址后，我给25个出版经纪公司寄了自荐信，最后和Sanford Greenburger Associates的版权经纪Theresa Park签了约。10月19号，书到了纽约。1995年10月23号中午十二点零二分，我的命运从此改变了。 我记得，那时候我正给一桌护士们上炸鸡。

如何应用topspin 把nmr 文件转化为sparky 文件How nmr file transform to sparky file by topspin software1 打开要转化的2D NMR 文件，找到原始文件下，2rr 文件，G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata12 打开sparky 文件中（安装目录）bin ，执行bruker2ucsf.exe 文件. 路径：D:sparkyin3 程序---运行---cmd---打开dos 模式，打开G：按如下命令操作：C:Documents and SettingsMa Guolin>G:G:>cd BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>pdw"pdw" 不是内部或外部命令，也不是可运行的程序或批处理文件。G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>cdG:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>dir驱动器 G 中的卷是 NMR-TopSpin卷的序列号是 D837-A16AG:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1 的目录2007-07-21 09:09 <DIR> .2007-07-21 09:09 <DIR> ..2007-07-11 10:19 16,777,216 2rr2007-07-17 18:54 353 assocs2007-07-11 10:19 876 auditp.txt2007-07-11 10:00 1,121 clevels2009-07-08 11:43 1,024 luta2009-07-08 11:43 16,211 meta2009-07-08 11:43 375 outd2007-07-11 09:59 1,686 proc2007-07-11 09:59 1,682 proc22007-07-11 10:19 1,695 proc2s2007-07-11 10:19 1,714 procs2007-07-17 18:48 78 title 12 个文件 16,804,031 字节 2 个目录 5,842,395,136 可用字节G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>bruk2ucsf"bruk2ucsf" 不是内部或外部命令，也不是可运行的程序或批处理文件。G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>path D:sparkyinG:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>bruk2ucsfSyntax: bruk2ucsf <bruker-file> <ucsf-file>Here are examples used for converting 2D or 3D data: % bruk2ucsf 1/pdata/1/2rr noesy150.ucsf % bruk2ucsf 1/pdata/1/3rrr hnca.ucsfOnly the real component of the processed data is used by Sparky.The dimension of the data is ascertained by the number in the Brukerfile name. So that name should not be changed. Also parameters foreach spectrum axis are extracted from the proc, proc2s, proc3s filesin the same directory, and from the acqus, acqu2s, acqu3s files inin the directory above. The path to the Bruker data file should notbe a symbolic link since paths to the acqus and procs parameter fileslike symbolic-link/../procs will not be correct. For more informationsee the Sparky documentation manual/files.html.G:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>bruk2ucsf 2rrtest.ucsfG:BrukerTOPSPINdataMa guolin mrAb16_TOCSY_09070811pdata1>OK, sparky 文件 test.ucsf 在原目录下生成。 用sparky 软件打开test.ucsf 即可。

官网： http://spark.apache.org/docs/latest/sql-programming-guide.html 或者缓存dataFrame 或者CACHE TABLE 可通过两种配置方式开启缓存数据功能： 使用SQLContext的setConf方法 执行SQL命令 SET key=value 用到的配置 -- spark.sql.autoBroadcastJoinThreshold， broadcast表的最大值10M，当这是为-1时， broadcasting不可用，内存允许的情况下加大这个值 -- spark.sql.shuffle.partitions 当join或者聚合产生shuffle操作时， partitions的数量， 这个值可以调大点， 我一般配置500， 切分更多的task， 有助于数据倾斜的减缓， 但是如果task越多， shuffle数据量也会增多 对于broadcast join模式，会将小于spark.sql.autoBroadcastJoinThreshold值（默认为10M）的表广播到其他计算节点，不走shuffle过程，所以会更加高效。 官网的原话是这个样子： The BROADCAST hint guides Spark to broadcast each specified table when joining them with another table or view. When Spark deciding the join methods, the broadcast hash join (i.e., BHJ) is preferred, even if the statistics is above the configuration spark.sql.autoBroadcastJoinThreshold. When both sides of a join are specified, Spark broadcasts the one having the lower statistics. Note Spark does not guarantee BHJ is always chosen, since not all cases (e.g. full outer join) support BHJ. When the broadcast nested loop join is selected, we still respect the hint. 注意 ： 确定broadcast hash join的决定性因素是hive的表统计信息一定要准确。并且，由于视图是没有表统计信息的，所以所有的视图在join时都不会被广播。所以至少要有一张hive表。 ------------------------待完善------------------------

计算负载主要由 Executors 承担，Driver 主要负责分布式调度，调优空间有限，因此对 Driver 端的配置项我们不作考虑 通过如下参数就可以明确有多少 CPU 资源被划拨给 Spark 用于分布式计算。 spark.cores.max 集群 spark.executor.cores Executor spark.task.cpus 计算任务 并行度 spark.default.parallelism 并行度 spark.sql.shuffle.partitions 用于明确指定数据关联或聚合操作中 Reduce 端的分区数量。 在平衡 Execution memory 与 Storage memory 的时候，如果 RDD 缓存是刚需，我们就把 spark.memory.storageFraction 调大，并且在应用中优先把缓存灌满，再把计算逻辑应用在缓存数据之上。除此之外，我们还可以同时调整 spark.rdd.compress 和 spark.memory.storageFraction 来缓和 Full GC 的冲击 spark.local.dir 这个配置项，这个参数允许开发者设置磁盘目录，该目录用于存储 RDD cache 落盘数据块和 Shuffle 中间文件。如果你的经费比较充裕，有条件在计算节点中配备足量的 SSD 存储，甚至是更多的内存资源，完全可以把 SSD 上的文件系统目录，或是内存文件系统添加到 spark.local.dir 配置项中去，从而提供更好的 I/O 性能。 Configuration - Spark 3.2.1 自 1.6 版本之后，Spark 统一采用 Sort shuffle manager 来管理 Shuffle 操作，在 Sort shuffle manager 的管理机制下，无论计算结果本身是否需要排序，Shuffle 计算过程在 Map 阶段和 Reduce 阶段都会引入排序操作。 在不需要聚合，也不需要排序的计算场景中，我们就可以通过设置 spark.shuffle.sort.bypassMergeThreshold 的参数，来改变 Reduce 端的并行度（默认值是 200）。当 Reduce 端的分区数小于这个设置值的时候，我们就能避免 Shuffle 在计算过程引入排序。 Spark SQL 下面的配置项还是蛮多的，其中对执行性能贡献最大的，当属 AQE（Adaptive query execution，自适应查询引擎）引入的那 3 个特性了，也就是自动分区合并、自动数据倾斜处理和 Join 策略调整。 AQE 事先并不判断哪些分区足够小，而是按照分区编号进行扫描，当扫描量超过“目标尺寸”时，就合并一次,那么，“目标尺寸”由什么来决定的呢？Spark 提供了两个配置项来共同决定分区合并的“目标尺寸”,分区合并的目标尺寸取 advisoryPartitionSizeInBytes 与 partitionSize (每个分区的平均大小)之间的最小值。 我们来举个例子。假设，Shuffle 过后数据大小为 20GB，minPartitionNum 设置为 200，反推过来，每个分区的尺寸就是 20GB / 200 = 100MB。再假设，advisoryPartitionSizeInBytes 设置为 200MB，最终的目标分区尺寸就是取（100MB，200MB）之间的最小值，也就是 100MB。因此你看，并不是你指定了 advisoryPartitionSizeInBytes 是多少 首先，分区尺寸必须要大于 spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes 参数的设定值，才有可能被判定为倾斜分区。然后，AQE 统计所有数据分区大小并排序，取中位数作为放大基数，尺寸大于中位数一定倍数的分区会被判定为倾斜分区，中位数的放大倍数也是由参数 spark.sql.adaptive.skewJoin.skewedPartitionFactor(默认值是 5 倍) 控制。 实际上指的是，把会引入 Shuffle 的 Join 方式，如 Hash Join、Sort Merge Join，“降级”（Demote）为 Broadcast Join。 在 Spark 发布 AQE 之前，开发者可以利用 spark.sql.autoBroadcastJoinThreshold 配置项对数据关联操作进行主动降级。这个参数的默认值是 10MB，参与 Join 的两张表中只要有一张数据表的尺寸小于 10MB 不过，autoBroadcastJoinThreshold 这个参数虽然好用，但是有两个让人头疼的短板。一是可靠性较差。尽管开发者明确设置了广播阈值，而且小表数据量在阈值以内，但 Spark 对小表尺寸的误判时有发生，导致 Broadcast Join 降级失败。二来，预先设置广播阈值是一种静态的优化机制，它没有办法在运行时动态对数据关联进行降级调整。 AQE 很好地解决了这两个头疼的问题。首先，AQE 的 Join 策略调整是一种动态优化机制，对于刚才的两张大表，AQE 会在数据表完成过滤操作之后动态计算剩余数据量，当数据量满足广播条件时，AQE 会重新调整逻辑执行计划，在新的逻辑计划中把 Shuffle Joins 降级为 Broadcast Join。再者，运行时的数据量估算要比编译时准确得多，因此 AQE 的动态 Join 策略调整相比静态优化会更可靠、更稳定。 每个 Map Task 生成的数据文件，都包含所有 Reduce Task 所需的部分数据。因此，任何一个 Reduce Task 要想完成计算，必须先从所有 Map Task 的中间文件里去拉取属于自己的那部分数据。索引文件正是用于帮助判定哪部分数据属于哪个 Reduce Task。Reduce Task 通过网络拉取中间文件的过程，实际上就是不同 Stages 之间数据分发的过程。 显然，Shuffle 中数据分发的网络开销，会随着 Map Task 与 Reduce Task 的线性增长，呈指数级爆炸。 Shuffle Joins 第一步就是对参与关联的左右表分别进行 Shuffle，Shuffle 的分区规则是先对 Join keys 计算哈希值，再把哈希值对分区数取模。Shuffle 完成之后，第二步就是在同一个 Executors 内，Reduce task 就可以对 userID 一致的记录进行关联操作。 Broadcast Join 使用广播阈值配置项让 Spark 优先选择 Broadcast Joins 的关键，就是要确保至少有一张表的存储尺寸小于广播阈值（数据表在磁盘上的存储大小，同一份数据在内存中的存储大小往往会比磁盘中的存储大小膨胀数倍） Spark 将内存分成了 Execution Memory 和 Storage Memory 两类，分别用于分布式任务执行和 RDD 缓存。其中，RDD 缓存虽然最终占用的是 Storage Memory，但在 RDD 展开（Unroll）之前，计算任务消耗的还是 Execution Memory。因此，Spark 中 CPU 与内存的平衡，其实就是 CPU 与执行内存之间的协同与配比。 并行度指的是为了实现分布式计算，分布式数据集被划分出来的份数。并行度明确了数据划分的粒度：并行度越高，数据的粒度越细，数据分片越多，数据越分散。并行度可以通过两个参数来设置，分别是 spark.default.parallelism 和 spark.sql.shuffle.partitions。前者用于设置 RDD 的默认并行度，后者在 Spark SQL 开发框架下，指定了 Shuffle Reduce 阶段默认的并行度。并发度呢？Executor 的线程池大小由参数 spark.executor.cores 决定，每个任务在执行期间需要消耗的线程数由 spark.task.cpus 配置项给定。两者相除得到的商就是并发度，也就是同一时间内，一个 Executor 内部可以同时运行的最大任务数量。又因为，spark.task.cpus 默认数值为 1，并且通常不需要调整，所以，并发度基本由 spark.executor.cores 参数敲定。就 Executor 的线程池来说，尽管线程本身可以复用，但每个线程在同一时间只能计算一个任务，每个任务负责处理一个数据分片。因此，在运行时，线程、任务与分区是一一对应的关系。 对于 User Memory 内存区域来说，使用 空间去重复存储同样的数据，本身就是降低了内存的利用率 对于存储级别来说，实际开发中最常用到的有两个，MEMORY_ONLY 和 MEMORY_AND_DISK，它们分别是 RDD 缓存和 DataFrame 缓存的默认存储级别。对于缓存计算来说，它分为 3 个步骤，第一步是 Unroll，把 RDD 数据分片的 Iterator 物化为对象值，第二步是 Transfer，把对象值封装为 MemoryEntry，第三步是把 BlockId、MemoryEntry 价值对注册到 LinkedHashMap 数据结构。另外，当数据缓存需求远大于 Storage Memory 区域的空间供给时，Spark 利用 LinkedHashMap 数据结构提供的特性，会遵循 LRU 和兔子不吃窝边草这两个基本原则来清除内存空间：LRU：按照元素的访问顺序，优先清除那些“最近最少访问”的 BlockId、MemoryEntry 键值对兔子不吃窝边草：在清除的过程中，同属一个 RDD 的 MemoryEntry 拥有“赦免权” PROCESS_LOCAL：任务与数据同在一个 JVM 进程中 NODE_LOCAL：任务与数据同在一个计算节点，数据可能在磁盘上或是另一个 JVM 进程中 RACK_LOCAL：任务与数据不在同一节点，但在同一个物理机架上 ANY：任务与数据是跨机架、甚至是跨 DC（Data Center，数据中心）的关系访问数据源是否会引入网络开销，取决于任务与数据的本地性关系，也就是任务的本地性级别 Shuffle 作为大多数计算场景的“性能瓶颈担当”，确实是网络开销的罪魁祸首。根据“能省则省”的开发原则，我们自然要想尽办法去避免 Shuffle。 在数据通过网络分发之前，我们可以利用 Kryo Serializer 序列化器，提升序列化字节的存储效率，从而有效降低在网络中分发的数据量，整体上减少网络开销。

不一样。Spark是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。leftjoin全称为左外连接，是SQL语言中的查询类型，是外连接的一种。因此spark和oracle的leftjoin不一样。

1、集七龙珠：在人造人篇4：去打桃白白，基本上每次都有龙珠。 经验值：在人造人篇用悟空打小沙鲁，打败后得到3000多经验（玩最难的） 2、集七龙珠： 以下取得龙珠地点全为第一章：赛亚人篇 00篇 北之都 7星 01 东之都 1星 02 东之都 3星 03 中之都 4星 03 南之都 2星 04 东之都 5星 12 龟之岛 6星 神龙奖励物品：1、地球上 能力系 体力＋15 攻撃＋15 防御＋15 装备枠＋4 ブラスト2＋15 アルティメットブラスト＋15 辅助系 天使の轮 （推荐） 最终奥义 18号のキス（推荐） みんなの期待 スパーキングプラス 天下一の称号 （推荐） 武术の心得 魔戦士の刻印（推荐） 合成系 老界王神の仪式 （推荐） 100倍の重力装置 最长老の潜在能力解放 （还可以在打钢铁克维拉最后一战到左下角找天天，打败人物之后得到。） 特殊系 フリーザの宇宙船 壊れたタイムマシン 谜の设计図 那美克星： 能力系 気力＋15 速度＋15 ブラスト1＋15 辅助系 达人の妙技 达人のお守り 达人の秘策 达人の精神 达人の威圧感 达人の存在感 达人の切り札 再生能力 エネルギーZプラス エネルギー永久式装置 合成系 奇迹 ドラゴンパワー 超神水 亀の甲罗 重要道具合成 能力系 ○○+5 亀の甲罗+○○+1 ○○+10 超神水+○○+5 ○○+15 最长老の潜在能力解放+○○+10 ○○+19 100倍の重力装置+○○+15 ○○+19 老界王神の仪式+○○+1 补助系 达人の妙技 奇迹+ドラゴンパワー 达人の极意 见切りの极意+当身の极意 达人の精神 超感覚+胁威の粘り 达人の威圧感 强者の风格+エナジーブレイカー 达人の存在感 戦いのカリスマ+ヘビープレッシャー 达人の切り札 アクティブハート+マインドブレイカー 达人の秘策 ステルスモード+疾风怒涛の一撃 达人の守り パーフェクトガード+クイックリカバー 最终奥义 快心の一撃+决死の覚悟 みんなの期待 デンデの治愈能力＋キビトの秘术 天使の轮 正义を爱する者+阎魔大王のスタンプ 魔戦士の刻印 见つけられた邪心+バビディの洗脳 老界王神的仪式在特兰克斯篇去神殿,完成任务,内容是打败两个小沙鲁和一个MAX沙鲁。 道具 入手方法 Zアイテムフュージョン 店 奇迹 「运命の兄弟编：08」クリア ドラゴンパワー ナメック星ポルンガへの愿い 见つけられた邪心 店 バビディの洗脳 店 正义を爱する者 店 阎魔大王のスタンプ 店 亀の甲罗 ナメック星ポルンガへの愿い 超神水 ナメック星ポルンガへの愿い 最长老の潜在能力解放 地球神龙への愿い 或「激突！100亿パワーの戦士たち编：06」フリーイベントクリア 100倍の重力装置 地球神龙への愿い 老界王神の仪式 地球神龙への愿い 或「究极の人造人间编：00」界王神界フリーバトル 封印解除 「フリーザ编：04」クリア 或「银河ギリギリ！ぶっちぎりの凄い奴编：05」クリア 超変身 「フリーザ编：18」クリア 或「とびっきりの最强対最强编：04」クリア 或「银河ギリギリ！ぶっちぎりの凄い奴编：06」クリア 改造手术 「人造人间编：00」クリア 超サイヤ人 「燃えつきろ！热戦·烈戦·超激戦编：03」クリア 悪しき人间の铳弾 「魔人ブウ编：12」クリア フリーザの兄 「とびっきりの最强対最强编：03」クリア 银河戦士 「银河ギリギリ！ぶっちぎりの凄い奴编：04」クリア 或「银河ギリギリ！ぶっちぎりの凄い奴编：06」クリア サイケ鬼 「复活のフュージョン！悟空とベジー タ编：01」クリア 人间の邪気 「复活のフュージョン！悟空とベジータ编：04」クリア 人工ブルーツ波 「复讐鬼ベビー编：04」 限界点突破 「燃えつきろ！热戦?烈戦?超激戦编：06」クリア 自爆 「人造人间编：23」クリア パワーボール 「サイヤ人编：12」クリアなど サイヤ人下级戦士 「地球まるごと超决戦编：00」クリア ヘルファイター17号 「究极の人造人间编：05」クリア しもべからのパワー 「复讐鬼ベビー编：03」クリア ゴテンクスを吸収 「魔人ブウ编：15」クリア 悟饭を吸収 「魔人ブウ编：15」クリア 鹤仙人の弟 「サイヤ人编：01」など、フリーイベントで桃白白を倒す 记念キャンペーン 「サイヤ人编：01」など、フリーイベントで桃白白を倒す 魔凶星 「魔凶星编：00」クリア デッドゾーン 「魔凶星编：01」クリア 巨大化 「超サイヤ人だ孙悟空编：01」クリア 或「魔凶星编：02」クリア 悟空へのうらみ 「とびっきりの最强対最强编：00」クリア 或「燃えつきろ！热戦·烈戦·超激戦编：00」クリア ビッグゲテスター 「激突！100亿パワーの戦士たち编：06」クリア 本気 「激突！100亿パワーの戦士たち编：00」クリア ナメック星人 「超サイヤ人だ孙悟空编：00」クリア 突然変异 「超サイヤ人だ孙悟空编：01」クリア 悪の华 「银河ギリギリ！ぶっちぎりの凄い奴编：02」クリア 机甲戦队 「とびっきりの最强対最强编：02」クリア クウラの手下 「とびっきりの最强対最强编：03」クリア パラガスの息子 「燃えつきろ！热戦·烈戦?超激戦编：00」クリア しもべのサイヤパワー 「复讐鬼ベビー编：02」クリア フリーザの手下 「フリーザ编：00」クリア ベジータのライバル？ 「フリーザ编：00」クリア 邪悪龙 「绝対破壊の邪悪龙编：00」クリア マイナスエネルギー 「绝対破壊の邪悪龙编：02」クリア 究极のドラゴンボール 「绝対破壊の邪悪龙编：05」クリア コンピュータ 「极限バトル！三大超サイヤ人编：00」クリア 憎悪 「极限バトル！三大超サイヤ人编：01」クリア 14·15号のパーツ 「极限バトル！三大超サイヤ人编：04」クリア 神精树の実 「地球まるごと超决戦编：01」クリア キビト 「魔人ブウ编：18」クリア 幻魔人の上半身 「龙拳爆発！悟空がやらねば谁がやる编：01」クリア 幻魔人の下半身 「龙拳爆発！悟空がやらねば谁がやる编：05」クリア 亀仙人の弟子 「激突！宿命のライバル编：03」フリーイベントクリア キツネのお面 「人造人间编：17」ヤムチャゲーム 或「魔人ブウ编：11」ヤムチャゲーム ベビー 「复讐鬼ベビー编：02」クリア クリア意思是根据剧情。 ヤムチャゲーム意思是打乐平。 1.孙悟空 初期就有 2.超级赛亚人孙悟空佛力扎篇NO.17之后入手 3.超级赛亚人2孙悟空魔人普乌篇NO.07之后入手 4.超级赛亚人3孙悟空魔人普乌篇NO.09之后入手 5.孙悟饭(幼年期)初期就有 6.孙悟饭(少年期)初期就有 7.超级赛亚人孙悟饭(少年期)人造人间篇NO.16之后入手 8.超级赛亚人2孙悟饭(少年期)人造人间篇NO.20之后入手 9.孙悟饭青年期初期就有 10.超级赛亚人孙悟饭(青年期)TRUNKS THE STORY编开始之后入手 11.超级赛亚人2孙悟饭(青年期)魔人普乌篇NO.05之后入手 12.赛亚超人银河ギリギリ！ぶっちぎりの凄い奴编NO.07之后入手 13.潜力全开悟饭魔人普乌篇NO.13之后入手 14.比克初期就有 15.克林初期就有 16.饮茶初期就有 17.天津饭初期就有 18.饺子初期就有 19.达尔(前期)激突！100亿パワーの戦士たち编NO.04之后入手 20.超级赛亚人达尔(前期)激突！100亿パワーの戦士たち编NO.04之后入手 21.超级达尔人造人间篇NO.12之后入手 22.达尔(后期)魔人普乌篇NO.02之后入手 23.超级赛亚人达尔(后期)魔人普乌篇NO.02之后入手 24.超级赛亚人2达尔(后期)魔人普乌篇NO.16之后入手 25.特南克斯(剑)初期就有 26.超级赛亚人特南克斯(剑)TRUNKS THE STORY编NO.01之后入手 27.特南克斯(格斗)初期就有 28.超级赛亚人特南克斯(格斗)人造人间篇NO.12之后入手 29.超级特南克斯人造人间篇NO.15之后入手 30.孙悟天初期就有 31.超级赛亚人孙悟天魔人普乌篇开始就有 32.特南克斯(幼年期)初期就有 33.超级赛亚人特南克斯(幼年期))魔人普乌篇初期就有 34.悟天克斯魔人普乌篇NO.11之后入手 35.超级赛亚人悟天克斯魔人普乌篇NO.11之后入手 36.超级赛亚人3悟天克斯魔人普乌篇NO.12之后入手 37.达洛特魔人普乌篇NO.17之后入手 38.超级达洛特魔人普乌篇NO.17之后入手 39.超级悟达尔复活のフュージョン！悟空とベジータ编NO.08之后入手 40.魔人达尔魔人普乌篇NO.07之后入手 41.撒旦人造人间篇NO.16之后入手 42.碧儿银河ギリギリ！ぶっちぎりの凄い奴编NO.05之后入手 43.赛亚超人2号危険なふたり！超戦士はねむれない编NO.05之后入手 44.界王神魔人普乌篇NO.05之后入手 45.融合后的界王神融合道具「キビト」+「界王神」入手 46.巴达克超サイヤ人だ孙悟空编NO.02之后入手 47.大猿巴达克融合道具「パワーボール」+「バーダック」入手 48.拉帝兹初期就有 49.大猿拉帝兹融合道具「パワーボール」+「ラディッツ」入手 50.栽培人初期就有 51.拿帕初期就有 52.大猿拿帕融合道具「パワーボール」+「ナッパ」入手 53.达尔(赛亚人版)初期就有 54.大猿达尔融合道具「パワーボール」+「ベジータ（スカウター）入手 55.吉多拉融合道具「フリーザの手下」+「ベジータのライバル？」入手 56.多多利亚初期就有 57.尚波初期就有 58.尚波(变身后)融合道具「封印解除」+「ザーボン」入手 59.古杜佛力扎篇NO.05之后入手 60.力高佛力扎篇NO.07之后入手 61.巴特佛力扎篇NO.08之后入手 62.杰斯佛力扎篇NO.10之后入手 63.基钮佛力扎篇NO.10之后入手 64.佛力扎(第一型态)初期就有 65.佛力扎(第二型态)佛力扎篇NO.12之后入手 66.佛力扎(第三型态)佛力扎篇NO.14之后入手 67.佛力扎(最终型态)佛力扎篇NO.16之后入手 68.100%力量佛力扎融合道具 「超変身」+「フリーザ最终形态」入手 69.机械佛力扎融合道具 「改造手术」+「フルパワーフリーザ」入手 70.盖洛博士人造人间篇NO.05之后入手 71.人造人19号初期就有 72.人造人18号初期就有 73.人造人17号初期就有 74.人造人16号初期就有 75.赛鲁(第一型态)人造人间篇NO.10之后入手 76.赛鲁(第二型态)人造人间篇NO.13之后入手 77.赛鲁(完全体)人造人间篇NO.22之后入手 78.赛鲁(超完全体)融合道具「自爆」+「セル完全体」入手 79.小赛鲁人造人间篇NO.21之后入手 80.魔王达布拉魔人普乌篇NO.06之后入手 81.魔人普乌(善)初期就有 82.魔人普乌(纯粹恶)融合道具「悪しき人间の铳弾」+「魔人ブウ（善）」入手 83.魔人普乌(恶)魔人普乌篇NO.14之后入手 84.悟天克斯普乌融合道具「ゴテンクスを吸収」+「魔人ブウ（悪）」入手 85.悟饭普乌融合道具「悟饭を吸収」+「魔人ブウ（悪）」入手 86.魔人普乌(纯粹)魔人普乌篇NO.19之后入手 87.葛力克Jr融合道具「魔凶星」+「デッドゾーン」入手 88.超级葛力克jr融合道具「巨大化」+「ガーリックJr.」入手 89.达列斯融合道具「サイヤ人下级戦士」+「神精树の実」入手 90.大猿达列斯融合道具「パワーボール」+「ターレス」入手 91.超级那美克星人融合道具「ナメック星人」+「突然変异」入手 92.超级那美克星人(巨大化)融合道具「巨大化」+「スラッグ」入手 93.库拉融合道具「机甲戦队」+「クウラの手下」入手 94.克维拉融合道具「フリーザの兄」+「悟空へのうらみ」入手 95.克维拉(最终型态)融合道具「超変身」+「クウラ」入手 96.金属克维拉融合道具「ビッグゲテスター」+「クウラ」入手 97.人造人13号融合道具「コンピュータ」+「憎悪」入手 98.人造人13号(合体)融合道具「14?15号のパーツ」+「人造人间13号」入手 99.布罗利融合道具「悟空へのうらみ」+「パラガスの息子」入手 100.超级赛亚人布罗利融合道具「超サイヤ人」+「ブロリー」入手 101.传说超级赛亚人布罗利融合道具「限界点突破」+「スーパーサイヤ人ブロリー」入手 102.银河战士的女生融合道具「银河戦士」+「悪の华」入手 103.波杰克融合道具「银河戦士」+「封印解除」入手 104.波杰克(变身)融合道具「超変身」+「ボージャック」入手 105.邪念波融合道具「サイケ鬼」+「人间の邪気」入手 106.邪念波(变身)融合道具「超変身」+「ジャネンバ」入手 107.幻魔人融合道具「幻魔人の上半身」+「幻魔人の下半身」入手 108.塔皮欧龙拳爆発！悟空がやらねば谁がやる编开始后入手 109.排骨饭复活のフュージョン！悟空とベジータ编开始后入手 110.亚奇诺贝赛亚人编NO.04之后入手 111.桃白白融合道具「鹤仙人の弟」+「记念キャンペーン」入手 112.超级赛亚人4孙悟空复讐鬼ベビー编NO.01之后入手 113.超级赛亚人4达尔绝対破壊の邪悪龙篇NO.02之后入手 114.超4悟达尔绝対破壊の邪悪龙篇NO.03之后入手 115.小芳龙拳爆発！悟空がやらねば谁がやる编NO.05之后入手 116.乌普龙拳爆発！悟空がやらねば谁がやる编NO.06之后入手 117.超级乌普复讐鬼ベビー编开始之后入手 118.贝比达尔融合道具「ベビー」+「ベジータ（后期）」入手 119.贝比达尔1融合道具「しもべのサイヤパワー」+「ベジータベビー」入手 120.贝比达尔2融合道具「しもべからのパワー」+「スーパーベビー1」入手 121.大猿贝比融合道具「人工ブルーツ波」+「スーパーベビー2」入手 122.超级17号融合道具「ヘルファイター17号」+「人造人间17号」入手 123.一星龙融合道具「マイナスエネルギー」+「邪悪龙」入手 124.超一星龙融合道具「究极のドラゴンボール」+「一星龙」入手 125.孙悟空(少年期)激突！宿命のライバル篇NO.03去找界王打完孙悟饭后入手 126.大猿(下级战士)激突！宿命のライバル篇NO.08之后入手 127.龟仙人赛亚人篇NO.01之后入手 128.龟先人MAX版融合道具「本気」+「亀仙人」入手 129.悟空爷爷孙悟饭融合道具「亀仙人の弟子」+「キツネのお面」入手 告你几个密码：1、悟空 PCPk cYbx (L(l jLJW MrpX ITwR hCEY iwXh 2、超四悟空 ?wpc @lje PW%X s$+p NrJd lNwf rAsA H)vm 各人物绝招战斗数据 悟空(普通)三阶段元气弹:33750 悟达尔(超4)超百倍龟派气功:22800 普乌(悟饭吸收)鬼魂口香糖:21540 魔人达尔 FINAL EXPLOSION:21000 悟空(超4)龙拳:20040 普乌(恶)自爆:20040 超一星龙 负面能量球:19800 悟天克斯(超1)鬼魂口香糖:18750 悟空(超3)龙拳:18010 大猿贝比 终级复仇死亡弹:18000 人造人16号 自爆装置:18000 终极悟饭 爆烈DASH:17280 达洛特(超1)BEAM SWORD SLASH:16830 一星龙 终级丁恩之炎:16800 布罗利(传说中超级赛亚人)OMEGA BLASTER:16800 少年悟饭(超2)亲子龟派气功:16530 普乌(纯粹)PLANET BUSTER:16500 邪念波(变身前)操控空间:16290 超级悟达尔(超1)STAR STRIKER:16200 达尔(后期.超4)FINAL SHINE ATTACK:16020 幻魔人 终级丁恩之炎:16020 悟天克斯(超3)激烈普乌排球:16000 达洛特(普通)超龟派气功:15840 悟天(超1)兄弟龟派气功:15820 超级17号 电击地狱玉:15800 终极贝比 复仇死亡弹:15800 完美西鲁 元气玉:15800 金属克薇拉 SUPERNOVA:15800 大猿达列斯 超魔口闪:15600 弗利沙(全力)100%DEATH BALL:15520 机械弗利沙 姑且当复仇100%DEATH BALL吧 反正姿势一样:15510 人造人13号(合体)全力S.S毁灭弹:15050 邪念波(变身后)DEMENSION SWORD ATTACK:15040 普乌(悟天克斯吸收)超龟派气功:15040 青年悟饭(超2):超龟派气功:15040 青年悟饭(超1):兄弟龟派气功:15010 普乌(纯粹恶)超爆发波:15000 排骨饭 THUNDER FLASH:15000 超特兰克斯 超爆发波:15000 克薇拉(最终型态)SUPERNOVA:15000 卡利克JR(变身后)魔凶星攻击:15000 特兰克斯(格斗 超一)在未来干掉赛鲁那招:14840 大猿(拿帕)超魔口炮:14840 弗利沙(最终阶段)DEATH BALL:14820 达尔贝比2 BIG BOMB ATTACK:14800 达尔贝比1 FINAL FLASH:14800 悟空(超2)超龟派气功:14800 达尔(超2.后期)FINAL FLASH:14800 比克 魔空包围弹:14800 大猿(达尔)超级大蒜炮:14800 特兰克斯(剑 超1)SHINING SWORD ATTACK:14750 西鲁(完全体)PERFECT BARRIER:14520 克薇拉 DEATH BALL:14520 波杰克(变身后)伪终极闪光:14490 达列斯 METERO BUSTER:14440 赛亚超人 跟维黛尔的合体攻击:14310 普乌(善)ANGEY EXPLOSION:14400 史拉格(巨大化)DARKNESS BLASTER:14400 弗利沙(第三阶段)连续指枪XD:14400 达尔(超1.后期)超爆发波:14040 悟空(超1)瞬间移动龟派气功:14020 悟天克斯(普通)气功炮:14000 弗利沙(第二阶段)愉悦的弗利沙TIME:14020 少年悟饭(超1)超龟派气功:13840 达普拉 DARKNESS SWORD ATTACK:13820 史拉格 POWER OF DARKNESS:13820 西鲁(17号吸收)BIG BOMB ATTACK:13800 达尔(后期)BIG BOMB ATTACK:13800 超级达尔(前期)FINAL FLASH:13800 特兰克斯(剑 普通)PANIC ATTACK:13800 利克姆 利克姆FIGHTING BOMBER:13800 大猿(巴达克) 连续超魔口炮:13800 巴达克 对弗利沙丢的光球:13800 拿帕 哈!!(地面引爆):13800 库拉 库拉BLADE乱舞:13640 吉比特神 真激烈神王炮:13620 布罗利(超级赛亚人):13620 达尔(斯科特)肮脏的烟火:13620 大猿(拉帝兹):超魔口闪:13600 桑琪雅(银河战士那位女生) SKY SABER:13560 西鲁(初期)夺取生体能量:13520 小特兰克斯(超1)气功炮:13500 超一达尔(前期)BIG BOMB ATTACK:13500 特兰克斯(格斗 普通)FINISH BUSTER:13500 大猿(下级战士)连续超魔口炮:13500 塞亚超人二号 跟悟饭的合体攻击13490 青年悟饭(普通)超龟派气功:13040 尚波(变身后)MONSTER CRUSHER:13030 弗利沙(第一阶段)DEATH BALL:13020 栽培人 自爆:13000 塔皮欧 神官把幻魔人切成两段那招:12870 达尔(前期)超爆发波:12840 人造人13号 S.S 毁灭弹:12840 悟天(普通)超龟派气功:12840 少年悟饭(普通)超龟派气功:12800 小特兰克斯(普通)FINISH BUSTER:12800 尚波(变身前)ELEGANT BLASTER:12800 多多利亚 全力能源波:12800 饺子 再见了天哥哥:12800 西鲁Jr 龟派气功:12600 捷斯 CRUSHER BALL:12600 乌普 超爆发波:12540 波杰克 不会说的气功波:12500 人造人17号:全力能源波:12500 盖洛博士 夺取生体能量:12040 悟饭爷爷 龟仙流明镜止水:12020 巴达 SPACE MACH ATTACK:12010 界王神 激烈神王炮:12000 卡利克JR(变身前)全力能源球:12000(4000x3) 克林 气圆烈斩:12000 龟仙人(MAXPOWER) MAXPOWER龟派气功:12000 小悟空 超龟派气功:12000 人造人18号 甩巴掌:11990 潘 乙女之怒:11180 幼年悟饭 爆烈乱魔:11180 人造人19号 夺取生体能量:11050 饮茶 超操气弹:11040 桃白白 真.最后的秘册:11000 布罗利(普通)ERASER CANNON:10000 拉帝兹 全力能源波:10000 龟仙人 万国惊天掌:10000 亚奇洛贝 武士刀乱舞:9950 奇威 啊 佛利沙大人:9810跟撒旦同等级的搞笑王 克鲁特 克鲁特SPECIAL:9800 维黛尔 维黛尔连击:9790 撒旦先生 批哩啪啦闪亮拳 7780 超级乌普 闪电乱击:命中平均威力约在七千多（70％打不中） 或者买一个PS2的金手指 以下是金手指码 Xploder/RAW格式 M 90314078 0C0C92DB 金钱变动后9999999 20297F14 00000000 经验值获得9999 2024AE34 2442270F 龙珠全部 405EA980 00070001 00010001 00000000 开启全部人物 405EAAAC 00640001 00010001 00000000 405EAC3C 00640001 00010001 00000000 1P 体力最大 2185BD48 000186A0 1P 气力最大 2185BD54 000186A0 1P 总是Sparking Mode 2185BD5C 000AAE60 2185BD64 00007530 阅览物品后全部物品入手999个 2024BCB4 3C0103E7 20251264 34210003 20251268 AC410000 2025126C 26940001 本来只能拿50个的"秘密"道具也会变成999个

(CAST(pc.`piglet_cost` AS DOUBLE)DOUBLE类型的不能直接+号拼接，先转成varchar类型或者nvarchar类型的

柏思特。柏思特（PASTE）是专门经营服装，配饰，箱包等等这些物品的公司，尤其是女士包最好，销量质量最好。

1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

spark-standalone里没反应的原因：1、SparkStandalone没有正确启动，需要确保SparkStandalone节点已经成功启动。2、Spark应用程序可能存在编译错误，需要检查Spark应用程序中是否存在编译错误。3、Spark应用程序可能需要较长的时间才能完成，特别是在要处理的数据量很大时。需要等待一段时间，看看应用程序是否被正确执行。在SparkStandalone没有看到任何响应，请仔细检查以上问题，并根据问题修复相关问题，以便让应用程序正常的运行。

twilight ["twailait] sparkle ["spɑ:kl]

twilight sparkle微光闪耀百度百科Twilight Sparkle 是 美国孩之宝公司作品My Little Pony:Friendship Is Magic（我的小马驹·友谊就是魔法）(G4)中的主角，在前三季（不包括第三季最后一集）以独角兽（Unicorn）身份出现，第三季最后一集（S03E13）进化为天角兽（Pegacorn/ Alicorn），同集被册封为公主；于S04E26中被授予“Princess of Friendship”（友谊公主）头衔，并拥有自己的城堡和辖区(Friendship Rainbow Kingdom)。她是Shining Armor(银甲闪闪)的妹妹…

import scala.collection.mutable.ArrayBufferimport scala.io.Sourceimport java.io.PrintWriterimport util.control.Breaks._import org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport java.sql.DriverManagerimport java.sql.PreparedStatementimport java.sql.Connectionimport org.apache.spark.sql.types.IntegerTypeimport org.apache.spark.sql.types.StructTypeimport org.apache.spark.sql.types.StructFieldimport org.apache.spark.sql.types.StringTypeimport org.apache.spark.sql.Rowimport java.util.Propertiesimport org.apache.spark.sql.SaveModeobject SimpleDemo extends App { val sc = new SparkContext("local[*]", "test") val sqlc = new SQLContext(sc) val driverUrl = "jdbc:mysql://ip:3306/ding?user=root&password=root&zeroDateTimeBehavior=convertToNull&characterEncoding=utf-8" val tableName = "tbaclusterresult" //把数据转化为DataFrame,并注册为一个表 val df = sqlc.read.json("G:/data/json.txt") df.registerTempTable("user") val res = sqlc.sql("select * from user") println(res.count() + "---------------------------") res.collect().map { row => { println(row.toString()) } } //从MYSQL读取数据 val jdbcDF = sqlc.read .options(Map("url" -> driverUrl, // "user" -> "root", // "password" -> "root", "dbtable" -> tableName)) .format("jdbc") .load() println(jdbcDF.count() + "---------------------------") jdbcDF.collect().map { row => { println(row.toString()) } } //插入数据至MYSQL val schema = StructType( StructField("name", StringType) :: StructField("age", IntegerType) :: Nil) val data1 = sc.parallelize(List(("blog1", 301), ("iteblog", 29), ("com", 40), ("bt", 33), ("www", 23))). map(item => Row.apply(item._1, item._2)) import sqlc.implicits._ val df1 = sqlc.createDataFrame(data1, schema) // df1.write.jdbc(driverUrl, "sparktomysql", new Properties) df1.write.mode(SaveMode.Overwrite).jdbc(driverUrl, "testtable", new Properties) //DataFrame类中还有insertIntoJDBC方法，调用该函数必须保证表事先存在，它只用于插入数据，函数原型如下： //def insertIntoJDBC(url: String, table: String, overwrite: Boolean): Unit //插入数据到MYSQL val data = sc.parallelize(List(("www", 10), ("iteblog", 20), ("com", 30))) data.foreachPartition(myFun) case class Blog(name: String, count: Int) def myFun(iterator: Iterator[(String, Int)]): Unit = { var conn: Connection = null var ps: PreparedStatement = null val sql = "insert into blog(name, count) values (?, ?)" try { conn = DriverManager.getConnection(driverUrl, "root", "root") iterator.foreach(data => { ps = conn.prepareStatement(sql) ps.setString(1, data._1) ps.setInt(2, data._2) ps.executeUpdate() }) } catch { case e: Exception => e.printStackTrace() } finally { if (ps != null) { ps.close() } if (conn != null) { conn.close() } } }}

你的spark集群的主机的hosts列表中有master对应的ip吗，看看/etc/hosts中有没有一行，如果spark的主机也就是master是本地机器，就用.setMaster("spark://localhost:7077")： 好了； 建议还是用Idea来编spark程序

Sigma是日志文件中用于威胁检测的规则格式。对于日志数据，“Snort规则”适用于网络流量，“YARA签名”适用于文件数据。它很容易写和读。写出Sigma规则只需要几分钟。 在右边，你可以看到一个简单的西格玛规则，检查“系统”事件日志的线索，密码转储活动。检测部分包含1+个可由规则作者自由定义的标识符(选择、关键字、quarkspwdump)。在条件condition中使用这些选择器selectors来构建规则。 它还包含一个描述，参考，可能的误报和一个等级。 分析人员使用Sigma为他们的SIEM或日志管理解决方案生成搜索查询。Sigma repo包含一个转换器，允许转换通用规则ElasticSearch, Splunk, QRadar, Logpoint, Windows Defender ATP (WDATP)和ArcSight。即将在7月底发布的SPARK 1.14版本就做到了这一点。它将Sigma规则应用于本地事件日志。这样，您就能够将您曾经为SIEM定义的搜索应用到本地事件日志中。 通过这种方式，您可以“查询”没有连接到您的SIEM的独立系统，并发现环境中其他常见的盲点。我们提供了当前的规则集，它是公共Sigma库的一部分，并包含了超过200个规则与我们的SPARK程序包以加密的形式。(* .yms) 你可以把你自己的Sigma规则添加到"./custom-signatures/sigma/"文件夹在SPARK计划目录。 要激活Sigma扫描，请使用新的“-sigma”参数。 目前只有SPARK支持这个功能，没有计划在THOR中也实现。 该功能目前对所有用户都是免费的，但可能会成为一项收费功能，根据用户的计划，到今年年底必须另行授权。 有关所有特性的完整概述，请参见比较表。

sparked 是谓语，his latest book sparked a nationwide debate Animal Liberation 书名，插入语要用ing形式没谓语了

创建 maven 工程使用下面命令创建一个普通的 maven 工程：bash$ mvn archetype:generate -DgroupId=com.cloudera.sparkwordcount -DartifactId=sparkwordcount -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false将 sparkwordcount 目录重命名为simplesparkapp，然后，在 simplesparkapp 目录下添加 scala 源文件目录：bash$ mkdir -p sparkwordcount/src/main/scala/com/cloudera/sparkwordcount修改 pom.xml 添加 scala 和 spark 依赖：xml <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.10.4</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.2.0-cdh5.3.0</version> </dependency> </dependencies>添加编译 scala 的插件：xml <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions></plugin>添加 scala 编译插件需要的仓库：xml<pluginRepositories> <pluginRepository> <id>scala-tools.org</id> <name>Scala-tools Maven2 Repository</name> <url>http://scala-tools.org/repo-releases</url> </pluginRepository></pluginRepositories>另外，添加 cdh hadoop 的仓库：xml <repositories> <repository> <id>scala-tools.org</id> <name>Scala-tools Maven2 Repository</name> <url>http://scala-tools.org/repo-releases</url> </repository> <repository> <id>maven-hadoop</id> <name>Hadoop Releases</name> <url>https://repository.cloudera.com/content/repositories/releases/</url> </repository> <repository> <id>cloudera-repos</id> <name>Cloudera Repos</name> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories>最后，完整的 pom.xml 文件见： https://github.com/javachen/simplesparkapp/blob/master/pom.xml 。运行下面命令检查工程是否能够成功编译：bashmvn package编写示例代码以 WordCount 为例，该程序需要完成以下逻辑：读一个输入文件统计每个单词出现次数过滤少于一定次数的单词对剩下的单词统计每个字母出现次数在 MapReduce 中，上面的逻辑需要两个 MapReduce 任务，而在 Spark 中，只需要一个简单的任务，并且代码量会少 90%。编写 Scala 程序 如下：scalaimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SparkWordCount { def main(args: Array[String]) { val sc = new SparkContext(new SparkConf().setAppName("Spark Count")) val threshold = args(1).toInt // split each document into words val tokenized = sc.textFile(args(0)).flatMap(_.split(" ")) // count the occurrence of each word val wordCounts = tokenized.map((_, 1)).reduceByKey(_ + _) // filter out words with less than threshold occurrences val filtered = wordCounts.filter(_._2 >= threshold) // count characters val charCounts = filtered.flatMap(_._1.toCharArray).map((_, 1)).reduceByKey(_ + _) System.out.println(charCounts.collect().mkString(", ")) charCounts.saveAsTextFile("world-count-result") }}Spark 使用懒执行的策略，意味着只有当 动作 执行的时候， 转换 才会运行。上面例子中的 动作 操作是 collect 和 saveAsTextFile ，前者是将数据推送给客户端，后者是将数据保存到 HDFS。作为对比， Java 版的程序 如下：javaimport java.util.ArrayList;import java.util.Arrays;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.*;import org.apache.spark.SparkConf;import scala.Tuple2;public class JavaWordCount { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("Spark Count")); final int threshold = Integer.parseInt(args[1]); // split each document into words JavaRDD tokenized = sc.textFile(args[0]).flatMap( new FlatMapFunction() { public Iterable call(String s) { return Arrays.asList(s.split(" ")); } } ); // count the occurrence of each word JavaPairRDD counts = tokenized.mapToPair( new PairFunction() { public Tuple2 call(String s) { return new Tuple2(s, 1); } } ).reduceByKey( new Function2() { public Integer call(Integer i1, Integer i2) { return i1 + i2; } } );另外， Python 版的程序 如下：pythonimport sysfrom pyspark import SparkContextfile="inputfile.txt"count=2if __name__ == "__main__": sc = SparkContext(appName="PythonWordCount") lines = sc.textFile(file, 1) counts = lines.flatMap(lambda x: x.split(" ")) .map(lambda x: (x, 1)) .reduceByKey(lambda a, b: a + b) .filter(lambda (a, b) : b >= count) .flatMap(lambda (a, b): list(a)) .map(lambda x: (x, 1)) .reduceByKey(lambda a, b: a + b) print ",".join(str(t) for t in counts.collect()) sc.stop()编译运行下面命令生成 jar：bash$ mvn package运行成功之后，会在 target 目录生成 sparkwordcount-0.0.1-SNAPSHOT.jar 文件。运行因为项目依赖的 spark 版本是 1.2.0-cdh5.3.0 ，所以下面的命令只能在 CDH 5.3 集群上运行。首先，将测试文件 inputfile.txt 上传到 HDFS 上；bash$ wget https://github.com/javachen/simplesparkapp/blob/master/data/inputfile.txt$ hadoop fs -put inputfile.txt其次，将 sparkwordcount-0.0.1-SNAPSHOT.jar 上传到集群中的一个节点；然后，使用 spark-submit 脚本运行 Scala 版的程序：bash$ spark-submit --class com.cloudera.sparkwordcount.SparkWordCount --master local sparkwordcount-0.0.1-SNAPSHOT.jar inputfile.txt 2或者，运行 Java 版本的程序：bash$ spark-submit --class com.cloudera.sparkwordcount.JavaWordCount --master local sparkwordcount-0.0.1-SNAPSHOT.jar inputfile.txt 2对于 Python 版的程序，运行脚本为：bash$ spark-submit --master local PythonWordCount.py如果，你的集群部署的是 standalone 模式，则你可以替换 master 参数的值为 spark://<master host>:<master port> ，也可以以 Yarn 的模式运行。

几个基本概念： （1）job：包含多个task组成的并行计算，往往由action催生。 （2）stage：job的调度单位。 （3）task：被送到某个executor上的工作单元。 （4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。 一个应用程序由一个driver program和多个job构成。一个job由多个stage组成。一个stage由多个没有shuffle关系的task组成。

我先写了一个kafka的生产者程序，然后写了一个kafka的消费者程序，一切正常。生产者程序生成5条数据，消费者能够读取到5条数据。然后我将kafka的消费者程序替换成使用spark的读取kafka的程序，重复多次发现每次都是读取1号分区的数据，而其余的0号和2号2个分区的数据都没有读到。请哪位大侠出手帮助一下。 我使用了三台虚拟机slave122,slave123,slave124作为kafka集群和zk集群；然后生产者和消费者程序以及spark消费者程序都是在myeclipse上完成。 软件版本为：kafka_2.11-0.10.1.0，spark-streaming-kafka-0-10_2.11-2.1.0，zookeeper-3.4.9 spark消费者程序主要代码如下：Map<String, Object> kafkaParams = new HashMap<>();kafkaParams.put("bootstrap.servers", "slave124:9092,slave122:9092,slave123:9092");kafkaParams.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");kafkaParams.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");kafkaParams.put("group.id", "ssgroup");kafkaParams.put("auto.offset.reset", "earliest"); //update mykafka,"earliest" from the beginning,"latest" from the rear of topickafkaParams.put("enable.auto.commit", "true"); //messages successfully polled by the consumer may not yet have resulted in a Spark output operation, resulting in undefined semanticskafkaParams.put("auto.commit.interval.ms", "5000");// Create a local StreamingContext with two working thread and batch interval of 2 secondSparkConf conf = new SparkConf();//conf被set后，返回新的SparkConf实例，所以多个set必须连续，不能拆开。conf.setMaster("local[1]").setAppName("streaming word count").setJars(new String[]{"D:\Workspaces\MyEclipse 2015\MyFirstHadoop\bin\MyFirstHadoop.jar"});;try{JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(5));Collection<String> topics = new HashSet<>(Arrays.asList("order"));JavaInputDStream<ConsumerRecord<String, String>> oJInputStream = KafkaUtils.createDirectStream(jssc,LocationStrategies.PreferConsistent(),ConsumerStrategies.<String, String>Subscribe(topics, kafkaParams));JavaPairDStream<String, String> pairs = oJInputStream.mapToPair(new PairFunction<ConsumerRecord<String, String>, String, String>() {private static final long serialVersionUID = 1L; @Override public Tuple2<String, String> call(ConsumerRecord<String, String> record) { try {BufferedWriter oBWriter = new BufferedWriter(new FileWriter("D:\Workspaces\MyEclipse 2015\MyFirstHadoop\bin\mysparkstream\MyFirstHadoop.out",true)); String strLog = "^^^^^^^^^^^ " + System.currentTimeMillis() / 1000 + " mapToPair:topic:" + record.topic() + ",key:" + record.key() + ",value:" + record.value() + ",partition id:" + record.partition() + ",offset:" + record.offset() + ". "; System.out.println(strLog); oBWriter.write(strLog); oBWriter.close(); } catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();} return new Tuple2<>(record.key(), record.value()); }});pairs.print();jssc.start(); //start here in factjssc.awaitTermination();jssc.close();}catch(Exception e){// TODO Auto-generated catch blockSystem.out.println("Exception:throw one exception");e.printStackTrace();}

哈哈，我超喜欢Jordin Sparks的歌啊，给你人手翻译，希望你满意 >o< 歌手：Jordin Sparks歌曲：Next To You歌词及翻译:Two o"clock and I wish that I was sleeping2点了，我但愿自己在睡觉You"re in my head like a song on the radio你却在我的脑海里，就像收音机播放的歌曲All I know is I gotta get next to you所有我知道的，就是我需要在你身边Yeah , I gotta get next to you耶，是我需要在你身边Sitting here turning minutes in the hours坐在这里，等分钟转为小时To find the nerve just to call you on the telephone去寻找力量，给你打电话Cause you don"t know that I gotta get next to you因为你并不知道我需要在你身边Maybe we"re friends也许我们是朋友Maybe we"re more也许我们还是...Maybe it"s just my imagination可能这只是我的幻想But I see you stare just a little too long但我看见，你仿佛凝视得有些久了And it makes me start to wonder让我开始奇怪So baby , call me crazy所以宝贝，叫我狂热But I think you feel it too但我想，你也感觉到了Maybe I , Maybe I just gotta get next to you也许我，也许我要在你身边Asked around and I heard that you were talking问周围（的人），我听见你在说话Told my girl that you thought I was out of your league告诉我的女孩，你认为我不在你的圈子里What a fool , I gotta get next to you多么愚蠢，我需要在你身边It"s five in the morning and I can"t go to sleep清晨5点了，而我却不能入睡Cause I wish , yeah , I wish you knew what you mean to me因为我希望，耶，我希望你知道，你想让我怎样Baby , let"s get together and end this mystery宝贝，让我们一起结束这痛苦吧Maybe we"re friends也许我们是朋友Maybe we"re more也许我们还是...Maybe it"s just my imagination可能这只是我的幻想But I see you stare just a little too long但我看见，你仿佛凝视得有些久了And it makes me start to wonder让我开始奇怪So baby , call me crazy所以宝贝，叫我狂热But I think you feel it too但我想，你也感觉到了Maybe I , Maybe I just gotta get next to you也许我，也许我要在你身边Whatcha gotta say你想说什么？Watcha gotta do你想做什么？How you get the one you want你是怎样得到你想要的（东西）？To wanna get next to you想留在你身边Whatcha gotta say你想说什么？Watcha gotta do你想做什么？How you get the one you want你是怎样得到你想要的（东西）？To wanna get next to you想留在你身边Whatcha gotta say你想说什么？Watcha gotta do你想做什么？How you get the one you want你是怎样得到你想要的（东西）？To wanna get next to you想留在你身边Whatcha gotta say你想说什么？Watcha gotta do你想做什么？How you get the one you want你是怎样得到你想要的（东西）？To wanna get next to you , yeah yeah想留在你身边，耶，耶～To wanna get next to you 只想留在你身边Maybe we"re friends也许我们是朋友Maybe we"re more也许我们还是...Maybe it"s just my imagination可能这只是我的幻想But I see you stare just a little too long但我看见，你仿佛凝视得有些久了And it makes me start to wonder让我开始奇怪So baby , call me crazy所以宝贝，叫我狂热But I think you feel it too但我想，你也感觉到了So baby , call me crazy所以宝贝，叫我狂热But I think you feel it too但我想，你也感觉到了Maybe I , Maybe I just gotta get next to you也许我，也许我要在你身边Next to you在你身边I gotta get next to you我需要在你身边

第一节是说Suzy非常地优秀而漂亮，人们像企鹅一样拍打着翅膀、排着队来争先恐后地吻她的脚。第二节是说Suzy倚着男主人公（他）看着电视，此时的Suzy情绪很低落。然而Suzy的目光总能为他燃起爱情的火花。他希望能够与Suzy敞开心扉、好好谈一下。第三节是讲Alice寻找上帝的热情，在他们看来实在是太疯狂了。第四节重复第二节。第五节：这一节也是讲双方的感情。现在我虽不是Jackanory（著名演员），但是我知道现在更需要你了。这一节末尾说他们实际上需要Alice爱丽丝那样的热情。最后一节：你依靠着我，感觉这个时候，双方需要好好谈一下，让彼此的世界充满活力的意思。

我个人觉得还是要联系上下文才能得到答案

有一个男孩……一个会魔法的奇怪男孩。他们说他远远地游荡着，游荡着穿越陆地与海洋，有一点羞涩，眼里蕴着忧伤但他非常聪慧。后来有一天，一个神奇的一天，他经过我门前。我们谈了许多事，国王和愚者，他对我说，“你一生中最棒的事情，就是爱与被爱。”

Soda water and sparkling water contain the same ingredients - water mixed with sodium bicarbonate (碳酸氢钠); however,soda water"s sodium bicarbonate is artificially added,whereas sparkling water naturally contains sodium bicarbonate." Since is artificially added,we call it soda water.The Chinese characters "苏打" (pronounced like su-da) is actually derived from the English word "soda".Soda water和sparkling water包含相同的原料——水与碳酸氢钠混合;然而,soda water是人工添加碳酸氢钠,而sparkling water本身自己含有碳酸氢钠.“既然是人为地添加的,我们称之为苏打水.汉字“苏打”(发音如su-da)实际上是来自于英语单词“SODA”.

《Sparkling Cyanide》（Christie, Agatha; Bailey, Robin;）电子书网盘下载免费在线阅读资源链接：链接：https://pan.baidu.com/s/1lKLRtvM-mvi2AEEkzAgOkw 提取码：ejki书名：Sparkling Cyanide作者：Christie, Agatha; Bailey, Robin;出版社：Audiogo页数：0

　　Sparkling Kiss　　歌：安藤美雷（CV:野水伊织）　　　作词：稲叶エミ　　　作u30fb编曲：eba　　ほっぺにおでこにふわっふわのキス　　“好き”の意味はないかな？　　でもなんだか気持ちいいキス　　マシュマロ　チョコレート　アイスクリーム　　おやつの时间は妥协しない　　いたって普通の女の子なのです　　だけど强い子でいたいし　　キミの特别な子になりたい　　手足バタバタあがいてる　　ときどきおかしな子です　　そっけないキミ　　ホントは好きで　　照れ隠しで　　イジワルしてる…？　なんてね！　　100万回　キスしてね　　100％　受け取るよ　　顽张って褒められたい　　100点満点じゃなくても　　“花丸”くらいくれるかな　　“よくできました”でもいいよ　　キミが喜ぶ颜见れたら　　嬉しくて叫んじゃうよ！　　テレビ　コミック　ファッションマガジン　　好きなものいっぱい囲まれたい　　ちょっとわがままな女の子なのです　　たまには頼られたいしね　　キミのピンチには駆けつけたい　　ぬいぐるみ抱いて寝るくせに　　なんて言わないでお愿い！　　もっとかまって　　アピってもスルー　　きまぐれに　　急接近するの、ズルイよ　　あたまPoPon！ってされるとね　　おでこChuChu!ってされるとね　　なんだってやれるかも　　不思议なパワーあふれ出すよ　　はりきってはみ出しちゃっても　　赤ペンで否定しないでね　　褒めて伸びるタイプなのです　　あたしすごいんだから！　　100万回　キスしてね　　100％　受け取るよ　　顽张って褒められたい　　100点満点じゃなくても　　“花丸”くらいくれるかな　　“よくできました”でもいいよ　　キミが喜ぶ颜见れたら　　嬉しくて　キュンキュン!!　　Sparkling!!　　あたまPoPon！ってされるとね　　おでこChuChu!ってされるとね　　なんだってやれるかも　　あたしは、そう、すごいんだから!!

歌曲名:Sparkling Water歌手:polysics专辑:Weeeeeeeeee!!!Sparkling WaterPOLYSICS作词：Hayashi作曲：Hayashi音が鸣る 刺激的 発泡水 Singing!ヘイヘイ见た目 まだまだヘイヘイキラリ 透き通って喉が鸣る 魅力的 発泡水 Singing!ヘイヘイ见た目 まだまだヘイヘイキラリ 透き通ってヘイヘイ今日は そういえばヘイヘイかなり 润っているSparkling Water 饮みましょうSparkling Water 个性ないのが新しいな音が鸣る 神秘的 発泡水 Singing!ヘイヘイ见た目 まだまだヘイヘイキラリ 透き通ってヘイヘイ今日は そういえばヘイヘイかなり 润っているSparkling Water 饮みましょうSparkling Water 个性ないのが新しいなシュシュワ シュシュワしめ忘れて 逃げられてしょうがない しかたない 気にしないって 言う の に 今日 もSparkling Water 饮みましょうSparkling Water 个性ないのが新しいなシュシュワ シュシュワ音がなるhttp://music.baidu.com/song/53432830