kettle

保持冷静，把壶放上。 没有上下文吗？

KeepCalmandPutTheKettleon保持冷静，放上水壶这是网上直译算我抛砖引玉吧或许就是一句英文的典故、谚语。

请问这个问题有没有解决？求解决方案，kettle直接把tinyint当成boolean解析了，我现在做一个数据库迁移的ETL，表示碰到了这个tinyint类型好蛋疼

如果是转换的ktr文件被删除了就没办法恢复了(win系统可以去回收站看一下)，如果ktr文件没被删除，可以在job中新建个转换，选择你要的ktr文件就可以了。

计划任务设置后，在属性-触发器-编辑中可以设置5分钟执行一次bat文件可以包成vbs文件，执行时就不弹窗了，具体方法百度

可以做3个批处理 同时运行着3个批处理 我之前就这样做过。

result.getrows不是获取trans流程里面‘流动"的数据的。trans里面有个‘复制记录到结果"插件，输出到里面的数据，通过result.getrows就能获取。java中获取结果集ResutSet的总条数，可以直接使用其提供的getRow方法来取得，实例如下：

存在数据库中，在表中存的，可以去资源库下看，R_开头的一堆表里

在文本文件输出的文件名称处输入${Internal.Entry.Current.Directory}/b亲测可行，谢谢采纳

kettle报错无效的 ROWID，很可能是因为同时执行的转换都操作一个表引起的。 其实下面也有其他信息："转换被检测"、"转换正在杀死其他步骤!"。

kettle中的Unzip控件怎么解压缩包含中文的文件高版本你可以试试能不能解决，否则的话只有写一段JAVA代码，然后嵌入kettle运行

the pot calls the kettle black.五十步笑百步家用器皿pot (for cooking)和kettle (for boiling water)都是经常在炉子上烤的,时间长了,它们的底部都会变黑.这个俗语的字面意思就是,pot嘲笑kettle黑,完全等同于中文里经常听到的那句“乌鸦站在猪身上,别说别人黑”.对此,英文的解释是“Since the pot and the kettle are equally black from the cooking fire, the pot has no right to criticize the kettle”.在含义上,也可以相当于另一个中文俗语“五十步笑百步”,用来描述那些指责别人犯错、而自己也犯着同样错误的人.还有一个问题需要说明,按照这个句子的形式,“calling the kettle black”是“pot”的同位语,严格的翻译应该是“说壶黑的锅”.但语言学习的惯例是：语言从语法,语法从习惯.如果不特指某人是这个“the pot calling the kettle black”,作为独立的句子使用也是可以的.例句：A: "I"m tired of your always wearing my clothing!"B: "Aren"t you the pot calling the kettle black? You"re wearing my pants right now!"A：我讨厌你老穿我的衣服.B：你不是在犯同样的错误?你穿着我的裤子!

锅说壶黑 不就是五十步笑百步么

pitcher [u02c8pitu0283u0259]n.大水罐teapot [u02c8ti:pu0254t]n.茶壶kettle [u02c8ketl]n.(烧水用的)壶

你好！put the kettle on把水壶放在

保持冷静，继续前进。put the kettle on把水壶放上去；去烧开水似乎有“用怒火来烧开水”之意，也有些“要蛋定”的意味（其他网友说的哈）

这个谚语还有另一个说法：keep calm and carry on.其实这是一个爱尔兰的谚语,爱尔兰人常说 I will put the kettle on.基本意思的确是劝人淡定的. 爱尔兰人和英国人一样,也很爱喝茶,习惯用kettle（茶壶）煮水煲茶.在日常生活中遇到问题时,耐心坐下来,沏一壶好茶,让人暂时放下心中的烦恼,享受一下片刻的宁静,心情放松后,才能更好地有助思考,解决问题.正所谓品茗一盏,所有问题都迎刃而解.这即是一句劝慰人的话,也是一种生活的态度.

这个谚语还有另一个说法：keep calm and carry on。其实这是一个爱尔兰的谚语，爱尔兰人常说I will put the kettle on。基本意思的确是劝人淡定的。 爱尔兰人和英国人一样，也很爱喝茶，习惯用kettle（茶壶）煮水煲茶。在日常生活中遇到问题时，耐心坐下来，沏一壶好茶，让人暂时放下心中的烦恼，享受一下片刻的宁静，心情放松后，才能更好地有助思考，解决问题。正所谓品茗一盏，所有问题都迎刃而解。这即是一句劝慰人的话，也是一种生活的态度。

这个谚语还有另一个说法：keep calm and carry on.其实这是一个爱尔兰的谚语,爱尔兰人常说 I will put the kettle on.基本意思的确是劝人淡定的. 爱尔兰人和英国人一样,也很爱喝茶,习惯用kettle（茶壶）煮水煲茶.在日常生活中遇到问题时,耐心坐下来,沏一壶好茶,让人暂时放下心中的烦恼,享受一下片刻的宁静,心情放松后,才能更好地有助思考,解决问题.正所谓品茗一盏,所有问题都迎刃而解.这即是一句劝慰人的话,也是一种生活的态度.

试试加一个字段装换，类型为binary，然后插入BLOB目标字段

4.2版本刚刚实测，A进B表，B表进C表的过程。与预期不符，C表进入的数据没有包含B表的数据。认为存在缺陷或隐患。建议保持在3~4步左右最好，多个步骤分多个transformation按照顺序执行。

我用的是kettle5.1.0打开kettle新建一个转换，在DB连接中按下图配置信息点击测试完成测试，然后你想干嘛就干嘛了ps：如果这种方式不行（驱动版本不一致），你就把驱动包复制到kettle目录下的lib文件夹下，然后在连接信息中选Generic database进行连接就行

　　由于第一次碰linux，对其不是很了解，导致这个问题困扰了我近一个月的时间，现在终于解决了，分享给大家。 首先，安装jre，配置java环境变量 (一) 下载jre-6u23-linux-x64.bin　　下载地址：http://cds-esd.sun.com/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin?AuthParam=1292401739_2abc6c61c57eec5b100fe647086d1f33&TicketId=CJ0nhpzNkjGGwpbkW40LAgA=&GroupName=CDS&FilePath=/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin&File=jre-6u23-linux-x64.bin　　(二) 安装jre-6u23-linux-x64.bin　　将jre-6u23-linux-x64.bin上传到linux服务器　　1. 在终端上，键入：su　　2. 输入超级用户口令。　　3. 切换到所需的安装目录。类型：cd <</strong>目录路径名>例如，要在 /usr/java/ 目录中安装软件，请键入：cd /usr/java/关于超级用户访问权限的说明：要将 JRE 安装在系统级位置（例如 /usr/local），必须以超级用户身份登录，从而获得必要的权限。如果您不具有超级用户访问权限，请将 JRE 安装在您的主目录中，或者安装在您具有写入权限的子目录中。　　4. 将您下载的文件的权限更改为可执行。类型：chmod a+x jre-6u23-linux-x64.bin　　5. 启动安装过程。键入：./ jre-6u23-linux-x64.bin此时将显示二进制许可协议。通读许可协议。按空格键显示下一页。读完许可协议后，输入 yes 继续安装（此步骤可能直接跳过）。　　7. JRE 安装在其自身的目录中。在本例中，它将安装在 /usr/java/ jre1.6.0_23目录中。当安装完成时，您将看到Done（完成）字样。　　(三) 配置java环境变量　　1. 命令行键入“cd /etc”进入etc目录　　2. 命令行键入“vi profile”打开profile文件　　3. 敲击键盘ctrl+F到文件末尾　　4. 在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件　　JAVA_HOME=/usr/java/jre1.6.0_23　　PATH=$JAVA_HOME/bin:$PATH　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar　　export JAVA_HOME　　export PATH　　export CLASSPATH　　5. 键盘敲击exc，命令行键入“:wq”，保存文件； 6. 重新登录linux，在命令行键入“java”，如果出现帮助信息则表示配置成功。然后，部署kettle 1. 将pdi-ce-4.1.0-stable.zip上传到linux服务器　　2. 使用unzip命令解压pdi-ce-4.1.0-stable.zipunzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle"　　3. 赋予解压目录下.sh文件的执行权力　　chmod +x *.sh　　4. 进入解压目录，键入“./kitchen.sh”回车，如果有帮助信息则表示kettle环境部署成功※（重点）接着，编写执行kettle任务的shell脚本创建test.sh，将以下内容复制粘贴到里面，然后键入“chmod +x /mnt/kettle/*.sh”，赋予test.sh执行权限。　　export JAVA_HOME=/usr/java/jre1.6.0_23export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar/mnt/kettle/data-integration/kitchen.sh -file=/mnt/kettle/test.kjb > /mnt/kettle/display.txt说明：前3行，设置java环境变量的语句必不可少，因为crond是个守护进程，它不归属于任何用户，虽然之前以root身份配置了java的环境变量，但是crond一样找不到java命令，所以，当crond执行kettle任务时，需要动态设置java环境变量，crond才能找到java命令。最后，使用crontab命令添加定时任务 1.在终端上，键入“crontab -e”，进入定时任务文件 2.键入“a”，对文件进行编辑 输入如下内容： 　　23 11 10 02 * /mnt/kettle/test.sh　　其中 23为分钟，11为小时，10为日，02为月，*为星期几，crontab命令的使用这里不再赘述。 3.键盘敲击exc，终端键入“:wq”，保存文件 4.重启crond服务 键入“cd /etc/init.d”，进入该目录 键入“./crond restart”，重启crond服务 5.等待执行结果 6.执行成功，oh..nice!

由于第一次碰linux，对其不是很了解，导致这个问题困扰了我近一个月的时间，现在终于解决了，分享给大家。首先，安装jre，配置java环境变量(一)下载jre-6u23-linux-x64.bin　　下载地址：/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin?AuthParam=1292401739_2abc6c61c57eec5b100fe647086d1f33&TicketId=CJ0nhpzNkjGGwpbkW40LAgA=&GroupName=CDS&FilePath=/ESD6/JSCDL/jdk/6u23-b05/jre-6u23-linux-x64.bin&File=jre-6u23-linux-x64.bin　　(二)安装jre-6u23-linux-x64.bin　　将jre-6u23-linux-x64.bin上传到linux服务器　　1.在终端上，键入：su　　2.输入超级用户口令。　　3.切换到所需的安装目录。类型：cd例如，要在/usr/java/目录中安装软件，请键入：cd/usr/java/关于超级用户访问权限的说明：要将JRE安装在系统级位置（例如/usr/local），必须以超级用户身份登录，从而获得必要的权限。如果您不具有超级用户访问权限，请将JRE安装在您的主目录中，或者安装在您具有写入权限的子目录中。　　4.将您下载的文件的权限更改为可执行。类型：chmoda+xjre-6u23-linux-x64.bin　　5.启动安装过程。键入：./jre-6u23-linux-x64.bin此时将显示二进制许可协议。通读许可协议。按空格键显示下一页。读完许可协议后，输入yes继续安装（此步骤可能直接跳过）。　　7.JRE安装在其自身的目录中。在本例中，它将安装在/usr/java/jre1.6.0_23目录中。当安装完成时，您将看到Done（完成）字样。　　(三)配置java环境变量　　1.命令行键入“cd/etc”进入etc目录　　2.命令行键入“viprofile”打开profile文件　　3.敲击键盘ctrl+F到文件末尾　　4.在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件　　JAVA_HOME=/usr/java/jre1.6.0_23　　PATH=$JAVA_HOME/bin:$PATH　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar　　exportJAVA_HOME　　exportPATH　　exportCLASSPATH　　5.键盘敲击exc，命令行键入“:wq”，保存文件；6.重新登录linux，在命令行键入“java”，如果出现帮助信息则表示配置成功。然后，部署kettle1.将pdi-ce-4.1.0-stable.zip上传到linux服务器　　2.使用unzip命令解压pdi-ce-4.1.0-stable.zipunzippdi-ce-4.1.0-stable.zip-d"/mnt/kettle"　　3.赋予解压目录下.sh文件的执行权力　　chmod+x*.sh　　4.进入解压目录，键入“./kitchen.sh”回车，如果有帮助信息则表示kettle环境部署成功※（重点）接着，编写执行kettle任务的shell脚本创建test.sh，将以下内容复制粘贴到里面，然后键入“chmod+x/mnt/kettle/*.sh”，赋予test.sh执行权限。　　exportJAVA_HOME=/usr/java/jre1.6.0_23exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar/mnt/kettle/data-integration/kitchen.sh-file=/mnt/kettle/test.kjb>/mnt/kettle/display.txt说明：前3行，设置java环境变量的语句必不可少，因为crond是个守护进程，它不归属于任何用户，虽然之前以root身份配置了java的环境变量，但是crond一样找不到java命令，所以，当crond执行kettle任务时，需要动态设置java环境变量，crond才能找到java命令。最后，使用crontab命令添加定时任务1.在终端上，键入“crontab-e”，进入定时任务文件2.键入“a”，对文件进行编辑输入如下内容：　　23111002*/mnt/kettle/test.sh　　其中23为分钟，11为小时，10为日，02为月，*为星期几，crontab命令的使用这里不再赘述。3.键盘敲击exc，终端键入“:wq”，保存文件4.重启crond服务键入“cd/etc/init.d”，进入该目录键入“./crondrestart”，重启crond服务5.等待执行结果6.执行成功，oh..nice!

空指针异常？ 是你的程序里 还是在连接数据库的时候？

firebird比支持跨数据库操作的：如果你只是要a库中的小部分数据的话可以用客户端工具导出脚本，然后在导入b库；如果你的b库是空库的话，可以直接复制数据文件，然后改个名字就可以了；firebird整天的性能还是可以的，就是可视化的客户端工具太少了，如果你有兴趣可以使用命令行工具gbak,nbakup工具都可以把数据备份出来。

boiling是沸腾的意思可以将kettle换成water，这里的kettle意思即为waterinthekettle(壶里的水)，因为kettle本身一般不会沸腾的。

kettle是水壶的意思，teapot是茶壶的意思，cupboard是橱窗的意思，boiling是沸腾的意思（正在沸腾的哦，而boiled则是已经沸腾了的意思！）

使用kettle导出文件时我们不免会因为当前使用的kettle版本过低的原因，导致数据量较大的文件导出时报错，此下，解决方法1为升级kettle版本，若无升级的必要时可采用方法2，方法2如下图所示 本人测试结果：源表数据依次被加载到以下几张表格中，且导出的数据与源表数据完全相同，不存在多出和少入的情况

因为kettle7.0是基于jdk1.8的，所以你用1.7的时候会报错，你可以运行SpoonDebug.bat，把完整的报错输出出来。然后1.8 已经不支持MaxPermSize，所以你要在Spoon.bat中把XX:MaxPermSize修改为MaxMetaspaceSize。

kettle作业在运行一段时间后会报错，原因是mysql会默认每8小时回收一次无用连接。 错误日志如下： 然后你的作业就失败了，必须重新启动kettle才能解决。 经过多次排查，最终解决。 加上 autoReconnect=true 参数 虽然能解决8小时mysql自动丢弃无用连接的问题，但是不能解决mysql宕机后的自动重连。 修改方式，自行百度 例如wait_timeout是8小时，只需把调度周期设为<8小时即可 在kettle5.4测试不通过，在kettle7测试通过。 配置数据源连接时，采用连接池，配置如下 关于连接池参数，kettle使用的是apache dbcp connetions pool. 修改方式，自行百度

编译源码 将项目加载到eclipse 将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致 项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉

1.单数据源输入，直接用sql做连接2.多数据源输入，（可能是文本或是两个以上源数据库），用databasejoin操作.3.三个表以上的多字段输出.2.Kettle的数据库连接模式Kettle的数据库连接是一个步骤里面控制一个单数据库连接，所以kettle的连接有数据库连接池，你可以在指定的数据库连接里面指定一开始连接池里面放多少个数据库连接，在创建数据库连接的时候就有Pooling选项卡，里面可以指定最大连接数和初始连接数，这可以一定程度上提高速度.

kettle是按照数据流进行执行的，如果数据流错误，正常就会终止执行，但是如果在输出步骤发生错误，可以定义错误处理（输出控件-右键选择），将错误数据进行输出

在a库上建立一个指向b库的dblink，再用kettle连接到A库，或者在b库上建一个指向A库的dblink用kettle连接到B库

启动kettle，点击文件/新建/转换 点击保存，命名为demo1 选择【主对象树】，右键点击【DB连接】，点击【新建】 填写数据源链接相关参数，链接数据源 选择【核心对象】，选择【输入】，选择【表输入】，拖入设计器中 双击设计器中的【表输入】，打开属性设页面,在SQL编辑器中输入SQL脚本，例如 选择【核心对象】，选择【流程】，选择【过滤记录】，拖入设计器中，【表输入】链接【过滤记录】 双击【过滤记录】，打开编辑器 设置过滤条件 选择【核心对象】，选择【应用】，选择【写日志】，拖入设计器中 链接【过滤记录】 点击运行，将过滤结果打印出 至此，过滤记录完成

1.Kettle无法启动解决方法：估计是jdk环境变量没配置好，百度、qq找了很多地方，都不行，终于在一个博客里发现了解决方法：只要修改一下spoon.bat里内存配置：if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms2058m" "-Xmx1024m" "-XX:MaxPermSize=256m"改为if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"修改之后保存，重新启动spoon.bat，奇迹出现了，Kettle真的启动成功了！2.Kettle无法启动原因分析：在QQ群里，有大神问：是否电脑硬件配置太低了？我：我的可是华硕i5CPU，4G大内存啊好不？大神：人家玩Kettle的都3位数内存哦，我：(⊙﹏⊙)b。。。百度一下，还真是如此，理论上主要有两种原因：1) 参数中-Xms的值大于-Xmx，或者-XX:PermSize的值大于-XX:MaxPermSize；2) -Xmx的值和-XX:MaxPermSize的总和超过了JVM内存的最大限制，比如当前操作系统最大内存限制，或者实际的物理内存等等。看起来，是由于本机内存被占用过多，而JVM参数设置过大，导致JVM无法启动，故spoon.bat运行后，Kettle无法启动啊，额，玩大数据分析还得要银子换电脑吗？3.JVM（java虚拟机）相关概念在排查kettle问题时，用到了几个概念，都贴在这里吧。1)堆(Heap)和非堆(Non-heap)内存JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开发人员使用的；非堆就是JVM留给自己用的，2)JVM的几个参数：-Xms2058mJVM初始分配的堆内存-Xmx1024mJVM最大允许分配的堆内存，按需分配-XX:PermSize=128MJVM初始分配的非堆内存-XX:MaxPermSize=256MJVM最大允许分配的非堆内存，按需分配3)Xms Xmx PermSize MaxPermSize 区别

kettle变量类型 kettle变量分为: 1.环境变量 通过set variables组件设置变量,范围可以是:JVM变量、作业变量、父作业变量、根作业变量。

：(二)安装jre-6u23-linux-x64.bin将jre-6u23-linux-x64.bin上传到linux服务器1.在终端上，键入：su2.输入超级用户口令。3.切换到所需的安装目录。类型：cd例如，要在/usr/java/目录中安装软件，请键入：

ERROR: No repository provided, can"t load job. ERROR: Kitchen can"t continue because the job couldn"t be loaded.这两句说明了你没有repository资源库，或者是连不上

那要看报的什么错才行啊

　　是可以的，之前子健老师的课程里面有提到。但是我个人推荐的是使用Python，直接使用Python去请求api.然后解析XML文件，毕竟快速解析还是重要的业务实现。

下载pdi-ce-4.4.0-stable.zip，解压到文件夹，打开data-integration中的Spoon.bat2出现欢迎界面后来到Repository Connection窗口，选择建立一个新的repository，随后出现“资源库信息”窗口：在“资源库信息”窗口中选择新建一个数据库连接，弹出“Database Connection”窗口：在其中输入Connection Name, Host Name, Database Name, Port Number, User Name,Password信息即可建立连接，完成之后在Repository Connection窗口以admin用户名登陆。新建一个名为cscgTransTest的Transformation，从“核心对象”中将两个“表输入”和一个“插入/更新”拖入到cscgTransTest中，并建立它们之间的连接，如下图所示：在cscgTransTest中建立一个新的数据库连接ttt，通过表输入“max_createtime”从目标数据库ttt中获取某个表中最新数据的建立时间：SELECT max(trunc(createtime)) FROMumdata.toeventmedia在cscgTransTest中建立一个新的数据库连接testdb，以表输入“max_createtime”的查询结果替代表输入“umdata.toeventmedia”中的变量，执行SQL语句从数据库testdb中获取需要插入或者更新到ttt数据库的数据SELECT * FROMumdata.toeventmedia where trunc(createtime) >= trunc(?)在“插入/更新”中选择“数据库连接”、“目标模式”、“目标表”等信息，“用来查询的关键字”中的字段用来查询某条记录是否在目标表中存在，不存在则插入记录；如果存在，则继续比较其他字段是否与流里的字段值相同，如果相同则不执行任何操作，如果不同则更新“更新字段”中所列字段。“用来查询的关键字”所列字段是该表的primarykey，从而可以唯一标识一条记录。分别为每一个表建立一个如上模式的转换步骤。新建一个名为“cscgJobTest”的Job，在核心对象中将“START”和“Transformation”拖入cscgJobTest中，并建立两者之间的连接。选中START中的“重复执行”，类型为“不需要定时”；在Transformation中将转换名设置为之前建立的“cscgTransTest”.点击“Run this Job”运行。Job和Transformation的执行结果如如下：

1、自带的start组件定时执行2、使用Kitchen或者Pan命令行执行具体可以参考我的博客网页链接互相学习！

需求：通过kettle操作clickhouse 背景：kettle官方不支持clickhouse的驱动 版本： clickhouse 20.8.7.15 kettle 8.1 实现步骤： windows上环境： 1、将以下包放入   xxxdata-integrationlibswtwin64 2、在kettle的plugins文件夹下创建clickhouse-plugins 3、将以下包文件放入上面创建的clickhouse-plugins目录下 4、重启kettle 5、kettle中操作以上方案在kettle中插入日期数据到clickhouse会报异常，处理方式如下 1、删除第一步中放入到win64下面的所有jar包 2、将下面包放入到kettle的lib下，重启即可ps:由于平台上不能上传相关jar包，以上包有需要的可以联系我。 参考文章： https://blog.csdn.net/aaa8210/article/details/110632472

前言 近几天组内交给我一个任务，就是研究kettle的restful接口的调用。可是之前学习和接触的大部分都是数仓、BI以及一部分简单程序、脚本的编写，所以对restful接口不是很了解（但只是用工具调用的话，不需要太深的了解，只需要知道这是一种可以调用的API接口，实现某种功能就行了），所以在网上查找了很多资料，但其实对于调用来说，只需要知道在我们在调用这个接口时，需要哪些参数，应该怎样传入就可以了。感觉上好像很简单，但其实里面有很多坑，接下来我们就开始吧 正文 1、首先，我们要知道我们需要调用的接口的URI，简单理解就是你要调用的资源的地址，就像门派号一样，用到什么命令，传递什么参数。一般而言，需要让你进行调用，都会把这部分内容列出来，比如： 在这个API中，可以看到具体的信息，①是操作行为，②是传递的body，③是请求头，在此就不多说了，该部分内容大家可以自行查阅资料，对这些内容我可能比大家还不清楚。知道我要调用的API之后，就可以通过kettle设计转换流程了。 一、生成记录 因为只是一个测试，所以我直接通过生成记录组件生成了我所需要的内容，ps:这里不仅仅可以配置单条记录，其实多条同样请求的记录同样会分别请求。 url是将要post的资源，post后得到关于token的response，然后再利用token进行其余的请求。 body是post的函数体，post时，有的需要带body才能通过。 url2是真正要进行调用的API，都在生成记录里预生成了。 二、REST Client配置 三、JSON Input 利用JSON Input接收由REST Client获取的结果，只保留token的值。此处JSON路径如何设置不多赘述，请读者自行查阅JSON路径的配置。 对于JSON Input 3中获取Cookie是为了调用真正的API做准备。如果没有带Cookie，后续的调用就无法确定是否进行了登录。在一个网页中，我们先进行登录，然后继续后续操作，后续每次操作都不需要再次登录，是因为我们将服务器传给我们的session存入了客户端/浏览器的cookie中，每次我们做请求，都会带上cookie，就不需要重复登录了。但是此处如果不获取cookie，因为是分离开的，所以后一步就会出现会话无效的错误。如下图所示： 四、记录集连接 因为cookie和token在不同的表中，所以需要将两张表join起来，join的操作大家应该都很熟悉了。如果不清楚，后续可以留言我给大家进行补充。最后留下我们需要的几个参数，URL2、token、cookie 五、调用API 以上就是全部内容，如果有什么疑问或者有什么疏漏，欢迎大家指正。

java调用kettle数据库类型资源库中的ktr此问题在1个月前或许已经接触，单是一直木有怎么用到，就被耽搁至今；问题的解决要来源于网络，其实我还想说问题的解决更多的是要靠我们自己的思想，不过多的言情，我们接下来直接进入主题吧！环境：kettle-spoon 4.2.0,oracle11g，myeclipse6.5，sqlserver2008前提：在kettle图形界面spoon里面已经做好了一个ktr转换模型，此时我的ktr信息如下图：Step1：在myeclipse创建project，导入kettle集成所需要的包Step2:重点解析与code源码//定义ktr名字private static String transName = "test1";//初始化kettle环境KettleEnvironment.init();//创建资源库对象，此时的对象还是一个空对象KettleDatabaseRepository repository = new KettleDatabaseRepository();//创建资源库数据库对象，类似我们在spoon里面创建资源库DatabaseMeta dataMeta = new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password"); //资源库元对象,名称参数，id参数，描述等可以随便定义KettleDatabaseRepositoryMeta kettleDatabaseMeta = new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);//给资源库赋值repository.init(kettleDatabaseMeta);//连接资源库repository.connect("admin","admin");//根据变量查找到模型所在的目录对象RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");//创建ktr元对象TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;//创建ktrTrans trans = new Trans(transformationMeta);//执行ktrtrans.execute(null);//等待执行完毕trans.waitUntilFinished();上面的两个步骤才可以确定是资源库中的那个路径下的ktr和我们用命令执行一样的-dir ,-tran -job附上源码：package kettle;import org.pentaho.di.core.KettleEnvironment;import org.pentaho.di.core.database.DatabaseMeta;import org.pentaho.di.core.exception.KettleException;import org.pentaho.di.repository.Repository;import org.pentaho.di.repository.RepositoryDirectoryInterface;import org.pentaho.di.repository.kdr.KettleDatabaseRepository;import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;import org.pentaho.di.trans.Trans;import org.pentaho.di.trans.TransMeta;/** * <p>Title: java调用kettle4.2数据库型资料库中的转换</p> * <p>Description: </p> * <p>Copyright: Copyright () 2012</p> */public class ExecuteDataBaseRepTran {private static String transName = "test1"; public static void main(String[] args) { try { //初始化kettle环境 KettleEnvironment.init(); //创建资源库对象，此时的对象还是一个空对象 KettleDatabaseRepository repository = new KettleDatabaseRepository(); //创建资源库数据库对象，类似我们在spoon里面创建资源库 DatabaseMeta dataMeta = new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password"); //资源库元对象,名称参数，id参数，描述等可以随便定义 KettleDatabaseRepositoryMeta kettleDatabaseMeta = new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta); //给资源库赋值 repository.init(kettleDatabaseMeta); //连接资源库 repository.connect("admin","admin"); //根据变量查找到模型所在的目录对象,此步骤很重要。 RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj"); //创建ktr元对象 TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ; //创建ktr Trans trans = new Trans(transformationMeta); //执行ktr trans.execute(null); //等待执行完毕 trans.waitUntilFinished(); if(trans.getErrors()>0) { System.err.println("Transformation run Failure!"); } else { System.out.println("Transformation run successfully!"); } } catch (KettleException e) { e.printStackTrace(); } }}

kettle提取postgresql数据步骤如下 1 遍历区域和像素 其中xingzheng是行政区域数据表，thematic是专题像素分类表 2 影像分割 通过查询某个区域和影像的交，达到影像分割的目的， 查询区域gid=24，波段为1，像素值为4的像素个数的sql语句为： 其中函数ST_Intersects查询两个几何的交集，示例如下 3 栅格统计与数据提取 通过提取函数ST_ValueCount，查询分割后的栅格、指定波段和像素的像素总个数，并乘以单个像元值大小，实现数据面积提取。 其中28.15132773 * 28.15132773为单个像元值面积大小，具体使用albers投影（双标准纬线投影）计算得出，0.000001单位换算成平方公里。 区域gid和像素类型作为输入，实现影像分割和栅格面积统计，完整的sql如下： 4 kettle数据提取转换 kettle数据提取转换过程如下： kettle遍历区域和像素，如kettle数据转换图所示“表输入2”，sql见步骤1； kettle影像分割和栅格统计，如kettle数据转换图所示“表输入”，sql见步骤3； 将提取出的数据保存到文件中。

你是不是吧kettle装在了桌面上呢？一般来说data-integration在你安装目录下例如我的是D:kettledata-integration

可以，将create table语句写好，放在kettle的执行sql脚本组件中，执行时会建表。

点击菜单栏的帮助-关于然后就会弹出版本信息，也就是你打开kettle的时候的等待界面，如下图所示的Version就是版本。

1首先要了解支持hadoop的Kettle版本情况，由于kettle资料网上较少，所以最好去官网找,官网的url:/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version下图为链接打开的页面的中间部分：determinethepropershimforhadoopDistroandversion大概意思是为hadoop版本选择合适的套件。表格上面的一行：apache、cloudera、hortonworks、intel、mapr指的是发行方。点击他们来选择你想连接的hadoop的发行方。上图以apachehadoop为例：Version指版hadoop版本号，shim指kettle提供给该hadoop套件的名称，Download里面的includedin5.0,5.1指kettle的5.0、5.1版本安装包里面已经有内置的插件，一句话来讲就是kettle5.1及5.0版本已有插件提供支持apachehadoop版本0.20.x。不需要额外下载。NS是不支持的意思图片下面也有解释。

大家好，我是帅气小伙，由于最近公司项目辗转大数据，需要做数据抽取的工作，kettle是目前比较成熟的ETL工具，而传统的kettle客户端在任务调度这方面没有实现，于是在网上寻找开源的kettle调度项目。 kettle-manager 专门为kettle这款优秀的ETL工具开发的web端管理工具。貌似源码跑起来比较费劲，各种缺包，于是我为大家专门整理了一下这个项目。全maven管理的 https://github.com/konglinghai123/kettle 如果想学习kettle的可以用我的github项目运行，毕竟我在群里天天发现都有人因为无法运行项目而提问。 kettle的集成 由于kettle-manager是一个完整的web项目，功能也比较多，但是实际应用中，只需用到几个关键的点，就能够实现kettle的web调度。因此我们需要把kettle的调度从项目中分离出来，这样才能够更好地集成到自己的项目中去。于是我觉得将它抽出来，基于spring-boot，具体的业务也分离出来，kettle作为一个组件。 renren-kettle 项目说明 项目实现功能 项目结构 实时websocket的接入例子 部署指南 如需加入项目，请邮件 823894716@qq.com

功能1：把一个CSV格式的转化成XLS格式的Excel文件 1、 打开Spoon.bat，点击文件--》新建--》转换 2、里面包含2块，一块是主对象树，一块是核心对象 3、核心对象里面有输入选择“CSV文件输入”，拖拽到右边工作区域，同样的方式选择输出 “Excel输出” 4、双击“CSV文件输入”打开，选择你的csv文件，点击获取字段 5、双击“EXcel输出”打开，选择你要输出的xls文件名 6、选择CSV文件输入，按着Shift键，鼠标左键向右拉出箭头连接右边的Excel输入，选择“主输出步骤” 7、点击左上方三角，运行，弹窗执行转换，点击下面的启动按钮即可出现下面的输出信息 8、打开文件件看到你的输入，输出的文件，还有一个ktr的，就是你当前的转换程序文件 打开输出的XLS文件： 在对比一下输入的CSV文件： 发现问题：数字格式的输出都是小数 这是什么原因呢？？？ 问题出在这里： 文件格式没指定： 指定后： 运行一下：完美解决

如果你想问Kettle安装在哪里的话，可以点击kettle右键属性里看到，或者我的电脑里搜索spoon,pan,kitchen等关键字我的路径D:kettledata-integrationSpoon.bat

增量同步的方式有很多种，我使用的是: 快照表 + 触发器 需求： 当主库库表发生增删改时，从库库表与主库库表数据保持一致。 环境： 1、Mysql 2、kettle 7.1 思路： 1、在主库中，将需要同步的库表新建快照表，表结构一致。 2、在主库中，分别新增库表的增、删、改的触发器。 2、新建一个转换，该转换只针对一张表的增删改。 3、新建‘表输入"控件，查询主库的快照表 4、新建‘插入/更新"控件，插入数据到从库的库表，查询的关键字要求唯一。 5、新建‘删除"控件，将主库的快照表中的数据删除。 注意： 主库的库表，要新增针对增、删、改的三张表快照，三张表的步骤同上面的1 - 5 一致。 6、新建作业控件 7、配置发送邮件服务 8、完成

本文主要记录kettle列转行控件的使用。1、用例脚本create TABLE studentInfo(    studentno int,    Cname varchar(10),    grade int);insert into studentInfo values(2018100,"语文",81);insert into studentInfo values(2018100,"数学",82);insert into studentInfo values(2018100,"英语",83);insert into studentInfo values(2018101,"语文",71);insert into studentInfo values(2018101,"数学",71);insert into studentInfo values(2018101,"英语",72);insert into studentInfo values(2018102,"语文",91);insert into studentInfo values(2018102,"数学",92);insert into studentInfo values(2018102,"英语",93);INSERT INTO studentInfo VALUES(2018103,"语文",60);INSERT INTO studentInfo VALUES(2018103,"数学",61);INSERT INTO studentInfo VALUES(2018103,"英语",94);commit;————————————————

双击Spoon.bat后，弹出启动页面，强行关闭。我的电脑-C盘-单击右键-属性-工具-开始检查—里面两个选项打上对勾，然后重启。Kettle是Java做的，尽量用大一点的内存参数启动Kettle。

kettle本身是用java写的,你指的二次开发是开发一些kettle提供不了的step或者其他的插件的话,用java可以开发.

odi也是拖拖拽拽, odi有好几个独立的窗口, 来回切换不方便. odi比较庞大, 本机测试什么的很占空间内存. 用的只是主打功能,细节不清楚,感觉普通需求这两个工具都能满足.

【好评赠送】Kettle软件包6.1-8.2免费下载链接:https://pan.baidu.com/s/1yYLRTGL_D6MV14jVJAkOvg 提取码:3fxtKettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]  ；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为Pentaho Data Integration [1-2]  。Pentaho公司于2015年被Hitachi Data Systems收购。 [3]  （Hitachi Data Systems于2017年改名为Hitachi Vantara [4]  ）

【好评赠送】Kettle软件包6.1-8.2免费下载链接:https://pan.baidu.com/s/1yYLRTGL_D6MV14jVJAkOvg 提取码:3fxtKettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]  ；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为Pentaho Data Integration [1-2]  。Pentaho公司于2015年被Hitachi Data Systems收购。 [3]  （Hitachi Data Systems于2017年改名为Hitachi Vantara [4]  ）

1.2. 编译源码将项目加载到eclipse将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉编译打开build.xml, 在右边的。Outline 点击kettle->run as ->ant build第一次编译的时候需要从网上下载几个文件，放在C:Documents and SettingsAdministrator.subfloor，网络不好的话下载会比较慢，也可以直接文件放在C:Documents and SettingsAdministrator下。编译完成后将bin目录下的.bat文件拷贝到Kettle目录下点击Spoon.bat运行，运行成功代表编译已近通过用源码运行SpoonKettle源码工程本身可能是在linux64位机器上调试的，swt配置是linux64的库，所有在运行源码前需要修改成win32的swt，步骤如下：工程à属性àJava Build Pathàlibrariesàadd jars然后将linux64的SWT库删除最后打开src-uiàorg.pentaho.di.ui.spoonàSpoon.java， Run As àjava application二．源码分析2.1. 修改kettle界面修改初始化界面打开package org.pentaho.di.ui.spoon的Spoon.Java，找到main函数，该main函数为Spoon工具的入口，找到如下语句Splash splash = new Splash(display);该语句为spoon初始化显示的界面，跳到定义Splash.java，下面函数canvas.addPaintListener(new PaintListener() {publicvoid paintControl(PaintEvent e) {String versionText = BaseMessages.getString(PKG, "SplashDialog.Version") + " " + Const.VERSION; //$NON-NLS-1$ //$NON-NLS-2$StringBuilder sb = new StringBuilder();String line = null;try {BufferedReader reader = new BufferedReader(newInputStreamReader(Splash.class.getClassLoader().getResourceAsStream("org/pentaho/di/ui/core/dialog/license/license.txt")));//$NON-NLS-1$while((line = reader.readLine()) != null) {sb.append(line + System.getProperty("line.separator")); //$NON-NLS-1$}} catch (Exception ex) {sb.append(""); //$NON-NLS-1$Log.warn(BaseMessages.getString(PKG, "SplashDialog.LicenseTextNotFound")); //$NON-NLS-1$}String licenseText = sb.toString();e.gc.drawImage(kettle_image, 0, 0);// If this is a Milestone or RC release, warn the userif (Const.RELEASE.equals(Const.ReleaseType.MILESTONE)) {versionText = BaseMessages.getString(PKG, "SplashDialog.DeveloperRelease") + " - " + versionText; //$NON-NLS-1$ //$NON-NLS-2$drawVersionWarning(e);} elseif (Const.RELEASE.equals(Const.ReleaseType.RELEASE_CANDIDATE)) {versionText = BaseMessages.getString(PKG, "SplashDialog.ReleaseCandidate") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}elseif (Const.RELEASE.equals(Const.ReleaseType.PREVIEW)) {versionText = BaseMessages.getString(PKG, "SplashDialog.PreviewRelease") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}elseif (Const.RELEASE.equals(Const.ReleaseType.GA)) {versionText = BaseMessages.getString(PKG, "SplashDialog.GA") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}Font verFont = new Font(e.display, "Helvetica", 11, SWT.BOLD); //$NON-NLS-1$e.gc.setFont(verFont);e.gc.drawText(versionText, 290, 205, true);// try using the desired font size for the license textint fontSize = 8;Font licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$e.gc.setFont(licFont);// if the text will not fit the allowed spacewhile (!willLicenseTextFit(licenseText, e.gc)) {fontSize--;licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$e.gc.setFont(licFont); }e.gc.drawText(licenseText, 290, 290, true);}});1. 修改背景图片找到ui/image/下面的kettle_splash.png，替换该图片2. 修改版本信息找到e.gc.drawText(versionText, 290, 205, true); 改为e.gc.drawText("海康威视数据交换平台V1.0", 290, 205, true);3. 修改下面的描述性文字找到e.gc.drawText(licenseText, 290, 290, true);改为e.gc.drawText("作者：海康", 290, 290, true);4. 预览效果

Kettle是一个ETL工具，用来处理转换数据。工具本身与数据量的大小无关。针对T级别的数据一般单服务器存储数据的可能性比较小，会采用分布式文件系统的方式存储数据。分布式文件系统有很多种，MongoDB，Hadoop，GFS等等。分布式文件系统一般会采用集群的方式。

据我所知，国内有款ETL调度监控工具TaskCTL，支持kettle还不错。可以跨平台分布式调度kettle。Linux/Windows端的kettle都可以调。包括自动定时/排程,人工干预等调度方式。好像还没有一款软件能在图形监控上超过它，肯定比起其它的监控方案强多了。

哦

可以在Scripting --> Modified Java Script Value 中实现，JS的用法if(条件){ 操作1; } else { 操作2;}

下载pdi-ce-4.4.0-stable.zip，解压到文件夹，打开data-integration中的Spoon.bat2出现欢迎界面后来到Repository Connection窗口，选择建立一个新的repository，随后出现“资源库信息”窗口：在“资源库信息”窗口中选择新建一个数据库连接，弹出“Database Connection”窗口：在其中输入Connection Name, Host Name, Database Name, Port Number, User Name,Password信息即可建立连接，完成之后在Repository Connection窗口以admin用户名登陆。新建一个名为cscgTransTest的Transformation，从“核心对象”中将两个“表输入”和一个“插入/更新”拖入到cscgTransTest中，并建立它们之间的连接，如下图所示：在cscgTransTest中建立一个新的数据库连接ttt，通过表输入“max_createtime”从目标数据库ttt中获取某个表中最新数据的建立时间：SELECT max(trunc(createtime)) FROMumdata.toeventmedia在cscgTransTest中建立一个新的数据库连接testdb，以表输入“max_createtime”的查询结果替代表输入“umdata.toeventmedia”中的变量，执行SQL语句从数据库testdb中获取需要插入或者更新到ttt数据库的数据SELECT * FROMumdata.toeventmedia where trunc(createtime) >= trunc(?)在“插入/更新”中选择“数据库连接”、“目标模式”、“目标表”等信息，“用来查询的关键字”中的字段用来查询某条记录是否在目标表中存在，不存在则插入记录；如果存在，则继续比较其他字段是否与流里的字段值相同，如果相同则不执行任何操作，如果不同则更新“更新字段”中所列字段。“用来查询的关键字”所列字段是该表的primarykey，从而可以唯一标识一条记录。分别为每一个表建立一个如上模式的转换步骤。新建一个名为“cscgJobTest”的Job，在核心对象中将“START”和“Transformation”拖入cscgJobTest中，并建立两者之间的连接。选中START中的“重复执行”，类型为“不需要定时”；在Transformation中将转换名设置为之前建立的“cscgTransTest”.点击“Run this Job”运行。Job和Transformation的执行结果如如下：

kettle的优势：1.成本低，只有学习成本2.易用性好，容易学习3.插件架构支持快速定制开发

连接hive的方法：进入hive所在的服务器，输入：hive --service hiveserver（目的：启动thrift）打开kettle配置连接界面，输入hive所在服务器的ip、所需要的hive库、端口号（thrift默认端口为：10000）测试连接，即可连接hive2的方法：[plain] view plain copyError connecting to database [Hive] : org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.pentaho.di.core.database.Database.normalConnect(Database.java:428) at org.pentaho.di.core.database.Database.connect(Database.java:361) at org.pentaho.di.core.database.Database.connect(Database.java:314) at org.pentaho.di.core.database.Database.connect(Database.java:302) at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80) at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2685) at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.test(DatabaseDialog.java:109) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2.test(CreateDatabaseWizardPage2.java:157) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2$3.widgetSelected(CreateDatabaseWizardPage2.java:147) at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source) at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source) at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) at org.eclipse.jface.window.Window.runEventLoop(Window.java:820) at org.eclipse.jface.window.Window.open(Window.java:796) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizard.createAndRunDatabaseWizard(CreateDatabaseWizard.java:111) at org.pentaho.di.ui.spoon.Spoon.createDatabaseWizard(Spoon.java:7457) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313) at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157) at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141) at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43) at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106) at org.eclipse.jface.action.Action.runWithEvent(Action.java:498) at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545) at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490) at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402) at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source) at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1297) at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7801) at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9130) at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:638) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.pentaho.commons.launcher.Launcher.main(Launcher.java:151) Caused by: org.pentaho.di.core.exception.KettleDatabaseException: Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:573) at org.pentaho.di.core.database.Database.normalConnect(Database.java:410) ... 43 more Caused by: java.sql.SQLException: Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:107) at org.apache.hive.jdbc.HiveDriver.callWithActiveDriver(HiveDriver.java:121) at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:132) at java.sql.DriverManager.getConnection(Unknown Source) at java.sql.DriverManager.getConnection(Unknown Source) at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:555) ... 44 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:105) ... 49 more Caused by: java.lang.RuntimeException: Unable to load JDBC driver of type: hive2 at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:108) ... 54 more Caused by: java.lang.Exception: JDBC driver of type "hive2" not supported at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:104) ... 54 more 上述报错的解决方法如下：1.找到%KETTLE_HOME%/plugins/pehtaho-big-data-plugin/plugin.properties文件2.修改plugin.properties文件中的值：active.hadoop.configuration=hdp133.修改后重启kettle4.配置完成后，即可连接上对应的库如果要使用hadoop-20，则需要添加如下jar包：hadoop-core-1.2.1.jarhive-common-0.13.0.jarhive-jdbc-0.13.0.jarhive-service-0.13.0.jarlibthrift-0.9.1.jarslf4j-api-1.7.5.jarhttpclient-4.2.5.jarhttpcore-4.2.5.jar

1.2. 编译源码将项目加载到eclipse将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉编译打开build.xml, 在右边的。Outline 点击kettle->run as ->ant build第一次编译的时候需要从网上下载几个文件，放在C:Documents and SettingsAdministrator.subfloor，网络不好的话下载会比较慢，也可以直接文件放在C:Documents and SettingsAdministrator下。编译完成后将bin目录下的.bat文件拷贝到Kettle目录下点击Spoon.bat运行，运行成功代表编译已近通过用源码运行SpoonKettle源码工程本身可能是在linux64位机器上调试的，swt配置是linux64的库，所有在运行源码前需要修改成win32的swt，步骤如下：工程à属性àJava Build Pathàlibrariesàadd jars然后将linux64的SWT库删除最后打开src-uiàorg.pentaho.di.ui.spoonàSpoon.java， Run As àjava application二．源码分析2.1. 修改kettle界面修改初始化界面打开package org.pentaho.di.ui.spoon的Spoon.Java，找到main函数，该main函数为Spoon工具的入口，找到如下语句Splash splash = new Splash(display);该语句为spoon初始化显示的界面，跳到定义Splash.java，下面函数canvas.addPaintListener(new PaintListener() {publicvoid paintControl(PaintEvent e) {String versionText = BaseMessages.getString(PKG, "SplashDialog.Version") + " " + Const.VERSION; //$NON-NLS-1$ //$NON-NLS-2$StringBuilder sb = new StringBuilder();String line = null;try {BufferedReader reader = new BufferedReader(newInputStreamReader(Splash.class.getClassLoader().getResourceAsStream("org/pentaho/di/ui/core/dialog/license/license.txt")));//$NON-NLS-1$while((line = reader.readLine()) != null) {sb.append(line + System.getProperty("line.separator")); //$NON-NLS-1$}} catch (Exception ex) {sb.append(""); //$NON-NLS-1$Log.warn(BaseMessages.getString(PKG, "SplashDialog.LicenseTextNotFound")); //$NON-NLS-1$}String licenseText = sb.toString();e.gc.drawImage(kettle_image, 0, 0);// If this is a Milestone or RC release, warn the userif (Const.RELEASE.equals(Const.ReleaseType.MILESTONE)) {versionText = BaseMessages.getString(PKG, "SplashDialog.DeveloperRelease") + " - " + versionText; //$NON-NLS-1$ //$NON-NLS-2$drawVersionWarning(e);} elseif (Const.RELEASE.equals(Const.ReleaseType.RELEASE_CANDIDATE)) {versionText = BaseMessages.getString(PKG, "SplashDialog.ReleaseCandidate") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}elseif (Const.RELEASE.equals(Const.ReleaseType.PREVIEW)) {versionText = BaseMessages.getString(PKG, "SplashDialog.PreviewRelease") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}elseif (Const.RELEASE.equals(Const.ReleaseType.GA)) {versionText = BaseMessages.getString(PKG, "SplashDialog.GA") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$}Font verFont = new Font(e.display, "Helvetica", 11, SWT.BOLD); //$NON-NLS-1$e.gc.setFont(verFont);e.gc.drawText(versionText, 290, 205, true);// try using the desired font size for the license textint fontSize = 8;Font licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$e.gc.setFont(licFont);// if the text will not fit the allowed spacewhile (!willLicenseTextFit(licenseText, e.gc)) {fontSize--;licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$e.gc.setFont(licFont); }e.gc.drawText(licenseText, 290, 290, true);}});1. 修改背景图片找到ui/image/下面的kettle_splash.png，替换该图片2. 修改版本信息找到e.gc.drawText(versionText, 290, 205, true); 改为e.gc.drawText("海康威视数据交换平台V1.0", 290, 205, true);3. 修改下面的描述性文字找到e.gc.drawText(licenseText, 290, 290, true);改为e.gc.drawText("作者：海康", 290, 290, true);4. 预览效果

Kettle-linux部署方案 安装 包准备 1、jdk1.8 2、kettle8.1 3、linux可视化图形插件Window System 4、Xmanager。 安装 步骤 第一步 安装jdk1.8,并使用java -version 查看是否正确安装。第二步 执行以下命令 yum groupinstall "X Window System"第三步 data-integration下执行./kitchen.sh ，看是否会报错，如报错执行以下命令： wget http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm yum install -y epel-releaserpm -ivh nux-dextop-release-0-5.el7.nux.noarch.rpmyum install webkitgtk第四步 安装完成后再次查看./kitchen.sh第五步 安装Xmanager,并配置spoon.sh路径。到data-integration目录下执行./spoon.sh,呼出spoon界面完成。Spoon集成化方案及问题 1、需要将以上yum安装的包打包并集成部署。 2、问题：./spoon.sh执行后，xmanager即呼出spoon界面。但是界面关闭后，后台进程就停止了。需要将kettle重新包装，保证进程持续进行。

连接hive的方法：进入hive所在的服务器，输入：hive --service hiveserver（目的：启动thrift）打开kettle配置连接界面，输入hive所在服务器的ip、所需要的hive库、端口号（thrift默认端口为：10000）测试连接，即可连接hive2的方法：Error connecting to database [Hive] : org.pentaho.di.core.exception.KettleDatabaseException:Error occured while trying to connect to the databaseError connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configurationorg.pentaho.di.core.exception.KettleDatabaseException:Error occured while trying to connect to the databaseError connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configurationat org.pentaho.di.core.database.Database.normalConnect(Database.java:428)at org.pentaho.di.core.database.Database.connect(Database.java:361)at org.pentaho.di.core.database.Database.connect(Database.java:314)at org.pentaho.di.core.database.Database.connect(Database.java:302)at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80)at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2685)at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.test(DatabaseDialog.java:109)at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2.test(CreateDatabaseWizardPage2.java:157)at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2$3.widgetSelected(CreateDatabaseWizardPage2.java:147)at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)at org.eclipse.jface.window.Window.runEventLoop(Window.java:820)at org.eclipse.jface.window.Window.open(Window.java:796)at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizard.createAndRunDatabaseWizard(CreateDatabaseWizard.java:111)at org.pentaho.di.ui.spoon.Spoon.createDatabaseWizard(Spoon.java:7457)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)at java.lang.reflect.Method.invoke(Unknown Source)at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43)at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106)at org.eclipse.jface.action.Action.runWithEvent(Action.java:498)at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545)at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490)at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402)at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1297)at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7801)at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9130)at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:638)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)at java.lang.reflect.Method.invoke(Unknown Source)at org.pentaho.commons.launcher.Launcher.main(Launcher.java:151)Caused by: org.pentaho.di.core.exception.KettleDatabaseException:Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver)Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configurationat org.pentaho.di.core.database.Database.connectUsingClass(Database.java:573)at org.pentaho.di.core.database.Database.normalConnect(Database.java:410)... 43 moreCaused by: java.sql.SQLException: Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configurationat org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:107)at org.apache.hive.jdbc.HiveDriver.callWithActiveDriver(HiveDriver.java:121)at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:132)at java.sql.DriverManager.getConnection(Unknown Source)at java.sql.DriverManager.getConnection(Unknown Source)at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:555)... 44 moreCaused by: java.lang.reflect.InvocationTargetExceptionat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)at java.lang.reflect.Method.invoke(Unknown Source)at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:105)... 49 moreCaused by: java.lang.RuntimeException: Unable to load JDBC driver of type: hive2at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:108)... 54 moreCaused by: java.lang.Exception: JDBC driver of type "hive2" not supportedat org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:104)... 54 more上述报错的解决方法如下：1.找到%KETTLE_HOME%/plugins/pehtaho-big-data-plugin/plugin.properties文件2.修改plugin.properties文件中的值：active.hadoop.configuration=hdp133.修改后重启kettle4.配置完成后，即可连接上对应的库如果要使用hadoop-20，则需要添加如下jar包：hadoop-core-1.2.1.jarhive-common-0.13.0.jarhive-jdbc-0.13.0.jarhive-service-0.13.0.jarlibthrift-0.9.1.jarslf4j-api-1.7.5.jarhttpclient-4.2.5.jarhttpcore-4.2.5.jar总结：使用hive2的好处，优化了连接、增加安全性、并行度

目前kettle功能太弱小,还是等3.0出来再用吧, talend不错,支持的数据种类很多.。商用的都有很好的data mapping/transform界面，job分布式服务器和监控工具等等，具体的性能差别我不太清楚，很少做对速度要求很高的项目。拓展：1、ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。2、信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统，用来记录事务处理的各种相关数据。据统计，数据量每2~3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%~4%左右。

Kettle 的古英语是 cetei，起源于古斯堪的纳维亚语 ketill，中古英语叫 ketel。

英音：["ketl]美音：["kɛt!]

　　利用Kettle社区查找资料：举例：查找关于carte服务的配置　　搜索kettle，进入kettle社区，如下：　　进入社区网站后，找到kettle的document选项，点击，如下：　　下拉到最低端，查找你要搜索的关键项，点击进入即可，如下：　　接下来就是相信的介绍如何在win下配置carte服务的方法，如下：　　内容摘录如下：　　There are some use cases to run Carte as a windows Service:　　· When Carte instances are running using a command window, anyone by mistake could close the instance and Carte will go down.　　· The Carte.bat command window is tied to the user session that called the batch file and needs to be kept logged in.　　· With a Windows Service you can start the Carte service at machine startup and also configure it to restart after a crash.　　After you completed the below instructions, you are able to get Carte running as a Windows service like this:　　Installation Instructions　　1. Download YAJSW (Yet Another Java Service Wrapper) from S(these instructions were written and tested against YAJSW version 11.03)　　2. Unzip the file into a suitable folder, e.g. C:PentahoCarteService.Note: This should not be created below any other Pentaho Kettle folder since it is independent of the Pentaho Kettle Version and makes it easy to upgrade to future Kettle versions (see also chapter "Upgrade Instructions").　　3. When you unzipped YAJSW, you have e.g. a folder C:PentahoCarteServiceyajsw-stable-11.03. We recommend torename this folder to C:PentahoCarteServicedefault. The reason for this is the possibility of having multiple configurations on one machine, see chapter "Multiple Instances of Carte on one Machine". Another reason is that you do not need to change any references to this folder in case you upgrade to a later YAJSW version.Note: We will reference the YAJSW directory in the following instructions as .　　4. Download the preparedwrapper.conf configuration file (attachment to this Page).　　5. Copy the downloaded wrapper.conf toconfwrapper.conf (replace the existing one).　　6. Edit the wrapper.conf with a text editor and

版本 新增功能 kettle 8.1 待补充 kettle7.1 Smarter Data Processing using the Adaptive Execution Layer (AEL) 、2. Drill-down Deeper on Your Data In-Flight 、 3. Azure HDInsight Cluster Configuration Now Supported、 4. Expanded Big Data Security 、 5. Improved Monitoring of System Performance with DI Operations Mart kettle7.0 Inspect Your Data, Anywhere in the Pipeline(检查通道中的数据), 2. Improved Big Data Security(提高大数据安全)， 3. Easier Installation and Configuration with the Single Pentaho Server(pentaho单服务更容易安装和配置)， 4. Enhanced Spark Support(增强大对spark的支持)， 5. Expanded Metadata Injection Support(扩展元数据注入支持)， 6. Improved Repository Management(提高对Repository的管理) 7. Agile BI Plugin（敏捷BI插件） kettle6.1 Metadata Injection Improvements 、 2. Hide a Calculated Measure in the Data Model、 3. Publish a Data Model with Hidden Attributes、4. Edit Calculated Measures in Analyzer、 5. Show and Hide Available Fields 、6. Pentaho Data Service as a Build Model Source、 7. Added Parameter Pushdown Optimization for Data Services 、8. Improved JSON Input Performance、 9. DI Repository on DI Server Renamed to Pentaho Repository、 10. Driver Download for Data Services in Pentaho Data Integration、 11. New Run Options Window 、12. kettle6.0 Pentaho Data Services、 2. SNMP Monitoring 、 3. Inline Model Editing SDR Updates、 4. Data Lineage Analysis、 5. Big Data Improvements、6. Spoon Enhancements、 7. SAP HANA Bulk Loader Step kettle5.4 Spark Support 、2. Support for SAP HANA 、 3. New Hadoop Configurations Supported、 4. YARN Improvements 、 5. Call BA Platform Endpoints in your Transformations 6. Named Hadoop Cluster Configuration Improvements 、 7. Sqoop Improvements、 8. PDI API Improvements、 9. Scheduling APIs for PDI、 10. New Carte APIs - POST Calls、 11. New PDI Look and Feel kettle5.3 Manage Cluster Configuration with the Hadoop Clusters Feature、 2. New Developer Documentation、 3. New Cloudera and MapR Big Data Hadoop Distribution Support、 4. Better Support for High Load Environments and Large Deployments with Carte 、 5. Manually Migrating Big Data Cluster Configurations Stored in Hadoop Steps and Entries 、 6. Interactive Reports Performance Improvements kettle5.2 New Streamlined Data Refinery Feature、 2. R Script Executor Step Improvements、 3.New DI Server Administration Features、 4.Kerberos Security Support for CDH 5.1 and HDP 2.1、 5.New Marketplace Plugins、 6.Improved Upgrade Experience kettle5.1 Data Science Pack with Weka and R、 2. YARN Hadoop Distribution Support(hadoop分布式中的yarn的支持)、 3. Cloudera and MapR Hadoop Distribution Support(Cloudera和mapreduce的hadoop分布式支持)、 4. YARN for Carte Kettle Clusters、 5. Security Enhancements(增强的安全性)、 6. AES Password Support(AES密码支持)、 7. New Execute Permission、 8. Kerberos Security Support(Kerberos安全支持) 、 9. Impersonation Support、 10. Teradata and Vertica Bulkloaders 、 11. JBoss Platform Support、 12. New Marketplace Plugins、 13. Documentation Changes、

连接hive的方法：进入hive所在的服务器，输入：hive --service hiveserver（目的：启动thrift）打开kettle配置连接界面，输入hive所在服务器的ip、所需要的hive库、端口号（thrift默认端口为：10000）测试连接，即可连接hive2的方法：[plain] view plain copyError connecting to database [Hive] : org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.pentaho.di.core.database.Database.normalConnect(Database.java:428) at org.pentaho.di.core.database.Database.connect(Database.java:361) at org.pentaho.di.core.database.Database.connect(Database.java:314) at org.pentaho.di.core.database.Database.connect(Database.java:302) at org.pentaho.di.core.database.DatabaseFactory.getConnectionTestReport(DatabaseFactory.java:80) at org.pentaho.di.core.database.DatabaseMeta.testConnection(DatabaseMeta.java:2685) at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.test(DatabaseDialog.java:109) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2.test(CreateDatabaseWizardPage2.java:157) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizardPage2$3.widgetSelected(CreateDatabaseWizardPage2.java:147) at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source) at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source) at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) at org.eclipse.jface.window.Window.runEventLoop(Window.java:820) at org.eclipse.jface.window.Window.open(Window.java:796) at org.pentaho.di.ui.core.database.wizard.CreateDatabaseWizard.createAndRunDatabaseWizard(CreateDatabaseWizard.java:111) at org.pentaho.di.ui.spoon.Spoon.createDatabaseWizard(Spoon.java:7457) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313) at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157) at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141) at org.pentaho.ui.xul.jface.tags.JfaceMenuitem.access$100(JfaceMenuitem.java:43) at org.pentaho.ui.xul.jface.tags.JfaceMenuitem$1.run(JfaceMenuitem.java:106) at org.eclipse.jface.action.Action.runWithEvent(Action.java:498) at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:545) at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:490) at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:402) at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source) at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1297) at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7801) at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9130) at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:638) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.pentaho.commons.launcher.Launcher.main(Launcher.java:151) Caused by: org.pentaho.di.core.exception.KettleDatabaseException: Error connecting to database: (using class org.apache.hadoop.hive.jdbc.HiveDriver) Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:573) at org.pentaho.di.core.database.Database.normalConnect(Database.java:410) ... 43 more Caused by: java.sql.SQLException: Unable to load Hive Server 2 JDBC driver for the currently active Hadoop configuration at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:107) at org.apache.hive.jdbc.HiveDriver.callWithActiveDriver(HiveDriver.java:121) at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:132) at java.sql.DriverManager.getConnection(Unknown Source) at java.sql.DriverManager.getConnection(Unknown Source) at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:555) ... 44 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.apache.hive.jdbc.HiveDriver.getActiveDriver(HiveDriver.java:105) ... 49 more Caused by: java.lang.RuntimeException: Unable to load JDBC driver of type: hive2 at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:108) ... 54 more Caused by: java.lang.Exception: JDBC driver of type "hive2" not supported at org.pentaho.hadoop.shim.common.CommonHadoopShim.getJdbcDriver(CommonHadoopShim.java:104) ... 54 more 上述报错的解决方法如下：1.找到%KETTLE_HOME%/plugins/pehtaho-big-data-plugin/plugin.properties文件2.修改plugin.properties文件中的值：active.hadoop.configuration=hdp133.修改后重启kettle4.配置完成后，即可连接上对应的库如果要使用hadoop-20，则需要添加如下jar包：hadoop-core-1.2.1.jarhive-common-0.13.0.jarhive-jdbc-0.13.0.jarhive-service-0.13.0.jarlibthrift-0.9.1.jarslf4j-api-1.7.5.jarhttpclient-4.2.5.jarhttpcore-4.2.5.jar