数据仓库

　　龙江银行建立全行统一的数据仓库平台，整合各业务系统数据，加强内部管理，提升客户体验。项目一期上线了绩效考核、KPI指标快报、6S管理快报和管理报表等数据仓库应用，二期将构建完整的数据质量管理系统。 　　 　　走在哈尔滨市的友谊路上，记者抬头看见蓝底黄字，以龙形和字母B（bank 银行）组成正形，并辅以镂空“江”字的龙江银行股份有限公司（简称龙江银行）的行标。28层高的龙江银行总部大楼矗立在松花江边，见证着江畔黑土地上的三农金融服务的不断发展。 　　整合四行社 　　2009年12月25日，经中国银行业监督管理委员会批准，由原大庆市商业银行、齐齐哈尔市商业银行、牡丹江市商业银行和七台河城市信用社等4家行社重组合并成立的龙江银行挂牌成立，总部设在哈尔滨。 　　“组建至今，龙江银行业务飞速发展。2011年6月末，龙江银行资产总额和存款余额双双突破千亿元大关；营业网点实现全省覆盖，达到了127个；形成了以农业供应链金融、IPC小微信贷模式――‘龙易贷"、‘小龙人"品牌社区银行等业务为代表的独特的产品体系，整体发展势头非常好。” 龙江银行科技条线总经理欧阳光向记者介绍。 　　在四行社整合之初，龙江银行就明确了自己的发展目标，即坚持面向农业产业、面向中小企业、面向地方经济的市场定位，以农业供应链金融、社区银行、IPC小微信贷、中小企业准投行业务为四大利器，以农业产业金融为重点，为社会提供全方位优质金融服务，不断扩展经营，实现可持续发展。 　　记者去实地采访在哈尔滨市区逗留的短短半天内，在中央大街、果戈里大街等地就看到了好几个龙江银行的网点；在哈尔滨机场，龙江银行硕大的广告牌也分外引人注目，这些点滴都印证了龙江银行迅猛的发展势头。 　　在这样的发展势头下，科技对龙江银行的发展起到了不可替代的后台支撑和业务引领的作用。欧阳光介绍说：“老四行社的信息科技建设为龙江银行核心竞争力的形成和市场地位的确立做出了巨大贡献，也为龙江银行储备了一批优秀的科技人才，奠定了技术基础。在此基础上，2010年重组之初，我们用了半年时间完成了龙江银行的数据大集中和应用系统的完全整合，但还局限于面向市场的一些基本业务系统和针对监管部门的报送系统。” 　　而在作为“十二五”开局之年的2011年，龙江银行的信息科技体系框架的建设迅速铺开。欧阳光介绍，在基础设施建设方面，龙江银行建成了应用级异地灾备，即将建成高标准的新的数据中心；在技术架构方面，持续进行数据仓库的建设，建成了中间业务平台、以支持影像为主的内容管理平台等；在应用平台建设方面，投产了银银平台、城商行清算系统、网上跨行支付系统；在渠道方面，龙江银行进行了网银的持续升级，即将投产新一代手机银行和电话银行；在应用开发方面，开发、投产了众多面向市场和内部管理的软件。 　　模拟利润 “精确制导”考核 　　在欧阳光看来，银行业务领先主要表现在两个方面，一是要有丰富的产品，二是要有更快的流程，提供更好的客户体验。这就要求银行必须要以客户为中心，“银行IT系统真正有两个核――一是基础的核算记账部分，二是以客户为中心，统一客户视图。” 　　“比如各家银行都做网银，虽然功能差不多，但用起来却不一样。要做到真正的以客户为中心，必须在提高银行内部管理的基础上，提升客户体验。” 欧阳光说。龙江银行在2010年完成数据大集中，做完数据整合后，就开始谋划如何做好金融管理系统。要建好、用好这个系统，需要先有一个基础框架，把先有的数据和信息集中统一。于是与IBM合作的数据仓库建设项目提上日程。 　　数据仓库是龙江银行加强内部管理、实现以客户为中心的基础。因为很多客户信息、行为信息和体验数据都是要由数据仓库提供的；而在内部管理方面，要落地银行战略，就要以绩效考核为导向，提高银行工作效率，提升客户服务水平并有效控制风险，数据仓库在这些方面都能起到基础作用。 　　龙江银行基于数据仓库做的绩效考核与传统的做法不一样。传统做法更多以部门为单位，比如银行卡发卡的多少，更多体现是卡部的利益，发卡越多某种程度上就代表卡部实力越强。龙江银行不是这样，因为他们知道，对于银行整体而言，各部门的绩效一旦综合，可能相互抵消，并没有1+1≥2的效果。他们的做法是，基于数据仓库，通盘考虑所有的成本，包括资金运营成本、人力成本、其他外围资源成本等，通过成本核算，计算模拟利润得出绩效指标做考核。 　　这样做的好处有两个：一个是考核时效性的提升，二是考核的客观性和针对性得到加强。“原来我们也有考核，但时效性很差。因为我们的数据有很多来源，比如银联的数据、自己各业务部门的数据、财务数据，数据收集难和统计口径不一，有时还得需要手工汇总，导致考核统计非常慢，准确率也不能保障。但通过数据仓库做这些工作，我们的员工、决策者在第二天早上9点就可以看到当天前的考核数据。对于部门和员工而言，这种即时的激励非常有效，能非常及时地纠偏。因为通过数据仓库计算模拟利润，他们不用再等到月末、季末才知道绩效是多少、奖励是多少，每天都能看到，可以即时查漏补缺。” 　　对于银行而言，除了业务收入，风险控制也是它必须考虑的问题。为了让绩效考核这个“指挥棒”更加合理，龙江银行也将风险计量引入了绩效考核。“搞经营和控制风险，对银行而言，并不是手心手背的两方面，而是一体的。我们的绩效考核除了要做成本分摊，做资本转移定价，还要做资产负债管理、风险管理，这些都要基于数据仓库。数据管理对于银行是一门科学，数据积累的长度和数据的维度都要进行管理，不做数据仓库肯定是不行的。”欧阳光感慨地说。 　　 数据仓库的数据源在哪儿呢？“就来源于我们现有这些系统，包括交易的数据、客户的数据、科目的数据、产品的数据。我们建立数据仓库，不只是依托原有系统，更是一个激发头脑风暴的过程，通过IBM接触到了很多代表着先进管理思想的模型，经过消化吸收，推动现有系统的应用和银行管理的提升。” 　　应用驱动 迭代开发 　　很多银行都在建设数据仓库，而如何保证数据的准确性和数据质量是他们共同面临的问题。龙江银行的经验是采用比较先进的应用驱动的模式，也就是用什么数据才把什么数据做入数据仓库，而不是一股脑儿地将信贷系统、核心系统、国际计算系统等的所有数据都一次装到模型里。这样做的好处是可以保障进入数据仓库的数据都会被使用到，由于会被使用到，一旦数据质量有问题就会很早暴露出来，加以解决。另外，欧阳光也表示，在接下来的项目二期，龙江银行会继续和IBM合作，构建完整的数据质量管理系统。 　　目前一期项目中，龙江银行已经上线投入使用的数据仓库应用包括绩效考核、KPI指标快报、6S管理快报和管理报表。欧阳光说，整个数据仓库平台项目将分阶段逐步实施，整合龙江银行各个业务系统数据，并结合业内成功的IBM银行业数据仓库模型，充分考虑今后业务的拓展要求，建立统一的全行级的数据仓库平台。 　　IBM龙江银行数据仓库项目经理及架构师陈雷介绍，龙江银行数据仓库平台项目的一个特别之处是采用了先进的迭代开发方法论――在构建数据仓库过程中严格遵循需求分析、设计、编码、测设、上线的流程，项目成果根据迭代周期分模块、分批上线，整体降低项目风险，快速响应业务需求，及时反映业务价值。“采用迭代开发的方法，IBM与龙江银行合作打造了既有稳定基础架构又具有灵活扩展空间的数据仓库平台。”

财务管理系统不是数据仓库系统。因为财务管理系统和数据仓库系统是两个不同的系统。财务管理系统是处理会计信息的系统，是专业做会计的。而数据仓库系统为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。

首先我们来了解数据仓库和数据库分别是什么：1、数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、MySQL、Sybase、MSSQL Server等。2、数据仓库：是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策；区别主要总结为以下几点：1.数据库只存放在当前值，数据仓库存放历史值；2.数据库内数据是动态变化的，只要有业务发生，数据就会被更新，而数据仓库则是静态的历史数据，只能定期添加、刷新；3.数据库中的数据结构比较复杂，有各种结构以适合业务处理系统的需要，而数据仓库中的数据结构则相对简单；4.数据库中数据访问频率较高，但访问量较少，而数据仓库的访问频率低但访问量却很高；5.数据库中数据的目标是面向业务处理人员的，为业务处理人员提供信息处理的支持，而数据仓库则是面向高层管理人员的，为其提供决策支持；6.数据库在访问数据时要求响应速度快，其响应时间一般在几秒内，而数据仓库的响应时间则可长达数几小时

去数据挖掘相关论坛 诸如www.dmresearch.net之类上去找吧

挖掘机哪家强，山东找蓝翔

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。1.数据挖掘能做什么?1)数据挖掘能做以下六种不同事情（分析方法）：分类（）估值（Estimation）预言（Prediction）相关性分组或关联规则（Affinitygroupingorassociationrules）聚集（Clustering）描述和可视化（Descriptionand）2)数据挖掘分类以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘直接数据挖掘目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘3)各种分析方法的简介分类（）首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。例子：a.信用卡申请者，分类为低、中、高风险b.分配客户到预先定义的客户分片注意：类的个数是确定的，预先定义好的估值（Estimation）估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。例子：a.根据购买模式，估计一个家庭的孩子个数b.根据购买模式，估计一个家庭的收入c.估计realestate的价值一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score0~1）。然后，根据阈值，将贷款级别分类。预言（Prediction）通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。相关性分组或关联规则（Affinitygroupingorassociationrules）决定哪些事情将一起发生。例子：a.超市中客户在购买A的同时，经常会购买B，即A=>B(关联规则)b.客户在购买A后，隔一段时间，会购买B（序列分析）聚集（Clustering）聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。例子：a.一些特定症状的聚集可能预示了一个特定的疾病b.租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。描述和可视化（Descriptionand）是对数据挖掘结果的表示方式。2.数据挖掘的商业背景数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。1)数据挖掘作为研究工具（Research）2)数据挖掘提高过程控制（ProcessImprovement）3)数据挖掘作为市场营销工具（Marketing）4)数据挖掘作为客户关系管理CRM工具(CustomerManagement)3.数据挖掘的技术背景1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力2)数据挖掘和机器学习（MachineLearning）机器学习是计算机科学和人工智能AI发展的产物机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）数据挖掘由来数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预言模型的经济学家之间没有技术的重叠。3)数据挖掘和统计统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等4)数据挖掘和决策支持系统数据仓库OLAP（联机分析处理）、DataMart（数据集市）、多维数据库决策支持工具融合将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。4.数据挖掘的社会背景数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国

数据仓库是要集成多种数据源，比如个人财务记录和购物记录，比如企业的原料、生产、销售的异构数据库。数据库一般是单一结构的，没办法集成异构源去做一个统一接口，所以在数据分析需求达到宏观规模后才弄出这么个概念来。所谓面向事务和面向主题就是这个意思。事务是数据记录查询的单一任务，主题是数据分析目标的相关数据范畴。数据仓库是数据挖掘的对象，进行大规模的数据挖掘前先要建立数据仓库，数据挖掘的研究方向有偏向数据库的。

数据仓库具有以下特点 数据仓库中的数据是面向主题组织的 在较高层次上对分析对象的数据做一个完整的、一致的描述，能有效地刻画出分析对象所涉及的各项数据及数据间的联系。主题通常在一个较高层次上将数据归类的标准，每个主题对应一个宏观分析领域。数据仓库中应重新组织数据，完成业务数据向主题数据的转换。主题的抽取则应根据分析的要求进行确定，根据所需要的信息，分不同类别、不同角度等主题把数据整理之后存储起来 数据仓库的数据是集成的 事务处理系统中的操作型数据在进入数据仓库之前，必须经过统一和综合，演变为分析性数据。需要完成的工作包括：处理字段的同名异义，异义同名，单位不统一，长度不一致等问题，然后对源数据进行综合和计算，生成面向主题分析的高层、综合的数据 数据仓库的数据是稳定的 数据仓库中存放的是供分析决策用的历史数据，而不是联机事务处理的当前数据。涉及的数据操作主要是数据查询，一般不进行数据的增删改操作 数据仓库的数据是随时间不断变化的 数据仓库系统需要不断获取联机事务处理系统不同时刻的数据，经集成后追加到数据仓库中数据仓库中的数据分为四个级别、早期细节级，当前细节级，轻度综合级，高度综合级首先进入当前细节级，并根据具体需要进一步的综合，从而进入轻度综合级，乃至高度综合级。老化的数据进入早期细节级，数据仓库中存在着不同的综合级别，一般称之为粒度。粒度越大，表示细节程度越低，综合程度越高 元数据是“关于数据的数据”，是新一轮迭代开发和数据仓库维护的主要技术手册。如同数据仓库的导航器，快速高效的定位信息，实现数据检索和挖掘 1、技术元数据 存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。它主要包括数据仓库结构的描述、业务系统、数据仓库和数据集市的体系结构及模式以及汇总用的算法和操作环境到数据仓库环境的映射 2、业务元数据 业务元数据从业务角度表述了数据仓库中的数据数据仓库的建立过程一般有两种方法，“自顶而下”和“自底而上”。 自顶而下：先建立一个企业级数据仓库，然后再在其基础上建立部门级数据集市。 自底向上：优先建立一些数据集市，最后再把它们汇集成一个企业级数据仓库。

就字面意思理解一下，数据仓库就是装数据的。数据中台是除了装数据，还可以对数据进行加工运算，可视化呈现，并为数据变现提供通道。。

在建模复杂的操作型源数据时，通常会遭遇大量五花八门的指标和标志。它们包含小范围的离散值，处理这些较低粒度的标志和指标可以采用以下几种方法。 1、忽略这些标志和指标。 2、保持事实表行中的标志和指标不变。 3、将每个标志和指标放入其自己的维度中：如果外键的数量处于合理的范围中）不超过20个），则在事实表中增加不同的外键是可以接受的，但是，若外键列表已经很长的，应该避免将更多的外键加入到事实表中。 4、将标志和指标存储到订单表头维度中。 处理这些标志和指标的适当替换方法是，仔细研究它们，并将它们包装为一个或多个杂项维度。杂项维度就像厨房中的垃圾抽屉，厨房的垃圾抽屉用于放置各种各样的家用物品。例如，橡皮圈、回形针电池等，尽管如果采用专门的垃圾抽屉会非常容易定位橡皮圈，但难以存在足够的存储能力，不能保证为单一目的的分配存储空间。杂项抽屉使您能够满意的存放东西，还能维持其他主要和经常使用的盘子和碟子的存储空间。 杂项维度是对低粒度的标志和指标的分组，通过建立杂项维度，将标志和指标从事实表中移出，并将它们放入到有用的多维框架中。 如果具有高度非关联的属性，包含更多的数量值，则将它们合并为单一的杂项维度为主没有多的意义。在建模表头/明细数据维度时需要避免两个常见的设计错误。 1、将事务表头当成维度。采用这样的设计方法对每个新订单来说，将在维度表中增加一行。在事实表中平均增加5行，如果某个订单通常包含五个明细项，则纬度大小将是事实表的20%，订单事实的大小与与之关联纬度的大小应该有数量级的差别。即纬度表不应该与事实表以同样的速率增长。 2、在列表事实中没有继承表头纬度。订单表表头不能被当成是整体维度而是被当成事实表。 不要在单一事实表中混淆类似订单表头或订单明细事实粒度。在事实表中包含一个附加的及时计数器，设置为可加值0或者1，表示列表内容发货是否及时。同样，可以增加一个延迟度量，表示天数，可以是正的或者负的。表示介于请求日期和实际发货日期之间的时间。 有时用户希望分析整个订单流水线的情况，用户希望更好地理解产品生产速度，或者知道产品在流水线中流动的速度有多快。累积快照事实表可提供此类业务场景。

还是走的维度模型的思路?

1、方便地保存数据 2、数据一致性 3、适应变化 4、及时展现数据 5、信息安全 6、数据权威 7、支撑业务 1、理解业务 理解用户 2、为用户提供高质量、相关的、可访问的信息 3、维护数仓/分析环境 1、维度模型和3NF模型包含的数据是一样的，只是维度模型存储的数据更易理解，查询性能更高，包装得更灵活 事实表： 2、维度模型中的事实表来自对业务过程性能的 度量 3、事实表中每行对应一个度量事件 4、每行中的数据是一个特定级别的细节数据，称为 粒度 5、事实表通常分为事务、累计快照、周期快照 6、事实表主键通常成为组合键 维度表： 7、维度表包含与业务过程度量事件有关的文本 环境 8、数仓分析环境取决于维度属性的质量和深度 1、Kimball 1、收集业务需求与数据实现 2、维度设计过程：选择业务过程、声明粒度、确认维度、确认事实 3、业务过程是组织完成的操作型活动（订单、注册） 4、粒度：事务表里的每一行表示的是什么 5、维度：用于描述环境 6、事实：对业务过程进行度量 7、灵活扩展：事实粒度一致时可直接创建列，通过新的维度列关联维度至事实，可以在维度表上简历新列添加属性，可以使事实表粒度更原子化 1、事实表行对应一个度量事件 2、可加、半可加是针对维度而言的，部分维度可加的是半可加。 3、事实表中的外键不能存在空值 4、最好保证事实度量是一致的 5、事务事实表：一行对应空间或时间上某点的度量事件，比如订单表、日志表 6、周期快照事实表：每行汇总了发生在某一周期的多个度量事件，比如一个用户在一天里的点击、退出次数 7、累计快照事实表：每行汇总了发生在过程开始和结束之间可预测步骤内的度量事件，比如订单有提单、支付、成单、配送、评价的可作为度量的过程 8、无事实事务表：可能存在某些事件仅仅记录 多维实体 ，没有数字化的事实 9、聚集事实表：对原子粒度事实表数据进行上卷 感觉多数还是事务和聚集事实表 1、维度表应当具有单一主键列，它是扁平非规范表 2、维度表需要主键，可以为维度表生成无语义的整数型主键，可以借助UDF来进行生成 3、操作型系统中自然键不能满足需求时可以采用持久性超自然键 4、将常用维度退化到事实表中，清楚地表明没有关联的维度 5、同一维度可能存在不同的层次，一级城市，二级城市 6、可以建立将不同维度合并到一起的杂项维度，而不要为每个标识或属性定义不同维度 7、 雪花维度： 低粒度属性作为辅助表通过属性键连接到基本维度，当这一过程中包含多重维度表层次时，建立的多级层次结构被称为雪花模式 8、支架维度：被引用的辅助维度成为支架维度，比如银行账户维度可以引用开户日期维度 当不同的维度表的属性具有相同列名和领域内容时，称维度表具有一致性 1、原样保留 2、重写 3、增加行 4、增加新属性（列） 1、固定深度位置层次，能够提佛那个可预测的、快速的查询性能 2、其他还可能存在可变深度层次、层次桥接、路径字符属性可变深度层次，但这些最好向固定深度层次进行统一 1、蜈蚣事实表：存在多层次维度外键 2、事实表也可分配代理键 3、多遍SQL以避免事实表间的连接 1、聚集事实也可作为维度进行处理（例如金额大于多少的用户） 2、步骤维度：在日志表里可以为行为顺序进行编号，探究行为发生的过程，这个维度叫步骤维度

类似于客户这种实体维度。。。有时候数据量是比较大的。比如银行客户，上千万，交易事实表上十亿数据量大的维度是很难避免的，除非你行业的数据量本来就小。金融、电信、互联网这些行业的数据仓库中会有大量的维度，维度里面的记录数也很大。

1. 数据仓库的概述数据仓库是企业级数据管理系统的基础，用于集成、管理和存储组织的数据，主要用于支持分析和决策制定。数据仓库可以用来存储企业内部的各种数据，包括从各种数据源中提取的、经过清洗和整合后的数据，这些数据可以用来进行各种分析和报表生成。2. 数据仓库的基本元素数据仓库的基本元素主要包括以下四个表：事实表、维度表、数据源表和映射表。（1）事实表事实表是由一组度量和一个或多个外键组成的表。度量是指要分析和计算的数据指标，而外键则用于链接事实表和维度表。（2）维度表维度表包含多个被常规地使用的维度的所有属性，这些属性用于对度量进行分组和分析。维度通常包括时间、地理位置、产品和客户等，每个维度都对应一个维度表。（3）数据源表数据源表包含来自各种数据源的原始数据，应该是从外部数据源中提取出来的未处理的数据。数据源表一般比较大，但是包含的数据是非常粗糙的，常常需要进行清洗、转换和整合。（4）映射表映射表用于在不同的表之间建立关联，通常是事实表和维度表之间的关联。映射表将事实表的外键或维度表的主键与其他表的主键联系起来。3. 数据仓库的架构数据仓库的架构主要分为三层：数据源层、ETL层和OLAP层。（1）数据源层数据源层包含企业内部所有的数据源，这些数据可以是来自各种业务系统的数据、传感器数据和外部数据等。数据源层的主要目的是提供原始数据，不进行任何处理。（2）ETL层ETL层是用于将数据从数据源层中提取、清洗、转换和整合的层。ETL层将数据转换成安全、一致和有意义的格式，以便更好地支持商业智能和决策制定。（3）OLAP层OLAP层是数据仓库最终被用户和应用程序使用的层。OLAP层包含一个或多个数据立方体，用户和应用程序可以使用这些数据立方体进行高性能和灵活的行和列分析。4. 数据仓库的优点（1）为企业提供一致的数据视图，支持跨部门和内部的数据共享和管理。（2）提供了一种快速且可靠的方式来访问企业数据，随时随地提供商业智能和决策制定支持。（3）支持大规模数据存储和处理，为企业提供了强大的数据仓库和分析能力。5. 数据仓库的缺点（1）建立和维护数据仓库需要大量的人力、时间和资源投入。（2）数据仓库需要增量更新及操作的支持，否则日常运营无法满足需求。（3）数据仓库的构建周期比较长，对企业的数据处理能力和数据质量要求较高。6. 数据仓库的应用数据仓库广泛应用于商业智能、数据分析和决策制定领域，包括以下应用：（1）在银行、保险等金融领域进行风险控制和贷款评估等分析。（2）在零售和供应链管理领域进行库存管理、销售分析和采购分析等。（3）在医疗保健领域进行病例管理、药品分析和医疗账单管理等。7. 数据仓库的未来数据仓库在数字化和信息化的战略之下，将继续发挥重要的作用。在未来，数据仓库将更加注重使用大数据技术，包括实时数据、流数据和非结构化数据等。同时，数据仓库在云计算、人工智能和机器学习领域都将得到更多的应用扩展。

Protobuf在腾讯数据仓库TDW的使用_ IT技术精华 http://it.taocms.org/11/5991.htm 马淑婧：TDW Protobuf存储格式功能介绍-CSDN.NET http://www.csdn.net/article/a/2014-06-06/15818975 protobuf是google提供的一个开源序列化框架，类似于XML、JSON这样的数据表示语言，其最大的特点是基于二进制，因此比传统的XML表示高效短小得多。虽然是二进制数据格式，但并没有因此变得复杂，开发人员通过按照一定的语法定义结构化的消息格式，然后送给命令行工具，工具将自动生成相关的类，可以支持java、c++、python等语言环境。通过将这些类包含在项目中，可以很轻松的调用相关方法来完成业务消息的序列化与反序列化工作。 protobuf在google中是一个比较核心的基础库，作为分布式运算涉及到大量的不同业务消息的传递，如何高效简洁的表示、操作这些业务消息在google这样的大规模应用中是至关重要的。而protobuf这样的库正好是在效率、数据大小、易用性之间取得了很好的平衡。 protobuf****格式日志在tdw的支持 1、使用protobuf文件创建表 Tdw支持使用用户定义的proto文件来创建表，使用我们开发的编译器扩展对用的proto文件预处理后，通过proto文件自动抽取出表的结构，支持proto文件引用和message嵌套定义。例如： message Person {required string name = 1;required int32 id = 2; // Unique ID number for this person.optional string email = 3;enum PhoneType {MOBILE = 0;HOME = 1;}message PhoneNumber {required string number = 1;optional PhoneType type = 2 [default = HOME];}repeated PhoneNumber phone = 4;} 创建的表结构为： table person{name stringid intemail stringphone array<struct<number:string,type:int>>} Protobuf中enum 类型转化为tdw的int类型，repeated类型转化为tdw的array，支持protobuf中message定义的嵌套，嵌套message类型转化为tdw的struct类型。 2、使用嵌套message protobuf文件的读写适配 提供HDFS与mapreduce层的适配支持protobuf record的input/output format，mapreduce层与hive层的读写适配Serde层支持嵌套类型的message读写和protobuf默认值的支持。 创建普通表（不包含分区）create table comp stored as pb 创建带分区的表，假设comp message中包含log_date的字段，以log_date字段建立分区的SQL为：create table comp partition by list(log_date) (partition default) stored as pb 注意事项 proto文件名一定要是小写，并且不能包含空格等特殊字符; proto文件中用到import其他proto文件的，不要写路径，只指明文件名即可，例如import “text.proto”; 主proto文件的message名字一定要与表名相同，根据proto文件生成jar包的时候会进行检查，不相同会报错 自定义的类型名和变量名不能相同（支持区分大小写，即message A类型的变量名可以为a），否则生成jar包会失败 不能包含空的message，否则建表的时候会出错 protobuf格式的表入库tdw，直接用hadoop命令将pb文件上传到对应表或分区的目录下即可，支持gz压缩。 使用tdw SQL对protobuf表做日志分析，简单字段可以用通用SQL语法处理，以repeated类型为例描述如何用Lateral View + explode 的SQL处理pb表中的复杂字段。

ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程 你想啊，数据的由来都是ETL实现的，以后所有的数据处理，不都是要依靠这些抽取来的数据。 这一块没有做好，后面的分析，展现就是来了大神，他也没有办法，

一个公司里面不同项目可能用到不同的数据源，有的存在MySQL里面，又的存在MongoDB里面，甚至还有些要做第三方数据。 但是现在又想把数据整合起来，进行 数据分析 。此时数据仓库(Data Warehouse，DW)就派上用场了。它可以对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。 总的来说，数据仓库是将多个数据源的数据按照一定的 主题 集成起来，因为之前的数据各不相同，所以需要 抽取、清洗、转换 。 整合以后的数据不允许随便修改，只能分析，还需要定期更新。 上面我们说过，数据仓库接收的数据源是不同的，要做集成的话，需要 抽取、清洗、转换 三个步骤，这就是 ETL (Extract-Transform-Load) 国内最常用的是一款基于Hadoop的开源数据仓库，名为 Hive ，它可以对存储在 HDFS 的文件数据进行 查询、分析 。 Hive对外可以提供HiveQL，这是类似于SQL语言的一种查询语言。在查询时可以将HiveQL语句转换为 MapReduce 任务，在Hadoop层进行执行。 Hive的最大优势在于 免费 ，那其他知名的商业数据仓库有那些呢？比如Oracle,DB2，其中业界老大是 Teradata Teradata数据仓库支持大规模并行处理平台(MPP)，可以高速处理海量实际上，性能远远高于Hive。对企业来说，只需要专注于业务，节省管理技术方面的精力，实现ROI（投资回报率）最大化。 上面提到了Hive是最著名的开源数据仓库，它是Hadoop生态中一个重要的组件。 Hadoop的生态中，HDFS解决了分布式存储的问题，MapReduce解决了分布式计算的问题，而HBASE则提供了一种NoSQL的存储方法。 但是如果需要的HDFS上的文件或者HBASE的表进行查询，需要自定义MapReduce方法。那么Hive其实就是在HDFS上面的一个中间层，它可以让业务人员直接使用SQL进行查询。 所以Hive是用进行数据提取转换加载的，而且它可以把SQL转换为MapReduce任务，而Hive的表就是HDFS的目录或者文件。 上图为Hive的体系结构 Hive主要包含以下几种数据模型： 本文为 什么是数据仓库？ 的笔记

Clinical Data Repository，简称CDR，即临床数据仓库，一个实时数据库，专门收集从各种临床中得到的患者数据，以实现对患者数据的标准化管理。

Oracle数据仓库的体系结构可以分成三个层次：数据获取层：Oracle Database Enterprise ETL Option + Oracle Database Data Quality Option 在Oracle Database 10g 同一个软件中实现了从数据模型设计，数据质量管理，ETL 流程设计和元数据管理的全部功能。所有的 ETL 过程可以通过Oracle数据仓库中提供的工具： Oracle Warehouse Builder 生成的ETL 脚本存储在Oracle 10g 数据库中执行，按照数据仓库系统的要求，定时地完成数据的抽取并加载到数据仓库系统中。由于ETL 的执行是在Oracle 10g 数据库中，可以充分利用Oracle 10g 数据库提供的强大并行处理能力，保证数据获取的高效、可靠执行。数据存储层：Oracle 10g数据库实现对数据仓库系统各种类型数据的集中存储和管理，包括各种结构化数据 和非结构化数据。Oracle 10g数据库内置OLAP和数据挖掘功能，不需要进行复杂的数据迁移，就可以直接 在关系数据库中完成复杂的统计分析功能。Oracle 10g数据库通过使用分区技术可以支持海量数据的存储，一个数据库最大数据量为8,000 PB(1PB=1024TB)。Oracle 10g提供强大的并行处理能力，满足数据仓库系统 对于性能和扩展性方面的要求。而且系统通过网格控制台(Grid Control)进行数据仓库统一管理。数据展现层：Oracle提供全新的商务智能解决方案Oracle BI EE、OLAP分析开发工具(JDeveloper＋BI Beans)和 数据挖掘工具(Oracle Data Miner)，将统计分析的结果通过各种方式展现。Oracle的数据展现方案使用Java 和 HTML两种方式实现，基于标准的J2EE平台。由于使用统一的元数据库，不需要进行元数据的交换，能够 最大限度地减少系统的维护工作。同时，Oracle的数据展现方案提供具有强大分析功能和非常易用的分析 仪表板， 并支持通过门户(Portal)技术进行集成，为不同类型的用户提供一致的访问界面。相关阅读数据仓库是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，它用于支持企业或组织的决策分析处理。数据仓库，英文名称为Data Warehouse，可简写为DW。数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

hana数据库与数据仓库区别分别是：数据库(Database)是：1、相对复杂的表格结构，存储结构相对紧致，少冗余数据。2、读和写都有优化。3、相对简单的read/write query，单次作用于相对的少量数据。数据仓库(Datawarehouse)是：1、相对简单的(Denormalized)表格结构，存储结构相对松散，多冗余数据。2、一般只是读优化。3、相对复杂的read query，单次作用于相对大量的数据（历史数据）。并且数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理，数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。数据仓库的弱势之处是：并不是所有的读操作，数据仓库一直都有优势。比如在如下两种情况时，数据仓库的读表现并不如数据库：1、在对小量数据进行读取操作的时候，由于数据仓库要进行找Node的location之类的预运算，整体效率上反倒不如数据库。2、如果读取操作的目标不是主键(PrimaryKey)或者分配键(PartitionKey)，那么数据仓库的查询也需要进行全局扫描，效率上就不好说是否胜过数据库了。

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合数据仓库，英文名称为Data Warehouse，可简写为DW。数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。◆面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。◆集成的：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。◆相对稳定的：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。◆反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库是一个过程而不是一个项目。数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。从功能结构化分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。 并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。

数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合，用以支持管理决策。

我也碰到这个问题，驱动安装好，数据源配置好后，电脑或者服务器，一定一定要重启一下，重启完就生效，不会再报这个错误

我很想知道，楼上是怎么不登录回答的？难道是匿名？

如果有门道了可以指点指点我啊我现在对着一堆数据很是头疼，以前主要做移动。现在要做物流啊不过，个人觉得没有数据库基础比较难打，数据挖掘主要和数据打交道，不会数据库不行，简单的sql还是要会的。既然你要很快写论文就想办法从网上或者朋友那里要点数据随便做做，短期学会比较不现实，不过学术性的随便做个主题应该还不是很难。根据要到的数据，用个软件乱跑跑，慢慢就摸索到了先从网上下载个Clementine，verycd里面就有。然后找个教程看看，手把手练练慢慢就知道了如果单纯看教科书你是看不出什么的，或者说，学会的几率小速度也慢。倒不如找到感觉再去看看这些书

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制

1、数据挖掘就是从大量数据中提取数据的过程。2、数据仓库是汇集所有相关数据的一个过程。3、数据挖掘和数据仓库都是商业智能工具集合。4、数据挖掘是特定的数据收集。5、数据仓库是一个工具来节省时间和提高效率，将数据从不同的位置不同区域组织在一起。6、数据仓库三层，即分段、集成和访问。扩展资料：1、数据挖掘 技术是经由自动或半自动的方法探勘及分析大量的资料，以创建有效的模型及规则，而企业通过数据挖掘可以更加了解他们的客户，进而改进他们的行销、业务及客服的运作。数据挖掘是数据仓库的一种重要运用。基本上，它是用来将你的资料中隐藏的资讯挖掘出来，所以 Data Mining 其实是所谓的 Knowledge Discovery 的一部份，Data Mining 使用了许多统计分析与 Modeling 的方法，到资料中寻找有用的特征（Patterns）以及关连（）。Knowledge Discovery 的过程对 Data Mining 的应用成功与否有重要的影响，只有它才能确保 Data Mining 能获得有意义的结果。数据挖掘和OLAP同为分析工具，其差别在于OLAP提供用户一便利的多维度观点和方法，以有效率的对数据进行复杂的查询动作，其预设查询条件由用户预先设定，而数据挖掘，则能由资讯系统主动发掘资料来源中未曾被查觉的隐藏资讯，和透过用户的认知以产生信息。2、数据仓库可以作为数据挖掘和OLAP等分析工具的资料来源，由于存放于数据仓库中的资料，必需经过筛选与转换，因此可以避免分析工具使用错误的资料，而得到不正确的分析结果。另一方面，数据仓库是一个术语，描述一个系统在一个组织中所使用的数据的集合。这些数据收集在数据仓库提供的是事务性系统，如发票，购买记录，甚至贷款记录。各个点的数据记录被创建然后集合在一起，就是数据仓库。该数据仓库给出的数据报告可以帮助用户业务信息，从而做出有效的决策。

数据仓库，简称为DW（Data Warehouse的缩写），是一个很大的数据存储集合，通过对多样的业务数据进行筛选与整合，产出企业的分析性报告和各类报表，为企业的决策提供支持。数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。多维数据库由一个基本维度（它表示没有应用任何读取端隐私策略的数据库）和许多用户维度（它们是数据库的转换副本）组成。为了获得良好的查询性能，我们希望预先计算每个用户的Universe。如果我们天真地那样做，我们最终会有很多领域需要存储和维护，而存储需求本身将是令人望而却步的。一个空间和计算效率高的多维数据库显然不能将所有用户维度全部实现，必须支持对用户维度的高性能增量更新。因此，它需要支持高性能更新的部分具体化视图。最近的研究提供了这个丢失的密钥原语。具体来说，可伸缩的并行流数据流计算系统现在支持部分有状态和动态变化的数据流。这些想法使得建立一个高效的多元维度数据库成为可能。因此，我们将基础维度中的数据库表作为数据流的根顶点，并且随着基础维度的更新，记录将通过流移动到用户维度中。当数据流图中的边跨越通用边界时，将插入任何必要的数据流运算符以强制执行所需的隐私策略。所有适用的策略都应用于转换到给定用户群的每个边缘，因此无论数据通过哪个路径到达该边缘，我们都知道策略将被强制执行。我们可以动态地构建数据流图，在第一次执行查询时为用户范围扩展流。通过在两个维度之间共享计算和缓存数据，可以减少基本更新所需的计算量。将其实现为一个联合的部分状态数据流是安全地执行此操作的关键。通过将所有用户的查询作为一个联合数据流进行推理，系统可以检测到这样的共享：当存在相同的数据流路径时，它们可以合并。逻辑上不同但功能上等价的数据流顶点也可以共享一个公共的后备存储。在给定的维度中，任何到达这样一个顶点的记录都意味着维度可以访问它，因此系统可以安全地公开共享副本。

推荐你用帆软的finebi。第一，这个公司多年做报表finereport，业界口碑好，数据分析的研发大神很多。第二，界面可视化布局简洁明了，看他们视频教程一下午就会操作了。第三，数据处理性能很棒，拖拽过滤数据出来的很快，要知道做数据分析的最怕拖个字段都要等半天了。

虽然我的主业是实时计算和批量计算，并不是数仓，但是在日常工作中绝对少不了与数仓打交道。并且我也算是参与过离线数仓建设的，维度建模的基础还是不能忘。本文就作为一篇抄书笔记吧。 顾名思义，缓慢变化维度（slowly changing dimension, SCD）就是数据仓库维度表中，那些随时间变化比较不明显，但仍然会发生变化的维度。考虑以下两个情境： 处理缓慢变化维度是Kimball数仓体系中永恒的话题，因为数据仓库的本质，以及维度表在维度建模中的基础作用，我们几乎总是要跟踪维度的变更（change tracking），以保留历史，并提供准确的查询和分析结果。在《The Data Warehouse Toolkit, 3rd Edition》一书的第5章，Kimball提出了多种缓慢变化维度的类型和处理方法，其中前五种是原生的，后面的方法都是混合方法（hybrid techniques），因此下面来看看前五种，即Type 0~Type 4。 一种特殊的SCD类型，即不管维度属性的实际值如何变化，数仓中维度的值都会维持第一次的值。它主要适用于那些本身含义就是“原始值”（original）的维度，比如在用户维度表中，用户注册时使用的原始用户名（original_user_name）。如果它发生变化，那么变化后的值是无效的，会被抛弃。 最简单的SCD类型，即一旦维度属性的实际值发生变化，就会直接覆写到数仓中。数仓中的维度属性总是且仅仅保存着最近一次变更的值（most recent assignment）。书中的例子如下： 在上图中，Department Name维度发生了变化，并且新值直接覆盖了上一次的值。虽然它很容易实现，但是这样做会丢掉所有变更历史，并且在跨时域查询时，有可能会得到错误的结果。在实际操作中，这种方式几乎总是一种不良设计。 最主要、最常用的SCD类型，在我们日常以Hive为基础的数仓建设过程中，体现为拉链表技术。 这种类型在维度表中添加两个辅助列：该行的有效日期（effective date）和过期日期（expiration date），分别指示该行从哪个时间点开始生效，以及在哪个时间点过后会变为无效。每当一个或多个维度发生更改时，就创建一个新的行，新行包含有修改后的维度值，而旧行包含有修改前的维度值，且旧行的过期日期也会同步修改。书中的例子如下： 在上图中，当前有效列（current列）的过期日期会被记录为9999-12-31。当Department Name维度变化时，旧有的Product Key为12345的行的过期日期被更新为修改日期，并且新建了一个Key为25984的行，包含新的数据。 需要注意的是，这里的Product Key是所谓代理键（surrogate key），即不表示具体业务含义，而只是代表表内数据行的唯一ID。在处理SCD时，代理键可以直接用来区分同一自然键（natural key）的数据的新旧版本。上图中的SKU就是自然键。 这种类型的SCD处理方式能够非常有效且精确地保留历史与反映变更，但缺点是会造成数据的膨胀，因为即使只有一个维度变化，也要创建新行。 Type 2虽然非常好，但是当要在同一个时间维度内把新值和旧值关联起来时，就没有那么方便了。比如在上一节的表中，如果查询2013年2月1日以后的记录，就只能查到Department Name为“Strategy”的记录，而“Education”就被屏蔽了。Type 3就是一种与Type 2互补的类型。在Type 3的处理方法中，不会添加新行，而会添加一个新的属性列，该属性列中保存有对应维度的上一次变化的值。书中的例子如下： 在上图中新增了一个名称为“Prior Department Name”的列，保存着上一次变更的值。这样也解决了Type 2的数据膨胀问题，但是就只能保存一次变更历史，称为“变更现实”（alternate realities）。 另外仍然要注意，如果维度表中的许多维度都会发生类似的变更，那么就要新增很多列，这显然不太靠谱。所以这种类型经常用来处理那种变化可预测的（predictable）、“牵一发而动全身”的少数SCD。 当然，也可以根据实际需求新增多个列来保存多次变更历史： 当维度的变化没有那么“缓慢”时，前面三种类型的处理就都显得力不从心了（特别是对于规模非常大的维度表，比如有百万甚至千万行）。这种维度一般就不再称为SCD，而称为“快速变化维度”（rapidly changing dimensions, RCD）。当RCD的规模比较小时，还能够采用Type 2或者Type 3来撑着，但规模很大时，就只能采用Type 4了。Type 4的方式是将那些快速变化的维度从原来的大维度表中拆分出来单独处理，是为微维度（mini-dimension）。 以书中的内容为例，如果顾客维度中有一部分人口统计学（demographic）维度是RCD，就将它们拆成单独的维度表： 其中，微维度表的维度最好是少量、分段的（banded）离散值，例如： 下表仍然来自《数据仓库工具箱》的原文。注意其中除了Type 0~4之外，还有三种混合方式，即Type 5~7。 最后善意提醒，《数据仓库工具箱（第三版）》这本书一定要读英文原版，千万不要读中译本。中译本错误百出，很多地方读起来都不通顺，令人窒息。 民那晚安~

5000yuan

ifix5.5历史数据库 需要独立安装和以前的IFIX版本不一样。

PowerPivot 指的是一组应用程序和服务，它们为使用 Excel 和 SharePoint 来创建和共享商业智能提供了端到端的解决方案。使用 PowerPivot 加载项可以更快速地在桌面上分析大型数据集。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。 这两个东西就好像是商业智能的两个助手，都是用来最终实现商业智能的目的的。他们两个之间没什么深层关系。

数据仓库概念:英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。基本特征:数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。数据仓库主要解决哪些问题企业信息化建设过程中，为了提高日常的工作效率以及提高本企业的市场适应能力，大部分企业会根据市场、客户和企业本身建立不同的业务系统来满足需求。但此系统往往因为市场需求、设计理念、建设时间、平台选择等因素的不一致性而导致系统间相互独立、信息分散等特点，从而形成信息孤岛，为了解决上述问题，企业就需要一种行之有效的技术进行信息整合，通过集成不同的系统信息为企业提供统一的决策分析平台，帮助企业解决实际的业务问题（如：如何提高客户满意度和忠诚度，降低成本、提高利润，合理分配资源，有效进行全面绩效管理等）。人们往往会采用数据仓库技术实现。使用数据仓库有3个方面的好处：（1）数据仓库能够为业务部门提供准确、及时的的报表。虽然给业务系统也能够提供报表功能，但由于业务处理系统是为实现某个业务功能开发的，业务处理系统中的报表只能提供局部的信息，无法提供关于企业整体的信息，使管理人员有“只见树木，不见森林”的感觉。另外业务系统中的报表相对是比较固定的，对于业务人员临时提出来的一些分析要求，必须经过软件人员大量艰苦的开发工作才能实现，业务人员往往感觉报表功能不能满足管理上的要求。而在数据仓库中提供的灵活的报表工具，可以很方便地增加新的报表，适应业务的变化。（2）数据仓库可以赋予管理人员更强大的分析能力。联机分析处理（OLAP）是数据仓库中经常采用的一种分析手段。OLAP技术使得用户能够方便地从多个角度对信息进行分析，使业务人员可以了解更多的信息。例如，对于业务收入指标，我们可以了解到每个产品是通过哪些渠道销售出去的，销售给哪些类型的客户，我们不仅可以看到某个区域总的销售收入，而且可以看到在该区域中每个城市、每个商店的销售情况，直到查看到具体的一笔销售合同。OLAP分析的另一个好处是它采用业务名词而不是技术术语对事物进行描述，因此业务人员可以清晰地了解数据对象的含义，并且无需依赖技术人员，就可以自主地进行业务分析。（3）数据仓库是进行数据挖掘、知识发现的基础。利用数据挖掘技术，我们可以发现数据中存在的模式和规律，例如可以了解到不容的用户群体具有什么样的消费行为，对于价格的敏感度如何。利用这些知识，可以帮助企业对未来的变化趋势进行预测，制定更加准确的市场策略，实现交叉销售/向上销售的目标。由于数据仓库已经实现了企业数据的整合，提供了反映企业全局的、一致的信息，因此，在数据仓库的基础上进行数据挖掘，可以使预测分析结果更加准确、更完整。随着云计算、大数据的不断深入，伴之而来的是海量的数据，那么如何更好的从这些数据中提取有用的信息呢？那数据仓库就发挥了他巨大的潜力。

data bank