大数据应用

一、数据基础平台基础的数据平台建设工作，包含数据平台建设，数据规范，数据仓库、产品数据规范，产品ID，用户ID，统一SDK等。很多公司的数据无法有效利用，就是缺乏统一规范，产品数据上报任由开发按照自己的理解和习惯上报，没有标准化的SDK和上报协议，并且数据散落在各个部门产品的服务器，无法构建结构化的数据仓库。做数据平台的架构，很多人会理解为高大上的技术活，其实整个数据平台价值的体现，需要公司各个部门的配合，例如关键数据指标体系的建立，需要从各个部门业务指标进行提炼，并得到业务部门认可。常见的关键指标有：DAU、PCU、WAU、MAU、按天留存率(1-30日留存)、累计留存率（7日、14日、30日累计留存率），新增用户，有效新增用户，活跃转化率，付费转化率，收入指标，ARPU人均收入，渠道效果数据等。下图是腾讯和阿里的数据平台架构。阿里大数据业务架构：阿里云梯分布式计算平台整体架构：二、数据报表与可视化在第一层级中，进行数据指标体系规范，统一定义，统一维度区分，就可以很方便的进行标准化可配置数据报表设计，直观的可视化输出设计，包括行为、收入、性能、质量等多种数据类别。在PPT中以友盟、迅雷、百度、腾讯等公司的数据报表体系进行详细讲解。腾讯数据门户阿里数据地图三、产品与运营分析在建立数据平台和可视化基础上，对已有的用户行为、收入数据等进行各种分析，输出日报、周报、月报、各种专题分析报告。常见的数据分析工作如下：1. A/B TEST进行产品分析优化；2. 运用漏斗模型进行用户触达分析，如TIPS、广告等曝光到活跃的转化；3. 收入效果监控与分析，包含付费转化率、渠道效果数据等；4. 业务长期健康度分析，例如从用户流动模型、产品生命周期分析产品成长性和健康度；5. 营销推广活动的实时反馈；用户画像也是常见的数据分析方式，包括用户如性别、年龄、行为、收入、兴趣爱好、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等，反映用户各种特征，以达到全面的了解用户，针对性的为用户提供个性化服务的目的，通常每半年做一次用户画像的专题分析。下图是常见的数据分析思路：常用分析工具：EXCLE，SPSS，SAS，Enterprise Miner，Clementine，STATISTICA。个人用的比较多的是：EXCEL和SPSS。下图是SPSS常用的数据分析与挖掘方法：四、精细化运营平台基于数据基础上搭建的精细化运营平台，主要的平台逻辑多数是进行用户细分，商品和服务细分，通过多种推荐算法的组合优化进行商品和服务的个性化推荐。另外还有针对不同产品生命周期，用户生命周期构建的产品数据运营体系。五、数据产品广义的数据产品非常多，例如搜索类，天气预报类等等。这里主要讲狭义的数据产品，以BAT三家公司的数据产品为例进行分享。腾讯：广点通、信鸽阿里：数据魔方、淘宝情报、淘宝指数、在云端百度：百度预测、百度统计、百度指数、百度司南、百度精算截取几张PPT如下：六、战略分析与决策战略分析与决策层，更多的是跟很多传统的战略分析、经营分析层面的方法论相似，最大的差异是数据来自于大数据。有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。傅志华认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的，“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做，这样导致发现问题的效率较低。建议是，能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”，在此基础上让人来做人类更擅长的经验分析和战略判断。在变化极快的互联网领域，在业务的战略方向选择上，数据很难预测业务的大发展方向，如果有人说微信这个大方向是通过数据挖掘和分析研究出来，估计产品经理们会笑了。从本质上来说，数据在精细化营销和运营中能起到比较好的作用，但在产品策划、广告创意等创意性的事情上，起到的作用较小。但一旦产品创意出来，就可以通过灰度测试，数据验证效果了。

目前中国在大数据应用方面位于世界前列，特别是在服务业领域，如基于大数据的互联网金融及信用体系产品的迅速普及；在智慧物流领域，通过为货主和司机提供实时信息数据匹配，降本增效成果显著。与此同时，随着国家大数据战略配套政策措施的制定和实施，我国大数据产业的发展环境正在不断优化。大数据的新业态、新业务、新服务将迎来爆发式增长，产业链进一步成熟和扩张。大数据在政务、工业、电信、金融、交通、医疗等领域的应用层出不穷，发挥了对产业升级的引领作用。随着云计算的迅速普及，大数据的应用也向更广、更深的维度展开，大数据已经摆脱了流行词的界定，真正实现了产业链的丰富和完善。国内外大数据领域学者和技术“大咖”，在探讨大数据与智能融合的议题上，带来实用性很强的广阔视野和犀利观点。在谈到当前大数据应用现状时，专家指出，当前很多企业积极布局深度学习等人工智能前沿技术，在语音识别、图像理解、文本挖掘等方面抢占全球大数据技术的制高点。前沿技术的创新应用全面支撑了我国智能产业的转型升级。同期举行以“推动智能制造 促进军民融合”为主题，汇集超过600家电子信息产业现场参展，展示超过2000件新产品与新技术。其实，国内企业正探索大数据应用。中国邮政建成新一代寄递业务信息平台、集中式呼叫中心和指挥调度中心，通过大数据、云计算推进企业资源计划、客户关系管理，以科技创新推动业务发展。

大数据可以应用于多个行业，以下是其中几个主要应用行业：1. 零售业：通过分析消费者购买行为和趋势，为零售商提供更准确的市场营销和价格策略。2. 金融业：通过风险评估、欺诈检测和交易分析等领域，提高金融机构的风险管理和效率。3. 医疗保健：通过基因数据分析、病例分析和医学图像分析等领域，提高医疗机构的诊断和治疗效率。4. 制造业：通过物联网、机器学习和实时监控等技术，提高制造业的生产效率和品质控制。5. 教育领域：通过学生数据分析和学习行为预测，提供更 personalized 的教育服务。6. 交通运输：通过实时数据分析和交通管理，提高交通流量和安全性。7. 农业：通过农业数据分析和气象预测，提高农作物产量和品质。总之，大数据技术能够在任何领域带来革命性的变化，这只是行业应用的一部分。

大数据典型的应用有电商领域、传媒领域、金融领域、交通领域、电信领域、安防领域、医疗领域等。大数据的应用是以大数据技术为基础，对各行各业或生产生活方面提供决策参考。

一、金融行业在金融行业，大数据广泛利用，典型例子如美国银行利用客户的点击数据集来给客户量身定制服务等。其实中国，金融行业大数据的利用及展开也比较早，但过去大都是利用大数据解决问题。如今，金融行业中的大多数企业都建立了大数据平台，以此对金融行业的交易数据分别进行搜集和处理。二、医疗行业医疗行业坐拥大量的病例、病理报告、医疗方案、药物报告等。对这些数据进行有效的整理和分析，将会给医生和病人带来极大的帮助。在未来，借助大数据平台，医疗行业可以更系统、更完全地搜集疾病的基本特点、患者病历和医治方案等，建立起来针对各种疾病的数据库，最大限度地帮助医生进行疾病诊断。三、农牧行业农牧产品最大的困难就是不容易保存，因此公道地管控种植和养殖农牧产品对农、牧民来讲非常重要。政府可以借助大数据提供的消费能力和趋势报告，来为农牧行业生产进行公道引导，根据需求最大化进行生产，以避免产能多余而造成资源和社会财富的浪费。借助大数据技术支持，可以实现农业的精细化管理和科学决策。具体操作：在大数据技术驱动下，结合无人机技术，农民就可以够全面、快速地搜集农产品生长和病虫害等信息。四、零售行业大数据在零售行业的租用主要体现在：零售行业可以通过往客户的购买记录，了解客户们的购买喜好，从而将客户喜欢的，相干的产品放到1起来增加产品销售额。例如，将与清洗衣物相干的化工产品如洗衣粉、消毒液、漂白剂等放到1起进行销售。据调查，根据客户对相干产品的购买记录而重新整合、摆放的货物将会给零售行业增加30%以上的产品销售额。五、制造业利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程；六、汽车行业利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活；七、互联网行业借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放；八、电信行业利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施；九、能源行业随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全；十、物流行业利用大数据优化物流网络，提高物流效率，降低物流成本；十一、城市管理可以利用大数据实现智能交通、环保监测、城市规划和智能安防；十二、体育娱乐大数据可以帮助我们训练球队，决定投拍哪种题材的影视作品，以及预测比赛结果；十三、安全领域政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪；