数据挖掘

未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术, 包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对, 在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。

用limma包，这里注意，limma包是对基因芯片表达矩阵的分析，不能对逆转录RNAseq表达矩阵进行分析（因为数据特征不同），RNAseq需要用另一种方法 解读此表 但是上面的用法做不到随心所欲的指定任意两组进行比较，所有还有下一种方法 处理好了分组信息，再自定义比较元素 自定义函数进行比较 热土和火山图都是傻瓜式的，只要的前面得出的deg数据(也就是基因差异表达数据）是正确的

按symbol列去重，常见标准有3个：最大值/平均值/随机去重

常用的机器学习&数据挖掘知识点 Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)， CP(Conditional Probability条件概率)，JP(Joint Probability 联合概率)，MP(Marginal Probability边缘概率)，Bayesian Formula(贝叶斯公式)，L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent 梯度下降)，SGD(Stochastic Gradient Descent 随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile (分位数)，Covariance(协方差矩阵)。Common Distribution(常见分布)：Discrete Distribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，Negative BinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，Geometric Distribution(几何分布)，HypergeometricDistribution(超几何分布)，Poisson Distribution (泊松分布)Continuous Distribution (连续型分布)：UniformDistribution(均匀分布)，Normal Distribution /Guassian Distribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，Lognormal Distribution(对数正态分布)，GammaDistribution(Gamma分布)，Beta Distribution(Beta分布)，Dirichlet Distribution(狄利克雷分布)，Rayleigh Distribution(瑞利分布)，Cauchy Distribution(柯西分布)，Weibull Distribution (韦伯分布)Three Sampling Distribution(三大抽样分布)：Chi-squareDistribution(卡方分布)，t-distribution(t-distribution)，F-distribution(F-分布)Data Pre-processing(数据预处理)：Missing Value Imputation(缺失值填充)，Discretization(离散化)，Mapping(映射)，Normalization(归一化/标准化)。Sampling(采样)：Simple Random Sampling(简单随机采样)，OfflineSampling(离线等可能K采样)，Online Sampling(在线等可能K采样)，Ratio-based Sampling(等比例随机采样)，Acceptance-RejectionSampling(接受-拒绝采样)，Importance Sampling(重要性采样)，MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法：Metropolis-Hasting& Gibbs)。Clustering(聚类)：K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(谱聚类)，GMM-EM(混合高斯模型-期望最大化算法解决)，K-Pototypes，CLARANS(基于划分)，BIRCH(基于层次)，CURE(基于层次)，DBSCAN(基于密度)，CLIQUE(基于密度和基于网格)Classification&Regression(分类&回归)：LR(Linear Regression 线性回归)，LR(LogisticRegression逻辑回归)，SR(Softmax Regression 多分类逻辑回归)，GLM(GeneralizedLinear Model 广义线性模型)，RR(Ridge Regression 岭回归/L2正则最小二乘回归)，LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归)， RF(随机森林)，DT(DecisionTree决策树)，GBDT(Gradient BoostingDecision Tree 梯度下降决策树)，CART(ClassificationAnd Regression Tree 分类回归树)，KNN(K-Nearest Neighbor K近邻)，SVM(Support VectorMachine)，KF(KernelFunction 核函数PolynomialKernel Function 多项式核函数、Guassian KernelFunction 高斯核函数/Radial BasisFunction RBF径向基函数、String KernelFunction 字符串核函数)、 NB(Naive Bayes 朴素贝叶斯)，BN(Bayesian Network/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)，LDA(Linear Discriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别)，EL(Ensemble Learning集成学习Boosting，Bagging，Stacking)，AdaBoost(Adaptive Boosting 自适应增强)，MEM(MaximumEntropy Model最大熵模型)Effectiveness Evaluation(分类效果评估)：Confusion Matrix(混淆矩阵)，Precision(精确度)，Recall(召回率)，Accuracy(准确率)，F-score(F得分)，ROC Curve(ROC曲线)，AUC(AUC面积)，LiftCurve(Lift曲线) ，KS Curve(KS曲线)。PGM(Probabilistic Graphical Models概率图模型)：BN(Bayesian Network/Bayesian Belief Network/ BeliefNetwork 贝叶斯网络/贝叶斯信度网络/信念网络)，MC(Markov Chain 马尔科夫链)，HMM(HiddenMarkov Model 马尔科夫模型)，MEMM(Maximum Entropy Markov Model 最大熵马尔科夫模型)，CRF(ConditionalRandom Field 条件随机场)，MRF(MarkovRandom Field 马尔科夫随机场)。NN(Neural Network神经网络)：ANN(Artificial Neural Network 人工神经网络)，BP(Error BackPropagation 误差反向传播)Deep Learning(深度学习)：Auto-encoder(自动编码器)，SAE(Stacked Auto-encoders堆叠自动编码器：Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、Contractive Auto-encoders 收缩自动编码器)，RBM(RestrictedBoltzmann Machine 受限玻尔兹曼机)，DBN(Deep Belief Network 深度信念网络)，CNN(ConvolutionalNeural Network 卷积神经网络)，Word2Vec(词向量学习模型)。DimensionalityReduction(降维)：LDA LinearDiscriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别，PCA(Principal Component Analysis 主成分分析)，ICA(IndependentComponent Analysis 独立成分分析)，SVD(Singular Value Decomposition 奇异值分解)，FA(FactorAnalysis 因子分析法)。Text Mining(文本挖掘)：VSM(Vector Space Model向量空间模型)，Word2Vec(词向量学习模型)，TF(Term Frequency词频)，TF-IDF(Term Frequency-Inverse DocumentFrequency 词频-逆向文档频率)，MI(MutualInformation 互信息)，ECE(Expected Cross Entropy 期望交叉熵)，QEMI(二次信息熵)，IG(InformationGain 信息增益)，IGR(Information Gain Ratio 信息增益率)，Gini(基尼系数)，x2 Statistic(x2统计量)，TEW(TextEvidence Weight文本证据权)，OR(Odds Ratio 优势率)，N-Gram Model，LSA(Latent Semantic Analysis 潜在语义分析)，PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潜在语义分析)，LDA(Latent DirichletAllocation 潜在狄利克雷模型)Association Mining(关联挖掘)：Apriori，FP-growth(Frequency Pattern Tree Growth 频繁模式树生长算法)，AprioriAll，Spade。Recommendation Engine(推荐引擎)：DBR(Demographic-based Recommendation 基于人口统计学的推荐)，CBR(Context-basedRecommendation 基于内容的推荐)，CF(Collaborative Filtering协同过滤)，UCF(User-basedCollaborative Filtering Recommendation 基于用户的协同过滤推荐)，ICF(Item-basedCollaborative Filtering Recommendation 基于项目的协同过滤推荐)。Similarity Measure&Distance Measure(相似性与距离度量)：Euclidean Distance(欧式距离)，ManhattanDistance(曼哈顿距离)，Chebyshev Distance(切比雪夫距离)，MinkowskiDistance(闵可夫斯基距离)，Standardized Euclidean Distance(标准化欧氏距离)，MahalanobisDistance(马氏距离)，Cos(Cosine 余弦)，HammingDistance/Edit Distance(汉明距离/编辑距离)，JaccardDistance(杰卡德距离)，Correlation Coefficient Distance(相关系数距离)，InformationEntropy(信息熵)，KL(Kullback-Leibler Divergence KL散度/Relative Entropy 相对熵)。Optimization(最优化)：Non-constrainedOptimization(无约束优化)：Cyclic VariableMethods(变量轮换法)，Pattern Search Methods(模式搜索法)，VariableSimplex Methods(可变单纯形法)，Gradient Descent Methods(梯度下降法)，Newton Methods(牛顿法)，Quasi-NewtonMethods(拟牛顿法)，Conjugate Gradient Methods(共轭梯度法)。ConstrainedOptimization(有约束优化)：Approximation Programming Methods(近似规划法)，FeasibleDirection Methods(可行方向法)，Penalty Function Methods(罚函数法)，Multiplier Methods(乘子法)。Heuristic Algorithm(启发式算法)，SA(SimulatedAnnealing，模拟退火算法)，GA(genetic algorithm遗传算法)Feature Selection(特征选择算法)：Mutual Information(互信息)，DocumentFrequence(文档频率)，Information Gain(信息增益)，Chi-squared Test(卡方检验)，Gini(基尼系数)。Outlier Detection(异常点检测算法)：Statistic-based(基于统计)，Distance-based(基于距离)，Density-based(基于密度)，Clustering-based(基于聚类)。Learning to Rank(基于学习的排序)：Pointwise：McRank；Pairwise：RankingSVM，RankNet，Frank，RankBoost；Listwise：AdaRank，SoftRank，LamdaMART；Tool(工具)：MPI，Hadoop生态圈，Spark，BSP，Weka，Mahout，Scikit-learn，PyBrain…

常用的机器学习&数据挖掘知识(点）Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)，CP(Conditional Probability条件概率)，JP(Joint Probability 联合概率)，MP(Marginal Probability边缘概率)，Bayesian Formula(贝叶斯公式)，L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent 梯度下降)，SGD(Stochastic Gradient Descent 随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile (分位数)，Covariance(协方差矩阵)。Common Distribution(常见分布)：Discrete Distribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，Negative BinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，Geometric Distribution(几何分布)，HypergeometricDistribution(超几何分布)，Poisson Distribution (泊松分布)。Continuous Distribution (连续型分布)：UniformDistribution(均匀分布)，Normal Distribution /Guassian Distribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，Lognormal Distribution(对数正态分布)，GammaDistribution(Gamma分布)，Beta Distribution(Beta分布)，Dirichlet Distribution(狄利克雷分布)，Rayleigh Distribution(瑞利分布)，Cauchy Distribution(柯西分布)，Weibull Distribution (韦伯分布)。Three Sampling Distribution(三大抽样分布)：Chi-squareDistribution(卡方分布)，t-distribution(t-distribution)，F-distribution(F-分布)。Data Pre-processing(数据预处理)：Missing Value Imputation(缺失值填充)，Discretization(离散化)，Mapping(映射)，Normalization(归一化/标准化)。Sampling(采样)：Simple Random Sampling(简单随机采样)，OfflineSampling(离线等可能K采样)，Online Sampling(在线等可能K采样)，Ratio-based Sampling(等比例随机采样)，Acceptance-RejectionSampling(接受-拒绝采样)，Importance Sampling(重要性采样)，MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法：Metropolis-Hasting& Gibbs)。Clustering(聚类)：K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(谱聚类)，GMM-EM(混合高斯模型-期望最大化算法解决)，K-Pototypes，CLARANS(基于划分)，BIRCH(基于层次)，CURE(基于层次)，DBSCAN(基于密度)，CLIQUE(基于密度和基于网格)。Classification&Regression(分类&回归)：LR(Linear Regression 线性回归)，LR(LogisticRegression逻辑回归)，SR(Softmax Regression 多分类逻辑回归)，GLM(GeneralizedLinear Model 广义线性模型)，RR(Ridge Regression 岭回归/L2正则最小二乘回归)，LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归)，RF(随机森林)，DT(DecisionTree决策树)，GBDT(Gradient BoostingDecision Tree 梯度下降决策树)，CART(ClassificationAnd Regression Tree 分类回归树)，KNN(K-Nearest Neighbor K近邻)，SVM(Support VectorMachine)，KF(KernelFunction 核函数PolynomialKernel Function 多项式核函、Guassian KernelFunction 高斯核函数/Radial BasisFunction RBF径向基函数、String KernelFunction 字符串核函数)、NB(Naive Bayes 朴素贝叶斯)，BN(Bayesian Network/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)，LDA(Linear Discriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别)，EL(Ensemble Learning集成学习Boosting，Bagging，Stacking)，AdaBoost(Adaptive Boosting 自适应增强)，MEM(MaximumEntropy Model最大熵模型)。Effectiveness Evaluation(分类效果评估)：Confusion Matrix(混淆矩阵)，Precision(精确度)，Recall(召回率)，Accuracy(准确率)，F-score(F得分)，ROC Curve(ROC曲线)，AUC(AUC面积)，LiftCurve(Lift曲线) ，KS Curve(KS曲线)。PGM(Probabilistic Graphical Models概率图模型)：BN(Bayesian Network/Bayesian Belief Network/ BeliefNetwork 贝叶斯网络/贝叶斯信度网络/信念网络)，MC(Markov Chain 马尔科夫链)，HMM(HiddenMarkov Model 马尔科夫模型)，MEMM(Maximum Entropy Markov Model 最大熵马尔科夫模型)，CRF(ConditionalRandom Field 条件随机场)，MRF(MarkovRandom Field 马尔科夫随机场)。NN(Neural Network神经网络)：ANN(Artificial Neural Network 人工神经网络)，BP(Error BackPropagation 误差反向传播)。Deep Learning(深度学习)：Auto-encoder(自动编码器)，SAE(Stacked Auto-encoders堆叠自动编码器，Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、Contractive Auto-encoders 收缩自动编码器)，RBM(RestrictedBoltzmann Machine 受限玻尔兹曼机)，DBN(Deep Belief Network 深度信念网络)，CNN(ConvolutionalNeural Network 卷积神经网络)，Word2Vec(词向量学习模型)。DimensionalityReduction(降维)：LDA LinearDiscriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别，PCA(Principal Component Analysis 主成分分析)，ICA(IndependentComponent Analysis 独立成分分析)，SVD(Singular Value Decomposition 奇异值分解)，FA(FactorAnalysis 因子分析法)。Text Mining(文本挖掘)：VSM(Vector Space Model向量空间模型)，Word2Vec(词向量学习模型)，TF(Term Frequency词频)，TF-IDF(Term Frequency-Inverse DocumentFrequency 词频-逆向文档频率)，MI(MutualInformation 互信息)，ECE(Expected Cross Entropy 期望交叉熵)，QEMI(二次信息熵)，IG(InformationGain 信息增益)，IGR(Information Gain Ratio 信息增益率)，Gini(基尼系数)，x2 Statistic(x2统计量)，TEW(TextEvidence Weight文本证据权)，OR(Odds Ratio 优势率)，N-Gram Model，LSA(Latent Semantic Analysis 潜在语义分析)，PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潜在语义分析)，LDA(Latent DirichletAllocation 潜在狄利克雷模型)。Association Mining(关联挖掘)：Apriori，FP-growth(Frequency Pattern Tree Growth 频繁模式树生长算法)，AprioriAll，Spade。Recommendation Engine(推荐引擎)：DBR(Demographic-based Recommendation 基于人口统计学的推荐)，CBR(Context-basedRecommendation 基于内容的推荐)，CF(Collaborative Filtering协同过滤)，UCF(User-basedCollaborative Filtering Recommendation 基于用户的协同过滤推荐)，ICF(Item-basedCollaborative Filtering Recommendation 基于项目的协同过滤推荐)。Similarity Measure&Distance Measure(相似性与距离度量)：Euclidean Distance(欧式距离)，ManhattanDistance(曼哈顿距离)，Chebyshev Distance(切比雪夫距离)，MinkowskiDistance(闵可夫斯基距离)，Standardized Euclidean Distance(标准化欧氏距离)，MahalanobisDistance(马氏距离)，Cos(Cosine 余弦)，HammingDistance/Edit Distance(汉明距离/编辑距离)，JaccardDistance(杰卡德距离)，Correlation Coefficient Distance(相关系数距离)，InformationEntropy(信息熵)，KL(Kullback-Leibler Divergence KL散度/Relative Entropy 相对熵)。Optimization(最优化)：Non-constrainedOptimization(无约束优化)：Cyclic VariableMethods(变量轮换法)，Pattern Search Methods(模式搜索法)，VariableSimplex Methods(可变单纯形法)，Gradient Descent Methods(梯度下降法)，Newton Methods(牛顿法)，Quasi-NewtonMethods(拟牛顿法)，Conjugate Gradient Methods(共轭梯度法)。ConstrainedOptimization(有约束优化)：Approximation Programming Methods(近似规划法)，FeasibleDirection Methods(可行方向法)，Penalty Function Methods(罚函数法)，Multiplier Methods(乘子法)。Heuristic Algorithm(启发式算法)，SA(SimulatedAnnealing，模拟退火算法)，GA(genetic algorithm遗传算法)。Feature Selection(特征选择算法)：Mutual Information(互信息)，DocumentFrequence(文档频率)，Information Gain(信息增益)，Chi-squared Test(卡方检验)，Gini(基尼系数)。Outlier Detection(异常点检测算法)：Statistic-based(基于统计)，Distance-based(基于距离)，Density-based(基于密度)，Clustering-based(基于聚类)。Learning to Rank(基于学习的排序)：Pointwise：McRank；Pairwise：RankingSVM，RankNet，Frank，RankBoost；Listwise：AdaRank，SoftRank，LamdaMART。Tool(工具)：MPI，Hadoop生态圈，Spark，BSP，Weka，Mahout，Scikit-learn，PyBrain…以及一些具体的业务场景与case等。

Track1任务：社交网络中的个性化推荐系统根据腾讯微博中的用户属性（User Profile）、SNS社交关系、在社交网络中的互动记录（retweet、comment、at）等，以及过去30天内的历史item推荐记录，来预测接下来最有可能被用户接受的推荐item列表KDD Cup 2012年优胜者：冠军：ACMClass@SJTU （上海交通大学ACM班）亚军：Shanda Innovations （盛大创新院）季军：SYSU_WargreymonTrack2任务：搜索广告系统的pTCR点击率预估提供用户在腾讯搜索的查询词（query）、展现的广告信息（包括广告标题、描述、url等），以及广告的相对位置（多条广告中的排名）和用户点击情况，以及广告主和用户的属性信息，来预测后续时间用户对广告的点击情况KDD Cup 2012年Track2优胜者：冠军：Catch Up （国立台湾大学）亚军：Opera Solutions （Opera Inc.）季军：Steffen Rendle Track1任务：音乐评分预测根据用户在雅虎音乐上item的历史评分记录，来预测用户对其他item（包括歌曲、专辑等）的评分和实际评分之间的差异RMSE（最小均方误差）。同时提供的还有歌曲所属的专辑、歌手、曲风等信息KDD Cup 2011年Track1优胜者：冠军：National Taiwan University (国立台湾大学)亚军：Commendo （Commendo Inc.）季军：InnerPeace （上海交通大学）Track2任务：识别音乐是否被用户评分每个用户提供6首候选的歌曲，其中3首为用户已评分数据，另3首是该用户未评分，但是出自用户中整体评分较高的歌曲。歌曲的属性信息（专辑、歌手、曲风等）也同样提供。参赛者给出二分分类结果（0/1分类），并根据整体准确率计算最终排名KDD Cup 2011年Track2优胜者：冠军：National Taiwan University （国立台湾大学）亚军：The Art of Lemon （中国科学院）季军：Commendo （Commendo Inc.） 根据智能教学辅导系统和学生之间的交互日志，来预测学生数学题的考试成绩。该任务兼具实践重要性和科学趣味性。竞赛提供3个开发（develop）数据集和2个挑战（challenge）数据集，每个数据集又分为训练（train）部分和测试（test）部分。Challenge数据集的test部分被隐藏，参赛者需要开发一种学习模型，来准确预测这部分隐藏部分的成绩KDD Cup 2010年优胜者：冠军：National Taiwan University （国立台湾大学）亚军：Zhang and Su 季军：BigChaos@KDD （Commendo Inc. and AT&T Labs） 法国电信运营商Orange的大规模数据中，积累了大量客户的行为记录。竞赛者需要设计一个良好的客户关系管理系统（CRM），用快速、稳定的方法，预测客户三个维度的属性，包括：1、忠诚度：用户切换运营商的可能性（Churn）；2、购买欲：购买新服务的可能性（Appetency）；3、增值性：客户升级或追加购买高利润产品的可能性（Up-selling）。结果用AUC曲线来评估KDD Cup 2009年优胜者：Track1 （Fast Track）：冠军：IBM Research （IBM研究院）亚军：ID Analytics Inc.季军：Old dogs with new tricks (美国西北大学David Slate教授, Peter W. Frey教授) Track2 （Slow Track）冠军：University of Melbourne（墨尔本大学）亚军：Financial Engineering Group, Inc. Japan季军：National Taiwan University（国立台湾大学） 医学影像学的一个重要应用是乳腺癌的检测。每年全球有46.5万女性患者被乳腺癌夺走性命，但在1990年后通过引入X-射线进行检测，能够成功的在发病早期发现病兆并进行治疗，成功降低了30%的疾病死亡率。传统方式由放射学医生来进行X相片的检测，耗时耗力，而且为了提高检测的准确率，往往需要多位医生重复判读图像。基于此背景，本届赛题分为两个Track，分别是设计计算机辅助检测系统（Computer-Aided Detection，CAD），来判读图像是否含有乳腺癌病兆；以及设计二分分类器（binary classification），来决定某样本是否需要医生来进行重复判读。KDD Cup 2008年优胜者：Track1：冠军：IBM Research (IBM研究院)亚军：National Taiwan University (国立台湾大学)季军：Wayne State University (美国韦恩州立大学)Track2：冠军：IBM Research (IBM研究院)亚军：TZ Team季军：National Taiwan University

如果你是利用SPSS Clementine，可以在SPSS中直接定义变量为属性变量（nominal）；如果数据量足够大，缺失值就让它缺失吧，如果进行缺失值插补反而可能会引入误差。

这三者的关系是相互关联，而大数据其实需要利用到机器学习和数据挖掘的内容、语义学的内容等、机器学习、数据挖掘，又有一些统计学的内容，数据挖掘有一些机器学习的内容机器学习，自然语言处理也需要用到机器学习，推荐系统需要数据挖掘、计算机的内容！

　　磨刀不误砍柴工。在学习数据挖掘之前应该明白几点：　　数据挖掘目前在中国的尚未流行开，犹如屠龙之技。　　数据初期的准备通常占整个数据挖掘项目工作量的70%左右。　　数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。　　数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效）　　数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。　　数据挖掘项目通常需要重复一些毫无技术含量的工作。如果你阅读了以上内容觉得可以接受，那么继续往下看。学习一门技术要和行业靠拢，没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的（十年前做网页设计都能成立公司），一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了，一方面有利于抓住用户痛点和刚性需求，另一方面能够累计行业经验，使用互联网思维跨界让你更容易取得成功。不要在学习技术时想要面面俱到，这样会失去你的核心竞争力。 一、目前国内的数据挖掘人员工作领域大致可分为三类。　　1）数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。　　2）数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。　　3）科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。二、说说各工作领域需要掌握的技能。 (1).数据分析师　　需要有深厚的数理统计基础，但是对程序开发能力不做要求。　　需要熟练使用主流的数据挖掘（或统计分析）工具如Business Analytics and Business Intelligence Software（SAS）、SPSS、EXCEL等。　　需要对与所在行业有关的一切核心数据有深入的理解，以及一定的数据敏感性培养。　　经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等。　　(2).数据挖掘工程师　　需要理解主流机器学习算法的原理和应用。　　需要熟悉至少一门编程语言如（Python、C、C++、Java、Delphi等）。　　需要理解数据库原理，能够熟练操作至少一种数据库（Mysql、SQL、DB2、Oracle等），能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。　　经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。　　(3).科学研究方向　　需要深入学习数据挖掘的理论基础，包括关联规则挖掘 （Apriori和FPTree）、分类算法（C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 （Kmeans、Spectral Clustering）。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。　　相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing，因为R软件是完全免费的，而且开放的社区环境提供多种附加工具包支持，更适合进行统计计算分析研究。虽然目前在国内流行度不高，但是强烈推荐。　　可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。　　需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD，ICML，IJCAI，Association for the Advancement of Artificial Intelligence，ICDM 等等；还有数据挖掘相关领域期刊：ACM Transactions on Knowledge Discovery from Data，IEEE Transactions on Knowledge and Data Engineering，Journal of Machine Learning Research Homepage，IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。　　可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ，Kaggle: Go from Big Data to Big Analytics等。　　可以尝试为一些开源项目贡献自己的代码，比如Apache Mahout: Scalable machine learning and data mining ,myrrix等（具体可以在SourceForge或GitHub.上发现更多好玩的项目）。　　经典图书推荐：《机器学习》 《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》，英文素质是科研人才必备的《Machine Learning: A Probabilistic Perspective》《Scaling up Machine Learning : Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner : A Case Study Approach》《Python for Data Analysis》等。

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。大数据需要特殊的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V” 从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。搜索下各种百科，上面都有。说白了，就是数据量非常庞大。这确实是近几年的热点问题。

数据挖掘总结之分类与聚类的区别分类与聚类的区别Classification (分类)：一个 classifier会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。Clustering(聚类)：简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在Machine Learning中被称作unsupervised learning (无监督学习)。聚类分析目的在于将相似的事物归类，同一类中的个体有较大的相似性，不同类的个体差异性很大。

大数据不仅体现在数量上的庞大，还有涉及到数据的维度比较广泛，能够从海量的数据中提取出最有效的信息，谁能够更好的利用大数据分析就能够在竞争中处于更加有利的位置，那么大数据分析都包含了哪些技术呢？ 第一、对于任何的数据分析来说，首要的就是数据采集，一些移动客户端中的数据进行快速而又广泛的搜集，同时它还能够迅速的将一些其他的平台中的数据源中的数据导入到该工具中，对数据进行清洗、转换、集成等，从而形成在该工具的数据库中或者是数据集市当中，为联系分析处理和数据挖掘提供了基础。 第二、数据在采集之后，大数据分析的另一个技术数据存取将会继续发挥作用，方便用户在使用中储存原始性的数据，再有就是基础性的架构，比如说运储存和分布式的文件储存等，都是比较常见的一种。 第三、数据处理可以说是该软件具有的最核心的技术之一，面对庞大而又复杂的数据，运用一些计算方法或者是统计的方法等对数据进行处理，包括对它的统计、归纳、分类等，从而能够让用户深度的了解到数据所具有的深度价值。 第四、统计分析可以帮助用户分析出现某一种数据现象的原因是什么，差异分析则可以比较出企业的产品销售在不同的时间和地区中所显示出来的巨大差异，以便未来更合理的在时间和地域中进行布局。第五、某一种数据现象和另外一种数据现象之间存在怎样的关系，此外，聚类分析以及主成分分析和对应分析等都是常用的技术，这些技术的运用会让数据开发更接近人们的应用目标。以前大数据分析会用到各种工具，比如数仓工具、数据建模工具、数据挖掘工具等等。现在亿信ABI 融合了数据源适配、ETL数据处理、数据建模、数据分析、数据采集、工作流、门户、移动应用等核心功能，一个平台搞定所有功能。

我很想知道，楼上是怎么不登录回答的？难道是匿名？

如果有门道了可以指点指点我啊我现在对着一堆数据很是头疼，以前主要做移动。现在要做物流啊不过，个人觉得没有数据库基础比较难打，数据挖掘主要和数据打交道，不会数据库不行，简单的sql还是要会的。既然你要很快写论文就想办法从网上或者朋友那里要点数据随便做做，短期学会比较不现实，不过学术性的随便做个主题应该还不是很难。根据要到的数据，用个软件乱跑跑，慢慢就摸索到了先从网上下载个Clementine，verycd里面就有。然后找个教程看看，手把手练练慢慢就知道了如果单纯看教科书你是看不出什么的，或者说，学会的几率小速度也慢。倒不如找到感觉再去看看这些书

1、数据挖掘就是从大量数据中提取数据的过程。2、数据仓库是汇集所有相关数据的一个过程。3、数据挖掘和数据仓库都是商业智能工具集合。4、数据挖掘是特定的数据收集。5、数据仓库是一个工具来节省时间和提高效率，将数据从不同的位置不同区域组织在一起。6、数据仓库三层，即分段、集成和访问。扩展资料：1、数据挖掘 技术是经由自动或半自动的方法探勘及分析大量的资料，以创建有效的模型及规则，而企业通过数据挖掘可以更加了解他们的客户，进而改进他们的行销、业务及客服的运作。数据挖掘是数据仓库的一种重要运用。基本上，它是用来将你的资料中隐藏的资讯挖掘出来，所以 Data Mining 其实是所谓的 Knowledge Discovery 的一部份，Data Mining 使用了许多统计分析与 Modeling 的方法，到资料中寻找有用的特征（Patterns）以及关连（）。Knowledge Discovery 的过程对 Data Mining 的应用成功与否有重要的影响，只有它才能确保 Data Mining 能获得有意义的结果。数据挖掘和OLAP同为分析工具，其差别在于OLAP提供用户一便利的多维度观点和方法，以有效率的对数据进行复杂的查询动作，其预设查询条件由用户预先设定，而数据挖掘，则能由资讯系统主动发掘资料来源中未曾被查觉的隐藏资讯，和透过用户的认知以产生信息。2、数据仓库可以作为数据挖掘和OLAP等分析工具的资料来源，由于存放于数据仓库中的资料，必需经过筛选与转换，因此可以避免分析工具使用错误的资料，而得到不正确的分析结果。另一方面，数据仓库是一个术语，描述一个系统在一个组织中所使用的数据的集合。这些数据收集在数据仓库提供的是事务性系统，如发票，购买记录，甚至贷款记录。各个点的数据记录被创建然后集合在一起，就是数据仓库。该数据仓库给出的数据报告可以帮助用户业务信息，从而做出有效的决策。

推荐你用帆软的finebi。第一，这个公司多年做报表finereport，业界口碑好，数据分析的研发大神很多。第二，界面可视化布局简洁明了，看他们视频教程一下午就会操作了。第三，数据处理性能很棒，拖拽过滤数据出来的很快，要知道做数据分析的最怕拖个字段都要等半天了。

数据仓库概念:英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。基本特征:数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。数据仓库主要解决哪些问题企业信息化建设过程中，为了提高日常的工作效率以及提高本企业的市场适应能力，大部分企业会根据市场、客户和企业本身建立不同的业务系统来满足需求。但此系统往往因为市场需求、设计理念、建设时间、平台选择等因素的不一致性而导致系统间相互独立、信息分散等特点，从而形成信息孤岛，为了解决上述问题，企业就需要一种行之有效的技术进行信息整合，通过集成不同的系统信息为企业提供统一的决策分析平台，帮助企业解决实际的业务问题（如：如何提高客户满意度和忠诚度，降低成本、提高利润，合理分配资源，有效进行全面绩效管理等）。人们往往会采用数据仓库技术实现。使用数据仓库有3个方面的好处：（1）数据仓库能够为业务部门提供准确、及时的的报表。虽然给业务系统也能够提供报表功能，但由于业务处理系统是为实现某个业务功能开发的，业务处理系统中的报表只能提供局部的信息，无法提供关于企业整体的信息，使管理人员有“只见树木，不见森林”的感觉。另外业务系统中的报表相对是比较固定的，对于业务人员临时提出来的一些分析要求，必须经过软件人员大量艰苦的开发工作才能实现，业务人员往往感觉报表功能不能满足管理上的要求。而在数据仓库中提供的灵活的报表工具，可以很方便地增加新的报表，适应业务的变化。（2）数据仓库可以赋予管理人员更强大的分析能力。联机分析处理（OLAP）是数据仓库中经常采用的一种分析手段。OLAP技术使得用户能够方便地从多个角度对信息进行分析，使业务人员可以了解更多的信息。例如，对于业务收入指标，我们可以了解到每个产品是通过哪些渠道销售出去的，销售给哪些类型的客户，我们不仅可以看到某个区域总的销售收入，而且可以看到在该区域中每个城市、每个商店的销售情况，直到查看到具体的一笔销售合同。OLAP分析的另一个好处是它采用业务名词而不是技术术语对事物进行描述，因此业务人员可以清晰地了解数据对象的含义，并且无需依赖技术人员，就可以自主地进行业务分析。（3）数据仓库是进行数据挖掘、知识发现的基础。利用数据挖掘技术，我们可以发现数据中存在的模式和规律，例如可以了解到不容的用户群体具有什么样的消费行为，对于价格的敏感度如何。利用这些知识，可以帮助企业对未来的变化趋势进行预测，制定更加准确的市场策略，实现交叉销售/向上销售的目标。由于数据仓库已经实现了企业数据的整合，提供了反映企业全局的、一致的信息，因此，在数据仓库的基础上进行数据挖掘，可以使预测分析结果更加准确、更完整。随着云计算、大数据的不断深入，伴之而来的是海量的数据，那么如何更好的从这些数据中提取有用的信息呢？那数据仓库就发挥了他巨大的潜力。