唐伟峰
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧，而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些，也更有技术含量。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。应用案例，与往届世界杯不同的是，数据分析成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。一向以严谨著称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta等通过大数据分析预测赛果 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的"预言帝"。分析开始的时候，数据首先从数据仓储中会被抽出来，被放进RDBMS里以产生需要的报告或者支撑相应的商业智能应用。在大数据分析的环节中，裸数据以及经转换了的数据大都会被保存下来，因为可能在后面还需要再次转换。 
【导读】可以说，我们每天都被大量的数据充斥着，生活以及工作时时刻刻离不开数据也离不了数据，不过在大数据领域里，数据分析、数据挖掘以及大数据他们是不一样的，很多人在刚入门的时候，这几个概念经常会分不清，问十个人这几个词的意思，你可能会得到十五种不同的答案。今天小编就通过一种比较牵线的例子来和大家聊聊对数据分析、数据挖掘以及大数据的认识。首先来介绍一下数据与信息之间的区别。数据是什么，信息又是什么，其实最本质的区别就是，数据是存在的，有迹可循的，不需要进行处理的，而信息是需要进行处理的。例如你想要为家里买一个新衣柜，那么首先就是要去测量室内各处的长、宽、高，对于这些数据，只要我们测量就可以得到准确的值，因为这些数据是客观存在的，这些客观存在的值就是数据。而信息却不同，你来到家具商场购买衣柜，你会说，我们放3米的衣柜放在房间刚刚好，2米的有些短，看着不大气，4米的又太大了，不划算。那这种就属于信息，这些时候经过大脑进行了思考，进行了主观判断的，而你得出这些信息的依据就是那些客观存在的数据。其次，数据分析是对客观存在的或者说已知的数据，通过各个维度进行分析，得出一个结论。例如我们发现公司的APP用户活跃度下降：从区域上看，某区域的活跃度下降的百分比从性别方面看，男生的活跃度下降的百分比从年龄来看，20岁~30岁的活跃度下降的百分比等等，这样不同的业务类型去看过去一段时间发展的趋势来做结论判断。数据挖掘不仅仅用到统计学的知识，还要用到机器学习的知识，这里会涉及到模型的概念。数据挖掘具有更深的层次，来发现未知的规律和价值。而且更注重洞察数据本身的关系，从而获得一些非显型的结论，这是我们从数据分析中无法得到了，例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似，等等，重在从各个维度去发现数据之间的内在联系因此两者的目的不一样，数据分析是有明确的分析群体，就是对群体进行各个维度的拆、分、组合，来找到问题的所在，而数据发挖掘的目标群体是不确定的，需要我们更多是是从数据的内在联系上去分析，从而结合业务、用户、数据进行更多的洞察解读。例如一个人想找一个女朋友，他可以很快很容易的了解到其外在相关因素情况，例如身高、体重、收入、学历等情况，但是他没有办法从这些数据中知道这个女孩是否适合自己、她的性格与自己是否能够相处融洽……这时我他就需要从一些日常行为的数据进行推断，一种是主观的推断，他觉得、他估计、他认为，能不能在一起。另一种是客观+主观的推断，比如整合社交平台数据(可以知道朋友圈、微博的日常内容、兴趣爱好等等)，和自己的行为进行数据挖掘，来看看数据内在的匹配度有多少，这时候，他就可以判断出，他们在一起的概率有99%，从而建立信心，开始行动当然统计学上讲，100%的概率都未必发生，0%的概率都未必不发生，这只是小概率事件，不要让这个成为你脱单的绊脚石。最后，思考的方式不同，一般来讲，数据分析是根据客观的数据进行不断的验证和假设，而数据挖掘是没有假设的，但你也要根据模型的输出给出你评判的标准。我们经常做分析的时候，数据分析需要的思维性更强一些，更多是运用结构化、MECE的思考方式，类似程序中的假设分析框架(假设)+客观问题(数据分析)=结论(主观判断)而数据挖掘大多数是大而全，多而精，数据越多模型越可能精确，变量越多，数据之间的关系越明确什么变量都要，先从模型的意义上选变量(大而全，多而精)，之后根据变量的相关系程度、替代关系、重要性等几个方面去筛选，最后全扔到模型里面，最后从模型的参数和解读的意义来判断这种方式合不合理。分析更多依赖于业务知识，数据挖掘更多侧重于技术的实现，对于业务的要求稍微有所降低，数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高需要比较强的编程能力，数学能力和机器学习的能力。如果从结果上来看，数据分析更多侧重的是结果的呈现，需要结合业务知识来进行解读。而数据挖掘的结果是一个模型，通过这个模型来分析整个数据的规律，一次来实现对于未来的预测，比如判断用户的特点，用户适合什么样的营销活动。显然，数据挖掘比数据分析要更深一个层次。数据分析是将数据转化为信息的工具，而数据挖掘是将信息转化为认知的工具。以上就是小编今天给大家整理发送的关于“浅谈对数据分析、数据挖掘以及大数据的认识”的相关内容，希望对大家有所帮助。想了解更多关于数据分析及人工智能就业岗位分析，关注小编持续更新。
梦蝶数据打包 轻松获取。不用费时费力自己爬取，快速低成本获取大量数据、定期更新
