barbaz
2025-07-17 11:27:17
大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。大数据有4V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
大数据偏技术，底层开发，数据分析偏业务思维，CDA课程就设计比较合理一大数据平台：大数据平台包含了采集层、存储层、计算层和应用层，是一个复杂的IT系统，需要学会Hadoop等分布式系统的开发技能。1采集层：Sqoop可用来采集导入传统关系型数据库的数据、Flume对于日志型数据采集是非常适用的，另外使用Python一类的语言开发网络爬虫获取网络数据；2储存层：分布式文件系统HDFS最为常用； 3计算层：有不同的计算框架可以选择，常见的如MapReduce、Spark等，一般来讲，如果能使用计算框架的“原生语言”，运算效率会最高（MapReduce的原生支持Java，而Spark原生支持Scala）；4应用层：包括结果数据的可视化、交互界面开发以及应用管理工具的开发等，更多的用到Java、Python等通用IT开发前端、后端的能力； 二数据分析和挖掘：数据挖掘指的是利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换1数据分析方法论：统计基础 微积分（求导）代数（矩阵运算）等2统计模型：方差分析、线性回归、逻辑回归、列联分析、聚类分析、面板模型等3数据挖掘模型：决策树 关联分析、SVM、神经网络 贝叶斯网络等
大数据：通常指的是偏开发类的工程开发岗位，程序员的工作份额比较大数据分析：通常情况偏业务分析和数据统计数据挖掘：通常情况下利用各种算法和建模工具，对数据进行深度逻辑分析。更详细的区分资料，可以到CDA数据分析师平台上看看，上面是专业的数据分析资料
hadoop就是基于Mapreduce框架的分布式平台，一般安装在Linex上面，也可以使用虚拟机在windows下使用。分布式程序可以在多台机器上生成多个节点，每个节点运行程序的一部分，然后合并起来，比单节点运行效率高很多。推荐本书《hadoop in action》（hadoop实战），还有论文可以看很多数据挖掘会议的论文，现在有很多人研究。我的毕业论文就是写这个
区别：大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。释义：大数据：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性） 。数据分析：是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。数据挖掘：又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
