pjwdmpv78
事实上，所谓“大数据时代”的说法并不新鲜，早在2010年，“大数据”的概念就已由美国数据科学家维克托·迈尔·舍恩伯格系统地提出。他在 大数据时代一书中说，以前，一旦完成了收集数据的目的之后，数据就会被认为已经没有用处了。比如，在飞机降落之后，票价数据就没有用了；一个网络检索命令完成之后，这项指令也已进入过去时。但如今，数据已经成为一种商业资本，可以创造新的经济利益。 数据能够成为一种资本，与移动互联网有密切关系。随着智能手机、平板电脑等移动数码产品的“白菜化”，Wi-Fi信号覆盖的无孔不入，越来越多的人不再有“在线时间”和“不在线时间”之分，只要他们愿意，便可几乎24小时一刻不停地挂在线上；在线交易、在线支付、在线注册等网络服务的普及固然方便了用户，却也让人们更加依赖网络，依赖五花八门的网上平台。 而随着科技的进步，以往需要几盒软盘或一张光盘保存的信息，如今只需一片指甲盖大小的芯片，即可全部储存而且绰绰有余；以往需要电脑、显示器、读卡器等专门设备才能读取的数码信息载体，如今或许只需一部智能手机和一个免费下载的APP第三方应用程序，便可将数据一览无余。 大数据时代的科技进步，让人们身上更多看似平常的东西成为“移动数据库”，如带有存储芯片的第二代银行卡、信用卡，带有芯片读取功能的新型护照、驾驶证、社保卡、图书证，等等。在一些发达国家，官方为了信息录入方便，还不断将多种“移动数据库”的功能组合成一体。 数字化时代使得信息搜集、归纳和分析变得越来越方便，传统的随机抽样被“所有数据的汇拢”所取代，基于随机抽样而变得重要的一些属性，如抽样的精确性、逻辑思辨和推理判断能力，就变得不那么重要，尽可能汇集所有数据，并根据这些数据得出趋势和结论才至为关键。简单说，以往的思维决断模式是基于“为什么”，而在“大数据时代”，则已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此，将更精确，更有预见性。 不过，一些学者指出，由于“大数据”理论过于依靠数据的汇集，那么一旦数据本身有问题，在“只问有什么，不问为什么”的模式下，就很可能出现“灾难性大数据”，即因为数据本身的问题，而做出错误的预测和决策。（如能帮到你，望您采纳！！谢谢！！） 
这两年在大数据行业中的工作总结今天呢，主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大家在评论区踊跃。 谢谢。今天的主题，主要是从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，博主总结两年的见闻，和我学习的成果，也不知理解有无偏差吧，希望大家能给出建议。大数据开发大数据开发，有几个阶段：数据采集【原始数据】数据汇聚【经过清洗合并的可用数据】数据转换和映射【经过分类，提取的专项主题数据】数据应用 【提供api 智能系统 应用系统等】数据采集数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫（使用python或者nodejs制作爬虫软件），ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。数据汇聚数据的汇聚是大数据流程最关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产了，到了一定的量就是一笔固定资产。数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量？，数据是否可用？ 需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。数据转换和映射经过数据汇聚的数据资产如何提供给具体的使用方使用？在这一步，主要就是考虑数据如何应用，如何将两个？三个？数据表转换成一张能够提供服务的数据。然后定期更新增量。经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。数据应用数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，通过restful API提供给用户？或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据，供自己的应用查询？这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。总结：大数据开发的难点大数据开发的难点主要是监控，怎么样规划开发人员的工作？开发人员随随便便采集了一堆垃圾数据，并且直连数据库。 短期来看，这些问题比较小，可以矫正。 但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。如何监控开发人员的开发流程？答案只能是自动化平台，只有自动化平台能够做到让开发人员感到舒心的同时，接受新的事务，抛弃手动时代。这就是前端开发工程师在大数据行业中所占有的优势点，如何制作交互良好的可视化操作界面？如何将现有的工作流程、工作需求变成一个个的可视化操作界面？ 可不可以使用智能化取代一些无脑的操作？从一定意义上来说，大数据开发中，我个人认为前端开发工程师占据着更重要的位置，仅次于大数据开发工程师。至于后台开发，系统开发是第三位的。好的交互至关重要，如何转换数据，如何抽取数据，一定程度上，都是有先人踩过的坑，例如kettle，再例如kafka，pipeline ，解决方案众多。关键是如何交互？ 怎么样变现为可视化界面？ 这是一个重要的课题。现有的各位朋友的侧重点不同，认为前端的角色都是可有可无，我觉得是错误的，后台的确很重要，但是后台的解决方案多。 前端实际的地位更重要，但是基本无开源的解决方案，如果不够重视前端开发， 面临的问题就是交互很烂，界面烂，体验差，导致开发人员的排斥，而可视化这块的知识点众多，对开发人员的素质要求更高。大数据治理大数据治理应该贯穿整个大数据开发流程，它有扮演着重要的角色，浅略的介绍几点：数据血缘数据质量审查全平台监控数据血缘从数据血缘说起，数据血缘应该是大数据治理的入口，通过一张表，能够清晰看见它的来龙去脉，字段的拆分，清洗过程，表的流转，数据的量的变化，都应该从数据血缘出发，我个人认为，大数据治理整个的目标就是这个数据血缘，从数据血缘能够有监控全局的能力。数据血缘是依托于大数据开发过程的，它包围着整个大数据开发过程，每一步开发的历史，数据导入的历史，都应该有相应的记录，数据血缘在数据资产有一定规模时，基本必不可少。数据质量审查数据开发中，每一个模型（表）创建的结束，都应该有一个数据质量审查的过程，在体系大的环境中，还应该在关键步骤添加审批，例如在数据转换和映射这一步，涉及到客户的数据提供，应该建立一个完善的数据质量审查制度，帮助企业第一时间发现数据存在的问题，在数据发生问题时也能第一时间看到问题的所在，并从根源解决问题，而不是盲目的通过连接数据库一遍一遍的查询sql。全平台监控监控呢，其实包含了很多的点，例如应用监控，数据监控，预警系统，工单系统等，对我们接管的每个数据源、数据表都需要做到实时监控，一旦发生殆机，或者发生停电，能够第一时间电话或者短信通知到具体负责人，这里可以借鉴一些自动化运维平台的经验的，监控约等于运维，好的监控提供的数据资产的保护也是很重要的。大数据可视化大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，重要的事说三遍，大数据可视化归类的数据开发中，有一部分属于应用类，有一部分属于开发类。在开发中，大数据可视化扮演的是可视化操作的角色， 如何通过可视化的模式建立模型？ 如何通过拖拉拽，或者立体操作来实现数据质量的可操作性？ 画两个表格加几个按钮实现复杂的操作流程是不现实的。在可视化应用中，更多的也有如何转换数据，如何展示数据，图表是其中的一部分，平时更多的工作还是对数据的分析，怎么样更直观的表达数据？这需要对数据有深刻的理解，对业务有深刻的理解，才能做出合适的可视化应用。智能的可视化平台可视化是可以被再可视化的，例如superset，通过操作sql实现图表，有一些产品甚至能做到根据数据的内容智能分类，推荐图表类型，实时的进行可视化开发，这样的功能才是可视化现有的发展方向，我们需要大量的可视化内容来对公司发生产出，例如服装行业，销售部门：进货出货，颜色搭配对用户的影响，季节对选择的影响 生产部门：布料价格走势？ 产能和效率的数据统计？ 等等，每一个部门都可以有一个数据大屏，可以通过平台任意规划自己的大屏，所有人每天能够关注到自己的领域动向，这才是大数据可视化应用的具体意义。写在最后洋洋洒洒写了很多，对我近两年的所见所闻所学所想进行了一些总结，有些童鞋会问，不是技术么？为什么没有代码？ 博主要说，代码博主要学的，要写的，但是与工作无关，代码是我个人的技能，个人傍身，实现个人想法的重要技能。 但是，代码与业务的关系不大，在工作中，懂业务的人代码写的更好，因为他知道公司想要什么。 如果你业务很差，那也没关系，你代码好就行了呀，根据别人的交代干活，也是很不错的。技术和业务是相辅相成的，稍后博主总结代码的精进。写完了，焦虑一丝未少，我的代码规范性不够，目前技术栈js、java、nodejs、python 。主业js熟练度80%吧，正在研究阮一峰的es6（看的差不多）和vuejs的源码（有点搁浅），vuejs算是中等，css和布局方面可以说还可以，另外js，js都是处于会用，能干活。 nodejs呢，express和koa无问题，看过一些express的源代码，还写过两个中间件。java、python都处于能做项目的程度，目前也不想抽很多精力去深入它们，就想要保持在想用能用的地步吧。未来的几年，努力工作，多学学人工智能、大数据开发的知识，未来这块应该还有一些热度的吧。最后，和大家共勉，更希望大家能给一些规划建议，三人行，必有我师焉。
2015年，大数据市场的发展迅猛，放眼国际，总体市场规模持续增加，随着人工智能、物联网的发展，几乎所有人将目光瞄准了“数据”产生的价值。行业厂商Cloudera、DataStax 以及 DataGravity 等大数据公司已经投入大量资金研发相关技术，Hadoop 供应商 Hortonworks与数据分析公司 New Relic 甚至已经上市。而国内，国家也将大数据纳入国策。 我们邀请数梦工场的专家妹子和你来聊聊 2015 年大数据行业九大关键词，管窥这一年行业内的发展。 战略：国家政策 今年中国政府对于大数据发展不断发文并推进，这标志着大数据已被国家政府纳入创新战略层面，成为国家战略计划的核心任务之一： 2015年9月，国务院发布《促进大数据发展行动纲要》，大力促进中国数据技术的发展，数据将被作为战略性资源加以重视; 2015年10月26日，在国家“十三五”规划中具体提到实施国家大数据战略。 挑战：BI(商业智能) 2015年对于商业智能(BI)分析市场来说，正由传统的商业智能分析快速进入到敏捷型商业智能时代。以 QlikView、Tableau和SpotView 为代表的敏捷商业智能产品正在挑战传统的 IBM Cognos、SAP Business Objects 等以 IT 为中心的 BI分析平台。敏捷商业智能产品也正在进一步细化功能以达到更敏捷、更方便、适用范围更广的目的。 崛起：深度学习/机器学习 人工智能如今已变得异常火热，作为机器学习中最接近AI(人工智能)的一个领域，深度学习在2015年不再高高在上，很多创新企业已经将其实用化：Facebook 开源深度学习工具“Torch”、PayPal使用深度学习监测并对抗诈骗、亚马逊启动机器学习平台、苹果收购机器学习公司 Perceptio……同时在国内，百度、阿里，科大讯飞也在迅速布局和发展深度学习领域的技术。 共存：Spark/Hadoop Spark 近几年来越来越受人关注，2015年6月15日，IBM 宣布投入超过3500名研究和开发人员在全球十余个实验室开展与 Spark相关的项目。 与 Hadoop 相比，Spark 具有速度方面的优势，但是它本身没有一个分布式存储系统，因此越来越多的企业选择 Hadoop 做大数据平台，而Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户(包括 eBay 和雅虎)都在 Hadoop 集群中运行着Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。Spark 对于 Hadoop来说不是挑战和取代相反，Hadoop 是 Spark 成长发展的基础。 火爆：DBaaS 随着 Oracle 12c R2 的推出，甲骨文以全新的多租户架构开启了 DBaaS(数据库即服务Database-as-a-Service)新时代，新的数据库让企业可以在单一实体机器中部署多个数据库。在2015年，除了趋势火爆，12c多租户也在运营商、电信等行业投入生产应用。 据分析机构 Gartner预测，2012年至2016年公有数据库云的年复合增长率将高达86%，而到2019年数据库云市场规模将达到140亿美元。与传统数据库相比，DBaaS能提供低成本、高敏捷性和高可扩展性等云计算特有的优点。 诱人：数据科学家 随着行业的发展，人才显得尤为重要，各公司都期待数据科学专业人才能够挖掘数据信息，来帮助公司开源节流。美国招聘网站 Glassdoor的报告称，数据科学家的平均年薪为118709美元(约合人民币737550元)，而程序员的平均年薪为64537美元(约合人民币400974元)。 数据科学家能够通过统计变成涉及、开发和调用算法而支持业务决策;管理海量数据;可视化数据以辅助理解。其需要具备三项基本技能：数学/统计、计算机能力、在特定业务领域的知识，被《哈佛商业评论》评委二十一世纪最吸引人的职业。 最快：Sort benchmark/阿里云 阿里云在 SortBenchmark(全球科技公司“计算奥运会”之称)的2015年排序竞赛中用不到7分钟(377秒)就完成了100TB的数据排序，打破了 Apache Spark的纪录4分钟。 开源：Pivotal 2015年2月，由 EMC 和 VMWare 成立的 Pivotal 宣布其大数据套件的三个核心组件开源：基于内存的分布式 NoSQL数据库GemFire、基于 Hadoop 架构的大规模并行 SQL 分析处理引擎 HAWQ、大规模并行处理分析数据库 Greenplum。 Pivotal 开放其大数据套件核心组件的源代码，最主要原因是 Cloud Foundry 开源战略成功驱动，部署大数据战场。 多金：“数字锦衣卫” Palantir 2015年7月起 Palantir开始发起新一轮融资，达到8亿美元，截止目前已经共计融资2亿美元，公司估值200亿美元，排名世界第四，仅次于Uber。 Palantir是一家位于加州的大数据情报分析科技公司。该公司的技术是在海量信息之间建立联系、寻求有价值的线索，为情报机构提供结论：在摩根大通内部用于定位网络欺诈，在桥水联合基金，Palantir被用来管理 1570亿美元的投资基金。该公司曾经帮助美国政府追踪基地组织头目奥萨马·本·拉登。由于其主要客户是政府机构，外界对它的内部状况了解不多。
可参考下文9个关键字 写写大数据行业2015年年终总结 2015年，大数据市场的发展迅猛，放眼国际，总体市场规模持续增加，随着人工智能、物联网的发展，几乎所有人将目光瞄准了“数据”产生的价值。行业厂商 Cloudera、DataStax 以及 DataGravity 等大数据公司已经投入大量资金研发相关技术，Hadoop 供应商 Hortonworks 与数据分析公司 New Relic 甚至已经上市。而国内，国家也将大数据纳入国策。 我们邀请数梦工场的专家妹子和你来聊聊 2015 年大数据行业九大关键词，管窥这一年行业内的发展。 战略：国家政策 今年中国政府对于大数据发展不断发文并推进，这标志着大数据已被国家政府纳入创新战略层面，成为国家战略计划的核心任务之一： 2015年9月，国务院发布《促进大数据发展行动纲要》，大力促进中国数据技术的发展，数据将被作为战略性资源加以重视; 2015年10月26日，在国家“十三五”规划中具体提到实施国家大数据战略。 挑战：BI(商业智能) 2015年对于商业智能(BI)分析市场来说，正由传统的商业智能分析快速进入到敏捷型商业智能时代。以 QlikView、Tableau和 SpotView 为代表的敏捷商业智能产品正在挑战传统的 IBM Cognos、SAP Business Objects 等以 IT 为中心的 BI 分析平台。敏捷商业智能产品也正在进一步细化功能以达到更敏捷、更方便、适用范围更广的目的。 崛起：深度学习/机器学习 人工智能如今已变得异常火热，作为机器学习中最接近 AI(人工智能)的一个领域，深度学习在2015年不再高高在上，很多创新企业已经将其实用化：Facebook 开源深度学习工具“Torch”、PayPal 使用深度学习监测并对抗诈骗、亚马逊启动机器学习平台、苹果收购机器学习公司 Perceptio ……同时在国内，百度、阿里，科大讯飞也在迅速布局和发展深度学习领域的技术。 共存：Spark/Hadoop Spark 近几年来越来越受人关注，2015年6月15日，IBM 宣布投入超过3500名研究和开发人员在全球十余个实验室开展与 Spark 相关的项目。 与 Hadoop 相比，Spark 具有速度方面的优势，但是它本身没有一个分布式存储系统，因此越来越多的企业选择 Hadoop 做大数据平台，而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户(包括 eBay 和雅虎)都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。Spark 对于 Hadoop 来说不是挑战和取代相反，Hadoop 是 Spark 成长发展的基础。 火爆：DBaaS 随着 Oracle 12c R2 的推出，甲骨文以全新的多租户架构开启了 DBaaS (数据库即服务Database-as-a-Service)新时代，新的数据库让企业可以在单一实体机器中部署多个数据库。在2015年，除了趋势火爆，12c 多租户也在运营商、电信等行业投入生产应用。 据分析机构 Gartner 预测，2012年至2016年公有数据库云的年复合增长率将高达86%，而到2019年数据库云市场规模将达到140亿美元。与传统数据库相比，DBaaS 能提供低成本、高敏捷性和高可扩展性等云计算特有的优点。
