汪利鹏 回顾
大量数据接入
第一方面是大数据的多样性造成原有单一通道的不适用性。大数据的多样性表明我们在接入数据的时候必然会采用多样化的接入手段。这就需要我们针对数据的类型如结构化数据、半结构化数据、非结构数据，数据源的存储形式如关系数据库、文件、分布式数据库两方面特性进行综合考虑，形成一个二维接入方式表如下表：
另一方面是大数据的高速性造就了数据通道的拥堵。针对大数据高速性的特点，流处理的技术发挥了重要作用。我们可以依赖消息队列集群加上流处理的技术进行解决，例如现在广泛采用的 kafka+spark streaming 的解决方案。数据通过消息的不同通道和订阅发布机制，建立了不同的数据传输通道，并且通过分布式机制和缓存机制解决了大量数据接入的性能问题。
大量数据存储
我认为要解决好如上问题需要从两个方面进行解决。一方面是数据的存储问题。数据的存储是为了更好的数据应用，应该提供给最终用户可以随时调整数据存储和定义的一组业务功能。我们现在很多用户只是知道自己大概有哪些数据，大概是什么情况。其实我们应该提供一个能让用户掌握数据资产的数据台帐，通过它能够实时了解数据的总量情况、变化情况、存储情况、加工情况，从而满足一系列的数据应用场景。另一方面是底层技术要做好保障，应按数据类型、使用类型建立好分布式存储的解决方案。包括块存储、文件存储、对象存储等。但这种技术形式应该对业务用户透明，用户只需要进行业务定义，不需要关心技术细节。
新智数工的大数据池产品正是为了解决此问题而产生的。
快速灵活处理
大数据时代，数据的价值密度很低，这就更需要数据裂变，只有数据裂变，数据的价值才能不断被放大。
在这个时代我们都知道要挖掘数据价值，但挖掘数据的前提就是要处理好数据。下一期我们将为您介绍新智数工的采集、存储和处理的一条龙服务。
新智数工隶属于新奥集团，是其新智研究院的孵化企业，主要研究大数据技术的理论及实践应用，致力于用数据挖掘、人工智能等先进科技解决客户需求，挖掘数据价值，实现数据到智慧的转换。目前公司产品涵盖大数据技术应用流程所有环节，所研发产品广泛应用于公安、交通、海关、能源行业，在行业应用过程中累积了大量行业经验及知识，形成了自有知识产权的产品和行业智慧，逐步实现传统人力经验指导业务向人工智能的转化。
“创新、协同、执行力”的发展理念，立志成为国内专业的大数据分析与挖掘服务商。
游客评论一本正经的胡说八道2017-02-22 13:39:27
