位置:首页 > 新闻动态 > 行业动态 > 大数据的发展面临哪些问题,数据的分析处理可以划分为哪几种类型?

新闻动态

行业动态
新闻资讯

行业动态

大数据的发展面临哪些问题,数据的分析处理可以划分为哪几种类型?
发表时间:2018-11-21     阅读次数:     字体:【

多源异构数据是存在于大数据背景下数据分析的一大特质,在企业信息化建设过程中,由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响,导致企业在发展过程中积累了大量采用不同存储方式的业务数据,包括采用的数据管理系统也大不相同。如若我们将数据采集源头加以划分处理,我们可以得到以下多种数据分析对象类型:

1、各网页中用户的浏览次数、点击率,各种社交网站、动态网站网页内容信息的变化,搜索引擎中关键词的搜索量、网络实时监控数据等互联网数据。

2、可以用于分析用户行为、对系统的操作、以及系统运行状态的日志数据。

3、在通信领域中的各种信号、信令数据,用户的个人信息以及通话位置、时长等数据。

4、国民经济中各领域、各行业的统计分析数据。

对于这些数量庞大的,来自不同源头的非结构化数据。其分析模式的特点如下:对于互联网产生的数据,其最主要的应用是建立搜索引擎,通过搜索引擎进行数据检索、处理。

随着技术的不断发展,个性化推荐引擎以及大数据分析引擎的问世能够更加高效的在海量数据中分析得出更有价值的信息;对于日志数据,可对用户点击浏览的行为日志和系统运行行为日志进行分析。使得系统能够根据实际情况产生出更加智能的结果。日志数据与网页数据的分析处理模式较为类似,都是通过细致分析从而探寻出数据中蕴藏的价值。

这种数据分析处理模式称为“离线批处理模式”;对于通信领域的数据分析,分析决策人员会对经过细致分析的数据进行统计归纳和查询,并且在最短的时间内获得最有价值的信息。

以此来确保系统的交互性并最大限度地提升用户体验。这种数据分析处理模式称为“查询式分析”模式;对于互联网以及国民经济中重要行业的数据进行实时监控,这种模式称为“实时数据分析处理“模式。

以上为依据时间特征划分的数据分析模式。而实现这些分析模式的主要方法有:分类、回归分析、聚类、关联规则、神经网络、WEB数据挖掘等。

要想从急剧增长的数据资源中挖掘分析出有价值的信息,需要先进的分析技术作支撑。从宏观上看,大数据分析技术发展所面临的问题均包含三个主要特征:

1、数据量庞大并以惊人的速度增长;

2、数据种类与结构多样化,并以半结构化和非结构化的数据为主;

3、需要具备及时快速的分析速度,即实时分析。这些特征使得传统的数据分析技术无法满足要求,更加先进的数据分析平台才是大数据时代更好的选择。

为了有效应对大数据时代数据分析问题的三个主要特征以及满足大数据分析的基本需求,当前以及未来一段时期内将主要通过分布式数据库或者分布式计算集群来对存储于其内的海量数据进行由浅入深的分析和分类汇总。

例如,为满足实时分析的需求通常会采用Qracle的Exadata 和EMC的GreenPlum。而目前分析处理大数据的应用最广泛的核心技术为Hadoop。

Hadoop是由Apache基金会所开发的一个基于Java的分布式数据处理和分析的软件基础架构。

在这种架构下,用户可以在不了解分布式底层细节的情况下,开发分布式程序。Hadoop能够将数量庞大的数据分解成规模较小、易访问的数据集并发送到多台服务器上进行分析,以此获得高效的分析速率。该架构主要由文件系统以及数据处理两部分功能模块组成。

如果大家想了解融为科技更多关于机房监控及IT运维方面的内容,欢迎查看“www.rongweiit.com”本网站其他内容,相信您一定会有所收获,我们下期再见。

 
上一篇:人工智能、大数据以及云计算三者之间的关系是怎样的,谁更加优秀?
下一篇:中小型企业若是想在大数据浪潮中获益,就必须做出决定!