大数据时代名词解释,什么是大数据时代?( 六 )


大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合 。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力 。
最早提出大数据时代到来的是全球知名咨询公司麦肯锡 ,  大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注 。大数据作为云计算、互联网之后又IT行业又一大颠覆性的技术革命 。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产 。企业内部的经营信息、互联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力 , 实时性要求也将大大超越现有的计算能力 。
“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素 。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来 。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注 。

大数据时代名词解释,什么是大数据时代?

文章插图
文章插图
3、什么是大数据时代随着云时代的来临 , 大数据(Big data)也吸引了越来越多的关注 。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱 。大数据分析常和云计算联系到一起 , 因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作 。
简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术 。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力 。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大 。从TB级别,跃升到PB级别;第二,数据类型繁多 。前文提到的网络日志、视频、图片、地理位置信息等等 。第三,价值密度低 。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒 。第四,处理速度快 。1秒定律 。最后这一点也是和传统的数据挖掘技术有着本质
的不同 。业界将其归纳为4个“V”――Volume,Variety,Value,Velocity 。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式 著云台
例子包括网络日志 , RFID,传感器网络,社会网络 , 社会数据(由于数据革命的社会),互联网文本和文件;互联网搜索索引;呼叫详细记录,天文学,大气科学 , 基因组学,生物地球化学,生物,和其他复杂和/或跨学科的科研 , 军事侦察,医疗记录;摄影档案馆视频档案;和大规模的电子商务 。
大的数据需要特殊的技术 , 以有效地处理大量的容忍经过时间内的数据 。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网 , 分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统 。
一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力 。隐含的负载,监控,备份和优化大型数据表的使用在RDBMS的 。

经验总结扩展阅读