1、全世界计算机数据总量
由于互联网和计算机的广泛普及,IDC预计,到2011年世界上将产生1,800,000,000TB数据,也就是1.8ZB.
数码世界正在以让人难以想象的速度扩张,消费者和企业将自己的大量图像,视频和文件数据放在其大容量硬盘和存储服务器中,去年,全球总数据量达到281,000,000TB,而2011年将突破1.8ZB,大约是2006年的10倍.
目前消费级硬盘的最大容量是1TB,1000个硬盘就能产生1PB的容量,是什么导致了世界数据数量如此剧增?答案是视频和照片以及监控录像.同时,从模拟到数字信号的转换后的数据也称为增加全球存储介质负担的重要原因,目前庞大的存储方案并不能满足需要,世界将最终需要新的办法来存储这些数据.
2、“大数据” 到底有多大?
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。
国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为
1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是
200PB,全人类历史上说过的所有话的数据量大约是5EB。
IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44
倍。每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在
内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
3、“大数据” 到底有多大
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。
国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为
1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是
200PB,全人类历史上说过的所有话的数据量大约是5EB。
IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44
倍。每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在
内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
4、大数据、IDC和云计算之间有什么关系吗?
大数据是云计算的杀手锏应用
大数据与云计算的关系,引起一些人的困惑。为了便于探讨二者的关系,这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”,大数据首先是一种“数据”,而计算机就是用来“计算”“数据”的。
计算机是软件和硬件分离的,是一种软件定义的电子产品(可编程)。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源,以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中,由应用程序自身完成,缺点是费力、复杂和易错,难以升级和移植,而且重复工作。
上世纪60年代这些共性功能开始从应用中分离出来,逐步形成了一种通用的软件包,这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”,让应用软件和硬件得以分离并独立发展,发展成了最核心的计算机系统软件,也成就了微软公司的伟大。
以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原创的微软Windows、 Windows Phone和IBM的z/OS.操作系统的工作范围,也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等,还有与云计算密切相关的Web服务器。
上世纪70年代,计算机的快速发展使得数字化数据爆发式增长,“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时,无论是扩展性、效率和便利性,都不适应“海量”数据的管理需要,应用软件被迫内嵌自己设计的数据管理系统。同样的,“海量”数据管理由每个应用程序自身完成,缺点也是费力、复杂和易错,难以升级和移植,并且重复工作。
于是一种专门面向“海量”数据管理的通用软件问世了,那就是数据库管理系统(DBMS),一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能,这些都是数据管理所必需的,是操作系统的文件管理系统所没有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是关系型DBMS.当然还有非关系型No SQL模式的,只是没那么流行。
DBMS与字处理软件等一起,成为单机时代最重要的应用软件,也成就了一家伟大的应用软件公司Oracle.大约不足20年前,操作系统和数据库的技术和市场未来,看起来都那么可预知。一个是微软的天下,一个是Oracle的天下。
但互联网来了,尤其是Web开始流行。
Web服务器所使用的操作系统,最初面向单机设计,扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起,需要Web服务器的操作系统管理数百万台Web服务器的时候,传统操作系统勉为其难,需要“技术革命”了。“革命”的结果就是云计算。
云计算大伞下有很多概念,核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式,前者主要是为了省钱,以Amazon AWS为代表;后者主要是为了大数据处理,以Google GAE为代表。
云计算的“N虚1”模式,可将多台物理计算机虚拟化为一台超级计算机,向应用程序提供资源池的调度管理服务,与传统操作系统的功能几乎完全相同,因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围,扩大到数据中心甚至整个互联网范围内,把每台计算机也当做资源看待和管理。
有了云计算操作系统,云应用软件和硬件(计算机资源)得以分离,各自可以独立发展。历史再次重演,云计算以及SNS、微博、移动互联网和物联网等的快速发展,具有3V特点的数据爆发,大数据管理的挑战也最先到来。同样,面向计算设计的通用云计算操作系统,在大数据管理方面的扩展性、效率和便利性,都面临新挑战。
历史上计算机面对“海量”数据的挑战,将数据应用和数据管理分离,催生了通用的DBMS.现在云计算面对大数据的挑战,也必将使大数据应用和大数据管理分离,催生“大数据库管理系统”,并且逐步走向通用化和平台化。
ATM(异步传输模式)是通信资源稀缺时代的产物,TCP/IP是通信资源富饶时代的产物。类似的,传统DBMS是IT资源稀缺时代的产物,大数据管理系统是IT资源富饶时代的产物。
计算是工具,可以工业化提供;数据是资源,是个性化的资产。如果说Office、游戏等是PC的杀手锏应用,浏览器、搜索、SNS等是互联网的杀手锏应用,那么大数据等就是云计算的杀手锏应用。
5、IDC托管商的IDC定义大数据四大特征
1,中国IDC评述网07月25日报道:在今天举办的英特尔大数据论坛上,IDC中国企业级系统与软件研究部高级研究经理周震刚表示,IDC定义了大数据的四大特征——海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。
2,“对用户最有意义的,就是大数据可通过处理和分析而被发掘出来的价值——无论是商业价值还是社会价值。”周震刚如此说道。周震刚还简要介绍了IDC对于大数据未来的十大预期。“我们看到2010年全球大数据以及相关的硬件、软件和服务市场,大概是30亿美元市场;在2015年整个市场将超过170亿美元,平均增长速度每年超过50%。”
互联网是个神奇的大网,大数据开发和软件定制也是一种模式,这里提供最详细的报价,如果你真的想做,可以来这里,这个手机的开始数字是一八七中间的是三儿
零最后的是一四二五零,按照顺序组合起来就可以找到,我想说的是,除非你想做或者了解这方面的内容,如果只是凑热闹的话,就不要来了。
3,“在未来两三年当中,Hadoop会有一个很明显的商业化的过程。在Hadoop发展非常快的前提之下,很早期的项目也面临着种种挑战。”周震刚说,“虽然说Hadoop是完全开源的市场,但并非是一个完全免费的市场,Linux市场在过去几年间,操作系统增长非常慢,但它带来的基础架构软件、系统管理软件、开发应用软件,比如说数据库、开发工具以及应用软件包括Linux服务器硬件的增长却非常快。”
4,同时,大数据会带来更多的软件公司之间的收购。大数据软件市场的生态系统有很多类型的软件厂商,包括传统的关联数据库厂商,以及多维展现做分析的软件厂商,对Hadoop分析包括管理,很多业界并不太熟悉的公司很可能在未来被大公司所并购。在应用场景上,大数据将在未来一两年从传统的互联网和电信方面的应用,未来几年将会逐渐向更多行业发展。
5,“大数据推动基础架构向Scale-out发展。因为从比较传统的数据处理方式和大数据的处理方式来讲,我们发现在处理结构化和非结构化数据方面,在对数据进行处理的时候,因为大数据的类型比较复杂,数据量比较大,可以通过分布式的处理方式把应用复杂分散到分布式系统的各个节点上,而传统的数据处理将是运算能力非常强、CPU主频非常高的一台机器来处理,而不是大数据这种多个节点、多个CPU核数来处理,这代表了大数据时代发展方向从Scale-up转向Scale-out。”周震刚说。“中国成为全球最重要的大数据市场之一,中国人口数是全球第一,也就造就了全球第一互联网用户数和全球第一的移动互联网用户数,创造数据的规模远远超过全球其他各个国家。大数据给市场带来的将是更广泛的机会,对于中国来说这个市场是非常有前景的。另外各行业的客户和各行业的开发商也应该在大数据市场抓住机会,借助自己的优势创造更多的价值。”
6、一个容纳800个IDC数据中心的配电容量事多少?
800个网络机柜的数据中心?按照常规,一个网络柜标配是3KW,高密度网络柜会达到6KW或更高,但做前期可以按照这个标准或根据用户提供的数据来进行计算;
比如这个IDC机房有常规网络柜700个,其中100个高密度的,那么可以得到整个IDC的配电容量需要(700*3)+(100*6)=2700KW,可以根据实际网络柜的相应数量来进行计算;
计算出来后再来配置变压器、发电机、UPS及相应的配电系统;
这么大的数据中心在设计的时候可以采取分区域负载划分的方式来实施。
7、全国idc数据中心有多少
在中国,主要IDC由ISP建设:
电信:
根据451 Research的于2017年7月发布的最新全球十大数据中心公司排名信息来看,中国电信数据中心数量:400多个。
联通:
在2017年6月的 第九届中国云计算大会上中国联通云数据总经理焦刚:中国联通已经规划布局超大型的云数据中心12个,覆盖196个地市,335个地市数据中心,总面积超过200平方米,总机架超过32万架,出口带宽60T,PUE小于1.5。
移动:
目前没有看到中国移动的数据中心建设远远落后于电信和联通,没有找到具体的公开数据,不过有一些数据(CNNIC的互联网发展报告)你可以参考:
1、国际出口带宽:移动是电信的 1/3,是联通的 1/2
2、IPv4地址数量:移动是电信的 1/3,是联通的 1/2
---------------------
除了上述ISP的IDC,还有教育网,科研网等ISP接入商,他们也会在专有领域里建设自己的IDC机房
---------------------
随着云计算的发展,一些云计算厂商也会自建机房。。和运营商合建机房。
---------------------
当然,并不是所有的数据中心都会对公众开放服务。