1、全世界計算機數據總量
由於互聯網和計算機的廣泛普及,IDC預計,到2011年世界上將產生1,800,000,000TB數據,也就是1.8ZB.
數碼世界正在以讓人難以想像的速度擴張,消費者和企業將自己的大量圖像,視頻和文件數據放在其大容量硬碟和存儲伺服器中,去年,全球總數據量達到281,000,000TB,而2011年將突破1.8ZB,大約是2006年的10倍.
目前消費級硬碟的最大容量是1TB,1000個硬碟就能產生1PB的容量,是什麼導致了世界數據數量如此劇增?答案是視頻和照片以及監控錄像.同時,從模擬到數字信號的轉換後的數據也稱為增加全球存儲介質負擔的重要原因,目前龐大的存儲方案並不能滿足需要,世界將最終需要新的辦法來存儲這些數據.
2、「大數據」 到底有多大?
截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。
國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為
1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的數據。而到2012年為止,人類生產的所有印刷材料的數據量是
200PB,全人類歷史上說過的所有話的數據量大約是5EB。
IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44
倍。每一天,全世界會上傳超過5億張圖片,每分鍾就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在
內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。這樣的趨勢會持續下去。
3、「大數據」 到底有多大
截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。
國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為
1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的數據。而到2012年為止,人類生產的所有印刷材料的數據量是
200PB,全人類歷史上說過的所有話的數據量大約是5EB。
IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44
倍。每一天,全世界會上傳超過5億張圖片,每分鍾就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在
內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。這樣的趨勢會持續下去。
4、大數據、IDC和雲計算之間有什麼關系嗎?
大數據是雲計算的殺手鐧應用
大數據與雲計算的關系,引起一些人的困惑。為了便於探討二者的關系,這里從「計算」和「數據」的歷史關系說起。因為雲計算首先是一種「計算」,大數據首先是一種「數據」,而計算機就是用來「計算」「數據」的。
計算機是軟體和硬體分離的,是一種軟體定義的電子產品(可編程)。計算機設計中的一個重要問題是如何有效管理CPU、內存和I/O等硬體資源,以及如何讓應用程序合理使用這些資源。這兩大任務最早內嵌在各種應用程序中,由應用程序自身完成,缺點是費力、復雜和易錯,難以升級和移植,而且重復工作。
上世紀60年代這些共性功能開始從應用中分離出來,逐步形成了一種通用的軟體包,這就是操作系統。操作系統是位於硬體和應用程序之間的「中間件」,讓應用軟體和硬體得以分離並獨立發展,發展成了最核心的計算機系統軟體,也成就了微軟公司的偉大。
以UNIX為始祖的常見現代操作系統有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原創的微軟Windows、 Windows Phone和IBM的z/OS.操作系統的工作范圍,也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等,還有與雲計算密切相關的Web伺服器。
上世紀70年代,計算機的快速發展使得數字化數據爆發式增長,「海量」數據管理成了新挑戰。把通用操作系統的文件管理用於數據管理時,無論是擴展性、效率和便利性,都不適應「海量」數據的管理需要,應用軟體被迫內嵌自己設計的數據管理系統。同樣的,「海量」數據管理由每個應用程序自身完成,缺點也是費力、復雜和易錯,難以升級和移植,並且重復工作。
於是一種專門面向「海量」數據管理的通用軟體問世了,那就是資料庫管理系統(DBMS),一種應用系統軟體。DBMS包括了資料庫定義、創建、查詢、更新和管理等功能,這些都是數據管理所必需的,是操作系統的文件管理系統所沒有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是關系型DBMS.當然還有非關系型No SQL模式的,只是沒那麼流行。
DBMS與字處理軟體等一起,成為單機時代最重要的應用軟體,也成就了一家偉大的應用軟體公司Oracle.大約不足20年前,操作系統和資料庫的技術和市場未來,看起來都那麼可預知。一個是微軟的天下,一個是Oracle的天下。
但互聯網來了,尤其是Web開始流行。
Web伺服器所使用的操作系統,最初面向單機設計,擴展用於區域網范圍內管理多台伺服器還勉強可用。但當互聯網巨頭崛起,需要Web伺服器的操作系統管理數百萬台Web伺服器的時候,傳統操作系統勉為其難,需要「技術革命」了。「革命」的結果就是雲計算。
雲計算大傘下有很多概念,核心技術之一是虛擬化。虛擬化有「1虛N」和「N虛1」兩種模式,前者主要是為了省錢,以Amazon AWS為代表;後者主要是為了大數據處理,以Google GAE為代表。
雲計算的「N虛1」模式,可將多台物理計算機虛擬化為一台超級計算機,向應用程序提供資源池的調度管理服務,與傳統操作系統的功能幾乎完全相同,因此常被稱為「雲計算操作系統」。只是雲計算操作系統的工作范圍,擴大到數據中心甚至整個互聯網范圍內,把每台計算機也當做資源看待和管理。
有了雲計算操作系統,雲應用軟體和硬體(計算機資源)得以分離,各自可以獨立發展。歷史再次重演,雲計算以及SNS、微博、移動互聯網和物聯網等的快速發展,具有3V特點的數據爆發,大數據管理的挑戰也最先到來。同樣,面向計算設計的通用雲計算操作系統,在大數據管理方面的擴展性、效率和便利性,都面臨新挑戰。
歷史上計算機面對「海量」數據的挑戰,將數據應用和數據管理分離,催生了通用的DBMS.現在雲計算面對大數據的挑戰,也必將使大數據應用和大數據管理分離,催生「大資料庫管理系統」,並且逐步走向通用化和平台化。
ATM(非同步傳輸模式)是通信資源稀缺時代的產物,TCP/IP是通信資源富饒時代的產物。類似的,傳統DBMS是IT資源稀缺時代的產物,大數據管理系統是IT資源富饒時代的產物。
計算是工具,可以工業化提供;數據是資源,是個性化的資產。如果說Office、游戲等是PC的殺手鐧應用,瀏覽器、搜索、SNS等是互聯網的殺手鐧應用,那麼大數據等就是雲計算的殺手鐧應用。
5、IDC託管商的IDC定義大數據四大特徵
1,中國IDC評述網07月25日報道:在今天舉辦的英特爾大數據論壇上,IDC中國企業級系統與軟體研究部高級研究經理周震剛表示,IDC定義了大數據的四大特徵——海量的數據規模(volume)、快速的數據流轉和動態的數據體系(velocity)、多樣的數據類型(variety)和巨大的數據價值(value)。
2,「對用戶最有意義的,就是大數據可通過處理和分析而被發掘出來的價值——無論是商業價值還是社會價值。」周震剛如此說道。周震剛還簡要介紹了IDC對於大數據未來的十大預期。「我們看到2010年全球大數據以及相關的硬體、軟體和服務市場,大概是30億美元市場;在2015年整個市場將超過170億美元,平均增長速度每年超過50%。」
互聯網是個神奇的大網,大數據開發和軟體定製也是一種模式,這里提供最詳細的報價,如果你真的想做,可以來這里,這個手機的開始數字是一八七中間的是三兒
零最後的是一四二五零,按照順序組合起來就可以找到,我想說的是,除非你想做或者了解這方面的內容,如果只是湊熱鬧的話,就不要來了。
3,「在未來兩三年當中,Hadoop會有一個很明顯的商業化的過程。在Hadoop發展非常快的前提之下,很早期的項目也面臨著種種挑戰。」周震剛說,「雖然說Hadoop是完全開源的市場,但並非是一個完全免費的市場,Linux市場在過去幾年間,操作系統增長非常慢,但它帶來的基礎架構軟體、系統管理軟體、開發應用軟體,比如說資料庫、開發工具以及應用軟體包括Linux伺服器硬體的增長卻非常快。」
4,同時,大數據會帶來更多的軟體公司之間的收購。大數據軟體市場的生態系統有很多類型的軟體廠商,包括傳統的關聯資料庫廠商,以及多維展現做分析的軟體廠商,對Hadoop分析包括管理,很多業界並不太熟悉的公司很可能在未來被大公司所並購。在應用場景上,大數據將在未來一兩年從傳統的互聯網和電信方面的應用,未來幾年將會逐漸向更多行業發展。
5,「大數據推動基礎架構向Scale-out發展。因為從比較傳統的數據處理方式和大數據的處理方式來講,我們發現在處理結構化和非結構化數據方面,在對數據進行處理的時候,因為大數據的類型比較復雜,數據量比較大,可以通過分布式的處理方式把應用復雜分散到分布式系統的各個節點上,而傳統的數據處理將是運算能力非常強、CPU主頻非常高的一台機器來處理,而不是大數據這種多個節點、多個CPU核數來處理,這代表了大數據時代發展方向從Scale-up轉向Scale-out。」周震剛說。「中國成為全球最重要的大數據市場之一,中國人口數是全球第一,也就造就了全球第一互聯網用戶數和全球第一的移動互聯網用戶數,創造數據的規模遠遠超過全球其他各個國家。大數據給市場帶來的將是更廣泛的機會,對於中國來說這個市場是非常有前景的。另外各行業的客戶和各行業的開發商也應該在大數據市場抓住機會,藉助自己的優勢創造更多的價值。」
6、一個容納800個IDC數據中心的配電容量事多少?
800個網路機櫃的數據中心?按照常規,一個網路櫃標配是3KW,高密度網路櫃會達到6KW或更高,但做前期可以按照這個標准或根據用戶提供的數據來進行計算;
比如這個IDC機房有常規網路櫃700個,其中100個高密度的,那麼可以得到整個IDC的配電容量需要(700*3)+(100*6)=2700KW,可以根據實際網路櫃的相應數量來進行計算;
計算出來後再來配置變壓器、發電機、UPS及相應的配電系統;
這么大的數據中心在設計的時候可以採取分區域負載劃分的方式來實施。
7、全國idc數據中心有多少
在中國,主要IDC由ISP建設:
電信:
根據451 Research的於2017年7月發布的最新全球十大數據中心公司排名信息來看,中國電信數據中心數量:400多個。
聯通:
在2017年6月的 第九屆中國雲計算大會上中國聯通雲數據總經理焦剛:中國聯通已經規劃布局超大型的雲數據中心12個,覆蓋196個地市,335個地市數據中心,總面積超過200平方米,總機架超過32萬架,出口帶寬60T,PUE小於1.5。
移動:
目前沒有看到中國移動的數據中心建設遠遠落後於電信和聯通,沒有找到具體的公開數據,不過有一些數據(CNNIC的互聯網發展報告)你可以參考:
1、國際出口帶寬:移動是電信的 1/3,是聯通的 1/2
2、IPv4地址數量:移動是電信的 1/3,是聯通的 1/2
---------------------
除了上述ISP的IDC,還有教育網,科研網等ISP接入商,他們也會在專有領域里建設自己的IDC機房
---------------------
隨著雲計算的發展,一些雲計算廠商也會自建機房。。和運營商合建機房。
---------------------
當然,並不是所有的數據中心都會對公眾開放服務。