大數據分析伺服器

1、常用的大數據分析軟體有哪些？

數據分析軟體有baiduExcel、SAS、R、SPSS、Tableau Software。

1、Excel

為Excel微軟辦公套裝軟體的一個重要的組成部分，內它可以進行各種數容據的處理、統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。

2、SAS

SAS由美國NORTH CAROLINA州立大學1966年開發的統計分析軟體。SAS把數據存取、管理、分析和展現有機地融為一體。SAS提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程，幾乎囊括了所有最新分析方法。

3、R

R擁有一套完整的數據處理、計算和制圖功能。可操縱數據的輸入和輸出，可實現分支、循環，用戶可自定義功能。

4、SPSS

SPSS除了數據錄入及部分命令程序等少數輸入工作需要鍵盤鍵入外，大多數操作可通過滑鼠拖曳、點擊「菜單」、「按鈕」和「對話框」來完成。

5、Tableau Software

Tableau Software用來快速分析、可視化並分享信息。Tableau Desktop 是基於斯坦福大學突破性技術的軟體應用程序。它可以以在幾分鍾內生成美觀的圖表、坐標圖、儀表盤與報告。

2、大數據分析的概念和方法

一、大數據分析的五個基本方面

1，可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

2，數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3，預測性分析能力

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4，語義引擎

大數據分析廣泛應用於網路數據挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現更好的用戶體驗和廣告匹配。

5，數據質量和數據管理

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。 大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

二、如何選擇適合的數據分析工具

要明白分析什麼數據，大數據要分析的數據類型主要有四大類：

1.交易數據(TRANSACTION DATA)

大數據平台能夠獲取時間跨度更大、更海量的結構化交易數據，這樣就可以對更廣泛的交易數據類型進行分析，不僅僅包括POS或電子商務購物數據，還包括行為交易數據，例如Web伺服器記錄的互聯網點擊流數據日誌。

2.人為數據(HUMAN-GENERATED DATA)

非結構數據廣泛存在於電子郵件、文檔、圖片、音頻、視頻，以及通過博客、維基，尤其是社交媒體產生的數據流。這些數據為使用文本分析功能進行分析提供了豐富的數據源泉。

3.移動數據(MOBILE DATA)

能夠上網的智能手機和平板越來越普遍。這些移動設備上的App都能夠追蹤和溝通無數事件，從App內的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。

4.機器和感測器數據(MACHINE AND SENSOR DATA)

這包括功能設備創建或生成的數據，例如智能電表、智能溫度控制器、工廠機器和連接互聯網的家用電器。這些設備可以配置為與互聯網路中的其他節點通信，還可以自動向中央伺服器傳輸數據，這樣就可以對數據進行分析。機器和感測器數據是來自新興的物聯網(IoT)所產生的主要例子。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為(如當感測器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)

3、什麼是大數據？什麼是大數據伺服器？

大數據
大數據技術(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。（在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中[2] 大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據的方法）大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、value（價值）

大數據伺服器
一台或多台計算機和資料庫管理系統軟體共同構成了資料庫伺服器，資料庫伺服器為客戶應用提供服務，這些服務是查詢、更新、事務管理、索引、高速緩存、查詢優化、安全及多用戶存取控制等

小南國永生花

4、大數據分析一般用什麼工具分析？

在大數據處理分析過程中常用的六大工具：

1、Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

5、做大數據分析一般用什麼工具呢？

一、Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平台。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：

⒈高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

⒉高擴展性。Hadoop是在可用的計算機集簇間分配數據並完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。

⒊高效性。Hadoop能夠在節點之間動態地移動數據，並保證各個節點的動態平衡，因此處理速度非常快。

⒋高容錯性。Hadoop能夠自動保存數據的多個副本，並且能夠自動將失敗的任務重新分配。

Hadoop帶有用 Java 語言編寫的框架，因此運行在 Linux 生產平台上是非常理想的。

Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications（高性能計算與通信）的縮寫。

1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

該項目主要由五部分組成：

1、高性能計算機系統（HPCS），內容包括今後幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等；

2、先進軟體技術與演算法（ASTA），內容有巨大挑戰問題的軟體支撐、新演算法設計、軟體分支與工具、計算計算及高性能計算研究中心等；

3、國家科研與教育網格（NREN），內容有中接站及10億位級傳輸的研究與開發；

4、基本研究與人類資源（BRHR），內容有基礎研究、培訓、教育及課程教材，被設計通過獎勵調查者-開始的，長期 的調查在可升級的高性能計算中來增加創新意識流，通過提高教育和高性能的計算訓練和通信來加大熟練的和訓練有素的人員的聯營，和來提供必需的基礎架構來支 持這些調查和研究活動；

5、信息基礎結構技術和應用（IITA ），目的在於保證美國在先進信息技術開發方面的領先地位。

三、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

Storm有許多應用領域：實時分析、在線機器學習、不停頓的計算、分布式RPC（遠過程調用協議，一種通過網路從遠程計算機程序上請求服務）、 ETL（Extraction-Transformation-Loading的縮寫，即數據抽取、轉換和載入）等等。Storm的處理速度驚人：經測 試，每個節點每秒鍾可以處理100萬個數據元組。Storm是可擴展、容錯，很容易設置和操作。

四、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill實現了 Google『s Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

該項目將會創建出開源版本的谷歌Dremel Hadoop工具（谷歌使用該工具來為Hadoop數據分析工具的互聯網應用提速）。而「Drill」將有助於Hadoop用戶實現更快查詢海量數據集的目的。

「Drill」項目其實也是從谷歌的Dremel項目中獲得靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

通過開發「Drill」Apache開源項目，組織機構將有望建立Drill所屬的API介面和靈活強大的體系架構，從而幫助支持廣泛的數據源、數據格式和查詢語言。

五、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

功能和特點：

免費提供數據挖掘技術和庫

100%用Java代碼（可運行在操作系統）

數據挖掘過程簡單，強大和直觀

內部XML保證了標准化的格式來表示交換數據挖掘過程

可以用簡單腳本語言自動進行大規模進程

多層次的數據視圖，確保有效和透明的數據

圖形用戶界面的互動原型

命令行（批處理模式）自動大規模應用

Java API（應用編程介面）

簡單的插件和推廣機制

強大的可視化引擎，許多尖端的高維數據的可視化建模

400多個數據挖掘運營商支持

耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。

六、 Pentaho BI

Pentaho BI平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案（Solution）的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架構和基礎，是以流程為中心的，因為其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在BI 平台上執行的商業智能流程。流程可以很容易的被定製，也可以添加新的流程。BI 平台包含組件和報表，用以分析這些流程的性能。目前，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平台中來。 Pentaho的發行，主要以Pentaho SDK的形式進行。

Pentaho SDK共包含五個部分：Pentaho平台、Pentaho示例資料庫、可獨立運行的Pentaho平台、Pentaho解決方案示例和一個預先配製好的 Pentaho網路伺服器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代碼的主體；Pentaho資料庫為 Pentaho平台的正常運行提供的數據服務，包括配置信息、Solution相關的信息等等，對於Pentaho平台來說它不是必須的，通過配置是可以用其它資料庫服務取代的；可獨立運行的Pentaho平台是Pentaho平台的獨立運行模式的示例，它演示了如何使Pentaho平台在沒有應用伺服器支持的情況下獨立運行；Pentaho解決方案示例是一個Eclipse工程，用來演示如何為Pentaho平台開發相關的商業智能解決方案。

Pentaho BI 平台構建於伺服器，引擎和組件的基礎之上。這些提供了系統的J2EE 伺服器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能。這些組件的大部分是基於標準的，可使用其他產品替換之。

七、Splunk

Splunk的功能組件主要有Forwarder、Serch Head、Indexer三種，然後支持了查詢搜索、儀表盤和報表（效果真不是吹的，很精緻呀），另外還支持SaaS服務模式。其中，Splunk支持的數據源也是多種類型的，基本上還是可以滿足客戶的需求。

目前支持hadoop1.x（MRv1）、Hadoop2.x（MRv2）、Hadoop2.x（Yarn）三個版本的Hadoop集群的日誌數據源收集，在日誌管理運維方面還是處於一個國際領先的地位，目前國內有部分的數據驅動型公司也正在採用Splunk的日誌管理運維服務。

八、EverString

everstring主要是通過大數據的預測分析建模為企業提供業務和客戶推薦的SaaS服務，獲取和積累了兩個數據信息資源庫，一個行業外部的資源庫（公有SaaS收費形式），一個行業自己內部的資源庫（私有），然後再通過機器學習和人工智慧的方法對數據進行相應行業或是領域的建模，最後得到一個比較不錯的結果，優化於人工可以得到的結果，而且Everstring也成為了初創大數據公司裡面估值很高的公司。

6、面對現如今的大數據時代，如何選購一台能夠支持大數據分析的伺服器？

高性能處理器，大容量內存，海量硬碟，可以了

7、大數據分析平台哪個好？

國內的BI品牌都能做大數據分析，各有千秋，根據你的實際需求去挑選對比吧，朋友推薦過Smartbi，他家產品的功能和服務都還不錯。

8、大數據分析平台哪家好

以下為大家介紹幾個代表性數據分析平台：
1、 Cloudera
Cloudera提供一個可擴展、靈活、集成的平台，可用來方便的管理您的企業中快速增長的多種多樣的數據，從而部署和管理Hadoop和相關項目、操作和分析您的數據以及保護數據的安全。Cloudera Manager是一個復雜的應用程序，用於部署、管理、監控CDH部署並診斷問題，Cloudera Manager提供Admin Console，這是一種基於Web的用戶界面，是您的企業數據管理簡單而直接，它還包括Cloudera Manager API，可用來獲取集群運行狀況信息和度量以及配置Cloudera Manager。
2、 星環Transwarp
基於hadoop生態系統的大數據平台公司，國內唯一入選過Gartner魔力象限的大數據平台公司，對hadoop不穩定的部分進行了優化，功能上進行了細化，為企業提供hadoop大數據引擎及資料庫工具。
3、 阿里數加
阿里雲發布的一站式大數據平台，覆蓋了企業數倉、商業智能、機器學習、數據可視化等領域，可以提供數據採集、數據深度融合、計算和挖掘服務，將計算的幾個通過可視化工具進行個性化的數據分析和展現，圖形展示和客戶感知良好，但是需要捆綁阿里雲才能使用，部分體驗功能一般，需要有一定的知識基礎。maxcompute(原名ODPS)是數加底層的計算引擎，有兩個維度可以看這個計算引擎的性能，一個是6小時處理100PB的數據，相當於1億部高清電影，另外一個是單集群規模過萬台，並支持多集群聯合計算。
4、 華為FusionInsight
基於Apache進行功能增強的企業級大數據存儲、查詢和分析的統一平台。完全開放的大數據平台，可運行在開放的x86架構伺服器上，它以海量數據處理引擎和實時數據處理引擎為核心，針對金融、運營商等數據密集型行業的運行維護、應用開發等需求，打造了敏捷、智慧、可信的平台軟體。
5、網易猛獁
網易猛獁大數據平台使一站式的大數據應用開發和數據管理平台，包括大數據開發套件和hadoop發行版兩部分。大數據開發套件主要包含數據開發、任務運維、自助分析、數據管理、項目管理及多租戶管理等。大數據開發套件將數據開發、數據分析、數據ETL等數據科學工作通過工作流的方式有效地串聯起來，提高了數據開發工程師和數據分析工程師的工作效率。Hadoop發行版涵蓋了網易大數據所有底層平台組件，包括自研組件、基於開源改造的組件。豐富而全面的組件，提供完善的平台能力，使其能輕易地構建不同領域的解決方案，滿足不同類型的業務需求。
6.知於大數據分析平台
知於平台的定位與當今流行的平台定位不一樣，它針對的主要是中小型企業，為中小型企業提供大數據解決方案。現階段，平台主打的產品是輿情系統、文章傳播分析與網站排名監測，每個服務的價格單次在50元左右，性價比極高。

9、大數據 伺服器配置

你這個數據量還是比較大的，相對的伺服器配置要高一點，伺服器主要的就是CPU 內存以及硬碟 分析數據要求數據讀取速度要高的 所以也決定了不能用普通的硬碟 用SSD或者SAS硬碟好一點 伺服器可以自己采購 ，可以用戴爾的或者IBM的 具體的看你那邊的配置 ，機器的價格差不多要幾萬了，後期你那邊如果在idc機房託管的話 還要一部分錢，具體的情況要看你那邊具體情況了 詳細情況咱們可以再聊一下

10、大數據處理伺服器配置和關系型資料庫伺服器配置哪個高

關系型資料庫簡介關系型資料庫以行和列的形式存儲數據，以便於用戶理解。這一系列的行和列被稱為表，一組表組成了資料庫。用戶用查詢(Query)來檢索資料庫中的數據。一個Query是一個用於指定資料庫中行和列的SELECT語句。關系型資料庫通常包含下列組件：客戶端應用程序(Client)資料庫伺服器(Server)資料庫(Database)StructuredQueryLanguage(SQL)Client端和Server端的橋梁，Client用SQL來象Server端發送請求，Server返回Client端要求的結果。現在流行的大型關系型資料庫有IBMDB2、IBMUDB、Oracle、SQLServer、SyBase、Informix等。關系型資料庫並不是唯一的高級資料庫模型，也完全不是性能最優的模型，但是關系型資料庫確實是現今使用最廣泛、最容易理解和使用的資料庫模型。大多數的企業級系統資料庫都採用關系型資料庫，關系型資料庫的概念是掌握資料庫開發的基礎，所以本節的問題也成為.NET面試中頻繁出現的問題之一。所涉及的知識點關系型資料庫的概念關系型資料庫的優點分析問題關系型資料庫的概念所謂關系型資料庫，是指採用了關系模型來組織數據的資料庫。關系模型是在1970年由IBM的研究員E.F.Codd博士首先提出，在之後的幾十年中，關系模型的概念得到了充分的發展並逐漸成為資料庫架構的主流模型。簡單來說，關系模型指的就是二維表格模型，而一個關系型資料庫就是由二維表及其之間的聯系組成的一個數據組織。下面列出了關系模型中的常用概念。關系：可以理解為一張二維表，每個關系都具有一個關系名，就是通常說的表名。元組：可以理解為二維表中的一行，在資料庫中經常被稱為記錄。屬性：可以理解為二維表中的一列，在資料庫中經常被稱為欄位。域：屬性的取值范圍，也就是資料庫中某一列的取值限制。關鍵字：一組可以唯一標識元組的屬性。資料庫中常稱為主鍵，由一個或多個列組成。關系模式：指對關系的描述，其格式為：關系名（屬性1，屬性2，…，屬性N）。在資料庫中通常稱為表結構。關系型資料庫的優點關系型資料庫相比其他模型的資料庫而言，有著以下優點：容易理解：二維表結構是非常貼近邏輯世界的一個概念，關系模型相對網狀、層次等其他模型來說更容易理解。使用方便：通用的SQL語言使得操作關系型資料庫非常方便，程序員甚至於數據管理員可以方便地在邏輯層面操作資料庫，而完全不必理解其底層實現。易於維護：豐富的完整性（實體完整性、參照完整性和用戶定義的完整性）大大降低了數據冗餘和數據不一致的概率。近幾年來，非關系型資料庫在理論上得到了飛快的發展，例如：網狀模型、對象模型、半結構化模型等。網狀模型擁有性能較高的優點，通常應用在對性能要求較高的系統中；對象模型符合面向對象應用程序的思想，可以完美地和程序銜接，而不需要另外的中間轉換組件，例如現在很多的O\RMapping組件；半結構化模型隨著XML的發展而得到發展，現在已經有了很多半結構化的資料庫模型。但是，憑借其理論的成熟、使用的便捷以及現有應用的廣泛，關系型資料庫仍然是系統應用中的主流方案。