輿情忻州4月12日消息 隨著云時(shí)代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。

　　1、什么是大數(shù)據(jù)?

　　基本概念

　　在互聯(lián)網(wǎng)技術(shù)發(fā)展到現(xiàn)今階段，大量日常、工作等事務(wù)產(chǎn)生的數(shù)據(jù)都已經(jīng)信息化，人類產(chǎn)生的數(shù)據(jù)量相比以前有了爆炸式的增長，以前的傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法勝任，需求催生技術(shù)，一套用來處理海量數(shù)據(jù)的軟件工具應(yīng)運(yùn)而生，這就是大數(shù)據(jù)!

　　換個(gè)角度說，大數(shù)據(jù)是：

　　1、有海量的數(shù)據(jù)

　　2、有對(duì)海量數(shù)據(jù)進(jìn)行挖掘的需求

　　3、有對(duì)海量數(shù)據(jù)進(jìn)行挖掘的軟件工具(hadoop、spark、storm、flink、tez、impala......)

　　大數(shù)據(jù)在現(xiàn)實(shí)生活中的具體應(yīng)用

　　電商推薦系統(tǒng)：基于海量的瀏覽行為、購物行為數(shù)據(jù)，進(jìn)行大量的算法模型的運(yùn)算，得出各類推薦結(jié)論，以供電商網(wǎng)站頁面來為用戶進(jìn)行商品推薦。

　　精準(zhǔn)廣告推送系統(tǒng)：基于海量的互聯(lián)網(wǎng)用戶的各類數(shù)據(jù)，統(tǒng)計(jì)分析，進(jìn)行用戶畫像(得到用戶的各種屬性標(biāo)簽)，然后可以為廣告主進(jìn)行有針對(duì)性的精準(zhǔn)的廣告投放。

　　2、那什么是hadoop呢?

　　hadoop中有3個(gè)核心組件：

　　分布式文件系統(tǒng)：HDFS—— 實(shí)現(xiàn)將文件分布式存儲(chǔ)在很多的服務(wù)器上

　　分布式運(yùn)算編程框架：MAPREDUCE—— 實(shí)現(xiàn)在很多機(jī)器上分布式并行運(yùn)算

　　分布式資源調(diào)度平臺(tái)：YARN—— 幫用戶調(diào)度大量的mapreduce程序，并合理分配運(yùn)算資源

　　3、最后來說一下hdfs整體運(yùn)行機(jī)制

　　hdfs：分布式文件系統(tǒng)

　　hdfs有著文件系統(tǒng)共同的特征：

　　1、有目錄結(jié)構(gòu)，頂層目錄是： /

　　2、系統(tǒng)中存放的就是文件

　　3、系統(tǒng)可以提供對(duì)文件的：創(chuàng)建、刪除、修改、查看、移動(dòng)等功能

　　hdfs跟普通的單機(jī)文件系統(tǒng)有區(qū)別：

　　1、單機(jī)文件系統(tǒng)中存放的文件，是在一臺(tái)機(jī)器的操作系統(tǒng)中

　　2、hdfs的文件系統(tǒng)會(huì)橫跨N多的機(jī)器

　　3、單機(jī)文件系統(tǒng)中存放的文件，是在一臺(tái)機(jī)器的磁盤上

　　4、hdfs文件系統(tǒng)中存放的文件，是落在n多機(jī)器的本地單機(jī)文件系統(tǒng)中(hdfs是一個(gè)基于linux本地文件系統(tǒng)之上的文件系統(tǒng))

　　hdfs的工作機(jī)制：

　　1、客戶把一個(gè)文件存入hdfs，其實(shí)hdfs會(huì)把這個(gè)文件切塊后，分散存儲(chǔ)在N臺(tái)linux機(jī)器系統(tǒng)中(負(fù)責(zé)存儲(chǔ)文件塊的角色：data node)<準(zhǔn)確來說：切塊的行為是由客戶端決定的>

　　2、一旦文件被切塊存儲(chǔ)，那么，hdfs中就必須有一個(gè)機(jī)制，來記錄用戶的每一個(gè)文件的切塊信息，及每一塊的具體存儲(chǔ)機(jī)器(負(fù)責(zé)記錄塊信息的角色是：name node)

　　3、為了保證數(shù)據(jù)的安全性，hdfs可以將每一個(gè)文件塊在集群中存放多個(gè)副本(到底存幾個(gè)副本，是由當(dāng)時(shí)存入該文件的客戶端指定的)

　　綜述：一個(gè)hdfs系統(tǒng)，由一臺(tái)運(yùn)行了namenode的服務(wù)器，和N臺(tái)運(yùn)行了datanode的服務(wù)器組成!

責(zé)任編輯：韓樂豪