大數(shù)據(jù)是企業(yè)技術(shù)、運(yùn)營(yíng)中的一部分，如何存儲(chǔ)、管理數(shù)據(jù)和分析數(shù)據(jù)需要專業(yè)知識(shí)。現(xiàn)在大數(shù)據(jù)技能可以直接購(gòu)買、租用或教授，但個(gè)人在尋找專業(yè)知識(shí)之前，就需要清楚地了解自身適合的大數(shù)據(jù)技能，以及已經(jīng)具備的大數(shù)據(jù)技能都有什么。

市場(chǎng)專家預(yù)測(cè)大數(shù)據(jù)行業(yè)人才短缺已經(jīng)有存在很長(zhǎng)時(shí)間。麥肯錫曾預(yù)測(cè)，到2020年，大數(shù)據(jù)將成為推動(dòng)生產(chǎn)總值(GDP)增長(zhǎng)的五大"游戲規(guī)則改變者之一。因?yàn)槿狈θ瞬牛瑩碛写髷?shù)據(jù)技能的人才顯得更加緊缺。

在這個(gè)數(shù)字化時(shí)代我們所需要關(guān)注的大數(shù)據(jù)技能都有哪些呢？

大數(shù)據(jù)是一個(gè)團(tuán)隊(duì)努力的結(jié)果，所以大數(shù)據(jù)專家（大數(shù)據(jù)從業(yè)者、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等等大數(shù)據(jù)崗位）將來自公司的所有部分。一個(gè)跨各個(gè)領(lǐng)域的團(tuán)隊(duì)將代表所有受益或受大數(shù)據(jù)影響的人，確定大數(shù)據(jù)項(xiàng)目的范圍，審查數(shù)據(jù)源和潛在結(jié)果。然而，還需要由IT技術(shù)人員決定，將實(shí)踐專業(yè)知識(shí)應(yīng)用于數(shù)據(jù)技能將分為三個(gè)基本領(lǐng)域：基礎(chǔ)架構(gòu)，編程和分析。

為了支持分析，需要開發(fā)一個(gè)能夠存儲(chǔ)大量數(shù)據(jù)(不僅是tb，可能是pb)的企業(yè)基礎(chǔ)設(shè)施。高速大數(shù)據(jù)處理所需的存儲(chǔ)通常不是網(wǎng)絡(luò)附加存儲(chǔ)(NAS)或存儲(chǔ)區(qū)域網(wǎng)絡(luò)(san)，而是分散在集群計(jì)算節(jié)點(diǎn)中的直接附加存儲(chǔ)(DAS)。大數(shù)據(jù)系統(tǒng)必須是可伸縮的系統(tǒng)，并且能夠隨時(shí)添加存儲(chǔ)，無論是在企業(yè)內(nèi)部還是在云中。它還必須設(shè)計(jì)用于高速I/O處理、并行處理、虛擬化和高吞吐量等。

IT技術(shù)人員幫助管理存儲(chǔ)的數(shù)據(jù)流。盡管大數(shù)據(jù)的數(shù)據(jù)量很大無法通過DBMS、RDBMS和ORDBMS等標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)管理系統(tǒng)，但這些數(shù)據(jù)庫(kù)編程技能仍然很有用。從DBMS和RDBMS數(shù)據(jù)庫(kù)中提取結(jié)構(gòu)化數(shù)據(jù)并對(duì)其進(jìn)行標(biāo)記以進(jìn)行分析，非結(jié)構(gòu)化數(shù)據(jù)也是其中的一部分，多達(dá)80%的業(yè)務(wù)數(shù)據(jù)以word文件、電子表格、音頻、視頻和外部社交媒體的形式組成的非結(jié)構(gòu)化的。數(shù)據(jù)庫(kù)編程技能能夠很好地適應(yīng)MongoDb、Cassandra、Solr、Redis和Neo4j等大數(shù)據(jù)NoSQL編程平臺(tái)。

而數(shù)據(jù)庫(kù)程序員可以填補(bǔ)一些空白，填補(bǔ)轉(zhuǎn)換數(shù)據(jù)進(jìn)行分析，大部分負(fù)擔(dān)將落在數(shù)據(jù)分析師等職業(yè)上。

數(shù)據(jù)分析師們負(fù)責(zé)構(gòu)建和管理提供大數(shù)據(jù)見解的算法。 Apache Hadoop 已經(jīng)成為最常見的大數(shù)據(jù)框架，大數(shù)據(jù)科學(xué)家擅長(zhǎng)使用 Hadoop 進(jìn)行分布式文件處理，以及使用開源工具，云計(jì)算資源和數(shù)據(jù)可視化工具。如果您無法找到這些任務(wù)的數(shù)據(jù)科學(xué)家，您可以嘗試招聘具有數(shù)學(xué)背景的程序員，或者了解業(yè)務(wù)問題的統(tǒng)計(jì)員。

數(shù)據(jù)分析師負(fù)責(zé)建立和管理算法，交付大數(shù)據(jù)的見解。可能Apache Hadoop框架，是最常見的大數(shù)據(jù)和大數(shù)據(jù)分析師家們使用的軟件，用Hadoop分布式文件處理，以及使用開源工具、云計(jì)算資源和數(shù)據(jù)可視化工具。

漸漸的Python脫穎而出，Python在程序中使用最少的代碼進(jìn)行工作而聞名。自動(dòng)標(biāo)識(shí)和關(guān)聯(lián)數(shù)據(jù)類型，并遵循基于縮進(jìn)的嵌套結(jié)構(gòu)。總的來說，Python易于使用，并且在編碼中使用的時(shí)間較短，數(shù)據(jù)處理也沒有限制。可以在商品機(jī)器、筆記本電腦、云計(jì)算、桌面等等基本上到處都可以計(jì)算數(shù)據(jù)。早期的Python被認(rèn)為比Java和Scala等同類語(yǔ)言要慢，隨著Anaconda平臺(tái)的發(fā)展，Python已經(jīng)在速度上做到了反超，因此，它在開發(fā)和執(zhí)行方面都是比較快速的。

• 上一篇：助推現(xiàn)代IDC液體冷卻技術(shù)復(fù)興，AI至關(guān)重要
• 下一篇：數(shù)據(jù)中心市場(chǎng)的五大新趨勢(shì)與五大技術(shù)解決方案
  
• 文章標(biāo)簽：
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請(qǐng)標(biāo)明出處。如有內(nèi)容侵犯您的權(quán)益，請(qǐng)聯(lián)系刪除！QQ:315212307