大數(shù)據(jù)發(fā)展至今，提起大數(shù)據(jù)計(jì)算引擎，Spark一定是不能忽視的一個(gè)。經(jīng)過近年來的發(fā)展，Spark在大數(shù)據(jù)領(lǐng)域的市場占有率也在不斷提升，可以自己獨(dú)立支撐集群運(yùn)行，也可以與Hadoop生態(tài)集成運(yùn)行，因此廣受歡迎。下面和大家講講，Spark在大數(shù)據(jù)生態(tài)當(dāng)中的定位如何?

早期的大數(shù)據(jù)，Hadoop框架受到的重用是顯而易見的，而隨著大數(shù)據(jù)處理新的數(shù)據(jù)處理需求產(chǎn)生，Hadoop在實(shí)時(shí)數(shù)據(jù)流計(jì)算上的劣勢開始顯現(xiàn)出來。而Spark正是在這樣的背景下誕生，可以看做是對于Hadoop MapReduce計(jì)算框架的替代和改進(jìn)。

Spark同樣基于分布式集群進(jìn)行并行計(jì)算，完成計(jì)算任務(wù)，相對于MapReduce，很大的一個(gè)改變在于，將原本在磁盤上運(yùn)行的任務(wù)轉(zhuǎn)移到內(nèi)存當(dāng)中來進(jìn)行，而基于內(nèi)存計(jì)算的效率，相比基于磁盤計(jì)算，確實(shí)要快得多。

另外，相比于MapReduce固定只支持map和reduce兩種任務(wù)類型，Spark繼承了MapReduce的模式，但是支持更多的任務(wù)類型，也能適應(yīng)更多的計(jì)算場合。Spark對分布式大數(shù)據(jù)處理的抽象處理，讓用戶不必像寫MapReduce一樣，太關(guān)注底層的實(shí)現(xiàn)邏輯，而是在處理層次上投入更多精力。Spark解決的核心問題，是數(shù)據(jù)計(jì)算任務(wù)的解決，對于數(shù)據(jù)存儲以及任務(wù)調(diào)度，還需要依靠其他工具來執(zhí)行。

Spark的工作需要配合存儲層，例如Hadoop中的HDFS分布式文件存儲或者M(jìn)ongoDB、Cassandra這類數(shù)據(jù)庫來完成。同時(shí)，它還需要一個(gè)集群的管理器，比如YARN、Mesos等用來管理相應(yīng)的數(shù)據(jù)處理任務(wù)。當(dāng)然Spark自己也提供集群管理功能，這樣集群的每個(gè)節(jié)點(diǎn)都需要安裝Spark，用于進(jìn)行任務(wù)的編排。

發(fā)展至今，Spark已經(jīng)形成了相對完備的大數(shù)據(jù)處理生態(tài)，包括Spark ML用來處理基于大量數(shù)據(jù)的機(jī)器學(xué)習(xí)任務(wù)，Spark Streaming用于處理小批量的流式數(shù)據(jù)等。

Spark在大數(shù)據(jù)生態(tài)當(dāng)中的定位如何?需要知道的是，Spark作為大數(shù)據(jù)處理引擎，雖然并不能解決所有環(huán)節(jié)的問題，但是對于絕大部分問題，都能給出合適的方案，不管是獨(dú)立運(yùn)行還是集成運(yùn)行，Spark系統(tǒng)的可用性都很高。

更多培訓(xùn)課程： 深圳大數(shù)據(jù) 更多學(xué)校信息： 深圳龍華達(dá)內(nèi)IT教育培訓(xùn) 咨詢電話：