全部 新聞動態(tài) 技術(shù)文章 常見問題 技術(shù)問答

• • 

    為什么要研究大數(shù)據(jù)？大數(shù)據(jù)有什么價值？

    現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流也越來越密切，生活也越來越便捷，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。阿里巴巴創(chuàng)辦人馬云曾經(jīng)說過，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology，數(shù)據(jù)科技，這顯示出大數(shù)據(jù)對于阿里巴巴集團來說是舉足輕重的。查看全文>>

    技術(shù)文章2021-02-01 |黑馬程序員 |為什么要研究大數(shù)據(jù)
  • 

    什么樣的數(shù)據(jù)可以稱為大數(shù)據(jù)？

    一般認為，大數(shù)據(jù)主要具有以下4個方面的典型特征，即大量(Volume)、多樣(Variety)、高速(Velocity)和價值(Value)，即所謂的4V，接下來，通過一張圖來具休描述。查看全文>>

    技術(shù)文章2021-02-01 |黑馬程序員 |什么數(shù)據(jù)是大數(shù)據(jù)
  • 

    大數(shù)據(jù)是什么意思？大數(shù)據(jù)有什么用？

    大數(shù)據(jù)是什么意思呢?如果從字面意思來看，大數(shù)據(jù)指的是巨量數(shù)據(jù)。那么可能有人會問，多大量級的數(shù)據(jù)才叫大數(shù)據(jù)?不同的機構(gòu)或?qū)W者有不同的理解，難以有一個非常定量的定義，只能說，大數(shù)據(jù)的計量單位已經(jīng)越過TB級別發(fā)展到PB、EB、ZB、YB甚至BB級別。查看全文>>

    技術(shù)文章2021-02-01 |黑馬程序員 |大數(shù)據(jù)是什么意思
  • 

    RDD如何分區(qū)，各種模式下的分區(qū)數(shù)目是怎樣的？

    RDD的分區(qū)原則是分區(qū)的個數(shù)盡量等于集群中的CPU核心(Core)數(shù)目。對于不同的Spark部署模式而言，都可以通過設(shè)置spark.default.prallien這個參數(shù)值來配置默認的分區(qū)數(shù)目。一般而言，各種模式下的默認分區(qū)數(shù)目如下。查看全文>>

    技術(shù)文章2021-01-29 |黑馬程序員 |RDD如何分區(qū)
  • 

    Spark Mllib分層抽樣操作步驟

    分層抽樣法也叫類型抽樣法,它是先將總體樣本按照某種特征分為若干次級(層),然后再從每一一層內(nèi)進行獨立取樣，組成一個樣本的統(tǒng)計學(xué)計算方法，接下來，通過Spark-Shell演示分層抽樣方法，具體代碼如下查看全文>>

    技術(shù)文章2021-01-29 |黑馬程序員 |Spark MLlib分層抽樣
  • 

    Sqoop中的增量導(dǎo)入功能怎樣使用？

    當(dāng)MySQL表中的數(shù)據(jù)發(fā)生了新增或修改變化，需要更新HDFS上對應(yīng)的數(shù)據(jù)時，就可以使用Sqoop的增量導(dǎo)入功能。Sqoop目前支持兩種增量導(dǎo)入模式：append模式和lastmodified模式。其中，append模式主要針對INSERT新增數(shù)據(jù)的增量導(dǎo)入；lastmodified模式主要針對UPDATE修改數(shù)據(jù)的增量導(dǎo)入。查看全文>>

    技術(shù)文章2021-01-26 |黑馬程序員 |Sqoop增量導(dǎo)入，MySQL導(dǎo)入數(shù)據(jù)
  << < 1 2 3 4 5 6 7 8 9 10 ...38 > >>