在業(yè)務系統(tǒng)和數據倉庫之間形成一個隔離層,ODS直接存放從各個業(yè)務系統(tǒng)抽取過來的數據, 這些數據從結構和數據邏輯關系上和業(yè)務系統(tǒng)保持一致,降低了數據抽取的復雜性。查看全文>>
進入hbase命令行 ./hbase shell 顯示hbase中的表 list 創(chuàng)建user表,包含info、data兩個列族......查看全文>>
最近,在工作中遇到了MySQL中如何存儲長度較長的字段類型問題,于是花了一周多的時間抽空學習了一下,并且記錄下來。查看全文>>
安全模式是HDFS所處的一種特殊狀態(tài),在這種狀態(tài)下,文件系統(tǒng)只接受讀數據請求,而不接受刪除、修改等變更請求,是一種保護機制,用于保證集群中的數據塊的安全性。查看全文>>
HDFS元數據,按類型分,主要包括以下幾個部分: 1、文件、目錄自身的屬性信息,例如文件名,目錄名,修改信息等。 2、文件記錄的信息的存儲相關的信息,例如存儲塊信息,分塊情況,副本個數等。 3、記錄HDFS的Datanode的信息,用于DataNode的管理。查看全文>>
mapreduce.map.memory.mb: 一個Map Task可使用的內存上限(單位:MB),默認為1024。如果Map Task實際使用的資源量超過該值,則會被強制殺死。查看全文>>