Differences between revisions 13 and 14
⇤ ← Revision 13 as of 2018-06-02 07:33:57 →
Size: 784
Editor: localhost
Comment:
← Revision 14 as of 2018-06-02 07:34:11 → ⇥
Size: 800
Editor: localhost
Comment:
Deletions are marked like this. Additions are marked like this.
Line 24: Line 24:
===高容错 ===

Huawei BigData HCNA

大数据工作内容

  1. 数据获取
  2. 数据存储
  3. 数据分析
  4. 数据挖掘

大数据的4V定义

  1. 巨量化
  2. 多样性
  3. 价值
  4. 速度

分布式

  1. 一个任务分成N个子任务运行。

RAID6

  • 采用两块校验盘进行数据保护，一块横向盘，一块横向盘。横向盘用于数据保护，斜向盘保护横向盘和数据。

HDFS

  • 基于Google GFS论文开发

===高容错 ===

硬件不可靠

支持大文件存储

  1. 与其它文件系统相比，最大的区别在于HDFS无数据的固定（150b)，不管多大的文件都是150b,元数据平时加载在内存中运行，因此，当内存值固定。

首頁/2018-06-02 (last edited 2018-06-10 08:40:03 by localhost)