|
Size: 1024
Comment:
|
Size: 1025
Comment:
|
| Deletions are marked like this. | Additions are marked like this. |
| Line 24: | Line 24: |
| ===高容错 === | === 高容错 === |
Huawei BigData HCNA
大数据工作内容
- 数据获取
- 数据存储
- 数据分析
- 数据挖掘
大数据的4V定义
- 巨量化
- 多样性
- 价值
- 速度
分布式
- 一个任务分成N个子任务运行。
RAID6
- 采用两块校验盘进行数据保护，一块横向盘，一块横向盘。横向盘用于数据保护，斜向盘保护横向盘和数据。
HDFS
- 基于Google GFS论文开发
高容错
硬件不可靠
支持大文件存储
- 与其它文件系统相比，最大的区别在于HDFS无数据的固定（150b)，不管多大的文件都是150b,元数据平时加载在内存中运行，因此，当内存值固定。
作业
- 写出RAID级别的相关概念和对应的参数比较(创建充许的优劣，利用率)
- 写出EC中,N+M和N+M:B的原理
- 写出HDFS的特点不少于4个.
- 写出HDFS的读写流程