Balancer
네임노드는 block 분배를 위한 몇가지 규칙을 가지고 있기 때문에 HDFS 는 항상 균일하게 데이터를 가지고 있지 않는다.- block 을 쓰고 있는 노드는 replica 1 로 지정한다.- replica 1 을 소유한 node 와 다른 rack 에 있는 노드에게 block 을 spread 한다. ( 재해내성을 위해 )- replica 1 을 소유한 node 와 동일한 rack 에 있는 노드에게 block 을 spread 한다. ( network I/O 를 줄이기 위해) balancer 는 HDFS 사용률의 밸런싱을 맞추기 위한 관리자 도구이다. datanode full 또는 신규 datanode 추가시 수동으로 사용할 수 있고, stop-balancer.sh 로 중단시킬 수도 있다. balancer ..
개발 노트/Hadoop
2013. 12. 5. 10:29
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- tar
- 풀이
- find
- java
- OverTheWire
- solution
- grep
- SSL
- Strings
- gz
- Linux
- OpenSSL
- 32bit
- 리눅스
- BASE64
- 웹보안공부
- natas7
- ssh
- Encode
- over the wire
- tr
- bz2
- 웹보안
- Bandit
- HTTPS
- 압축파일
- X32
- Natas
- nc
- 리터럴
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
글 보관함