1. Introduction HDFS 는 상용 하드웨어에서 동작하도록 디자인됨HDFS 는 어플리케이션 데이터에 high throughput access 를 제공하고 large data sets 를 가진 어플리케이션에 적합하다원래 Apache Nutch Web Search Enging 프로젝트에서 시작되어 Apache Lucene Project 로 파생되어 나왔음 2. Assumptions and Goals 2-1. Hardware Failure중요한 건 수많은 HDFS 컴퍼넌트사이에서 발생하는 장애는 개연성을 가지고 있기 때문에 사소하게 지나치면 안된다는 것이다.이 말인 즉슨 HDFS 의 몇몇 컴포넌트들은 항상 오동작하고 있을 수도 있다(?)따라서 fault 를 찾고, 빨리, 자동으로 복구시키는게 HDF..
balancer 성능 개선을 위한 포인트는 찾지 못했으나 전체적인 코드의 구조는 이해할 수 있었다. 1. init(); initNodes(); 과정에서의 conf 설정으로 성능개선이 가능할 수도 있을 것 같다. 2. dispatchBlockMoves() 가 Balancing 의 핵심 함수이다. 아직 이해하지 못했는데 좀더 차근차근 살펴봐야 한다. 3. dispatch 전 chooseNodes(); 의 로직을 고친다면 balancer 를 실행시키는 rebalancer 서버가 중심이 되는 개량된 balancer 를 만들 수 있을 것 같다.
초기 0.x 버전부터 현재까지 hadoop feature 를 정리하며 공부중이다.Hadoop 은 upgrade 기능을 제공하는데, 이번 글은 v0.14 upgrade 에 관한 가이드를 요약 정리한 것이다. 원문은 아래에서 확인할 수 있다.http://wiki.apache.org/hadoop/Hadoop_0.14_Upgrade Upgrade Path- 0.12 또는 0.13.1 에서 0.14 로 업그레이드 가능함 그 이하 버전에서는 테스트해보지 않았지만 가능할 것임 Brief Upgrade Procedure- 클러스터의 기동을 멈춰야 한다. MR 을 내리고, DFS 도 중단시켜라- 새 버전의 Hadoop 을 인스톨하고 업그레이드가 완료될 때 까지 기다린다.- Hadoop cluster 를 다시 시작하면 된..
네임노드는 block 분배를 위한 몇가지 규칙을 가지고 있기 때문에 HDFS 는 항상 균일하게 데이터를 가지고 있지 않는다.- block 을 쓰고 있는 노드는 replica 1 로 지정한다.- replica 1 을 소유한 node 와 다른 rack 에 있는 노드에게 block 을 spread 한다. ( 재해내성을 위해 )- replica 1 을 소유한 node 와 동일한 rack 에 있는 노드에게 block 을 spread 한다. ( network I/O 를 줄이기 위해) balancer 는 HDFS 사용률의 밸런싱을 맞추기 위한 관리자 도구이다. datanode full 또는 신규 datanode 추가시 수동으로 사용할 수 있고, stop-balancer.sh 로 중단시킬 수도 있다. balancer ..
[인자 표현]인자의 표현은 $tmp 가 아니라 ${tmp} 가 좋다인자명에서 _, 숫자 등을 연결해 써야할 때, 가독성에서 유리 인자명을 $(var) 와 응용해서 사용하는데도 편리하다[localhost:/tmp] cat 1.sh#!/bin/bash tmpfile="/tmp/tmp1"echo ${tmpfile}echo "==================" msg=${tmpfile}echo ${msg}echo "==================" msg=$(< ${tmpfile})echo ${msg}echo "==================" msg=$(cat ${tmpfile})echo ${msg}echo "==================" msg=$(${tmpfile})echo ${msg}echo "..
- Total
- Today
- Yesterday
- bz2
- ssh
- nc
- 풀이
- solution
- OverTheWire
- 웹보안
- tar
- Encode
- Natas
- Strings
- Bandit
- BASE64
- find
- gz
- grep
- Linux
- OpenSSL
- over the wire
- 32bit
- 웹보안공부
- SSL
- 리눅스
- tr
- 압축파일
- HTTPS
- natas7
- X32
- 리터럴
- java
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |