originalchoi

[원본 출처]http://www.packetinside.com/2010/05/tcp-udp-%EC%84%B8%EC%85%98%EB%B3%84%EB%A1%9C-%ED%8C%A8%ED%82%B7pcap-%ED%8C%8C%EC%9D%BC-%EB%B6%84%ED%95%A0%ED%95%98%EA%B8%B0.html TCP, UDP 세션별로 패킷(PCAP) 파일 분할하기PCAP 파일을 자르기 위한 방법을 몇번 언급하였다. 아래는 이와 관련된 포스팅 이므로,참고하지 못한 분들은 읽어보기 바란다. 2010/01/19 pcap-util 을 이용한 또 다른 패킷 분할 방법 2010/01/18 분석할 패킷 데이터 크기가 큰 경우는 이렇게 하자! 2009/12/14 EditCap 을 통해 패킷 파일을 맘대로 주무르자! 이번에..

wireshark 나 tcpdump 로 생성한 pcap 의 size 가 너무 클때 pacap 을 분할하기 위해 사용하면 좋다. NAMEeditcap - Edit and/or translate the format of capture filesSYNOPSISeditcap [ -A ] [ -B ] [ -c ] [ -C ] [ -E ] [ -F ] [ -h ] [ -i ] [ -r ] [ -s ] [ -S ] [ -t ] [ -T ] [ -v ] infile outfile [ packet#[-packet#] ... ]editcap -d | -D | -w [ -v ] infile outfileDESCRIPTIONEditcap is a program that reads some or all of the captur..

1. Introduction HDFS 는 상용 하드웨어에서 동작하도록 디자인됨HDFS 는 어플리케이션 데이터에 high throughput access 를 제공하고 large data sets 를 가진 어플리케이션에 적합하다원래 Apache Nutch Web Search Enging 프로젝트에서 시작되어 Apache Lucene Project 로 파생되어 나왔음 2. Assumptions and Goals 2-1. Hardware Failure중요한 건 수많은 HDFS 컴퍼넌트사이에서 발생하는 장애는 개연성을 가지고 있기 때문에 사소하게 지나치면 안된다는 것이다.이 말인 즉슨 HDFS 의 몇몇 컴포넌트들은 항상 오동작하고 있을 수도 있다(?)따라서 fault 를 찾고, 빨리, 자동으로 복구시키는게 HDF..

balancer 성능 개선을 위한 포인트는 찾지 못했으나 전체적인 코드의 구조는 이해할 수 있었다. 1. init(); initNodes(); 과정에서의 conf 설정으로 성능개선이 가능할 수도 있을 것 같다. 2. dispatchBlockMoves() 가 Balancing 의 핵심 함수이다. 아직 이해하지 못했는데 좀더 차근차근 살펴봐야 한다. 3. dispatch 전 chooseNodes(); 의 로직을 고친다면 balancer 를 실행시키는 rebalancer 서버가 중심이 되는 개량된 balancer 를 만들 수 있을 것 같다.

초기 0.x 버전부터 현재까지 hadoop feature 를 정리하며 공부중이다.Hadoop 은 upgrade 기능을 제공하는데, 이번 글은 v0.14 upgrade 에 관한 가이드를 요약 정리한 것이다. 원문은 아래에서 확인할 수 있다.http://wiki.apache.org/hadoop/Hadoop_0.14_Upgrade Upgrade Path- 0.12 또는 0.13.1 에서 0.14 로 업그레이드 가능함 그 이하 버전에서는 테스트해보지 않았지만 가능할 것임 Brief Upgrade Procedure- 클러스터의 기동을 멈춰야 한다. MR 을 내리고, DFS 도 중단시켜라- 새 버전의 Hadoop 을 인스톨하고 업그레이드가 완료될 때 까지 기다린다.- Hadoop cluster 를 다시 시작하면 된..

네임노드는 block 분배를 위한 몇가지 규칙을 가지고 있기 때문에 HDFS 는 항상 균일하게 데이터를 가지고 있지 않는다.- block 을 쓰고 있는 노드는 replica 1 로 지정한다.- replica 1 을 소유한 node 와 다른 rack 에 있는 노드에게 block 을 spread 한다. ( 재해내성을 위해 )- replica 1 을 소유한 node 와 동일한 rack 에 있는 노드에게 block 을 spread 한다. ( network I/O 를 줄이기 위해) balancer 는 HDFS 사용률의 밸런싱을 맞추기 위한 관리자 도구이다. datanode full 또는 신규 datanode 추가시 수동으로 사용할 수 있고, stop-balancer.sh 로 중단시킬 수도 있다. balancer ..

[인자 표현]인자의 표현은 $tmp 가 아니라 ${tmp} 가 좋다인자명에서 _, 숫자 등을 연결해 써야할 때, 가독성에서 유리 인자명을 $(var) 와 응용해서 사용하는데도 편리하다[localhost:/tmp] cat 1.sh#!/bin/bash tmpfile="/tmp/tmp1"echo ${tmpfile}echo "==================" msg=${tmpfile}echo ${msg}echo "==================" msg=$(< ${tmpfile})echo ${msg}echo "==================" msg=$(cat ${tmpfile})echo ${msg}echo "==================" msg=$(${tmpfile})echo ${msg}echo "..

원본출처 : http://c0desway.tistory.com/32 성능 테스트나 장애시 시스템 점검 또는 모니터링 할 때 살펴 봐야 하는 것CPU > DISK > NETWORK > MEMORY (병목이 자주 발생하는 순) sysstat라는 툴이 모듈이 있어야 기본적인 모니터링 툴이 설치 된다 tool의 종류sar시스템 작업 정보를 수집, 보고, 저장하는 툴sar -u CPU 사용륭 확인sar -q Load Average 확인sar -r 메모리 사용 현황 확인sar -W 스왑 발생상황 확인vmstat (Report virtual memory statistics)시스템 대부분의 정보 구분항목내용Procsr실행하기 위해 대기(wating)하고 있는 프로세스 수 b중단 불가능한 슬립(uninterruptibl..

발란서의 동작 ./bin/hadoop balancer -threshold [threshold] ./hadoop-daemon.sh start balancer ./bin/start-balancer.sh./bin/stop-balancer.sh밸런싱은 네트워크 부하를 줄수 있으므로 대역폭 제한을 걸수 있다.dfs.balance.bandwidthPerSec 밸런서 실행을 해보면 결국 1개 노드에서의 밸런싱을 담당한다. 전체 노드에서 밸런서를 관리하는 방안은?? 1개 노드에서 밸런싱할 때 데이터를 가져오는것이 목적인가, 데이터를 덜어내는 것이 목적인가? 당연히 자동으로 덜어내고, 가져오고 하면 밸런스를 맞춰야 할 것 같은데 실제로는 아래와 같이 3일 동안 수행했을때 효과가 없었다 Time Stamp Iteratio..

ES 카운트에만 문제가 있을 경우의 재처리HDFS 의 nar 가 정상처리 되었는지도 반드시 확인해야 한다. 1. es 가 아닌 첨부의 재처리는? 첨부 업로드 이상은 hadoop 에 문제가 있을 경우, 콜렉터 자체에 문제가 있을 경우정상 동작하지 못해서 marking 이 y 가 아니면 추후 콜렉터에서 확인하고 다시 처리한다 2. 콜렉터 노드가 다운될 경우 다른 콜렉터가 해당 작업을 백업한다. 그러나 다운된 콜렉터가 자동으로 살아나지는 않는다. 3. es 재기동시 빠른 재기동을 위한 screen shot 기능이 없을까? 4. es 재처리시 벌크 업로드 스크립트 hadoop fs -get /backup/json/20131024/2013102416* . gunzip *gz #!/bin/shfor file in ..