originalchoi

원본출처 http://wiki.kldp.org/HOWTO//html/Adv-Bash-Scr-HOWTO/internal.html 11장. 내부 명령어(Internal Commands and Builtins)내부 명령(builtin) 은 Bash 툴 셋에 포함된 명령어로 말 그대로 bulit in(고유의, 붙박이의)된 명령어입니다. 내부 명령은 시스템 명령어와 이름이 같을 수도 있지만 이런 경우는 Bash가 내부적으로 다시 구현해 놓은 것입니다. [1] 예를 들어, 하는 일이 거의 동일한 bash의 echo는 /bin/echo와 다릅니다.키워드(keyword)는 예약된 낱말, 토큰, 연산자를 말합니다. 키워드는 쉘에서 특별한 의미를 가지면서, 쉘 문법을 형성해 줍니다. 예를 들면, "for", "while"..

tsshark 를 이용해 wireshark 에서 analyzed 된 정보를 배치로 관리할 수 있다.missing packet 을 찾을 때 사용가능함 "c:\Program Files\Wireshark\tshark.exe" -r 0204_dev9.dmp.TCP_203-254-219-144_44263_203-254-230-10_25.pcap > tshark.2.txt

http://www.wireshark.org/docs/man-pages/ Manual PagesThe following man pages are part of the Wireshark distribution. They are available via the man command on UNIX® / POSIX® systems and HTML files via the "Start" menu on Windows systems.capinfos - Prints information about capture filesdftest - Shows display filter byte-code, for debugging dfilter routines.dumpcap - Dump network trafficeditcap - ..

[원본 출처]http://www.packetinside.com/2010/05/tcp-udp-%EC%84%B8%EC%85%98%EB%B3%84%EB%A1%9C-%ED%8C%A8%ED%82%B7pcap-%ED%8C%8C%EC%9D%BC-%EB%B6%84%ED%95%A0%ED%95%98%EA%B8%B0.html TCP, UDP 세션별로 패킷(PCAP) 파일 분할하기PCAP 파일을 자르기 위한 방법을 몇번 언급하였다. 아래는 이와 관련된 포스팅 이므로,참고하지 못한 분들은 읽어보기 바란다. 2010/01/19 pcap-util 을 이용한 또 다른 패킷 분할 방법 2010/01/18 분석할 패킷 데이터 크기가 큰 경우는 이렇게 하자! 2009/12/14 EditCap 을 통해 패킷 파일을 맘대로 주무르자! 이번에..

wireshark 나 tcpdump 로 생성한 pcap 의 size 가 너무 클때 pacap 을 분할하기 위해 사용하면 좋다. NAMEeditcap - Edit and/or translate the format of capture filesSYNOPSISeditcap [ -A ] [ -B ] [ -c ] [ -C ] [ -E ] [ -F ] [ -h ] [ -i ] [ -r ] [ -s ] [ -S ] [ -t ] [ -T ] [ -v ] infile outfile [ packet#[-packet#] ... ]editcap -d | -D | -w [ -v ] infile outfileDESCRIPTIONEditcap is a program that reads some or all of the captur..

1. Introduction HDFS 는 상용 하드웨어에서 동작하도록 디자인됨HDFS 는 어플리케이션 데이터에 high throughput access 를 제공하고 large data sets 를 가진 어플리케이션에 적합하다원래 Apache Nutch Web Search Enging 프로젝트에서 시작되어 Apache Lucene Project 로 파생되어 나왔음 2. Assumptions and Goals 2-1. Hardware Failure중요한 건 수많은 HDFS 컴퍼넌트사이에서 발생하는 장애는 개연성을 가지고 있기 때문에 사소하게 지나치면 안된다는 것이다.이 말인 즉슨 HDFS 의 몇몇 컴포넌트들은 항상 오동작하고 있을 수도 있다(?)따라서 fault 를 찾고, 빨리, 자동으로 복구시키는게 HDF..

balancer 성능 개선을 위한 포인트는 찾지 못했으나 전체적인 코드의 구조는 이해할 수 있었다. 1. init(); initNodes(); 과정에서의 conf 설정으로 성능개선이 가능할 수도 있을 것 같다. 2. dispatchBlockMoves() 가 Balancing 의 핵심 함수이다. 아직 이해하지 못했는데 좀더 차근차근 살펴봐야 한다. 3. dispatch 전 chooseNodes(); 의 로직을 고친다면 balancer 를 실행시키는 rebalancer 서버가 중심이 되는 개량된 balancer 를 만들 수 있을 것 같다.

초기 0.x 버전부터 현재까지 hadoop feature 를 정리하며 공부중이다.Hadoop 은 upgrade 기능을 제공하는데, 이번 글은 v0.14 upgrade 에 관한 가이드를 요약 정리한 것이다. 원문은 아래에서 확인할 수 있다.http://wiki.apache.org/hadoop/Hadoop_0.14_Upgrade Upgrade Path- 0.12 또는 0.13.1 에서 0.14 로 업그레이드 가능함 그 이하 버전에서는 테스트해보지 않았지만 가능할 것임 Brief Upgrade Procedure- 클러스터의 기동을 멈춰야 한다. MR 을 내리고, DFS 도 중단시켜라- 새 버전의 Hadoop 을 인스톨하고 업그레이드가 완료될 때 까지 기다린다.- Hadoop cluster 를 다시 시작하면 된..

네임노드는 block 분배를 위한 몇가지 규칙을 가지고 있기 때문에 HDFS 는 항상 균일하게 데이터를 가지고 있지 않는다.- block 을 쓰고 있는 노드는 replica 1 로 지정한다.- replica 1 을 소유한 node 와 다른 rack 에 있는 노드에게 block 을 spread 한다. ( 재해내성을 위해 )- replica 1 을 소유한 node 와 동일한 rack 에 있는 노드에게 block 을 spread 한다. ( network I/O 를 줄이기 위해) balancer 는 HDFS 사용률의 밸런싱을 맞추기 위한 관리자 도구이다. datanode full 또는 신규 datanode 추가시 수동으로 사용할 수 있고, stop-balancer.sh 로 중단시킬 수도 있다. balancer ..

[인자 표현]인자의 표현은 $tmp 가 아니라 ${tmp} 가 좋다인자명에서 _, 숫자 등을 연결해 써야할 때, 가독성에서 유리 인자명을 $(var) 와 응용해서 사용하는데도 편리하다[localhost:/tmp] cat 1.sh#!/bin/bash tmpfile="/tmp/tmp1"echo ${tmpfile}echo "==================" msg=${tmpfile}echo ${msg}echo "==================" msg=$(< ${tmpfile})echo ${msg}echo "==================" msg=$(cat ${tmpfile})echo ${msg}echo "==================" msg=$(${tmpfile})echo ${msg}echo "..