원본출처 : http://c0desway.tistory.com/32 성능 테스트나 장애시 시스템 점검 또는 모니터링 할 때 살펴 봐야 하는 것CPU > DISK > NETWORK > MEMORY (병목이 자주 발생하는 순) sysstat라는 툴이 모듈이 있어야 기본적인 모니터링 툴이 설치 된다 tool의 종류sar시스템 작업 정보를 수집, 보고, 저장하는 툴sar -u CPU 사용륭 확인sar -q Load Average 확인sar -r 메모리 사용 현황 확인sar -W 스왑 발생상황 확인vmstat (Report virtual memory statistics)시스템 대부분의 정보 구분항목내용Procsr실행하기 위해 대기(wating)하고 있는 프로세스 수 b중단 불가능한 슬립(uninterruptibl..
발란서의 동작 ./bin/hadoop balancer -threshold [threshold] ./hadoop-daemon.sh start balancer ./bin/start-balancer.sh./bin/stop-balancer.sh밸런싱은 네트워크 부하를 줄수 있으므로 대역폭 제한을 걸수 있다.dfs.balance.bandwidthPerSec 밸런서 실행을 해보면 결국 1개 노드에서의 밸런싱을 담당한다. 전체 노드에서 밸런서를 관리하는 방안은?? 1개 노드에서 밸런싱할 때 데이터를 가져오는것이 목적인가, 데이터를 덜어내는 것이 목적인가? 당연히 자동으로 덜어내고, 가져오고 하면 밸런스를 맞춰야 할 것 같은데 실제로는 아래와 같이 3일 동안 수행했을때 효과가 없었다 Time Stamp Iteratio..
ES 카운트에만 문제가 있을 경우의 재처리HDFS 의 nar 가 정상처리 되었는지도 반드시 확인해야 한다. 1. es 가 아닌 첨부의 재처리는? 첨부 업로드 이상은 hadoop 에 문제가 있을 경우, 콜렉터 자체에 문제가 있을 경우정상 동작하지 못해서 marking 이 y 가 아니면 추후 콜렉터에서 확인하고 다시 처리한다 2. 콜렉터 노드가 다운될 경우 다른 콜렉터가 해당 작업을 백업한다. 그러나 다운된 콜렉터가 자동으로 살아나지는 않는다. 3. es 재기동시 빠른 재기동을 위한 screen shot 기능이 없을까? 4. es 재처리시 벌크 업로드 스크립트 hadoop fs -get /backup/json/20131024/2013102416* . gunzip *gz #!/bin/shfor file in ..
메일 패킷을 분석하다보면 base64 로 인코딩 되어 있는 경우가 많다. 그렇다면 인터넷에 돌아다니는 decoder 를 이용해서 원본 내용을 확인할 수 있을 텐데 어떤 메일은 디코딩이 되고, 어떤 메일은 디코딩이 안될 때가 있다. base64 의 원리를 조금은 알고 있어야 디코딩 툴이라도 제대로 쓸 수 가 있을 것 같다. ※ 메일 패킷을 분석해보면 euc-kr -> base64 -> url 식으로 복합해서 ending 하는 것 같다. 전체를 다 긁지 말고 내용을 잘 살펴보자. 중간에 url charcter 가 눈에 띄거나, 먼저 url decoding 을 해보고, 그 후 문자들을 살펴보면 base64 를 적용할 수 있는 구간이 구분되어 나타날 것이다. decoding tool 은 아래를 참고하자 [bas..
이전 글에서는 hadoop datanode 를 제거하는 과정에 대해 알아보았다. hadoop datanode 를 추가하는 과정은 아래와 같다. 1. hadoop 설치 - 기존의 sgapp 에서 /nds 아래의 hadoop directory copy 2. linux config 설정- /etc/senius.conf 배포- /etc/bashrc 배포- /etc/hosts 배포- /etc/security/limits.conf 배포- ssh authorized key 배포 : sgapp 에서 scp /root/.ssh/authorized.keys sgasXXX:/root/.ssh/- /etc/sysconfig/i18n 배포- java 설치 3. hadoop config 설정- namenode 에서 slaves ..
-exec 명령 : 주어진 명령을 수행한다. 가장 흔히 쓰이는 행동들 중 하나이다, 명령에 매개변수들을 지정하는 방법은 이 표 다음에서 설명한다. 이 행동 끝에 \;를 붙어야 한다. -ok 명령 : -exec와 같되 각 파일마다 명령을 수행하기 전에 사용자에게 확인을 받는다. 이 행동 역시 끝에 \;를 붙여야 한다. -print : 파일 이름을 출력한다. 1. root 디렉토리로 부터 *.jpg 를 찾아 현재 디렉토리에 복사하기 ☞ find . -type f -name *.jpg -exec cp {} . \; 2. 현재 디렉토리로 부터 10M 이상의 화일을 찾아서 출력하기. ☞ find . -type f -size +10000 -exec ls -alh {} \; 3. 현재 디렉토리로 부터 하루 이상 경과..
원본 출처 : http://security.xmecca.com [Mini how-to] Netcat for Windows NT Netcat의 소개 Netcat(이하 nc로 표기)은 Network connection 에서 raw-data read, write를 할수 있는 유틸리티 프로그램이다. 일반적으로는 UNIX의 cat과 비슷한 사용법을 가지고 있지만 cat이 파일에 쓰거나 읽듯이 nc는 network connection에 읽거나 쓴다. 이것은 스크립트와 병용하여 network에 대한 debugging, testing tool로써 매우 편리하지만 반면 해킹에도 이용범위가 매우 넓다. Options -----------------------------------------------------------..
- Total
- Today
- Yesterday
- Natas
- 웹보안
- 압축파일
- gz
- java
- tr
- X32
- OpenSSL
- OverTheWire
- grep
- bz2
- nc
- BASE64
- 풀이
- solution
- 32bit
- Linux
- tar
- natas7
- Strings
- ssh
- Bandit
- SSL
- find
- 웹보안공부
- over the wire
- 리눅스
- 리터럴
- Encode
- HTTPS
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |