originalchoi

메일 패킷을 분석하다보면 base64 로 인코딩 되어 있는 경우가 많다. 그렇다면 인터넷에 돌아다니는 decoder 를 이용해서 원본 내용을 확인할 수 있을 텐데 어떤 메일은 디코딩이 되고, 어떤 메일은 디코딩이 안될 때가 있다. base64 의 원리를 조금은 알고 있어야 디코딩 툴이라도 제대로 쓸 수 가 있을 것 같다. ※ 메일 패킷을 분석해보면 euc-kr -> base64 -> url 식으로 복합해서 ending 하는 것 같다. 전체를 다 긁지 말고 내용을 잘 살펴보자. 중간에 url charcter 가 눈에 띄거나, 먼저 url decoding 을 해보고, 그 후 문자들을 살펴보면 base64 를 적용할 수 있는 구간이 구분되어 나타날 것이다. decoding tool 은 아래를 참고하자 [bas..

이전 글에서는 hadoop datanode 를 제거하는 과정에 대해 알아보았다. hadoop datanode 를 추가하는 과정은 아래와 같다. 1. hadoop 설치 - 기존의 sgapp 에서 /nds 아래의 hadoop directory copy 2. linux config 설정- /etc/senius.conf 배포- /etc/bashrc 배포- /etc/hosts 배포- /etc/security/limits.conf 배포- ssh authorized key 배포 : sgapp 에서 scp /root/.ssh/authorized.keys sgasXXX:/root/.ssh/- /etc/sysconfig/i18n 배포- java 설치 3. hadoop config 설정- namenode 에서 slaves ..

-exec 명령 : 주어진 명령을 수행한다. 가장 흔히 쓰이는 행동들 중 하나이다, 명령에 매개변수들을 지정하는 방법은 이 표 다음에서 설명한다. 이 행동 끝에 \;를 붙어야 한다. -ok 명령 : -exec와 같되 각 파일마다 명령을 수행하기 전에 사용자에게 확인을 받는다. 이 행동 역시 끝에 \;를 붙여야 한다. -print : 파일 이름을 출력한다. 1. root 디렉토리로 부터 *.jpg 를 찾아 현재 디렉토리에 복사하기 ☞ find . -type f -name *.jpg -exec cp {} . \; 2. 현재 디렉토리로 부터 10M 이상의 화일을 찾아서 출력하기. ☞ find . -type f -size +10000 -exec ls -alh {} \; 3. 현재 디렉토리로 부터 하루 이상 경과..

원본 출처 : http://security.xmecca.com [Mini how-to] Netcat for Windows NT Netcat의 소개 Netcat(이하 nc로 표기)은 Network connection 에서 raw-data read, write를 할수 있는 유틸리티 프로그램이다. 일반적으로는 UNIX의 cat과 비슷한 사용법을 가지고 있지만 cat이 파일에 쓰거나 읽듯이 nc는 network connection에 읽거나 쓴다. 이것은 스크립트와 병용하여 network에 대한 debugging, testing tool로써 매우 편리하지만 반면 해킹에도 이용범위가 매우 넓다. Options -----------------------------------------------------------..

윈도우에서 생성한 input 파일을 리눅스에서 읽을 때 끝줄에 ^M 등의 특수문자가 삽입된다.이를 해결하기 위해 사용한다. 하위 디렉토리 적용을 위해서는 아래와 같은 방법으로사용.find 하부디렉토리 -name "*.*" |xargs dos2unix[출처] 리눅스에서 dos2unix 하부디렉토리에 적용하는법|작성자 왕숟가락 자세한 사용법은 아래를 참고 원본 출처 : http://amornatura.tistory.com/42 도스에서 작업한 txt파일을 리눅스에서 불러와 작업하면 상당히 애로사항이 많게 됩니다. 파일을 편집하다 보면 뒤에 ^M이 생기는 것도 볼 수 있구요... -.-이외에도 윈도우에서는 UTF-8로 기본 저장하지 않기 때문에 가끔 문제를 일으키기도 합니다. 하지만 리눅스에선 간단히 파일의 ..

1. oracle table 확인select * from dba_tables;select * from user_tables; 2. exec 프로시져 확인select * from user_source; 3. exec 프로시져 실행exec 프로시져명(매개변수)

(출처. http://kin.naver.com/detail/detail.php?d1id=1&dir_id=10110&eid=fV5vTt+dRDxU3FrBqEE11hEXbX87bu9g&qb=7Jik65287YG0IFNRTCBNSU5VUw==&enc=utf8§ion=kin&rank=1&sort=0&spq=0&pid=fFh1Adoi5Tosst4J6%2BNsss--246585&sid=SnY1iaoadkoAAGcTPXg) 일단 SQL 튜닝에서는 모든 상황에 항상 맞는 것은 없습니다. 즉, SQL 튜닝엔 왕도가 없다는 말입니다. 수학공식 외우듯이 외워서 튜닝을 하는 것은 아니며 그때 그때 데이터의 분포, 서버의 상태, 인덱스의 유무 및 SQL trace나 tkprof결과 등의 각종 참조가능한 수치들을 분석하여 튜닝방..

효율적인 운영을 위해 hadoop cluster 에서 slave server 를 교환하려고 한다. 이를 위해 hadoop 에서는 기존 slave server 를 제거하고 새로운 slave server 를 추가해야 한다. 이때의 작업 절차는 다음과 같다. 1. 기존 slave server 에서 tasktracker 중지 2. 기존 slave server 에서 datanode 중지 3. 기존 slave server 의 ip 변경(새 장비가 기존 slave 역할을 대신해야 하므로) 4. 신규 slave server 에서 hadoop config, ip 설정 5. 신규 slave server 에서 datanode 기동 6. 신규 slave server 에서 tasktracker 기동 slave 에 직접 접속해서..

그동안 대용량 데이터를 바탕으로 Hadoop, Hive, Es 가 결합된 검색시스템을 운용 중이었는데 갑작스럽게 장애가 발생하였다. 정황상 ES head plug in 에서 발생시킨 쿼리가 영향을 끼친 것 으로 보인다. (거의 확실함) 쿼리 자체는 범위가 한정된 지극히 일반적인 쿼리 문이었으나, 검색용 index 를 지정하지 않아 부하가 발생하고, 쿼리 리퀘스팅 상태가 완료되지 않은 채로, 여러 건의 쿼리가 누적되어 부하가 급증한 것으로 보인다. Q) 내 경험 상 ES head plug in 의 검색은 cli 에서 curl 을 이용한 것보다 항상 느렸다. 그동안 인덱스를 지정하지 않아서 그랬던 것인가? plug in 의 any request 기능에 문제가 있는 것인가? head pluging 을 이용할 ..

hive 를 사용하는데 아래와 같은 에러가 발생한다.실제로 몇몇개 데이터 노드에서 아래 taskTracker 경로를 확인해보면 hadoop-root 100만개 이상의 파일, 하위 디렉토리가 생성되었고 hive-root 에서도 6만개 이상의 파일, 하위 디렉토리가 생성된 것을 확인할 수 있다. Killed Tasks Task Complete Status Start Time Finish Time Errors Counters task_201209142207_44543_m_000490 0.00% 8-10월-2013 06:56:02 8-10월-2013 06:56:44 (42sec) org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any ..