originalchoi

1. 개요 현재 12대 구성의 Elastic Search Cluster 를 운영 중이고, 그중 한대 노드의 이상이 감지되어 장애처리를 하였다. 일반적인 경우 ES 장애처리 수순은 아래와 같다.1. ES 클러스터에서 장애 노드 제거2. 장애 노드 로컬에서 Hardware Fault 확인3. 부품(Disk 등) 교체 후 ES 클러스터에서 장애 노드 신규 추가 ES 에서 해줘야 할일은 노드 제거 및 추가가 전부이기에 Hadoop Slave 교체 처럼 성능에서는 별 영향이 없을 것이라고 예상했으나 예상과 다르게 전체 성능 저하 및 부하 급증을 겪어야 했다. 2. 시스템 현황 작업 전 curl 명령어를 활용해 ES cluster status 를 확인해보자curl -XGET 'http://hostname:9200/..

1. MySql 에서 단건 insert 와 load data 성능 비교 내가 하려는 일은 10대의 Oracle 에서 특정일자 데이터를 추출, 정제 후 다시 통계자료로 MySql 에 입력하려는 일이다. 우선 쉘스크립트를 사용해서 mysql 에 insert 테스트를 해봤다. 테스트 데이터는 1대 DB 의 하루치 데이터 80,737 건을 기준으로 삼았다. 쉘스크립트를 사용한 오라클 데이터 추출, 정제는 시간이 거의 걸리지 않지만 mysql 에 8만건을 전부 isnert 해보니 6분 55초 가 걸렸다. 1대를 처리하는데 7분이면 10대를 처리하려면 70분이 걸릴 것이고 위와 같은 성능으로는 문제가 있어 보인다. 그렇다면 mysql load data 를 활용해보자. 동일한 80,737 건에 대해 0.3초가 채 안..

각각의 호스트별로 뽑아놓은 데이터를 정제하는 과정에서 문제가 발생했다. 한번 정제한 리스트들을 다시 Mysql Insert 하고 싶은데 EOF 가 닫혀지질 않는다. for host in A B C do cat 1.list.$host | sed -r '/^$/d' > 2.list.$host f_list=`sed '/^$/d' 2.list.$host | cut -d '/' -f 6,7,8 | awk '{print $1}'` done for f in $f_list do mysql -u root -pPASSWD MyTable

[/계정/.bashrc 설정] if [ "$TERM" != "dumb" ]; theneval"`dircolors -b`"alias ls='ls --color=auto'fi 를 추가하고 재시작 (source /계정/.bashrc) 한다 [출처] http://blog.naver.com/PostView.nhn?blogId=paradox1573&logNo=40118486184 [eval 설명] 인터프리터 언어인 펄, 파이썬, 티클언어의 특징은 모든 프로그램을 문자열(string)화 시켜서 번역한다는데 있습니다. 프로그램을 실행시키면 인터프리터가 프로그램을 읽어서 번역합니다. 그런데 또 한가지 특징은 프로그램내에서 인터프리터를 실행시킬수 있습니다. 그게 eval 이지요... $str = '$c = $a + $b'..

바로 직전글 "톰캣 세팅되어 있는 이클립스 프로젝트 복사하기" 마지막 단계에서 톰캣을 구동하고 디폴트 세팅인 8080 으로 접속하면 아래와 같이 XDB 서버 인증을 요한다. 찾아보니 다른 톰캣 버전과 충돌나는 것은 아니고 오라클 서버를 설치하면 발생하는 충돌이다 해결책은 톰캣 포트를 9090 등으로 바꾸라는데. 나는 로컬 오라클 서버를 별로 사용하지 않기 때문에 오라클 서버 포트를 바꾸고 싶다. 방법은 아래 사이트에 잘 정리되어 있다. http://applejara.tistory.com/243 직접 해보니 cmd 명령과 sqlplus 가 잘못 기입된 부분이 있어서 사용예를 남긴다. C:\Users\originalchoi>sqlplus /nolog SQL*Plus: Release 11.2.0.2.0 Pro..

이전 글에서는 이클립스 프로젝트 전체를 file copy 를 통해 새 환경에 구성하려고 했다. 일반적인 문제는 해결하였으나 전에 쓰던 이클립스 종속되어 있는 설정들로 인해서 서버세팅에 실패하고 svn 을 통해 다시 내려받기 및 설정을 하려고 한다. 지금 이용하려는 이클립스는 구형 PC 에서 file copy 해온 이클립스이다. .metadata\plugin 에서 톰캣 실행관련 pref 파일 두개 삭제 해준것 말고는 기존의 설정과 plugin 들을 그대로 가지고 있다. 이 환경에서도 설정 문제로 프로젝트 재구성이 불가능하다면 세번째 방법으로 이클립스를 새로 다운받고, plug in 들도 새로 설치하고, 소스코드도 새로 이식 받는 방법을 시도해 볼 것이다. 우선 import - svn 을 통해 신규 프로젝트..

신형 PC 를 사용하게 되면서 구형 PC 에서 작업하던 이클립스 WorkSpace 를 이전해야 되는 상황이 발생. 이때 가능한 방안으로는 1. svn 을 통한 project check out 2. eclipse 와 작업디렉토리 통째 복사 우선 2. 의 방법이 더 간편해보여서 통째복사를 시도하였다. 그런데 문제가 되는 부분이 있었으니.. 소스코드, 외부 jar, 톰캣 로컬서버 설정까지 그대로 가지고 왔지만 정작 아파치 라이브러리를 인식하지 못하는 것. Java Build Path 에서 Add External Jar 나 Edit 로 수정하려고 하니 아래 문제에 부딪힌다. 마찬가지로 신규 로컬서버를 추가하려고 해도 선택할 수 없다. 마지막으로 새로 복사해온 프로젝트에서 서버 프로퍼티를 보려고 하면 아래와 같은..

http://blog.cjred.net/216

배치 작업 검증을 위해 src 데이터와 dst 데이터를 비교했다 src 는 로컬 윈도우에서 툴 활용하여 오라클 데이터 리스트업 시켰고 dst 는 서버에서 하둡 데이터를 리스트업 시켰다 로컬 환경에서 만든 오라클 데이터를 서버에 올려서 diff 로 비교하니 모든 행에서 불일치가 나왔다. 윈도환경에서 작업한 로컬파일에서 특수문자가 삽입되어있을 것 같은데 겉보기에는 멀쩡한 상황이다. 이때 문자코드 확인을 위해서 필요한 명령어가 od(octal dump) 이다 od -c 을 사용하면 아래와 같이 문자코드 덤프가 생성되고 개행이 '/r', '/n' 으로 이중으로 들어가있음을 확인 할 수있다 나머지 리스트와 비교해보고 불필요한 '/r' 은 tr 로 날려주면 문제 해결. od 사용법은 아래 링크를 참고 http://..