elastic search 장애처리(상세)

ES 카운트에만 문제가 있을 경우의 재처리

HDFS 의 nar 가 정상처리 되었는지도 반드시 확인해야 한다.

1. es 가 아닌 첨부의 재처리는?

첨부 업로드 이상은 hadoop 에 문제가 있을 경우, 콜렉터 자체에 문제가 있을 경우

정상 동작하지 못해서 marking 이 y 가 아니면 추후 콜렉터에서 확인하고 다시 처리한다

2. 콜렉터 노드가 다운될 경우

다른 콜렉터가 해당 작업을 백업한다. 그러나 다운된 콜렉터가 자동으로 살아나지는 않는다.

3. es 재기동시 빠른 재기동을 위한 screen shot 기능이 없을까?

4. es 재처리시 벌크 업로드 스크립트

hadoop fs -get /backup/json/20131024/2013102416* .
gunzip *gz

#!/bin/sh

for file in `ls -1 *json*`
do
echo $file
curl -XPOST 'http://sgmm:9200/_bulk' --data-binary @$file
done