originalchoi

#/bin/bash JAR_HOME="/data10/conf"HADOOP_HOME="/home/hadoop/hadoop" for f in $JAR_HOME/*do CLASSPATH=$CLASSPATH:$fdone export CLASSPATH=$CLASSPATH:$JAR_HOME/hadoop-0.20.2-core.jar text2seq () { #export CLASSPATH=$CLASSPATH:$JAR_HOME/conf java -cp "$CLASSPATH" net.newdaysoft.meerkat.tool.Text2Sequence $*} srcDir="/data5/sdclog/json"dstDir="/data5/sdclog/seq"lst=`cat /data4/sdclog/lst1` date for f..

원본출처http://hochul.net/blog/hive_json_serde/ Hive에서 JSON 형식 데이터 처리 (Json SerDe) Follow데이터를 주고 받는 형식으로 요즘은 JSON이 거의 대세이다. 따라서, 로그파일 등에 내용도 JSON 형식으로 저장되는 케이스가 많다.Hadoop에 저장된 JSON 형식의 데이터를 읽고, 쓰야할 경우가 생기며, 이를 위한 모듈 Json Serde 가 많이 공개되어 있다.그 중에, 아래 github 공개된 소스를 활용한 예제를 공유하고자 한다.JsonSerde – a read/write SerDe for JSON Data (Serialization/Deserialization module for Apache Hadoop Hive) https://github..

1. Shell CLI 에서 Hive 쿼리 사용하기 Shell Cli 에서 hive -e 식으로 사용하면 된다.hive -S -e 로 사용하면 일부 시스템 메세지 없이 결과만 나타난다.(Warning 메세지는 Error 출력으로 나타남) [hive@localhost:/home/hive] hive -e "use my_db; select * from my_table;"[hive@localhost:/home/hive] hive -S -e "select * from my_db.my_table" > result.txt 2. Hive CLI 에서 Hive 옵션 설정하기 Hive Cli 에서 set 로 옵션 설정 후 쿼리를 사용하면 된다. hive> set hive.cli.print.header=true; hive>..