#/bin/bash JAR_HOME="/data10/conf"HADOOP_HOME="/home/hadoop/hadoop" for f in $JAR_HOME/*do CLASSPATH=$CLASSPATH:$fdone export CLASSPATH=$CLASSPATH:$JAR_HOME/hadoop-0.20.2-core.jar text2seq () { #export CLASSPATH=$CLASSPATH:$JAR_HOME/conf java -cp "$CLASSPATH" net.newdaysoft.meerkat.tool.Text2Sequence $*} srcDir="/data5/sdclog/json"dstDir="/data5/sdclog/seq"lst=`cat /data4/sdclog/lst1` date for f..
원본출처http://hochul.net/blog/hive_json_serde/ Hive에서 JSON 형식 데이터 처리 (Json SerDe) Follow데이터를 주고 받는 형식으로 요즘은 JSON이 거의 대세이다. 따라서, 로그파일 등에 내용도 JSON 형식으로 저장되는 케이스가 많다.Hadoop에 저장된 JSON 형식의 데이터를 읽고, 쓰야할 경우가 생기며, 이를 위한 모듈 Json Serde 가 많이 공개되어 있다.그 중에, 아래 github 공개된 소스를 활용한 예제를 공유하고자 한다.JsonSerde – a read/write SerDe for JSON Data (Serialization/Deserialization module for Apache Hadoop Hive) https://github..
- Total
- Today
- Yesterday
- 리터럴
- tar
- ssh
- Strings
- Natas
- HTTPS
- find
- OverTheWire
- tr
- natas7
- 32bit
- solution
- BASE64
- X32
- bz2
- 웹보안
- OpenSSL
- nc
- 웹보안공부
- over the wire
- 풀이
- Bandit
- grep
- Encode
- gz
- 압축파일
- 리눅스
- Linux
- java
- SSL
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |