originalchoi

1. logconv 라는 방화벽전용 파일을 타 서버에서 사용하고 싶음 2. 막상 copy 하고 실행하면 특정 lib 가 없다는 메세지가 나옴 3. 없는 so 파일을 원본서버에서 copy 함 4. 위 방법대로 하면 노가다이므로 ldd -v ogconv 로 관련 lib 를 모두 확인 5. 필요한 lib 를 모두 복사해 옴 6. export LD_LIBRARY_PATH="내 작업용 폴더" 로 신규 등록 또는 /etc/ld.so.conf 에 "내 작업용 폴더" 등록 7. ldconfig -p 로 LD_LIBRARY_PATH 를 메모리 에 올리고 확인함 8 .ldd -v logconv 로 확인하면 작업 폴더의 관련 모듈이 반영되어 있음 참고 : http://www.misari.codns.com/bbs/board...

http://adnoctum.tistory.com/541 리눅스에서 어떠한 프로그램을 설치할 때 무슨무슨 so 파일, 가령 libX11.so.6 파일처럼 *.so.* 파일이 없다고 할 때는 다음과 같은 방법으로 문제를 해결해야 한다. 우선 so 파일이 무엇인지 알아 보자. so 파일은 shared object 파일이란 뜻으로 *.so.* 일텐데, 특정한 기능을 구현해 놓은 파일을 의미한다. 즉, 프로그램들은 일반적으로 필요한 기능을 전부 구현하기 보다는 특정 기능이 이미 구현되어 있으면 그 기능이 구현된 파일을 메모리에 올린 후 그 기능을 사용하게 된다. 마치 물건을 조립하는 것과 비슷한 이치인데, 컴퓨터를 조립할 때 쿨러가 필요하면 쿨러를 만드는 회사에서 잘만쿨러 같은 것을 사서 붙이듯이, 예를 들면 ..

http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/com.cloudera.hadoop/hadoop-core/0.20.2-320/org/apache/hadoop/fs/FileUtil.java#FileUtil.copyMerge%28org.apache.hadoop.fs.FileSystem%2Corg.apache.hadoop.fs.Path%2Corg.apache.hadoop.fs.FileSystem%2Corg.apache.hadoop.fs.Path%2Cboolean%2Corg.apache.hadoop.conf.Configuration%2Cjava.lang.String%29 에서 찾은 hdfs file merge 코드Fil..

#/bin/bash JAR_HOME="/data10/conf"HADOOP_HOME="/home/hadoop/hadoop" for f in $JAR_HOME/*do CLASSPATH=$CLASSPATH:$fdone export CLASSPATH=$CLASSPATH:$JAR_HOME/hadoop-0.20.2-core.jar text2seq () { #export CLASSPATH=$CLASSPATH:$JAR_HOME/conf java -cp "$CLASSPATH" net.newdaysoft.meerkat.tool.Text2Sequence $*} srcDir="/data5/sdclog/json"dstDir="/data5/sdclog/seq"lst=`cat /data4/sdclog/lst1` date for f..

원본출처http://hochul.net/blog/hive_json_serde/ Hive에서 JSON 형식 데이터 처리 (Json SerDe) Follow데이터를 주고 받는 형식으로 요즘은 JSON이 거의 대세이다. 따라서, 로그파일 등에 내용도 JSON 형식으로 저장되는 케이스가 많다.Hadoop에 저장된 JSON 형식의 데이터를 읽고, 쓰야할 경우가 생기며, 이를 위한 모듈 Json Serde 가 많이 공개되어 있다.그 중에, 아래 github 공개된 소스를 활용한 예제를 공유하고자 한다.JsonSerde – a read/write SerDe for JSON Data (Serialization/Deserialization module for Apache Hadoop Hive) https://github..

원본출처 : http://rocksea.tistory.com/20 오늘은 inode에 대하여 알아보도록 하겠습니다.일단 inode table에 대해서 알기전에 file system에 대한 structure를 먼저 알아야 합니다.ext3 file system structure는 [그림1]과 같습니다. [그림1] ext3 file system schema - 부트 블럭(boot block) : 디스크의 첫번째 논리적인 블럭으로, 유닉스가 첫번째로 활성화되는데 사용되는 약간의 실행코드를 포함, 운영 체제의 로더 기타의 컴퓨터를 작동시키도록 하는 기본 정보를 포함하고 있는 부분. - 슈퍼 블록(superb1ock) : 유닉스 시스템에서 파일 시스템의 상태를 설명하는 블록. - inode : 디스크상의 화일에 대..

원본출처 : http://blog.1day1.org/424 원격 파일 전송하는 방법중 scp 와 rsync 를 주로 사용한다. rsync 도 -e ssh 옵션을 붙여서 쓰니 둘의 차이는 별로 없다. 그런데, scp 의 경우 문제가 있다. 바로 symbolic link 의 처리. scp -pr {local} {remote}를 하면 local 의 파일을 원격으로 복사할 수 있다. 서브디렉토리포함, 파일시간 보존등. 그런데, 파일중 symbolic link 가 있다면 링크된 원본파일이 전송된다. symlink 가 유지 되지 않는다. 그런경우 rsync 를 쓴다. rsync -avzu -e ssh {local} {remote}이렇게 하면 된다. 둘중 편한거 쓰면 된다.

원본출처 http://wiki.kldp.org/HOWTO//html/Adv-Bash-Scr-HOWTO/internal.html 11장. 내부 명령어(Internal Commands and Builtins)내부 명령(builtin) 은 Bash 툴 셋에 포함된 명령어로 말 그대로 bulit in(고유의, 붙박이의)된 명령어입니다. 내부 명령은 시스템 명령어와 이름이 같을 수도 있지만 이런 경우는 Bash가 내부적으로 다시 구현해 놓은 것입니다. [1] 예를 들어, 하는 일이 거의 동일한 bash의 echo는 /bin/echo와 다릅니다.키워드(keyword)는 예약된 낱말, 토큰, 연산자를 말합니다. 키워드는 쉘에서 특별한 의미를 가지면서, 쉘 문법을 형성해 줍니다. 예를 들면, "for", "while"..

tsshark 를 이용해 wireshark 에서 analyzed 된 정보를 배치로 관리할 수 있다.missing packet 을 찾을 때 사용가능함 "c:\Program Files\Wireshark\tshark.exe" -r 0204_dev9.dmp.TCP_203-254-219-144_44263_203-254-230-10_25.pcap > tshark.2.txt

http://www.wireshark.org/docs/man-pages/ Manual PagesThe following man pages are part of the Wireshark distribution. They are available via the man command on UNIX® / POSIX® systems and HTML files via the "Start" menu on Windows systems.capinfos - Prints information about capture filesdftest - Shows display filter byte-code, for debugging dfilter routines.dumpcap - Dump network trafficeditcap - ..