대량 데이터 MySql Insert 하기
1. MySql 에서 단건 insert 와 load data 성능 비교 내가 하려는 일은 10대의 Oracle 에서 특정일자 데이터를 추출, 정제 후 다시 통계자료로 MySql 에 입력하려는 일이다. 우선 쉘스크립트를 사용해서 mysql 에 insert 테스트를 해봤다. 테스트 데이터는 1대 DB 의 하루치 데이터 80,737 건을 기준으로 삼았다. 쉘스크립트를 사용한 오라클 데이터 추출, 정제는 시간이 거의 걸리지 않지만 mysql 에 8만건을 전부 isnert 해보니 6분 55초 가 걸렸다. 1대를 처리하는데 7분이면 10대를 처리하려면 70분이 걸릴 것이고 위와 같은 성능으로는 문제가 있어 보인다. 그렇다면 mysql load data 를 활용해보자. 동일한 80,737 건에 대해 0.3초가 채 안..
개발 노트/MySql
2013. 7. 3. 15:40
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- tar
- over the wire
- Encode
- Natas
- OverTheWire
- OpenSSL
- nc
- X32
- Linux
- SSL
- 리터럴
- java
- 리눅스
- natas7
- tr
- 압축파일
- Strings
- 웹보안공부
- bz2
- solution
- BASE64
- 풀이
- grep
- Bandit
- ssh
- gz
- HTTPS
- 웹보안
- find
- 32bit
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함