티스토리 뷰

개발 노트/Hadoop

운영상의 이슈

오리지날초이 2013. 11. 14. 17:07

발란서의 동작

./bin/hadoop balancer -threshold [threshold]

./hadoop-daemon.sh start balancer

./bin/start-balancer.sh

./bin/stop-balancer.sh

밸런싱은 네트워크 부하를 줄수 있으므로 대역폭 제한을 걸수 있다.

dfs.balance.bandwidthPerSec

밸런서 실행을 해보면 결국 1개 노드에서의 밸런싱을 담당한다.

전체 노드에서 밸런서를 관리하는 방안은??

1개 노드에서 밸런싱할 때 데이터를 가져오는것이 목적인가, 데이터를 덜어내는 것이 목적인가?

당연히 자동으로 덜어내고, 가져오고 하면 밸런스를 맞춰야 할 것 같은데

실제로는 아래와 같이 3일 동안 수행했을때 효과가 없었다

Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

2013. 11. 14 ▒▒▒▒ 10:58:27 0 0 KB 91.33 TB 90 GB

2013. 11. 14 ▒▒▒▒ 11:21:57 1 10.4 GB 91.33 TB 90 GB

2013. 11. 14 ▒▒▒▒ 11:45:27 2 21.91 GB 91.34 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:08:28 3 33.25 GB 91.33 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:31:28 4 44.83 GB 91.33 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:53:59 5 56.23 GB 91.32 TB 90 GB

2013. 11. 15 ▒▒▒▒ 1:16:29 6 67.62 GB 91.32 TB 90 GB

2013. 11. 15 ▒▒▒▒ 1:40:59 7 79.06 GB 91.31 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:04:30 8 89.22 GB 91.36 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:28:01 9 100.94 GB 91.37 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:52:01 10 112.52 GB 91.38 TB 90 GB

2013. 11. 15 ▒▒▒▒ 3:16:02 11 124.29 GB 91.21 TB 90 GB

2013. 11. 15 ▒▒▒▒ 3:39:32 12 135.82 GB 91.22 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:02:33 13 147.47 GB 91.23 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:25:04 14 158.89 GB 91.24 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:48:34 15 170.33 GB 91.26 TB 90 GB

2013. 11. 15 ▒▒▒▒ 5:11:35 16 181.8 GB 91.26 TB 90 GB

2013. 11. 15 ▒▒▒▒ 5:34:35 17 193.39 GB 91.28 TB 90 GB

2013. 11. 15 ▒▒▒▒ 5:58:36 18 205.09 GB 91.29 TB 90 GB

2013. 11. 15 ▒▒▒▒ 6:21:37 19 216.53 GB 91.3 TB 90 GB

2013. 11. 15 ▒▒▒▒ 6:45:07 20 228.01 GB 91.31 TB 90 GB

2013. 11. 15 ▒▒▒▒ 7:08:08 21 239.42 GB 91.33 TB 90 GB

2013. 11. 15 ▒▒▒▒ 7:31:09 22 250.71 GB 91.32 TB 90 GB

2013. 11. 15 ▒▒▒▒ 7:55:09 23 262.3 GB 91.33 TB 90 GB

2013. 11. 15 ▒▒▒▒ 8:19:10 24 273.75 GB 91.34 TB 90 GB

2013. 11. 15 ▒▒▒▒ 8:42:10 25 285.2 GB 91.34 TB 90 GB

2013. 11. 15 ▒▒▒▒ 9:05:11 26 296.72 GB 91.35 TB 90 GB

2013. 11. 15 ▒▒▒▒ 9:28:12 27 308.29 GB 91.36 TB 90 GB

2013. 11. 15 ▒▒▒▒ 9:51:13 28 319.81 GB 91.38 TB 90 GB

2013. 11. 15 ▒▒▒▒ 10:14:43 29 331.42 GB 91.38 TB 90 GB

2013. 11. 15 ▒▒▒▒ 10:38:14 30 343 GB 91.39 TB 90 GB

2013. 11. 15 ▒▒▒▒ 11:01:14 31 354.5 GB 91.4 TB 90 GB

2013. 11. 15 ▒▒▒▒ 11:24:45 32 365.96 GB 91.41 TB 90 GB

2013. 11. 15 ▒▒▒▒ 11:47:46 33 377.55 GB 91.41 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:11:46 34 388.98 GB 91.42 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:34:47 35 400.4 GB 91.43 TB 90 GB

2013. 11. 15 ▒▒▒▒ 12:57:47 36 411.96 GB 91.44 TB 90 GB

2013. 11. 15 ▒▒▒▒ 1:21:48 37 423.47 GB 91.46 TB 90 GB

2013. 11. 15 ▒▒▒▒ 1:44:49 38 434.88 GB 91.46 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:07:50 39 446.15 GB 91.48 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:31:21 40 457.66 GB 91.5 TB 90 GB

2013. 11. 15 ▒▒▒▒ 2:54:51 41 469.16 GB 91.51 TB 90 GB

2013. 11. 15 ▒▒▒▒ 3:18:22 42 480.6 GB 91.51 TB 90 GB

2013. 11. 15 ▒▒▒▒ 3:41:52 43 492.08 GB 91.52 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:05:23 44 503.67 GB 91.53 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:28:23 45 515.12 GB 91.54 TB 90 GB

2013. 11. 15 ▒▒▒▒ 4:51:53 46 526.68 GB 91.55 TB 90 GB

2013. 11. 15 ▒▒▒▒ 5:14:24 47 538.01 GB 91.56 TB 90 GB

2013. 11. 15 ▒▒▒▒ 5:37:55 48 549.57 GB 91.56 TB 90 GB

2013. 11. 15 ▒▒▒▒ 6:00:55 49 561.05 GB 91.59 TB 90 GB

2013. 11. 15 ▒▒▒▒ 6:24:25 50 572.45 GB 91.6 TB 90 GB

2013. 11. 15 ▒▒▒▒ 6:47:56 51 585.27 GB 91.61 TB 94.68 GB

2013. 11. 15 ▒▒▒▒ 7:10:56 52 597.99 GB 91.63 TB 98.22 GB

2013. 11. 15 ▒▒▒▒ 7:34:57 53 610.77 GB 91.63 TB 99.47 GB

2013. 11. 15 ▒▒▒▒ 7:58:27 54 623.65 GB 91.63 TB 100 GB

2013. 11. 15 ▒▒▒▒ 8:21:58 55 636.28 GB 91.63 TB 100 GB

2013. 11. 15 ▒▒▒▒ 8:46:29 56 649.15 GB 91.63 TB 100 GB

2013. 11. 15 ▒▒▒▒ 9:10:29 57 662.01 GB 91.62 TB 100 GB

2013. 11. 15 ▒▒▒▒ 9:33:30 58 674.7 GB 91.62 TB 100 GB

2013. 11. 15 ▒▒▒▒ 9:56:31 59 687.41 GB 91.62 TB 100 GB

2013. 11. 15 ▒▒▒▒ 10:19:32 60 700.02 GB 91.62 TB 100 GB

2013. 11. 15 ▒▒▒▒ 10:43:03 61 712.86 GB 91.61 TB 100 GB

2013. 11. 15 ▒▒▒▒ 11:06:03 62 725.52 GB 91.61 TB 100 GB

2013. 11. 15 ▒▒▒▒ 11:29:34 63 738.25 GB 91.61 TB 100 GB

2013. 11. 15 ▒▒▒▒ 11:53:04 64 751 GB 91.61 TB 100 GB

2013. 11. 16 ▒▒▒▒ 12:17:04 65 763.98 GB 91.6 TB 100 GB

2013. 11. 16 ▒▒▒▒ 12:41:05 66 776.8 GB 91.6 TB 100 GB

2013. 11. 16 ▒▒▒▒ 1:04:06 67 789.56 GB 91.59 TB 100 GB

2013. 11. 16 ▒▒▒▒ 1:27:36 68 802.3 GB 91.59 TB 100 GB

2013. 11. 16 ▒▒▒▒ 1:51:07 69 815.15 GB 91.58 TB 100 GB

2013. 11. 16 ▒▒▒▒ 2:15:08 70 828.03 GB 91.58 TB 100 GB

2013. 11. 16 ▒▒▒▒ 2:38:38 71 840.7 GB 91.57 TB 100 GB

2013. 11. 16 ▒▒▒▒ 3:01:39 72 853.38 GB 91.46 TB 95.32 GB

2013. 11. 16 ▒▒▒▒ 3:25:40 73 866.31 GB 91.38 TB 93.81 GB

2013. 11. 16 ▒▒▒▒ 3:49:41 74 879.12 GB 91.38 TB 93.46 GB

2013. 11. 16 ▒▒▒▒ 4:13:41 75 891.83 GB 91.37 TB 92.47 GB

2013. 11. 16 ▒▒▒▒ 4:36:42 76 904.54 GB 91.36 TB 92.06 GB

2013. 11. 16 ▒▒▒▒ 4:59:42 77 917.14 GB 91.36 TB 91.57 GB

2013. 11. 16 ▒▒▒▒ 5:23:13 78 930.05 GB 91.35 TB 90 GB

2013. 11. 16 ▒▒▒▒ 5:46:43 79 942.85 GB 91.34 TB 90 GB

2013. 11. 16 ▒▒▒▒ 6:09:44 80 954.4 GB 91.34 TB 90.36 GB

2013. 11. 16 ▒▒▒▒ 6:33:45 81 966.32 GB 91.33 TB 90 GB

2013. 11. 16 ▒▒▒▒ 6:56:46 82 978.97 GB 91.33 TB 90 GB

2013. 11. 16 ▒▒▒▒ 7:20:17 83 990.64 GB 91.32 TB 90 GB

2013. 11. 16 ▒▒▒▒ 7:42:48 84 1001.96 GB 91.31 TB 90 GB

2013. 11. 16 ▒▒▒▒ 8:06:48 85 1013.52 GB 91.3 TB 90 GB

2013. 11. 16 ▒▒▒▒ 8:29:49 86 1 TB 91.3 TB 90 GB

2013. 11. 16 ▒▒▒▒ 8:52:49 87 1.01 TB 91.29 TB 90 GB

2013. 11. 16 ▒▒▒▒ 9:16:20 88 1.02 TB 91.28 TB 90 GB

2013. 11. 16 ▒▒▒▒ 9:39:20 89 1.03 TB 91.27 TB 90 GB

2013. 11. 16 ▒▒▒▒ 10:02:51 90 1.05 TB 91.27 TB 90 GB

2013. 11. 16 ▒▒▒▒ 10:26:22 91 1.06 TB 91.26 TB 90 GB

2013. 11. 16 ▒▒▒▒ 10:50:22 92 1.07 TB 91.25 TB 90 GB

2013. 11. 16 ▒▒▒▒ 11:13:53 93 1.08 TB 91.24 TB 90 GB

2013. 11. 16 ▒▒▒▒ 11:37:24 94 1.09 TB 91.24 TB 90.07 GB

2013. 11. 16 ▒▒▒▒ 11:59:55 95 1.1 TB 91.23 TB 90 GB

2013. 11. 16 ▒▒▒▒ 12:22:55 96 1.12 TB 91.23 TB 90 GB

2013. 11. 16 ▒▒▒▒ 12:46:25 97 1.13 TB 91.22 TB 90 GB

2013. 11. 16 ▒▒▒▒ 1:09:26 98 1.14 TB 91.21 TB 90 GB

2013. 11. 16 ▒▒▒▒ 1:33:27 99 1.15 TB 91.2 TB 90 GB

2013. 11. 16 ▒▒▒▒ 1:57:28 100 1.16 TB 91.2 TB 90 GB

2013. 11. 16 ▒▒▒▒ 2:21:28 101 1.17 TB 91.19 TB 90 GB

2013. 11. 16 ▒▒▒▒ 2:45:29 102 1.18 TB 91.18 TB 90 GB

2013. 11. 16 ▒▒▒▒ 3:08:30 103 1.2 TB 91.17 TB 90 GB

2013. 11. 16 ▒▒▒▒ 3:32:01 104 1.21 TB 91.17 TB 90 GB

2013. 11. 16 ▒▒▒▒ 3:55:31 105 1.22 TB 91.17 TB 90.32 GB

2013. 11. 16 ▒▒▒▒ 4:19:02 106 1.23 TB 91.16 TB 90 GB

2013. 11. 16 ▒▒▒▒ 4:43:03 107 1.24 TB 91.15 TB 90 GB

2013. 11. 16 ▒▒▒▒ 5:06:04 108 1.25 TB 91.15 TB 90 GB

2013. 11. 16 ▒▒▒▒ 5:29:34 109 1.26 TB 91.14 TB 90 GB

2013. 11. 16 ▒▒▒▒ 5:52:35 110 1.28 TB 91.14 TB 90 GB

2013. 11. 16 ▒▒▒▒ 6:16:35 111 1.29 TB 91.13 TB 90 GB

2013. 11. 16 ▒▒▒▒ 6:39:35 112 1.3 TB 91.12 TB 90.01 GB

2013. 11. 16 ▒▒▒▒ 7:03:36 113 1.31 TB 91.11 TB 90.07 GB

2013. 11. 16 ▒▒▒▒ 7:27:06 114 1.32 TB 91.11 TB 90.55 GB

2013. 11. 16 ▒▒▒▒ 7:51:07 115 1.33 TB 91.1 TB 90 GB

지금은 sgas047 에서 반대의 경우로 밸런서를 동작시켰다.

1주일 후 sgas071, 072 와 데이터 저장량을 비교해봐야겠다.

대역폭 변경

데이터노드간의 블럭을 복제하는 대역폭은 초당 1MB 이며, 대역폭의 변경은 $HADOOP_HOME/conf/hdfs-site.xml 에서“dfs.balance.bandwidthPerSec” 속성값을 설정하여 조절할 수 있으며, 단위는 Byte 입니다.

아래의 설정은 대역폭을 초당 20MB 로 잡았을 경우 입니다.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

    <property>

        <name>dfs.balance.bandwidthPerSec</name>

        <value>20971520</value>

    </property>

밸런서를 그냥 작동시키면 초당 80kbsp 의 성능을 보인다.

Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

2013. 11. 14 ▒▒▒▒ 3:01:47 0 0 KB 84.97 TB 90 GB

2013. 11. 14 ▒▒▒▒ 3:24:48 1 11.49 GB 84.62 TB 90 GB

2013. 11. 14 ▒▒▒▒ 3:48:18 2 22.97 GB 84.55 TB 90 GB

2013. 11. 14 ▒▒▒▒ 4:10:49 3 34.36 GB 84.48 TB 90 GB

2013. 11. 14 ▒▒▒▒ 4:34:49 4 45.92 GB 92.52 TB 90 GB

2013. 11. 14 ▒▒▒▒ 4:57:50 5 57.31 GB 92.47 TB 90 GB

2013. 11. 14 ▒▒▒▒ 5:20:51 6 68.83 GB 92.4 TB 90 GB

파라미터 설정 ( 하둡 인 액션 ch8 )

dfs.datanode.du.reserved 1073741824 값 설정

맵리듀스 세팅

최대 m/r task 갯수

728x90

저작자표시 비영리

'개발 노트 > Hadoop' 카테고리의 다른 글

Hadoop Upgrade Guide for v.0.14 (0)	2013.12.06
Balancer (0)	2013.12.05
hadoop datanode 제거 / 추가 하기 (2) (0)	2013.11.04
hadoop datanode 제거 / 추가 하기 (1) (0)	2013.10.30
Hadoop Job Error (1)	2013.10.23

공지사항

최근에 올라온 글

최근에 달린 댓글

Total

Today

Yesterday

링크

TAG more

« 2024/05 »
일	월	화	수	목	금	토
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

글 보관함

originalchoi

티스토리 뷰

운영상의 이슈

대역폭 변경

'개발 노트 > Hadoop' 카테고리의 다른 글

티스토리툴바