Skip to content

GFS 파일시스템 I/O속도 테스트

메일 전송 1차 테스트

실제 스팸 필터 서버 2대에서 GFS 서버 4대로 동시에 10통의 메일발송(총 40통)하였을 때 시스템 I/O와 CPU점유율, 웹 페이지 로딩 속도 확인하여 실제 발생할 수 있는 최악의 상황을 모의 테스트

구성도

사용자 삽입 이미지

사양

총 4대의 GFS서버 사용

CPU: 제온 2.8G 싱글
메모리: 2G
HDD: 10000rpm 72G SCSI 하드 1개
HBA 카드: QLA200 (2G HBA카드)
SAN Switch: brocade SW200E (8포트)

사용 툴

I/O stat

흐름도

스팸 메일 서버에서 메일 발송 -> GFS서버에 메일 도착 -> Queue에 쌓임(로컬 하드) -> 데이터 디렉터리로 이동(EMC 서버)

목적

웹 메일 서비스에서 발생할 수 있는 최악의 상황(심한 로드가 일어나는 상황)을 가상으로 설정해 GFS서버의 안정도와 한계치를 알아본다.

테스트 과정

  • 1메가의 파일이 첨부된 메일 10개를 동시에 GFS서버에 발송
    실제 스토리지에 쓰여진 파일 용량: 총 40개의 파일 40메가 이상

시스템 로드: 1.5 정도의 CPU로드 발생
스토리지에 최대 30MB/s 의 Write 속도 발생 CPU 55% 발생
웹 페이지 로딩 속도: 일반적인 속도로 열림

  • 10메가의 파일이 첨부된 메일 10개를 동시에 GFS서버에 발송
    실제 스토리지에 쓰여진 파일 용량: 총 40개의 파일 400메가 이상

시스템 로드: 2.5 정도의 CPU로드 발생
스토리지에 최대 75MB/s 의 Write 속도 발생 CPU 77% 발생
웹 페이지 로딩 속도: 일반적인 속도로 열림

  • 50메가의 파일이 첨부된 메일 10개를 동시에 GFS서버에 발송
    실제 스토리지에 쓰여진 파일 용량: 총 40개의 파일 2기가 이상

시스템 로드: 3.0 정도의 CPU로드 발생
스토리지에 최대 90MB/s 의 Write 속도 발생 CPU 95-97% 발생
웹 페이지 로딩 속도: 약간의 딜레이가 있으나 정상적으로 열림

  • 50메가의 파일이 첨부된 메일 10개를 동시에 GFS서버에 발송 하면서
    50기가의 파일을 tar로 묶고 1기가의 파일을 생성
    실제 스토리지에 쓰여진 파일 용량: 총 40개의 파일 2기가 + tar 로 묶인 파일 50기가 + 생성된 파일 1기가

시스템 로드: 3.1 정도의 CPU로드 발생
스토리지에 최대 90MB/s 의 Write 속도 발생 CPU 95-97% 발생
웹 페이지 로딩 속도: 딜레이 많이 생기나 정상적으로 열림

  • 일반적인 메일 서버의 로드
    시스템 로드: 1.5 정도
    스토리지의 I/O: 약 300 – 500 KB/s 정도 이나 가끔 식 10 – 20메가의 I/O가 발생하기도 함

결과

이번 테스트는 웹 메일 서버가 불안해 질 수 있는 대표적인 경우인 스페머가 대량의 첨부파일을 전송했을 경우를 모의 테스트 한 것입니다.

전체적으로 서버에 부하는 있으나 스토리지는 안정적으로 동작한다는 사실이 입증되었습니다.

파워 패스 속도및 안정성 테스트

파워 패스란

AX100장비에서 제공하는 Fail over, Load Balancing 도구로
2개의 파워와 광 채널을 사용하여 일반적인 네트워크 본딩효과와 무결성을 제공함

테스트 내용

dd 명령어를 이용 10kBytes 사이즈로 10G기가 파일 생성( 10KByes* 1000000 = 10GBytes)

명령은 4대의 GFS서버에서 동시에 실행
총 3번의 테스트후 평균값 구함

파워 패스 미 사용

SP A로만 데이터 전송됨

primail01.direct.co.kr
처음 3:14
두번째 24:07
세번째 18:15

primail02.direct.co.kr
처음 5:07
두번째 6:18
세번째 3:51

primail03.direct.co.kr
처음 16:50
두번째 17:56
세번째 15:02

primail04.direct.co.kr
처음 9:134
두번째 27:17
세번째 22:07

1대의 서버에서 10기가의 파일을 생성하는데 평균 15분16초 걸림

약 10MByte/sec 정도의 쓰기 속도 발생

파워 패스 사용

SP A와 SP B로 데이터 전송됨

primail01.direct.co.kr
처음 10:06
두번째 9:57
세번째 10:57

primail02.direct.co.kr
처음 9:47
두번째 10:03
세번째 9:54

primail03.direct.co.kr
처음 9:46
두번째 9:04
세번째 10:05

primail04.direct.co.kr
처음 8:01
두번째 10:02
세번째 10:04

1대의 서버에서 10기가의 파일을 생성하는데 평균 9분41초 걸림

약 17MByte/sec 정도의 쓰기 속도 발생

결론

파워패스 사용시 약 170%의 본딩 효과가 있으며 데이터 전송의 평균시간이 비교적 안정적이다.

테스트 내용을 보면 알겠지만 파워패스를 사용하지 않을 경우
전송 속도가 불 규칙적으로 늘어나거나 줄어드는 것이 확인 되는 반면
파워패스를 사용할 경우 3번의 테스트 모두 일정한 전송 속도를 보여주고 있다.
이 것으로 파워패스가 어느정도의 전송대역을 균등하게 배분한다는 것을 알 수있다.(LoadBalancing)

EMC 장비의 장애 발생 테스트

장애 발생 시나리오

파일 복사중 SP A를 리부팅하여 멀티패스가 정상적으로 동작하는지 확인

파워패스 미 사용시

디비이스 정보를 읽을수 없어 계속 대기함
SP B로 데이터 전송되지 않음
SP A 복구후 데이터 전송 이어짐

파워패스 사용시

디비이스 정보를 읽을수 없어 계속 대기함
SP B로 데이터 전송됨
SP A복구후 SP A와 SP B로 데이터 전송됨

사용자 삽입 이미지

사용자 삽입 이미지

그림 설명 : 속도는 낮을 수록 빠르며 그래프가 평평할 수록 서버의 로드는 일정하다.

위 그림에서 알수 있듯이 파워 패스를 사용하면 서버의 로드가 일정하게 동작하며 전송 속도도 증가 한다는 것을 알 수 있다.

결론

파워패스에 의해 Active/Active로 되어 있는 파워포트가 각각 동작하며
Failover와 Load Balancing이 되고 있다.

테스트 외에 알게된 점

파워패스 사용시 두개의 광 포트가 동일하게 동작하는 것이 아니라는 것을 확인 하였다.
EMC장비의 어떤 메커니즘에 의해 동작하는 것으로 생각된다.

이 것은 두개의 광 포트가 동시 다발적으로 동작하는 것이 아니라 첫번째 포트의 전송량이 늘어날 경우 두번째 포트가 활성화 되는 것이 확인 되었기 때문이다.

결국 완벽한 Active/Active가 아니라 First/Second의 개념으로 생각하는 것이 옳을 것이다.

그리고 하나의 파워에 장애가 발생하면 즉시적으로 두번째 파워가 즉시 동작하는 것이 아니라 약 20 – 40초 정도의 시간이 흐른뒤 동작하는 것이 확인 되었다.

이 것은 파워 포트를 제어하는 제어장치의 영향이라 생각된다.

AX100장비 외에 다른 장비는 사용해 보지 못해서 어떤 결론을 내리기는 힘들지만
보다 좋은 성능의 장비에서는 이 파워 포트 변경 시간이 줄어들 것으로 예상된다.

메일 전송 테스트 2차 테스트

1차 테스트와 같은 사양,같은 툴을 이용해서
파워패스가 실행되어 있는 서버에서 많은 양의 메일을 처리시(쓰래드가 올라갈 경우)
GFS서버의 안정성 여부를 테스트 한다.

목적

파워패스의 성능과 안정성및 실제 메일서비스에 일어날 수 있는 위험상황에서 서버의 안정성을 테스트한다.

테스트 과정

  • 스펨필터 2대의 서버에서 동시에 1메가의 파일을 50통씩발송
    GFS서버당 100통의 메일을 처리하게 하면서 서버에서 메일을 발송 하였다.

시스템 로드: 0.75 정도의 CPU로드 발생
스토리지에 최대 8MB/s 의 Write 속도 발생 CPU 50% 발생
웹 페이지 로딩 속도: 정삭적으로 열림
메일 발송 : 정상적으로 발송됨

  • 스펨필터 2대의 서버에서 동시에 10메가의 파일을 50통씩발송
    GFS서버당 100통의 메일을 처리하게 하면서 서버에서 메일을 발송 하였다.

시스템 로드: 1.2 정도의 CPU로드 발생
스토리지에 최대 30MB/s 의 Write 속도 발생 CPU 75% 발생
웹 페이지 로딩 속도: 정삭적으로 열림
메일 발송 : 정상적으로 발송됨

  • 스펨필터 2대의 서버에서 동시에 50메가의 파일을 50통씩발송
    GFS서버당 100통의 메일을 처리하게 하면서 서버에서 메일을 발송 하였다.

시스템 로드: 1.8 정도의 CPU로드 발생
스토리지에 최대 42MB/s 의 Write 속도 발생 CPU 195% 발생
웹 페이지 로딩 속도: 정삭적으로 열림
메일 발송 : 정상적으로 발송됨

결과

파워패스 이용시 서버는 보다 안정적으로 동작한다.
최대 Write속도는 낮아졌지만 CPU점유율이나 로드가 많이 낮아졌으며
4대의 서버에서 비슷한 로드를 보여주었다.

파워패스는 GFS서버와 EMC머신의 데이터 전송시에 로드를 균일하게 유지해 주며
GFS서버는 실제 메일 서비스에 일어날수 있는 위험상황에 안정적으로 동작한다.

Published inLinux