인터넷 트래픽 분석을 위한 객관적 평가 및 검증 - NM Lab at Korea ...

2009 년 한국통신학회 추계학술발표대회
분석기가 분석 할 수 있는 분석 기준의 개수를
의미한다. 예로써 시그니쳐 기반의 분석기인 경우
시그니쳐를 가지고 있는 분석 기준들의 개수를 의미
한다.
• 분석 용량
분석기가 특정 기간 동안 트래픽의 손실 없이 분석할
수 있는 최대 트래픽 용량을 의미한다.
• 강건성
환경 변화에 따른 분석기의 성능을 의미한다. 세부
항목으로는 a)online/offline b)페킷 손실 가능성 c)
비대칭 라우팅 처리 d) 선행 처리 필요 e) 분석 트래픽
변화에 대한 처리가 있다.
3.2 실험 방법 평가 요소
• 정답 데이터 생성 방법
예로써 수작업, 디바이스 이용 등이 있다.
• online/offline
해당 실험이 online 혹은 offline 으로 진행 되었는지는
나타낸다.
• 트래픽 수집 방법
분석 대상 트래픽을 선택적으로 수집 하였는지 혹은
분석 대상 네트워크에서 발생하는 전체 트래픽을 수집
하였는지를 나타낸다.
• 실험 장비
실험에서 사용한 실험 장비의 사양(CPU, RAM, Disk,
OS 등)을 나타낸다.
3.3 분석 결과 평가 및 검증 요소
앞서 설명한 분석기와 실험 방법을 통하여 얻은 분석
결과에 대한 평가 및 검증 요소 이다.
• 분석율
분석 대상 전체 트래픽 중 분석된 트래픽의 비율을
나타낸다.
• 분석 결과 범위
분석 결과에 속한 분석 기준의 개수를 의미한다.
• 정확도
해당 분석 방법의 결과와 정답지 데이터를 비교하여
얼마나 해당 분석기가 정확하게 분석하는지를 나타낸다.
정확도는 크게 전체 정확도와 개별 정확도로 나뉜다.
정확도(Accuracy)는 다른 평가 요소와 달리 여러 검증
범위를 가진다. 검증 범위에 대한 내용은 평가 요소
설명 후 4 장에서 제시한다.
• 전체 정확도
검증 할 수 있는 검증 데이터 중에서 정확하게 분석된
트래픽의 비율을 나타낸다.
• 개별 정확도(Individual Accuracy)
각 분석 기준 별 검증 할 수 있는 검증 데이터 중에서
정확하게 분석된 트래픽의 비율을 나타낸다. 만약
응용을 분석 기준으로 정하였다면, 각 응용 별,
정확도를 의미한다. 개별 정확도는 FP(False positive),
FN(False Negative)로 계산된다. 응용 X 의 FP 란,
해당 알고리즘이 X 가 아닌 응용을 X 라 분석한 것을
의미한다. 또한 응용 X 의 FN 이란, 해당 알고리즘이
X 를 X 가 아니라고 분석한 것을 의미한다. 특히, FN 은
FN-Unclassified 와 FN-Mis_Classification 으로 나눌
수 있는데, 전자는 해당 알고리즘이 X 를 분석하지
못한 것이고, 후자는 해당 알고리즘이 X 를 다른
응용으로 분석한 것이다. 네트워크 관리의 트래픽
제어의 관점에서 본다면 FN-Unclassified 보다 FN-
Mis_Classification 이 더 큰 위험성을 가진다. 즉, 잘못
분석하는 것은 아니 분석한 만 못하다는 의미이다.
Ⅳ. 검증 범위
실제 네트워크에 개발된 분석 알고리즘을 적용시킬
경우, 전체 트래픽을 검증하지 못한다. 네트워크 내의
모든 호스트에 검증을 위한 에이전트, TMA 를 설치하기
못하기 때문이다. 제한된 검증 데이터로 인해 검증의
범위가 다음과 같이 3 가지로 나뉜다.
• 정답 데이터 영역
발생시킨 응용을 알고 있는 트래픽(정답지 데이터)에
대한 정확도(Accuracy)이다. 분석된 양과 상관없이
트래픽 전체에 대한 정확도(Accuracy)이기 때문에
알고리즘이 분석하지 못한 부분에 대한 정보가
반영된다. 즉, FN-Unclassified 와 FN-
Mis_Classification 모두 포함한다.
• 적용 범위 영역
Answer range 와 비슷하나 범위(Coverage)에 속한
응용에 대해서만 적용된다는 점이 다르다. 시그니쳐
기반의 알고리즘에서는 시그니쳐를 가지는 응용에
한해서 검증을 하게 된다.
• 분석 영역
오직 분석된 트래픽에 한해 정확도(Accuracy)를
구한다. FN 은 FN-Unclassified 를 포함 하지 않는다.
즉, FN 은 FN-Mis_Classification 만을 의미한다.
classified
a
ac
ab
abc
Total Traffic
In-coverage
b
bc
c
ground-truth
Ground-truth Range
{abc, ac, bc, c}
classified
a
ac
ab
abc
Coverage Range
{abc, bc}
Total Traffic
In-coverage
b
bc
c
ground-truth
classified
a
ac
ab
abc
Classification Range
{abc, ac}
Total Traffic
In-coverage
b
bc
c
ground-truth
그림 1. 검증 범위
Ⅴ. 결론
본 논문에서는 트래픽 분석의 필요성을 제시하고
기존의 여러 방법론들의 무분별한 평가 및 검증 방법에
대해 문제점을 제시 하였다. 객관적인 평가 및 검증 기준
부재는 트래픽 분석 연구의 발전을 더디게 만든다.
분석기, 실험 방법, 분석 결과, 각각에 대한 다각적인
평가 및 검증 요소를 정의 하였다. 본 논문에서 제안한
객관적 요소는 다양한 분석 방법론의 성능을 정확히
측정 할 뿐만 아니라, 다른 방법론과의 비교를 가능하게
한다. 향후 연구로는 정확한 정답 데이터 생성이 관한
연구를 계획 중이다.
참 고 문 헌
[1] Myung-Sup Kim, Young J.Won, James Won-Ki
Hong, “ Application-Level Traffic Monitoring and
an Analysis on IP Networks” , ETRI Journal Vol. 27,
No.1, February 2005.
[2] T.Karagiannis, K.P apagiannaki and M.F
aloutsos,“ BLINC: Multilevel Traffic Classification
in the Dark,” in Proc. of ACM SIGCOMM, August
2005.
[3] Moore, A.W., Zuev, D.: Internet traffic
classification using bayesian analysis techniques.
In: Proceedings of ACM SIGMETRICS. (2005) 50–
60.
[4] Risso, F. Baldi, M. Morandi, O. Baldini, A.
Monclus, P. Lightweight, Payload-Based Traffic
Classification: An Experimental Evaluation. In
proceeding of Communications, 2008. ICC '08. IEEE
International Conference, 2008.