Digital Image Processing

Digital Image Processing
3. Image Enhancement in the
Spatial Domain - Filters
Computer Engineering, Sejong University
Spatial Filtering
마스크(mask)
w(-1,-1) w(-1,0) w(-1,1)
w( 0,-1) w( 0,0) w( 0,1)
w( 1,-1) w( 1,0) w( 1,1)
f(x-1,y-1) f(x-1,y)
f(x-1,y+1)
f(x,y-1) f(x,y) f(x,y+1)
f(x+1,y-1) f(x+ 1,y) f(x+ 1,y+1)
2/46

Spatial Filtering
마스크(Mask)
• 정방형의 2차원 행렬
• m x n 크기를 가지며 m, n은 홀수값을가짐
• Filter, mask, kernel, template, window라고도 함
계수(coefficient)
• 마스크 내의 값은 화소라 하지 않고 계수(coefficient)라고 함
Spatial filtering
• 마스크의 각 위치에서 해당 계수 값과 대응하는 영상 값을
각각 곱한 후 그 결과를 모두 더함
• 마스크의 중앙에 위치가 출력 화소의 해당 위치가 됨
3/46
Spatial Filtering
1차원 filtering의 예: mask 크기가 1x3
f
w
g
g(
x,
y)
= ∑ 1 w(0,
t)
f ( x,
y + t)
t = − 1
g ( 0,1) = w(0,
−1)
× f (0,0) + w(0,0)
× f (0,1) + w(0,1)
× f (0,2)
0 1 0
g ( 0,2) = w(0,
−1)
× f (0,1) + w(0,0)
× f (0,2) + w(0,1)
× f (0,3)
0 1 0
4/46

Spatial Filtering
1차원 filtering의 다른예: mask 크기가 1x3
f
w
g
g(
x,
y)
= ∑ 1 w(0,
t)
f ( x,
y + t)
t = − 1
g ( 0,1) = w(0,
−1)
× f (0,0) + w(0,0)
× f (0,1) + w(0,1)
× f (0,2)
-1 2 -1
g ( 0,2) = w(0,
−1)
× f (0,1) + w(0,0)
× f (0,2) + w(0,1)
× f (0,3)
-1 2 -1
5/46
Spatial Filtering
2차원 filtering의 예: mask 크기가 3x3
1
1
g(
x,
y)
= ∑ ∑w(
s,
t)
f ( x+
s,
y + t)
s = − 1 t = − 1
g(1,1)
= w(
−1,
−1)
× f (0,0) + w(
−1,0)
× f (0,1) + w(
−1,1)
× f (0,2)
+ w(
0, −1)
× f (1,0) + w(
0,0) × f (1,1) + w(
0,1) × f (1,2)
+ w(
1, −1)
× f (2,0) + w(
1,0) × f (2,1) + w(
1,1) × f (2,2)
g(3,8)
= w(
−1,
−1)
× f (2,7) + w(
−1,0)
× f (2,8) + w(
−1,1)
× f (2,9)
+ w(
0, −1)
× f (3,7) + w(
0,0) × f (3,8) + w(
0,1) × f (3,9)
+ w(
1, −1)
× f (4,7) + w(
1,0) × f (4,8) + w(
1,1) × f (4,9)
6/46

2차원 filtering: mask 크기가 mxn
a
Spatial Filtering
b
g ( x,
y)
= ∑ ∑w(
s,
t)
f ( x + s,
y + t)
s = − a t = − b
여기서 a = (m-1)/2, b = (n-1)/2이다.
그리고 영상의 크기를 MxN이라고 하면
x= 0, 1, 2, …, M-1,
y= 0, 1, 2, …, N-1 값을 갖는다.
7/46
Spatial Filtering
영상의 경계(border) 부분에서의 필터링
• 영상이 존재하지 않는 부분의 화소를 0으로 가정(zero padding)
• 회선 마스크 위치를 (0,0) 대신 (1,1)로 시작, 회선 마스크 마지막
위치를 (M-1,N-1) 대신 (M-2, N-2)로 마무리. 즉 첫번째와
마지막 row, column에 대해서는 회선을 수행하지 않음
• 영상이 존재하지 않는 화소를 옆에 있는 화소 값으로 사용
• 같은 영상이 반복적을 둘러 쌓여 있음을 가정한 후이경우의
화소값 사용(wrap around)
8/46

Spatial Filtering
마스크의계수특성
• 마스크의 계수의 합은 출력 영상의 밝기에 영향을 미침
• 필터링 결과 영상의 밝기를 변경시키지 않기 위해서는 마스크 계수 값의
‘1’이 되어야 한다.
• 마스크 계수 값의 합이 ‘1’ 보다 클 경우 회선 결과 영상은 원 영상보다
밝아진다.
• 마스크 계수 값의 합이 ‘1’ 보다 작을 경우 회선 결과 영상은 원 영상보다
어두워진다.
• 대부분의 계수 값의 합은 ‘1’.
9/46
완만화(Smoothing)
완만화(Smoothing)
• 영상의 자세한 부분을 제거하거나 줄임
• 필터링을 이용하여 구현
• 마스크의 크기가 클수록 효과는 좋아짐
• 영상 내에 존재하는 잡음 성분을 줄이는 데 효과적
• 완만화 필터(Smoothing filter)의 종류
- 평균 필터(average filter)
- 가중평균 필터(weighted average filter)
- 저역 통과 필터(low-pass filter)
10/46

완만화(Smoothing)
평균 필터(Average filter)
• 마스크 내의 화소 값의 평균을 출력으로 제공
• 3x3 마스크의 경우 모든 계수가 1/9
• 5x5 마스크의 경우 모든 계수가 1/25
• 영상 내의 잡음 성분을 제거
• 마스크의 크기가 클수록 영상이 흐려짐(blurring)
1/25
1/25
1/25
1/25
1/25
1/9
1/9
1/9
1/25
1/25
1/25
1/25
1/25
1/9
1/9
1/9
1/25
1/25
1/25
1/25
1/25
1/9
1/9
1/9
1/25
1/25
1/25
1/25
1/25
1/25
1/25
1/25
1/25
1/25
11/46
평균 필터 적용 예
12/46

완만화(Smoothing)
가중 평균 필터(Weighted average filter)
• 마스크 내의 중간 값에 대하여 가중치를 부여
• 중앙에서 먼 계수 일수록 낮은 가중치 부여
• 대표적인가중평균필터: 가우스 완만화 필터(Gaussian
smoothing filter)
• σ 값으로 완만한 정도 조절
−(
x
2
+ y
2
)
2
2
e σ
w(
x,
y)
=
2πσ
2
1/16
1/8
1/16
1/8
1/4
1/8
1/16
1/8
1/16
13/46
가중 평균 필터 적용 예
14/46

선명화(Sharpening)
선명화(Sharpening)
• 완만화(smoothing)의 반대개념
• 영상의 자세한 부분(detail)을 강조
• 영상의 부분적인 콘트라스트를 증가시킴
• 영상의 경계 부분에 대한 대비 효과 증가시킴
• 선명화 필터(Sharpening filter)의 종류
-1
-1
-1
0
-1
0
1
-2
1
-1
9
-1
-1
5
-1
-2
5
-2
-1
-1
-1
0
-1
0
1
-2
1
15/46
선명화(Sharpening)
16/46

선명화(Sharpening)
고역 통과 필터(High-pass filter)
• 영상의 자세한 부분(detail) 만을 강조
• 영상의 저주파 부분을 제거
• 추후 원 신호와 합성하여 선명화 영상 생성
• 고역 통과 필터(High-pass filter)의 종류
- 고역 통과 필터(high-pass filter)
- 언샤프 마스킹(unsharp masking)
- 고역 증대 필터(high-boost filter)
17/46
선명화(Sharpening)
고역 통과 필터(high-pass filter)
• 영상의 저주파 영역을 없앰 – 영상에서 천천히 변화하는 성분을
없앰
• 영상의 고주파 영역을 보존 – 영상에서 빠르게 변화하는 성분을
보존
• 영상의 경계 부분 등 세밀한 부분을 강조
-1/9
-1/9
-1/9
-1/9
8/9
-1/9
-1/9
-1/9
-1/9
18/46

선명화(Sharpening)
언샤프 마스킹(unsharp masking)
• 영상의 원 영상에서 저역 통과된 영상을 뺌
f ( x,
y)
= f
org
( x,
y)
− f ( x,
y)
sharp
low−
pass
• 고역 통과 필터와 같은 결과
0
-1/5
0
-1/9
-1/9
-1/9
-1/5
4/5
-1/5
-1/9
8/9
-1/9
0
-1/5
0
-1/9
-1/9
-1/9
19/46
선명화(Sharpening)
언샤프 마스킹(unsharp masking)
Lum. In
3x3 Mean
Filter
-
+
+
+
Saturator
Lum. Out
α
Edge Signal
Difference signal
Mean Filtering
Result
Resulting Signal
20/46

선명화(Sharpening)
고역 증대 필터(high-boost filter)
• 영상의 저주파수 영역을 통과시키면서 영상의 고주파수 영역을
증대시킴
f ( x,
y)
high_
boost
=
A×
f
org
( x,
y)
−
f ( x,
y)
low−
pass
• A = 1인경우: unsharp masking
• A > 1인경우: 저주파수 영역을 보존
0
-1/5
0
-1/9
-1/9
-1/9
-1/5
w/5
-1/5
-1/9
w/9
-1/9
0
-1/5
0
-1/9
-1/9
-1/9
w = 5A-1
w = 9A-1
21/46
선명화(Sharpening)
22/46

Sharpening vs. Smoothing
23/46
미분 연산자(Derivative Operators)
미분 연산자(Derivative Operators)
• 영상의 1차 미분(first-order derivative)이나 2차 미분(secondorder
derivative)을 이용하여 영상 내에 존재하는 에지 성분을
검출
• 1차, 2차 미분 연산을 다양한 값의 디지털 값으로 근사화
• 1차 편미분 연산자(first-order partial derivative)
∂f
∂x
=
f ( x+
1) − f ( x)
∂f
∂y
=
f ( y + 1) − f ( y)
• 2차 편미분 연산자(second-order partial derivative)
∂
2
f
= f ( x+
1) + f ( x−1)
− 2 f ( x)
∂x
2
24/46

미분 연산자(Derivative Operators)
25/46
미분 연산자(Derivative Operators)
1차 미분연산자(First-order derivative operators)
• (x,y) 위치에서의 영상 f(x,y)의 기울기(gradient)는
⎡∂f
⎤
⎡G
x ⎤ ⎢∂x
⎥
∇f
= ⎢ ⎥ = ⎢ ⎥
⎢G
⎥ ⎢∂
⎣ y
f
⎦ ⎥
⎢⎣
∂y
⎥⎦
• 기울기의크기값은
∇f = mag( ∇f
) = G
2 2
x
+ G
y
or | G x | + | Gy
|
• (x,y) 위치에서의 영상의 기울기를 α(x,y)라고 하면
G
α(
x,
y)
= tan
−1
(
G
26/46
y
x
)

미분 연산자(Derivative Operators)
1차 미분 연산자의 특성
• 행 검출기 G x 와 열 검출기 G y 로구성
• 마스크의 계수의 합은 ‘0’
• 1차 미분 연산자의 종류
Roberts
Prewitt
Sobel
Frei-chen
operator
operator
operator
operator
-1
0
0
-1
-1
-1
-1
-2
-1
-1
-
2
-1
G x
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
2
1
1
2
1
0
0
-1
-1
0
1
-1
0
1
-1
0
1
G y
0 1
0
-1
0
1
-2
0
2
-
2
0
2
0
0
0
-1
0
1
-1
0
1
-1
0
1
27/46
미분 연산자(Derivative Operators)
1차 미분 연산자의 특성
• Roberts operator
- 마스크의 크기가 작음
- 잡음에 민감
• Prewitt operator
- 널리 사용됨
- 수평, 수직 방향의 에지를 찾는데 사용
• Sobel operator
- 널리 사용됨
- 수평, 수직 방향의 에지를 찾는데 사용
- Prewitt operator에 비해서 대각선 방향(diagonal) 에지를 좀
더잘찾음
- Prewitt operator에 비해서 잡음 제거 특성이 조금 우수
28/46

미분 연산자(Derivative Operators)
29/46
미분 연산자(Derivative Operators)
30/46

미분 연산자(Derivative Operators)
31/46
미분 연산자(Derivative Operators)
라플라시안(Laplacian)
• 정의
∇
2
f =
∂
2
f
∂x
2
+
∂
2
f
∂y
2
• 디지털 근사화: x 방향 2차 편미분
∂
2
f
∂x
2
= f ( x + 1, y)
+ f ( x −1,
y)
• 디지털 근사화: y 방향 2차 편미분
∂
2
f
∂y
2
= f ( x,
y + 1) + f ( x,
y −1)
• 최종 결과
−
−
2 f ( x,
y)
2 f ( x,
y)
∇
2
f
=
[ f ( x + 1, y)
+
f ( x −1,
y)
+
f ( x,
y + 1) +
f ( x,
y −1)]
− 4 f ( x,
y)
32/46

미분 연산자(Derivative Operators)
라플라시안(Laplacian) 연산자의 특성
• 1차 미분 연산자보다 에지 검출 성능 우수
• 영상의 에지 영역에서 라플라시안 값의 부호 변화가 생김
• 잡음 성분에 매우 민감
• 이중 에지를 생성
• 에지의 방향은 검출하지 못함
• 라플라시안 연산자의 종류
0 1 0 1 1 1
1
-4
1
1
-8
1
0
1
0
1
1
1
0
-1
0
-1
-1
-1
-1
4
-1
-1
8
-1
0
-1
0
-1
-1
-1
33/46
미분 연산자(Derivative Operators)
라플라시안(Laplacian) 을 이용한 화질 개선
• 라플라시안 결과를 원 영상에 더하거나 뺌
⎧
⎪ f ( x,
y)
− ∇
2
f ( x,
y)
g(
x,
y)
= ⎨
⎪⎩ f ( x,
y)
+ ∇
2
f ( x,
y)
라플라시안 마스크의 중간
계수가 음수인 경우
라플라시안 마스크의 중간
계수가 양수인 경우
• 복합 라플라시안 마스크(composite laplacian mask)
0
-1
0
-1
-1
-1
-1
5
-1
-1
9
-1
0
-1
0
-1
-1
-1
34/46

미분 연산자(Derivative Operators)
35/46
미분 연산자(Derivative Operators)
36/46

미분 연산자(Derivative Operators)
37/46
미분 연산자(Derivative Operators)
LoG(Laplacian of Gaussian)
• 잡음에 민감한 라플라시안의 특성으로 인해서 실제 적용에는 문제
• 라플라시안을 적용하기 이전에 먼저 가우스 완만화 필터(Gaussian
smoothing filter)를 적용하여 잡음 제거
• 완만화에 사용하는 가우스 함수의 예
h(
r)
= −e
2
−r
2
2 σ + y
2
, where r
2
= x
2
and σ is standard
deviation
• LoG(Laplacian of Gaussian)
2
2
2 ⎡
−r
r −σ
⎤
2
2 σ
∇ h(
r)
= −⎢
⎢⎣
σ
4
2
⎥ e
⎥⎦
38/46

미분 연산자(Derivative Operators)
39/46
미분 연산자(Derivative Operators)
LoG(Laplacian of Gaussian)
• 모양으로 인해서 멕시칸 모자 함수(Mexican hat function)으로
불림
• σ 값이 커지면 함수의 최대값이 작아지고 넓어짐
• σ 값이 작아지면 함수의 최대값이 커지고 좁아짐
• 폭이 넓어지면 에지가 넓게 검출
• 폭이 좁아지면 급격한 에지를 검출
• 라플라시안 연산자와 달리 잡음에 강함
• 인간의 시각 특성과 유사
2
2
2 ⎡
−r
r −σ
⎤
2
2 σ
∇ h(
r)
= −⎢
⎢⎣
σ
4
2
⎥e
⎥⎦
40/46

미분 연산자(Derivative Operators)
original
sobel
gaussian
smoothing
laplacian
LoG
Zero
crossing
41/46
미디언 필터링(Median Filtering)
미디언 필터링(Median Filtering)
• 마스크 내에 존재하는 화소들을 정렬(sorting) 한 후 중간에
위치하는 화소 값을 출력으로 사용
• 비선형 연산자(nonlinear operator)임
• 영상의 에지 영역을 보존하면서 잡음 제거 가능
• 임펄스 잡음(impulse noise)를 제거하는 데에 효과적
- impulse noise : salt-and-pepper noise라고도 함
- 영상에 희고 검은 점들이 찍힌 현상
• 참고 : 저역 통과 필터(low-pass filter)는 가우시안 잡음 제거에
적합
42/46

미디언 필터링(Median Filtering)
미디언 필터링(Median Filtering)
• A 연산 : median {3, 5, 5, 4, 6, 5, 5, 5, 45}
= median {3, 4, 5, 5, 5, 5, 5, 6, 45} = 5
• B 연산 : median {6, 5, 6, 5, 45, 6, 9, 9, 7}
= median {5, 5, 6, 6, 6, 7, 9, 9, 45} = 6
3
5
5
7
13
26
A
4
6
5
6
29
27
5 6 7 26
5
6
5
9
45
9
6
7
27
28
32
32
B
6
8
6
9
9
15
27
28
5
8
9
15
31
33
43/46
미디언 필터링(Median Filtering)
Application에 따른 미디언 필터의 종류
44/46

미디언 필터링(Median Filtering)
45/46
CTI (Color Transient Improvement)
Start
Horizontal 9 tap MAX/MIN Filtering:
max, min
Horizontal
Processing
Filter input
N/2
MAX filter output
MIN filter output
T
in > (max+min)/2
F
out = max
out = min
T
in < (max+min)/2
F
out = in
Original signal
Crossing
point
Average of Min and
Max filter outputs
Vertical 9 tap MAX/MIN Filtering:
max, min
Verticall
Processing
T
in > (max+min)/2
F
MAX filter output
out = max
T
in < (max+min)/2
F
MIN filter output
out = min
out = in
End
46/46