VHDL 프로그래밍

VHDL 프로그래밍
14. 고급영상회로설계
한동일
학습 목표
• 영상 포맷을 이해한다.
• 파일 입출력 기능을 이해한다.
• 원하는 형태와 포맷으로 파일을 입출력할 수 있다.
• 시뮬레이터의 부가 기능을 활용할 수 있다.
• 영상 회로의 설계 표현과 논리 합성 결과의 상관관
계를 이해한다.
• 게이트를 최소화 할 수 있는 설계 방법을 파악한다.
• 다양한 영상 회로 설계 문제를 VHDL 설계 문제로
변환할 수 있다.
• 효과적인 검증 환경을 이용하여 완성도 높은 설계
를 할 수 있다.
2/55

영상 파일의 입출력
• 영상 회로의 일반적인 검증 환경
• 카메라
• 카메라 동기 신호 생성부
• 파일 입력문으로 영상 파일 입력
• 디스플레이
• 디스플레이 장치 동기 신호 생성부
• 파일 출력문으로 영상 생성
• image viewer를 이용한 각 프레임별 검증
• 영상 처리부
• 일반적인 고급 디지털 회로 설계 기법 사용
• FIFO, RAM, ROM, SDRAM 등의 메모리 인터페이스 필요
3/55
영상 파일의 입출력
• 영상 회로의 일반적인 검증 환경
image
image
Sync sync Image
Image
Generator Read sync Processing sync
Image
Write
Clock
Reset
Generator
rst_n
clk
Input
File
Control
Signals
Output
File
4/55

영상 파일의 입출력
• 클럭 신호 생성부의 VHDL 구현
library IEEE;
use IEEE.STD_LOGIC_1164.all;
entity clk_rst_gen is
port ( reset_disp_n : out std_logic;
dispclk : out std_logic);
end;
architecture clk_rst_gen of clk_rst_gen is
constant HALF_PERIOD_25M : time := 20 ns ;
begin
reset_disp_n

영상 파일의 입출력
• 동기 신호 패턴 정보의 VHDL 구현
-- Galaxy S timing information
constant HTOTAL_WIDTH : integer := 500 ;
constant HSYNC_WIDTH : integer := 5;
constant HSYNC_BACK_PORCH : integer := 14 ;
constant HBP_PLUS_ACTIVE PLUS : integer := 494 ;
constant VTOTAL_WIDTH : integer := 820 ;
constant VSYNC_WIDTH : integer := 5;
constant VSYNC_BACK_PORCH : integer := 8 ;
constant VBP_PLUS_ACTIVE PLUS : integer := 808 ;
7/55
영상 파일의 입출력
• 수평 동기 신호 생성 – 수평 카운터 신호 생성
pcounter_gen: process (dispclk, reset_disp_n)
begin
if (reset_disp_n='0') then
pcounter

영상 파일의 입출력
• 수평 동기 신호 생성
hsync_n_gen: process (dispclk, reset_disp_n)
begin
if (reset_disp_n='0') then
s_hsync_n

영상 파일의 입출력
• 수직 동기 신호 생성 – 수직 카운터 신호 생성
hcounter_gen: process (dispclk, reset_disp_n)
begin
if (reset_disp_n='0') then
hcounter

영상 파일의 입출력
• 수직 동기 신호 생성 – 수직 유효 구간 생성
vactive_gen: process (dispclk, reset_disp_n)
begin
if (reset_disp_n='0') then
s_vactive

영상 파일의 입출력
• PNM(Portable Anymap Format) 영상 포맷
• PNM 파일 해더부 양식
해더부 내용
Magic number
Image width
Image height
max
설명
PNM 파일의 종류와 영상 데이터 저장 방식 설명
영상의 가로 폭 정보를 정수 형태로 표현
영상의 세로 높이 정보를 정수 형태로 표현
각 영상 채널 내에 존재하는 컬러나 흑백 표현값의 최대치
# 주석 정보 추가 시 사용
• 해더부는 ASCII 코드 형태로 표시
• 해더부 내 각각의 정보는 여백 문자로 분리
• blanks, tabs, line feeds, carriage returns
15/55
영상 파일의 입출력
• PNM(Portable Anymap Format) 영상 포맷
• PNM 파일 해더부의 magic number
• 2바이트를 이용하여 PNM 파일의 종류를 구분
Format ASCII Raw Data
PBM P1 P4
PGM P2 P5
PPM P3 P6
• Magic Number
• P1 ~ P3 : 영상 부분이 ASCII
• P4 ~ P6 : 영상 부분이 raw data
16/55

영상 파일의 입출력
• PNM 파일의 Raw Data 영상 저장 포맷
PBM
pixel0
pixel1 pppppppp
pixel2
pixel3
pixel4
pixel5
pixel6
pixel7
pixel8
…
…
PGM
Gray 0 Gray 1 Gray 2 Gray 3
…
PPM
Red 0 Green 0 Blue 0 Red 1
…
17/55
영상 파일의 입출력
• chessboard.pbm b 파일 내용 및 결과 영상
P1
# PBM Sample Image : Chessboard
88
8
0 1 0 1 0 1 0 1
10101010
1 0 1 0 1 0
0 1 0 1 0 1 0 1
10101010
1 0 1 0 1 0
0 1 0 1 0 1 0 1
10101010
1 0 1 0 1 0
0 1 0 1 0 1 0 1
10101010
1 0 1 0 1 0
18/55

영상 파일의 입출력
• vhdl.pgm 파일 내용
P2
# PGM Sample Image : VHDL
25 9
255
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 32 0 0 0 32 0 64 0 0 0 64 0 128 128 128 128 0 0 255 0 0 0 0 0
0 32 0 0 0 32 0 64 0 0 0 64 0 0 128 0 0 128 0 255 0 0 0 0 0
0 32 0 0 0 32 0 64 0 0 0 64 0 0 128 0 0 128 0 255 0 0 0 0 0
0 32 0 0 0 32 0 64 64 64 64 64 0 0 128 0 0 128 0 255 0 0 0 0 0
0 32 0 0 0 32 0 64 0 0 0 64 0 0 128 0 0 128 0 255 0 0 0 0 0
0 0 32 0 32 0 0 64 0 0 0 64 0 0 128 0 0 128 0 255 0 0 0 0 0
0 0 0 32 0 0 0 64 0 0 0 64 0 128 128 128 128 0 0 255 255 255 255 255 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
19/55
영상 파일의 입출력
• vhdl.pgm 파일 결과 영상
20/55

영상 파일의 입출력
• color.ppm 파일 내용 및 결과 영상
P3
3 3
255
0 0 0
128 128 128
255 255 255
255 0 0
0 255 0
0 0 255
0 255 255
255 0 255
255 255 0
21/55
영상 파일의 입출력
• 영상 파일의 입력
library ieee;
use ieee.std_logic_1164.all i ll ;
use ieee.std_logic_arith.all ;
use ieee.std_logic_unsigned.all;
use std.textio.all;
architecture simulation of ppm_image_read is
constant BLACK_INT : integer := 16 ;
constant BV : std_logic_vector (7 downto 0) := "00001000";
begin
process (dispclk, reset_disp_n)
file INFILE_IMG : text open read_mode is "buildings.txt";
variable img_val : line;
variable rvalue, gvalue, bvalue : integer range 0 to 255;
begin
-- 중략
22/55

영상 파일의 입출력
• 영상 파일의 입력 - 계속
if hactive='1' and vactive='1' then
if not (endfile(INFILE_IMG)) then
readline(INFILE_IMG, img_val);
read(img_val, rvalue);
read(img_val, gvalue);
read(img_val, bvalue);
end if;
pir_rimg rimg

영상 파일의 입출력
• 영상 파일의 출력 - 계속
begin
procedure writeHeader (file F : text; Width, Height : in integer) is
variable L : line;
begin
write(L, string'("P3"));-- magic number
writeline(F, L);
write(L, string'("# Creadted through VHDL simulation"));
writeline(F, L);
write(L, Width);
write(L, string'(""));
write(L, Height);
writeline(F, L);
write(L, string'("255"));
writeline(F, L);
end writeHeader;
25/55
영상 파일의 입출력
• 영상 파일의 출력 - 계속
end ;
write_output : process (dispclk)
variable tmp_r, tmp_g, tmp_b: integer;
variable time_zero : std_logic := '0';
begin
if (time_zero = '0') then
writeHeader(OUT_IMG, H_WIHTH, V_HEIGHT);
time_zero := '1';
elsif ( dispclk'event and dispclk = '1') then
if ( hactive_ip = '1' and vactive_ip = '1') then
end if;
end if;
end process write_output;
tmp_ r := conv_ integer(unsigned(ip g ( p_ rimg));
tmp_g := conv_integer(unsigned(ip_gimg));
tmp_b := conv_integer(unsigned(ip_bimg));
writeRGB(OUT_IMG, tmp_r, tmp_g, tmp_b);
26/55

영상 파일의 입출력
• 입력 및 출력 영상 예
입력 영상
27/55
출력 영상
영상 파일의 입출력
• 영상 파일 입출력 시뮬레이션 파형 예
28/55

패턴 생성기의 설계
• 대표적인 테스트 패턴 예
일반 영상 Full White Full Black
Full Red Full Green Full Blue
29/55
패턴 생성기의 설계
• 대표적인 테스트 패턴 예
YB Bars EIA Color Bars SMPTE Bars
Cross Cross Hatch White Window
30/55

패턴 생성기의 설계
• YB
Bar 생성 데이터
Linear RGB
R 255 218 183 146 109 72 36 0
G 255 218 183 146 109 72 36 0
B 255 218 183 146 109 72 36 0
YCbCr
Y 240 208 176 144 112 80 48 16
Cb 128 128 128 128 128 128 128 128
Cr 128 128 128 128 128 128 128 128
좌표 0~100 ~200 ~300 ~400 ~500 ~600 ~700 ~800
R 255 218 183 146 109 72 36 0
G 255 218 183 146 109 72 36 0
B 255 218 183 146 109 72 36 0
31/55
패턴 생성기의 설계
• EIA Color Bar 생성 데이터
white yellow cyan green magenta red blue black
Linear RGB
R 255 255 0 0 255 255 0 0
G 255 255 255 255 0 0 0 0
B 255 0 255 0 255 0 255 0
YCbCr
Y 235 210 170 145 106 81 41 16
Cb 128 16 166 54 202 90 240 128
Cr 128 146 16 34 202 240 110 128
좌표 0~114 ~228 ~343 ~457 ~571 ~686 ~800
R 255 255 0 0 255 255 0
G 255 255 255 255 0 0 0
B 255 0 255 0 255 0 255
32/55

패턴 생성기의 설계
• YB
Bar 생성부
-- 중략
-- image signal interface
image_gen gen :
process(dispclk)
begin
if (dispclk='1' and dispclk'event) then
if vactive_pir='1' then
if hactive_fpulse
='1' then
hcounter

색좌표 변환기의 설계
• 색좌표(Color Space)
• 색의 수학적인 표현 방법
• RGB Color Space
• 컴퓨터 그래픽 및 디스플레이 용도
• YIQ, YUV, YCbCr Color Space
• 영상의 압축, 복원, 처리 용도
• CMYK Color Space
• 컬러 출판에 사용됨
• HIS(Hue, Saturation, Intensity) Color Space
• 인간의 컬러 인지 특성 모델링에 사용됨
35/55
색좌표 변환기의 설계
• RGB와 YCbCr 색좌표 변환 관계 예
Y = 0.257R + 0.504G + 0.098B 098B + 16
Cb = -0.148R - 0.291G + 0.439B + 128
Cr = 0.439R - 0.368G - 0.071B 071B + 128
R = 1.164(Y-16) + 1.596(Cr-128)
G = 1.164(Y-16) - 0.813(Cr-128) - 0.391(Cb-128)
B = 1.164(Y-16) +2.018(Cb-128)
36/55

색좌표 변환기의 설계
• 색좌표 변환기의 전체 구조도
image
image
image
Image
Read
sync
RGB to
YCbCr
Conversion
sync
YCbCr to
RGB
Conversion
sync
Image
Write
Input Image Output
File
Write
Output
File
File
37/55
색좌표 변환기의 설계
• YCbCr 색좌표 변환식
Y = 0.257R + 0.504G + 0.098B + 16
Cb = -0.148R - 0.291G + 0.439B + 128
Cr = 0.439R - 0.368G - 0.071B + 128
• YCbCr 색좌표 변환식의 구현 예 – compile error
signal R : std_logic_vector (7 downto 0);
signal lG : std_logic_vector (7downto 0);
signal B : std_logic_vector (7 downto 0);
signal Y : std_logic_vector (7 downto 0);
signal Cb : std_logic_vector (7 downto 0);
signal Cr : std_logic_vector (7 downto 0);
-- 중략
Y

색좌표 변환기의 설계
• YCbCr 색좌표 변환식의 구현 예
• 논리 합성 불가
signal R : integer range 0 to 255;
signal G : integer range 0 to 255;
signal B : integer range 0 to 255;
signal Y : integer range 0 to 255;
signal Cb : integer range 0 to 255;
signal Cr : integer range 0 to 255;
-- 중략
Y

색좌표 변환기의 설계
• YCbCr 색좌표 변환식의 구현 예 – 연산 오차의 누적
입력 영상 데이터
역변환을 통해 얻은 원영상 데이터
41/55
색좌표 변환기의 설계
• YCbCr 색좌표 변환식의 구현 예
• 논리 합성 가능
• C와 동일 결과
signal R : integer range 0 to 255;
signal G : integer range 0 to 255;
signal B : integer range 0 to 255;
signal Y : integer range 0 to 255;
signal Cb : integer range 0 to 255;
signal Cr : integer range 0 to 255;
-- 중략
Y

색좌표 변환기의 설계
• YCbCr 색좌표 변환식의 구현 예 – C와 동일 결과
입력 영상 데이터
역변환을 통해 얻은 원영상 데이터
43/55
색좌표 변환기의 설계
• 색좌표 변환 결과 예
원영상 YCbCr 영상 색변환 결과 영상
44/55

색좌표 변환기의 설계
• 색변환 시뮬레이션 파형 예
45/55
MCT 변환기의 설계
• MCT(Modified d Census Transform) 변환
• 영상 내의 구조적인 특징을 추출하는 방법
• 밝기 변화나 조명에 의한 영향을 최소화하면서 영상 내
의 정보를 추출하는 기법
• MCT 변환의 정의
46/55

MCT 변환기의 설계
• MCT 변환 예
W(X)
10 20 30
40 0 60
70 80 90
MCT
0 0 0 000001111
(=15)
0 0 1
1 1 1
Γ(X)
- - -
- 15 -
- - -
0 40 20
70 90 80
MCT
0 0 0
1 1 1
000111100
(=60)
- - -
- 60 -
60 10 30 1 0 0
- - -
47/55
MCT 변환기의 설계
• MCT 계산 슈도 코드
• 기본 알고리즘에 /9 사용
• 논리 합성을 위해서는 근사화, 혹은 최적화 필요
data_mean = (m1+m2+m3+m4+m5+m6+m7+m8+m9)/9; -- 논리 합성 불가
if (m1 > data_mean) mct1 = 1;
else mct1 = 0;
if (m2 > data_ mean) mct2 = 1;
else mct2 = 0;
// ...
// 중략
MCT = (mct1

MCT 변환기의 설계
• 근사화 방법
• 1/9 = 1 * (256/256) /9 = 1 * (256/9) / 256 ≈ 28 / 256
-- 근사화 이전
data_mean = (m1+m2+m3+m4+m5+m6+m7+m8+m9)/9; -- 논리 합성 불가
-- 근사화 이후
data_mean = 28 * (m1+m2+m3+m4+m5+m6+m7+m8+m9) / 256;
• 최적 해법
• /9 대신 이항해서 *9 사용
-- 근사화 이전
data_mean = (m1+m2+m3+m4+m5+m6+m7+m8+m9)/9; -- 논리 합성 불가
-- 근사화 이후
data_sum = 9 * data_mean = (m1+m2+m3+m4+m5+m6+m7+m8+m9);
49/55
MCT 변환기의 설계
• VHDL 설계를 위한 최적 MCT 계산 슈도 코드
data_sum = (m1+m2+m3+m4+m5+m6+m7+m8+m9);
if (9 * m1 > data_ sum) mct1 = 1;
else mct1 = 0;
if (9 * m2 > data_sum) mct2 = 1;
else mct2 = 0;
// ...
// 중략
MCT = (mct1

MCT 변환기의 설계
• MCT 변환 예
51/55
MCT 변환기의 설계
• MCT 변환기의 구조도
image
Y image
MCT
image
Image
Read
sync
RGB to
YCbCr
Conversion
sync
MCT
Generator
sync
Image
Write
Input
Yi image Output
Output
File
Write
File
File
52/55

MCT 변환기의 설계
• 33윈도우의 3x3 구현
Y
image
F/F F/F
Line Memory(480x8) F/F F/F MCT
Calculator
Line Memory(480x8) F/F F/F
MCT
Image
Window Generator(3x3)
53/55
MCT 변환기의 설계
• MCT 변환 결과 예
원영상 Y 영상 MCT 결과 영상
54/55

MCT 변환기의 설계
• MCT 변환 시뮬레이션 파형 예
55/55