í–‰ë ¬

회귀분석 행렬
1. 정의 및 종류
1.1 정의
차수가
n p 인 행렬 n p
X (matrix X of order n p )라 부른다. i 는 행을, j 는 열을 나타내
며 행렬의 간편 기호는 X n p { x ij } 이다. xij
를 원소(element)라 한다.
x11
x12
... x1
p
x21
x22
... x2
p
X n
p
..........xij.....
xn1
xn2
... xnp
열의 차수가 1인 행렬을 열 벡터(column vector), 행의 차수가 1인 행렬을 행 벡터(row vector)
라 한다. 일반적으로 벡터라 함은 열 벡터를 의미한다. 열 벡터는 x , 행 벡터는 x'
으로 표시한
다.
차수가 p 인 열 벡터
x1
x2
x
...
x p
, 차수가 q 인 행 벡터 x x
x
1
p 1 2 ...x p
행과 열의 차수 모두가 1인 행렬을 스칼라(scalar)라 한다. 즉 -2, 3, 1.9…… 모든 실수는 행렬에
서는 스칼라이다.
1.2 정방행렬
행과 열의 차수가 같은 행렬(즉,
n p
)을 정방행렬(square matrix)이라 한다.
EXAMPLE 차수 3인 정방 행렬의 예
A
33
2
4
2
3
2
1
2
3
1
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (1)

회귀분석 행렬
1.3 대각행렬
정방 행렬에서 대각선에 위치한 원소를 대각 원소(diagonal element)라 하며 대각 원소를 제
외한 모든 원소가 0 인 행렬을 대각 행렬(diagonal matrix)이라 한다. 대각 행렬은 정방 행렬
의 특수한 형태이다.
EXAMPLE 차수가 4인 대각 행렬의 예
D
44
1
0
0
0
0
1
0
0
0
0
0
0
0
0
0
2
▣대각합
정방 행렬의 대각 원소의 합을 대각합(trace)이라 하고
n
tr( A)
로 정의한다.
i1
A ii
EXAMPLE 정방 행렬 예제의 행렬 A 의 대각합은 tr( A)
2 2 1
5 이고, 대각 행렬
예제의 행렬 D 의 대각합은 tr( D)
11
0 2 2 이다.
1.4 항등행렬
정방 행렬 중 대각 원소가 모두1이고 다른 원소는 모두 0인 행렬을 항등 행렬(Identity Matrix)
라 하고
I
n
라 표시한다. 항등 행렬은 선형대수(Linear Algebra)의 곱에서 1의 역할과 동일하다.
행렬대수(matrix algebra)의 역수의 개념은 역행렬(inverse matrix)이며 정방 행렬 A에 대해
1 1
가 성립하는 A 을 역행렬이라 한다.
AA
A
1
A I
EXAMPLE 차수가 3인 항등 행렬의 예
I 3
1
0
0
0
1
0
0
0
1
EXAMPLE 차수가 3인 항등 행렬의 예
2
3 2
2
3 21
0 0
2
3 2
A
4 2 3
이면 AI
4 2 3
0 1 0
4 2 3
A
2 1 1
2 1 1
0 0 1
2 1 1
물론 IA=A도 성립한다.
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (2)

회귀분석 행렬
1.5 영행렬
행렬의 모든 원소가 0인 행렬을 영행렬(zero matrix)이라 하며 정방 행렬일 필요는 없다.
EXAMPLE 차수가 3 4 인 영 행렬의 예
O
34
0
0
0
0
0
0
0
0
0
0
0
0
2. 기초 연산
2.1 동일
(1)차수가 동일하고 (2)대응 원소가 같으면 두 행렬은 동일(equal)하다고 한다. 즉
A B 이면
a , for all i, j 이다.
ij b ij
EXAMPLE
1
3
2
,
1
1
B
3
2 1
,
C
1
3
2
A 인 경우 A B 이나 A C 이다.
1
2
1
2.2 전치
행의 원소를 열로 보내고 열의 원소를 행으로 보내어 만들어진 행렬을 전치 행렬이라 하고 이
과정을 전치(transpose)라 하다. 행렬
Xn
p 의 전치 행렬은 X p n
이고 차수는 ( p n )이다. 이
를 간편 기호로 나타내면 다음과 같다. X x }
{ ji
EXAMPLE
2
4
43
2
5
3 2
2 3
1 1
2 2
2
4 2 5
X
3 2 1 2
2
X 의 전치 행렬 X 34
을 구하면 3 4
2 3 1
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (3)

회귀분석 행렬
EXAMPLE 열 벡터
2
4
2
x 의 전치는 행 벡터 x
2
4 2
이다.
EXAMPLE 행 벡터 x'
1
1
0
의 전치는 열 벡터
1
x
1
이다.
0
▣전치 성질
(1) ( A'
)' A
2.3 대칭행렬
행렬과 전치 행렬이 동일한 행렬, 즉
A A'
( a } { a }
{ ij ji
)인 경우 행렬 A 를 대칭 행렬
(Systematic Matrix)이라 한다. 대칭 행렬이 되려면 반드시 정방 행렬이어야 한다.
EXAMPLE
A
33
2
4
2
4
2
3
2
3
1
은 대칭 행렬이다.
EXAMPLE 항등 행렬과 대각 행렬은 대칭 행렬이다.
3. 합 연산
행렬의 합을 구하는 경우 두 행렬의 차수는 동일해야 하며(conformable for addition: 합 연산
적합) 각 행렬에서 대응하는 원소들의 합을 그 위치에 적으면 된다.
a11
a12
... a1p
b11
b12
... b1
p a
11 b11
a12
b12
...
a21
a22
... a2
p a21
b22
... b2
p
a21
b21
a22
b22
...
A
n
p Bn
p { aij}
{ bij}
..........aij.....
..........bij.....
...............
a b a b ...
an1
an2
... anp
bn1
bn2
... bnp
n1
n1
n2
n2
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (4)

회귀분석 행렬
EXAMPLE 행렬 A, B에 대해 A+B를 구하라.
2
4 2
2
1 2
0
5 4
A , B A B
4
2 3
4
- 2 0 8
0 3
EXAMPLE 벡터 A, B에 대해 A+B를 구하시오.
2
2
0
a , b a b
4 4 8
▣합 성질
(1) ( A B)'
A'
B'
단, 행렬A, B는 합의 연산이 적합하다.
(2) tr( A B)
tr(
A)
tr(
B)
단, 행렬 A와 B는 차수가 같은 정방 행렬이다.
(3)결합법칙(associate law): ( A B)
C A ( B C)
4. 곱 연산
두 벡터를 곱하기 위하여 (열 벡터)x(행 벡터), (행 벡터)x(열 벡터)만 가능하다. 이는 곱의 적합
조건 때문이다. 행렬에서 곱의 적합 조건은 앞 행렬(벡터)의 열의 차수와 뒤 행렬 행의 차수가
동일해야 한다. 곱의 결과는 (앞 행렬의 행 차수)x(뒤 행렬의 열의 차수)인 행렬(벡터, 스칼라)
이다. [ i 번째 행]x[ j 번째 열]=[ ( i , j)
원소]
4.1 (행 벡터)x(열 벡터)
벡터의 곱은 앞 벡터의 열의 원소와 대응하는 뒤 벡터의 행의 원소의 곱을 더한 값을 적으면
된다. 곱이 가능하기 위해서는 앞 행의 차수와 열의 차수는 같아야 하며 행 벡터(1xp행렬)와 열
벡터(px1행렬) 곱은 스칼라(1x1행렬)이다.
a
x
x1
x2
p
a a a
a x a x a x
1 2 p
1 1 2 2
xp
p
p
ai
xi
i1
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (5)

회귀분석 행렬
EXAMPLE
1
2
,
3
1
0
1
1
1
a 이면 a ' x 1
2 3 0 11
2
0 3
( 1)
2
13
31
4.2 (열 벡터)x(행 벡터)
열 벡터 열 원소와 행 벡터의 행 원소의 곱을 (앞의 열 벡터 원소 위치) 행, (뒤의 행 벡터 원수
위치) 열로 하여 행렬을 만든다. 앞의 열 벡터와 차수와 뒤 열 벡터 차수는 같을 필요가 없다.
결과는 ( n p)
행렬이다.
a
a
x
1
1 1
a
a x
ax 2
2 1
x
x xp
1 2
an
anx1
a1x2
a1x
p
a2x2a2x
p
anx2anx
p
n
p
EXAMPLE
2
a
4
,
2
1
2
b ,
0
1
1
0
2
x 에서 x
a 와 ab
를 구하시오.
1
a
x 2 4 2
0
2
0 4 2
2
2
,
ab
4
1 2 0 1
2
2
4
2
4
8
4
0
0
0
2
4
2
그러나
ax'
나 a' b 는 성립하지 않는다.
행렬(벡터)에 스칼라를 곱한다는 것은 모든 원소에 스칼라 배를 하는 것을 의미한다.
EXAMPLE
1 2
3 6
3 ,
1
0
3 0
1
2
2
0
0
2
4
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (6)

회귀분석 행렬
4.3 (벡터)x(행렬) 혹은 (행렬)x(벡터)
벡터와 행렬을 곱하기 위해서는 앞의 행렬(벡터)의 열의 차수와 뒤 행렬(벡터)의 행렬의 행의
차수는 동일해야 한다. 계산된 행렬의 차수는 앞에 곱해진 벡터(행렬)의 행의 차수와 뒤의 행렬
(벡터)의 열의 차수이다.
벡터
a1
a2
a
a n
와 행렬
x11
x12
... x1
p
x21
x22
... x2
p
X n
p
..........xij.....
xn1
xn2
... xnp
에서
a X
은 다음과 같다.
a
X
1p
21 22 2 p
a
1 a2
a { ai
xij
} n
p
n
x11
x12
... x
x
x ... x
..........xij.....
xn1
xn2
... x
np
n
i1
만약
n p 이면 X a 혹은 X a
은 존재하지 않는다.
EXAMPLE
2
1
0 -1
a ,
4 2
3 1
1
0 -1
2 3 1
X 인 경우 a
X 2 4 10
12 2
EXAMPLE
2
1
0 -1
a
4
,
1
2
3 1
xa 는 계산될 수 없다.
2
1
0 -1
2 3 1
1
X 인 경우
X a 4 1
17이다. 그러나 '
xa 와
4.4 (행렬)x(행렬)
앞 행렬의 열의 차수와 뒤 행렬의 행의 차수가 동일해야 행렬의 곱이 성립하며, 결과는 앞 행렬
의 행의 차수와 뒤 행렬의 열의 차수가 된다.
행렬
A
n
p
a11
a12
... a1p
a21
a22
... a2
p
..........a
ij .........
an1
an2
... anp
,
B
pq
b11
b12
... b1q
b21
b22
... b2q
..........b
ij ........
b p1
b p2
... b pq
에 대해
ABn
q 는 다음과 같이 표현된다.
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (7)

회귀분석 행렬
AB
nq
a
a
11
b
b
11
n1
11
a
a
12
b
b
21
n2
21
a
a
1p
np
b
b
p1
p1
a
a
n1
b
11 1q
b
1q
a
a
n2
b
12 2q
b
2q
a
a
1p
np
b
b
pq
pq
p
이를 간편 기호로 표현하면 AB { a ik b kj } 이고, AB 의 차수는 n q 이다.
k 1
EXAMPLE 두 행렬의 곱을 구하시오. (
AB, BA 는 성립하지 않는다.)
2
0
A
1 1
,
0
2
1
0
1
0
2 0
2
1 0
B
0 1
2
1
1
0 1
2 2
A B
0 1
BA
1 1
1
1 0
1 2
2
3
0
1 1
1
3
1
1
0 2
4.5 곱 관련 성질
▣곱 성질
A
n
p
,
B
pq
(1) BA의 연산이 가능하더라도 일반적으로 AB BA이다.
(2) ( AB)'
B'
A'
이 성립한다. (단 곱의 연산이 적합한 경우 가능하다)
(3)A, B가 대칭 행렬이면
( AB)
BA
BA
(4) tr( AB)
tr(
BA)
단, AB 가 정방 행렬일 때만 성립한다.
▣곱 연산 법칙
(1)결합 법칙(Associate law): ( A B)
C A ( B C)
, ( AB)
C A(
BC)
ABC
(2)배분 법칙(Distribution law):
A(
B C)
AB AC
(3)교환 법칙(Communication law): ( A B)
( B A)
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (8)

회귀분석 행렬
▣멱등행렬
2
M MM M
이면 행렬 M은 멱등행렬(Idempotent matrix)이다. M
이 멱등 행렬이면
M k M (k 는 양의 정수)이 성립한다.
▣항등벡터
e
i
0
0
1
( i 번째 원소만1)를 항등 벡터(Elementary vector)라 한다. 즉 항등 벡터는 벡터 원
0
0
소 중 i 번째 원소만 1이고 나머지는 0인 벡터이다.항등 행렬을 항등 벡터로 표현 하면
I
n
n
i1
e e' 이고, ' e 1이다.
i
i
e i
▣모든 원소가 1인 벡터와 행렬
1
1
1 n
...
1
,
Jn
1
1 1...1
1 1 1...1
...
1
1 1...1
'
1n
1n1n
1
, 그리고 1 n 이다.
▣직교 행렬
AA'
A'
A I 이면 행렬 A 는 직교 행렬(Orthogonal matrix)이라 한다.
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (9)

회귀분석 행렬
5. 나누기 연산
앞에서는 행렬의 합, 빼기, 곱에 대해 설명하였으나 나누기에 대한 연산은 언급하지 않았다. 행
렬의 나누기 연산이 바로 역행렬(inverse matrix)을 구하는 것이다. 정방 행렬일 경우만 역행렬
을 논의할 수 있다.
5.1 행렬식
차수가 2일 경우: 행렬
7
4
3
6
A 의 행렬식(Determinant)은 | A | 7 6 3
4 30 (scalar이다.)
차수가 3일 경우:
1
4
8
2 3
5 7
9 10
5 6
11
12
13
A 의 행렬식은 | A | 1( 1)
2( 1)
3( 1)
3
혹은
7 10
4 7
8 10
4 5
8 9
| A | 4( 1)
21
2 3
5( 1)
9 10
22
1 3
7( 1)
8 10
23
1 2
3
8 9
(2번째 행을 이용) 혹은
| A | 1( 1)
11
5 7
4( 1)
9 10
21
2 3
8( 1)
9 10
31
2 3
3
5 7
(1번째 열 이용) 모두 같은 값이다.
n
ij
i1
n
ij
j1
이를 확장하면 차수 n의 행렬의 행렬식은 | A | a ( 1)
i
j
| M | a ( 1)
i
j
| M | 이다.
ij
ij
M 를 minor라 하고
i
j
1)
| M | 를 cofactor라 한다.
| ij |
( ij
5.2 행렬식 성질
, | AB | | A || B | , | AB | | BA |
(1)
| A | |
A |
(2)행렬 A의 두 행이 같으면 행렬식은 0이다.
(3)한 행(열)의 상수를 곱하여 다른 행에 더해도 행렬식 값은 변하지 않는다.
(4)한 행(열)을 다른 행들의 선형 결합으로 표현할 수 있으면 행렬식의 값은 0이다. (예: 다
중공선성)
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (10)

회귀분석 행렬
5.3 역행렬
정방 행렬 A에서
AB BA I
1
를 만족하는 행렬 B를 A의 역행렬이라 하고 A
로 나타낸다.
1 1 1
A adjA
| A | | A |
[A 원소를 cofactor로 대치]’ 간단한 예를 들어 설명하기로 한다.
1
A
3
2
4
A 1
4 23
2
(
1)
adjA
(
1)
11
21
4
2
( 1)
( 1)
12
22
'
3
4
1
2
3
1
'
4
3
2
1
A
1
1
2
4
3
2
2
1
3 / 2
1
1/
2
AA
1
3
2
2
4
3 / 2
1
1/
2
1
0
0
1
2
3 / 2
1 1
1/
2
3
1
1
I 2 , A A
I 2
2
4
역 행렬이 존재하려면 1 정방 행렬이고 2 행렬식이 0이 아니어야 한다.
연립방정식
2u
2v
w 5
u v 2w
1
u w 4
을 행렬로 표시하면
Ax
2
2 -1
u
5
b
1 1 - 2
v
1
1
0 -1
w
4
와 같다. 연립 방정식의 해는
1 1
1
1
A Ax A b I x A b x A b
이다. 행렬 A의 역행렬만 구하면 해를 구할 수 있다. 3차 이
상 역행렬 구하는 계산 방법은 다루지 않기로 한다. SAS/IML을 이용하여 계산하는 방법을 다룰
것이다.
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (11)

회귀분석 행렬
5.4 역행렬 성질
(1)역행렬은 unique하다.
1
(2) | A | 1/ | A |
, (
1 1
A ) A , ( A )
1 (
1
A ) 1 1 1
, ( AB
) B A
5.5 계수와 역행렬
행렬의 계수(rank)는 행렬에서 선형 독립인 행(그리고 열)의 수이고 rank(A)
로 표현한다.
정의(LIN: linearly independent vector): a x a x ... a p x 0가 모든 a 0 일 때만 만족한
1 1 2 2 p
i
다면 벡터
1
는 선형 독립(linearly independent) 벡터라 하고, 0이 아닌 ai
에 대해서
x , x2...,
x p
만족한다면 선형 종속(linearly dependent)인 벡터라 한다. 상호 종속인 벡터는 하나의 벡터를
다른 벡터들의 선형 결합으로 표시할 수 있다는 것을 의미한다.
정의(full rank): (nxn)정방 행렬에서 선형 독립인 행(열)의 개수( rank (A)
)가 행렬의 차수 n와
같다면 이 행렬은 full-rank 행렬이라 한다. 즉 rank( An n)
n 이면 full-rank이다. 행렬 An
n 대
해 다음과 같다.
• 역행렬이 존재한다.
• full-rank 이다. rank(A)=n
• A 는 non-singular 이다.
• |A|0
• Ax=b 의 해가 존재한다.
• 역행렬이 존재하지 않는다
• full-rank 아니다. rank(A)

회귀분석 행렬
6. SAS
Sehyug Kwon, Dept. of Statistics,
HANNAM Universityhttp://wolfpack.hannam.ac.kr (13)