System zur Decoder-unabhängigen Reduktion von Blockartefakten

System zur Decoder-unabhängigen Reduktion von Blockartefakten
Dipl.-Ing. Patrick Piastowski, Arbeitsgebiet Schaltungen der Informationsverarbeitung * , Universität Dortmund
E-Mail: patrick.piastowski@uni-dortmund.de
Kurzfassung
Aktuelle Videokompressionsverfahren, die in Systemen wie DVB, DVD, etc. eingesetzt werden, führen bei hohen
Kompressionsraten zu Datenverlusten. Dadurch entstehen Kompressionsartefakte, insbesondere Blockartefakte,
die die Bildqualität negativ beeinflussen. Dieser Beitrag stellt ein adaptives Verfahren zur Reduktion von Blockartefakten
vor, das eine lokale Bildanalyse zur Steuerung von zwei Filtern einsetzt. Da das Verfahren ausschließlich
auf bereits decodierte Bilddaten zugreift, ist ein decoder-unabhängiger Einsatz, z.B. in Displays, möglich.
Stichworte: Artefaktreduktion, Deblocking, adaptive Filterung, Videokompression
1 Einleitung
In nahezu allen aktuellen Systemen zur Übertragung
und Speicherung von Videosequenzen (z.B. DVB,
DVD, HD-DVD) werden moderne Videokompressionsverfahren
(z.B. MPEG-2, MPEG-4, H.264) eingesetzt.
Diese Videokompressionsverfahren nehmen bei
der Verarbeitung von Intra-Bildern zunächst eine Einteilung
der Bilder in Blöcke vor (z.B. 8x8 Pixel bei
MPEG-2). Es schließt sich eine getrennte Transformation
(meist DCT) der einzelnen Blöcke und eine
Quantisierung der Transformationskoeffizienten an.
Die Steuerung der Stärke der Quantisierung und somit
der Datenrate der Verfahren ist über Quantisierungsparameter
möglich.
Quantisierung führt zwangsläufig zu Datenverlust. Da
alle Blöcke unabhängig voneinander verarbeitet werden,
kann der Quantisierungsfehler bei der Decodierung
in Form von Diskontinuitäten im Bereich von
Blockgrenzen sichtbar werden. Man spricht dann von
Blockartefakten. Derartige Artefakte in Videosequenzen
werden von Betrachtern als störend wahrgenommen
und beeinflussen Signalverarbeitungsalgorithmen,
die der Decodierung nachfolgen, oft negativ. Je
gröber die Quantisierung der Koeffizienten durchgeführt
wird, umso stärker werden in einem decodierten
Bild Blockartefakte sichtbar.
In Inter-Bildern können durch Bewegungskompensation
auch Blockartefakte an Stellen auftreten, die
nicht durch das übliche Blockraster gegeben sind.
Durch Addition eines Differenzsignals innerhalb typischer
Videokompressionsverfahren wird diese Problematik
jedoch deutlich verringert und soll hier nicht
näher behandelt werden.
Für nähere Informationen zur Videocodierung siehe
z.B. [3]. Ein ausführlicher Beitrag zum Thema Kodierartefakte
findet sich in [4].
Blockartefakte treten in der Praxis häufig auf, da zur
Zeit hauptsächlich MPEG-2 basierte Systeme eingesetzt
werden, die im Standard keine Maßnahmen gegen
derartige Störungen enthalten. Auch bei der Verwendung
neuer Videokompressionsverfahren muss
mit Blockartefakten gerechnet werden, da die in den
Standards vorgesehenen Gegenmaßnahmen nicht in
jedem Falle implementiert sein müssen und meist
auch nicht alle Artefakte beseitigen.
Dieser Beitrag stellt ein aufwandgünstiges Verfahren
zur Reduktion von Blockartefakten vor, das eine lokale
Analyse von Blockgrenzen in Bildsequenzen vornimmt,
um mögliche Blockartefakte zu erkennen und
zu klassifizieren. Abhängig von der Analyse wird eine
Filterung, angepasst an die aktuelle Bildumgebung,
vorgenommen. Das decoder-unabhängige Verfahren
benötigt keinen Zugriff auf Zusatzinformationen (z.B.
Quantisierungsparameter) und eignet sich daher hervorragend
für einen Einsatz in reinen Postprocessing-
Umgebungen wie z.B. LC-Displays, die Kodierartefakte
oft besonders deutlich sichtbar werden lassen
(siehe [8]). Gegenüber bekannten Lösungen mit
Zugriff auf Zusatzinformationen müssen trotzdem
keine Abstriche bzgl. der Wirksamkeit gemacht werden.
In Abschnitt 2 wird das Verfahren vorgestellt und in
Abschnitt 3 finden sich Simulationsergebnisse und
Bildbeispiele. In Abschnitt 4 wird der Beitrag zusammengefasst.
2 Decoder-unabhängige Reduktion
von Blockartefakten
An dieser Stelle soll ein neues Verfahren zur decoderunabhängigen
Reduktion von Blockartefakten vorgestellt
werden. In Bild 1 ist das Blockschaltbild des
Verfahrens dargestellt.
Auf der linken Seite ist eine lokale Bildanalyse erkennbar,
die sich in mehrere Komponenten aufteilen
lässt. Zweck der für jede horizontale und vertikale
Blockgrenze durchzuführenden Bildanalyse sind ei-
* Die Arbeiten wurden in Zusammenarbeit mit der Firma Micronas GmbH (München) durchgeführt. Ansprechpartner
dort ist Herr Dipl.-Ing. Markus Schu.

nerseits die Entscheidung, ob Blockartefakte vorliegen
und eine Filterung durchgeführt werden sollte,
und andererseits die Auswahl eines von zwei an den
Bildinhalt (homogen/nicht homogen) angepasster Filter.
Input
Berechnung
Hauptgrad
Berechnung
Nebengrad
Lokale Bildanalyse
Blocking-Detekt./
Bypass Steuerung
Aktivitätsdetekt./
Filterauswahl
Filter für
homogene
Bereiche
Filter für
detaillierte
Bereiche
Output
Bild 1: Artefaktreduktion mit lokaler Bildanalyse
Zentrale Bestandteile der lokalen Bildanalyse sind die
Ermittlung von so genannten Haupt- und Nebengradienten.
Diese basieren auf der Summe absoluter Pixeldifferenzen
im Bereich von Blockgrenzen. Dazu
müssen Lage und Größe von Blöcken bekannt sein,
was bei gängigen Videokompressionsverfahren der
Fall ist.
Zur Berechnung der lokalen Hauptgradientensumme
werden die absoluten Pixelintensitätsdifferenzen
zwischen den direkten Blockgrenzpixeln aufaddiert.
Die Hauptgradientensumme ergibt sich beispielsweise
für eine horizontal verlaufende Blockgrenze mit dem
oberen linken Pixel des unteren betroffenen Blockes
im Bild s an den Koordinaten (x 0 ,y 0 ) zu
7
∑
HG = abssx (( + ny , −1) − sx ( + ny , )).
x0, y0
0 0 0 0
n=
0
Die entsprechende lokale Nebengradientensumme,
die sich aus Pixelintensitätsdifferenzen innerhalb der
beiden betroffenen Blöcke ergibt, lässt sich durch
7
⎛
⎞
NGx0, y
= 0,5 ⋅
0 ⎜∑abssx ( (
0
+ ny ,
0
−2) − sx (
0
+ ny ,
0
−1))
⎟
⎝ n=
0
⎠
7
⎛
⎞
+ 0,5 ⋅ ⎜∑abs( s( x0 + n, y0) − s( x0 + n, y0
+ 1)) ⎟
⎝ n=
0
⎠
berechnen.
Auf Basis der Nebengradientensumme erfolgt, wie in
Bild 1 dargestellt, direkt eine Aktivitätsdetektion. Mit
Hilfe eines Schwellwertvergleichs wird entschieden,
ob der untersuchte Bildbereich homogen ist (niedrige
Aktivität) oder nicht (höhere Aktivität). Die Aktivitätsdetektion
dient der Umschaltung zwischen zwei
Filtern zur Blocking-Reduktion. Da die nachfolgenden
Filterungen im direkten Blockgrenzbereich erfolgen,
erstreckt sich die Aktivitätsdetektion zweckmäßigerweise
auf denselben Bildbereich, was auch die
notwendigen Zeilenspeicher minimiert.
Die im Verfahren vorgesehene Blocking-Detektion
basiert auf dem Verhältnis von Hauptgradientensumme
zu Nebengradientensumme. In natürlichen unkomprimierten
Bildern ist dieses Verhältnis etwa Eins,
da Haupt- und Nebengradienten im Schnitt gleich
groß sind. Folgen einer Bildkompression sind eine
Vergrößerung der Hauptgradienten durch Diskontinuitäten
an Blockgrenzen und eine Verkleinerung der
Nebengradienten durch Informationsverlust innerhalb
von Blöcken. Dies führt mit steigender Kompression
zu einer Vergrößerung des Verhältnisses, das somit als
lokales Blocking-Maß dient. Durch einen Schwellwertvergleich
kann nun entschieden werden, ob eine
Filterung durchgeführt wird, oder nicht.
Die Zuverlässigkeit des lokalen Blocking-Maßes kann
durch einige Erweiterungen und Behandlung von
Sonderfällen noch gesteigert werden, worauf hier
nicht näher eingegangen werden soll.
Für homogene Bildbereiche wird ein Filter mit einer
Wirkungsbreite von 6 Pixeln eingesetzt, das in Bild 2
dargestellt ist.
Bild 2: Filter für homogene Bildbereiche
Für jede Blockgrenzposition wird die Höhe des Signalsprungs
über die Blockgrenze gemessen. Die Ausgangspixelintensitäten
des Filters ergeben sich nun
durch Addition bzw. Subtraktion des mit festen Faktoren
gewichteten Signalsprungs zu bzw. von den Intensitäten
der Originalpixel. Die ungewollte Filterung
kontrastreicher „echter“ Kanten, die sich durch einen
großen Intensitätssprung äußern, kann durch einen
weiteren Schwellwertvergleich vermieden werden.
In detaillierten Bildbereichen wird ein Filter mit kleiner
Wirkungsbreite eingesetzt, da möglichst viele Details
erhalten werden sollen. Dazu wird an den Blockgrenzpositionen
eine 4-Punkt-DCT senkrecht zur
Blockgrenze durchgeführt. In Bild 3 ist exemplarisch
dargestellt, auf welche Pixel zugegriffen werden
muss.
DCT
Bild 3: Filter für detaillierte Bildbereiche
Der errechnete hochfrequente antisymmetrische DCT-
Koeffizient ist hauptsächlich für das Auftreten von
Blockartefakten verantwortlich (siehe [2]). Dieser
Koeffizient wird um einen festen Faktor vermindert,
bevor eine unvollständige IDCT durchgeführt wird,
die nur die beiden inneren Pixel neu berechnet. Die
Intensitätsänderung der beiden Blockgrenzpixel darf
nicht größer als die halbe Signalsprunghöhe an der
Blockgrenze ausfallen.
Es sei an dieser Stelle erwähnt, dass die mit einfachen
Operationen implementierbare lokale Bildanalyse für
eine Unabhängigkeit von sämtlichen Seiteninformationen
wie Quantisierungsparametern sorgt und somit
eine decoder-unabhängige Reduktion von Blockartefakten
ermöglicht.

Blocking-Messung
1,60
Blocking-Wert
1,40
1,20
1,00
0,80
0,60
0,40
0,20
unkompr.
kompr.
[1]
[2]
[7]
[5]
UniDo
0,00
football
1,5 MBits/s
football
3 MBits/s
matphone_lauf0
1,5 MBit/s
matphone_lauf0
3 MBit/s
wheel
1,5 MBit/s
wheel
3 MBit/s
Bild 4: Ergebnisse der Blocking-Messungen
3 Simulationsergebnisse
Neben dem vorgestellten Verfahren (UniDo) wurden
im Rahmen der durchgeführten Untersuchungen weitere
Verfahren implementiert, um die Wirksamkeit bei
der Reduktion von Blockartefakten in MPEG-2 codierten
Sequenzen vergleichen zu können. Dies waren
ein Verfahren mit statischer Tiefpassfilterung von
Blockgrenzen nach [1], ein adaptives Filterverfahren
mit Auswertung von Quantisierungsinformationen
nach [2], ein Wavelet-basiertes Verfahren nach [5]
und ein Verfahren mit Subtraktion von Fehlervektoren
nach [7].
Objektiv wurden die Verfahren mit Hilfe eines an [6]
angelehnten Blocking-Maßes bewertet, das die Summe
aller Hauptgradienten einer ganzen Bildsequenz
zur Summe aller Nebengradienten ins Verhältnis setzt
(siehe Abschnitt 2), da der üblicherweise gemessene
PSNR kaum zur Bewertung von Artefaktreduktionsverfahren
geeignet ist (siehe [9]). Eine natürliche unkomprimierte
Bildsequenz liefert bei diesem Maß einen
Wert von ungefähr Eins.
In Bild 4 ist das Ergebnis der Blocking-Messungen
für verschiedene Sequenzen dargestellt.
Es ist zunächst erkennbar, dass eine Bildkompression
grundsätzlich dazu führt, dass mit sinkender Datenrate
größere Blocking-Werte gemessen werden, während
unkomprimierte Bildsequenzen den zu erwarteten
Wert von ca. Eins aufweisen. Werte kleiner als
Eins deuten auf zu starke oder unnötige Filterungen
im Bereich von Blockgrenzen hin. Hiermit ist auch
eine große Wahrscheinlichkeit von Unschärfebildung
verbunden.
Das Verfahren nach [1] führt zu einer deutlichen Verringerung
des Blocking-Wertes, da bei diesem Verfahren
alle Blockgrenzen statisch gefiltert werden. Auch
das Verfahren nach [7] führt offensichtlich zu einer zu
starken oder zu häufigen Filterung von Blockgrenzen.
Die übrigen Verfahren führen zu Blocking-Werten,
die wesentlich besser denen von unkomprimierten
Sequenzen entsprechen (ca. Eins), was einer deutlichen
Verringerung von Blockartefakten bei gleichzeitiger
Vermeidung von zu starken Filterungen entspricht.
Diese Tendenz gilt auch bei unterschiedlichen Datenraten,
was für eine zuverlässige Adaption der Verfahren
an die Datenrate bzw. die Stärke und Häufigkeit
von Blockartefakten spricht.
Auch subjektiv konnte die Wirksamkeit des vorgestellten
Verfahrens, aber auch der anderen Verfahren,
bei der Reduktion von Blockartefakten nachgewiesen
werden. In Bild 5 ist das Ergebnis der Anwendung
mehrerer Artefaktreduktionsverfahren an einem vergrößerten
Ausschnitt aus einem Frame der Sequenz
football dargestellt.
Der unbearbeitete Bildausschnitt enthält eine Vielzahl
an Blockartefakten sowohl in detaillierten, als auch in
homogenen Bildbereichen. Die statische Filterung
von Blockgrenzen nach [1] verringert die Sichtbarkeit
dieser Artefakte, weist aber deutliche Defizite in homogenen
Bildbereichen auf.
Eine subjektiv wesentlich bessere Wirksamkeit bei
der Reduktion von Blockartefakten bietet das Verfahren
nach [2] und das in diesem Artikel vorgestellte
System. Blockartefakte werden sowohl in detaillierten
als auch in homogenen Bildbereichen zuverlässig verringert,
wobei das Verfahren nach [2] tendenziell
mehr relevante Details in homogenen Bereichen zerstört.
Das neu vorgestellte Verfahren ist also in Bezug auf
die Wirksamkeit mit dem Verfahren nach [2], das als
Teil des MPEG-4 Standards in den durchgeführten
Untersuchungen als Referenz diente, mindestens e-
benbürtig. Es besteht jedoch keine Notwendigkeit des
Zugriffs auf Quantisierungsparameter, was eine flexiblere
Einsetzbarkeit bedeutet. Der Rechenaufwand
der beiden Verfahren ist vergleichbar, der Speicheraufwand
des neu vorgestellten Verfahrens ist geringer.
Es konnte eine Implementierung entwickelt werden,
die nur fünf Zeilenspeicher benötigt. In diesem Zusammenhang
ist ein großer Nachteil bei dem ebenfalls
sehr wirksamen Verfahren nach [5] darin zu sehen,
dass ein kompletter Bildspeicher benötigt wird.

Bild 5: Reduktion von Blockartefakten am Beispiel der Sequenz football (1,5 MBit/s MPEG-2),
oben links: unbearbeitet, oben rechts: [1], unten links: [2], unten rechts: UniDo
4 Zusammenfassung
In diesem Artikel wurde ein neues Verfahren zur Decoder-unabhängigen
Reduktion von Blockartefakten
vorgestellt. Zentraler Bestandteil des Verfahrens ist
eine lokale Analyse von Blockgrenzbereichen, auf
deren Basis einerseits entschieden wird, ob eine Filterung
notwendig ist, und andererseits ein an den Bildinhalt
angepasstes Filter ausgewählt wird. Da das Verfahren
ausschließlich auf bereits decodierte Bilddaten
zugreift und sich sämtliche Teilkomponenten mit einfachen
Operationen und wenigen Zeilenspeichern
implementieren lassen, ist ein flexibler Einsatz in
Endgeräten wie z.B. Displays möglich.
Die Wirksamkeit des Verfahrens wurde objektiv mit
Hilfe eines Blocking-Maßes nachgewiesen.
Auch subjektiv konnte eine hohe Wirksamkeit bei der
Reduktion von Blockartefakten gezeigt werden. Dies
gilt auch im Vergleich mit anderen untersuchten Verfahren
zur Verringerung derartiger Störungen.
5 Literatur
[1] C. Avril & T. Nguyen-Trong: „Linear Filtering
for reducing blocking effects in orthogonal
transform image coding”, Journal of Electronic
Imaging, Vol. 1(2), April 1992
[2] S. D. Kim, J. Yi, H. M. Kim und J. B. Ra: „A
Deblocking Filter with Two Separate Modes in
Block-Based Video Coding”, IEEE Transactions
on Circuits & Systems for Video Technology,
Vol. 9, No. 1, Februar 1999
[3] I. E. G. Richardson: „Video Codec Design“,
Wiley, ISBN 0471485535, 2000
[4] M. Yuen, H. R. Wu: „A survey of hybrid
MC/DPCM/DCT video coding distortions“, Signal
Processing, Vol. 10, pp 247-278, 1998
[5] N. C. Kim, I. H. Jang, D. H. Kim und W. H.
Hong: „Reduction of Blocking Artifacts in
Block-Coded Images Using Wavelet Transform”,
IEEE Transactions on Circuits & Systems for
Video Technology, Vol. 8, No. 8, Juni 1998
[6] H. R. Wu und M. Yuen: „A Generalized Block-
Edge Impairment Metric for Video Coding“,
IEEE Signal Processing Letters, Vol. 4, No. 11,
1997
[7] J. Yang, H. Choi und T. Kim: „Noise Estimation
for Blocking Artifacts Reduction in DCT Coded
Images”, IEEE Transactions on Circuits & Systems
for Video Technology, Vol. 10, No. 7,
Okto-ber 2000
[8] S. Winkler: „Digital Video Quality – Vision Models
and Metrics”, pp. 48-51, Wiley, ISBN
0470024066, 2005
[9] P. Piastowski: „Adaptive Reduktion von Blockartefakten
mit lokaler Bildanalyse“, 3. Thüringer
Medienseminar, Erfurt, 2005