An Overview of the Department's Activities - Leibniz-Institut für ...

Bereich Katalysatorenentwicklungen und Reaktionstechnik
Reaktionstechnik
Reaction Engineering
Dr. David Linke
Themenleiter
Tel.: (0381) 1281 – 247
Fax: (0381) 1281 – 51247
david.linke@catalysis.de
Massgeschneiderte Optmieralgorithmen
für die Katalysatorsuche
Heterogene Katalysatoren bestehen häufig aus zahlreichen
Komponenten. Eine sehr große Anzahl von Komponenten
kommt als Katalysatorbestandteil in Frage. Darüber hinaus
kann die Katalysatorpräparation auf unterschiedlichen Wegen
erfolgen. Sowohl die Präparation als auch die Zusammensetzung
bestimmen letztendlich die
60 katalytischen Eigenschaften, d.h.
search for new catalytic materials lea-
Modelle zu reduzieren. Die Idee ist, den komplexen Zusam- materials is shown in the Figure. With surrogate modelling the 61
die Aktivität, Selektivität und Stabilität
und damit die Eignung für
den Einsatz in einem chemischen
Prozess. Aus mathematischer Sicht
ist die Suche nach besseren Katalysatoren
also ein hoch-dimensionales
Optimierungsproblem.
Da die Katalysatorleistung nicht
analytische beschreiben werden
kann, sondern durch Experimente
bestimmt werden muss, ist die
Optimierung sehr zeit- und kostenaufwändig.
Aufgrund der experimentellen
Bestimmung der
Zielfunktion können viele Optimiermethoden
nicht angewandt
werden, da die ausreichend
präzise Bestimmung von Gradienten
aufgrund des Messfehlers
üblicherweise nicht möglich ist. Daher werden gradientenfreie
Methoden bevorzugt, sowohl deterministische wie die Simplex
Methode oder die holografische Optimierung als auch stochastische
wie genetische Algorithmen oder Simulated Annealing.
Genetische Algorithmen werden am häufigsten angewendet;
ihre Anwendung im Bereich der Katalyse ist aber längst keine
Routine. Die Hauptschwierigkeit bei der Anwendung ist, dass
sowohl diskrete als auch kontinuierliche Variablen zu optimieren
sind und gleichzeitig zahlreiche Nebenbedingungen eingehalten
werden sollen.
Seit Beginn der Hochdurchsatzforschung sind wir ein Pionier
auf dem Gebiet der Entwicklung und Anwendung von genetischen
Algorithmen in der Katalysatoroptimierung. In den letzten
Jahren wurde am LIKAT ein neues evolutionäre Optimiersystem
GENACAT entwickelt. Mehrere Erweiterungen und Ver-
Tailormade optmisation algorithm
for catalyst dicovery
Heterogeneous catalysts typically consist of several components
with different purpose, which can be selected from among
many substances. Moreover, the catalyst can usually be prepared
from the individual components in a number of ways, and
the preparation method also influences its performance in the
chemical process. Consequently, the
ding to optimal performance of a chemical
reaction is a high-dimensional
optimization task. Since the objective
function cannot be analytically described,
its values must be obtained
via experimentation which is costly
and time-consuming. Besides being
slow, this has the consequences that
commonly used smooth optimization
methods are not convenient to this
end. Indeed, to obtain sufficiently
precise numerical estimates of gradients,
those methods need to evaluate
the function in points some of
which would have a smaller distance
than is the measurement error. That is
why methods not requiring derivatives
have been preferred - both deterministic
ones, in particular the simplex
method and holographic strategy, and stochastic ones, such as
simulated annealing, or evolutionary algorithms [1]. Evolutionary,
especially genetic algorithms (GA) are encountered most
frequently, but their application to this area is far from any standard
methodology. Main obstacles on a way to such a methodology
are mixed optimization with respect to continuous and
discrete variables, and constraints.
We have been a pioneer in the development and application
of genetic algorithms for the optimisation of catalysts since the
beginning. In recent years a new, very flexible and powerful system
called GENACT has been developed at the LIKAT. Several
modifications and improvements have been integrated into the
overall approach to catalyst optimisation in collaboration with
the Institute for Computer Science in Prague with the aim to
reduce the number of experiments for the same progress in the
besserungen wurden in den Gesamtvorgang des Katalysator-
Optimierungsprozesses in Zusammenarbeit mit dem Institut für
Informatik in Prag integriert, um die Zahl der nötigen Experimente
zu reduzieren bzw. um den Informationsgewinn aus den
Messungen zu maximieren:
(i) Flexible Definition des Suchraumes. Die frühen genetischen
Algorithmen für die Katalysatoroptimierung konnten nur einfache
Nebenbedingungen berücksichtigen. Z.B. konnte eine
Obergrenze für die Konzentration gesetzt werden, um z.B. den
Gehalt an Edelmetall auf den kommerziell akzeptablen Bereich
zu beschränken. In LIKATs aktuellem evolutionärem Optimiersystem
GENACAT können beliebige Nebenbedingungen
abgebildet werden. Dadurch ist es für den Chemiker sehr gut
möglich, Nebenbedingungen, die sich aus chemischer Sicht ergeben,
zu berücksichtigen. Dies kann z.B. eine Einschränkung
für das Verhältnis zwischen Elementen sein, um auszudrücken,
dass in einer Kristallstruktur nur ein gewisser Anteil an Atomen
unter Erhalt der Struktur ausgetauscht werden können. Eine
Besonderheit von GENACAT ist, dass der Suchraum und die
Nebenbedingungen auch während der Optimierung geändert
werden können. Diese Flexibilität beruht darauf, dass GENA-
CAT keinen fertigen starren Algorithmus enthält, sondern einen
Algorithmus für die jeweilige Aufgabe auf Basis einer einfachen
Problembeschreibung generiert.
(ii) Anwendung von Ersatzmodellen. Angetrieben durch die
Tatsache, dass das Herstellen und Auspüfen einer Generation
von Katalysatoren üblicherweise mehrere Tage dauert und
mit erheblichen Kosten verbunden ist, haben wir nach Wegen
gesucht, die Zahl der nötigen Experimente durch Einsatz von
menhang zwischen katalytischer Leistung und den Parametern
Präparation und Zusammensetzung durch ein mathematisches
Modell zu approximieren. In diesem Zusammenhang spricht
man von Ersatzmodellen. Die Erfolge bei der Anwendung von
Ersatzmodellen in verschiedenen Disziplinen und erste Anwendungen
im Bereich der Katalyse [2], haben uns angespornt,
Ersatzmodelle auf Basis von verschiedenen Neuronal Netzen
in GENATCAT zu implementieren und zu testen [3,4]. Die Abbildung
zeigt den Vorteil der Verwendung von Ersatzmodellen
deutlich. Die Anzahl der Generationen und damit der experimentelle
Aufwand ist bei der modell-unterstützten Optimierung
erheblich reduziert.
(iii) Diversität vs. Optimierung. In der Katalysatoroptimierung
gilt es des Öfteren abzuwägen, wie der Aufwand zwischen der
Optimierung der bisher besten Katalysatoren durch leichte Modifikationen
von Zusammensetzung und Präparation und der
Suche nach anderen guten Katalysatoren verteilt werden soll.
Mit Hilfe von GENACAT und Ersatzmodellen haben wir kürzlich
damit begonnen, gezielt die Diversität bei der Suche zu berücksichtigen.
Dies ist insbesondere nützlich, wenn die besten gefundenen
Proben noch deutlich hinter dem gesetzten Ziel liegen.
Literatur
[1] M. Holena, T. Cukic, U. Rodemerck, D. Linke, Optimization
of Catalysts Using Specific, Description Based Genetic
Algorithms, Journal of Chemical Information and Modelling,
2008, 48 , 274-282.
[2] L. Baumes, D. Farrusseng, M. Lengliz, C. Mirodatos,
Using artificial neuralnetworks to boost high-throughput
discovery in heterogeneous catalysis. QSAR and Combi-
natorial Science 2004, 23, 767–778.
[3] M. Holena, D. Linke, U. Rodemerck, L. Bajer, Neural Net
works as Surrogate Models for Measurements in Optimi-
optimisation process and to maximise the information extractable
from the data:
(i) Flexible definition of the search space. Most of the early
algorithms could only include simple constraints. E.g. an upper
concentration limit for components which might reflect highest
economically acceptable amount of noble metal in a catalyst.
In LIKAT´s current evolutionary optimization system GENACAT
arbitrary constrains can be included. This allows including chemical
reasoning to set constraints on the possible ratios of the
components (e.g. limits imposed by the crystal structure where
only a certain number of atoms can be substituted). It should be
noted that constraints or even the search space can be changed
along the optimisation within GENACAT. The great flexibility of
GENACAT is achieved by generating the optimisation algorithm
specifically for the problem at hand based on a simple specification
language.
(ii) Surrogate Modelling. Motivated by the fact that, testing
a generation of materials proposed by an evolutionary algorithm
typically needs several to many days of time and costs
thousands of euros, we have tried to reduce the number of experiments
needed by modelling the objective function. The idea
is to the optimization of such objective functions is to evaluate
the original objective function only sometimes, and to replace
it otherwise with a suitable regression model trained with the
available data. Such a model is called surrogate model. Several
successful applications of this approach have been already
reported also in catalysis [2], inciting us recently to incorporate
surrogate models based on two kinds of artificial neural networks
into GENACAT [3,4]. An example of the usefulness of
surrogate modelling in the evolutionary optimization of catalytic
optimisation requires significantly fewer generations, i.e. less
time and fewer experiments.
(iii) Diversity vs. optimisation. In catalyst optimisation one often
has to find a balance between searching new catalysts with
different composition or preparation method and optimising a
catalyst by small changes to the composition or its preparation.
For our GENACAT system in combination with surrogate modelling
we have recently begun to specifically target diversity (in
addition to pure optimisation). This is especially helpful when
the performance of the best samples is still relatively far away
from the target performance.
zation Algorithms, in: K. Al-Begain, D. Fiems, W. Knotten
belt (eds.), Analytical and Stochastic Modeling Techniques
and Applications, Lecture Notes in Computer Science Vol.
6148, Springer Verlag Berlin 2010, 351-366.
[4] M. Holena, D. Linke, U. Rodemerck, Evolutionary Optimi-
zation of Catalysts Assisted by Neural-Network Learning,
in: K. Deb et al. (Eds.): SEAL 2010, Lecture Notes in Com-
puter Science Vol. 6457, Springer-Verlag Berlin Heidelberg
2010, 220–229.