Monografia - Instytut Fizyki JÄ drowej PAN

4.6 System obliczeń Belle
Analiza danych eksperymentu Belle odbywa się za pomocą systemu oprogramowania zwanego
BASF (ang. Belle analysis framework) [89]. W szczególności, posiada on mechanizmy
do obsługi struktur danych i równoległego procesowania na dużych systemach SMP (ang.
symmetric multiple processor). Dostosowany jest również do procesowania przypadków równolegle
z rozłożeniem obciążenia w środowisku wieloserwerowym. Kody użytkownika do rekonstrukcji
i analizy są uruchamiane jako moduły, ładowane dynamicznie w trakcie pracy
programu. Moduły są napisane jako obiekty w C++. Dane są wymieniane pomiędzy modułami
przez system zarządzania danymi PANTHER. Całość tego systemu została napisana
przez współpracę Belle. Zostały przygotowane standardowe moduły rekonstrukcji dla każdego
poddetektora oraz globalne, m.in. do rekonstrukcji torów i wierzchołków oraz identyfikacji
cząstek.
System BASF może obsługiwać strumień danych przychodzący zarówno z dysku, jak i
bezpośrednio z detektora. Dzięki temu ta sama platforma oprogramowania jest używana do
uruchamiania trygera wyższego poziomu L3, rekonstrukcji przypadków off- i on-line, generowanych
przypadków MC oraz do analizy fizycznej, wykonywanej przez użytkownika. Również
ten sam system archiwizowania i przechowywania danych (PANTHER) jest używany
do zapisu surowych danych z detektora (ang. raw data), zrekonstruowanych danych, jak i
zredukowanych danych wystarczających do końcowej analizy fizycznej. System pozwala na
zapisanie końcowych wyników w formatach HBOOK i ROOT.
Schemat obliczeniowy Belle opiera się na scentralizowanym systemie, gdzie całość danych
oraz zbiory z wygenerowanymi przypadkami MC są przechowywane na serwerze w laboratorium
KEK. Rekonstrukcja, tak on-line jak i off-line, kalibracja detektorów oraz większość
generacji i rekonstrukcji przypadków MC odbywała się centralnie.
Obliczenia odbywały się na farmach złożonych z około 500 PC. Dane były przechowywane
na serwerach obsługujących dyski w systemach RAID.
Średni rozmiar surowych danych czytanych z detektora wynosił 35 KB/przypadek. Po
rekonstrukcji, rozpakowaniu i kalibracji rozmiar ten wzrastał do około 60KB. Większość analiz
wykorzystuje skompresowane dane, gdzie pominięto informacje pochodzące bezpośrednio
z detektora, zmniejszając wielkość rekordu na przypadek do 12KB.
Z czasem objętość danych wymusiła na współpracy zastosowanie choćby częściowo systemu
obliczeń rozproszonych, gdzie zbiory z danymi oraz moc obliczeniowa są rozmieszczone
w kilku ośrodkach. Są to klasyczne farmy PC ulokowane w innych laboratoriach współpracujących
w Belle, oraz zasoby oparte o system Grid (4) , używane głównie do symulacji MC, przy
czym pełny zestaw wygenerowanych próbek jest przechowywany w KEK. System obliczeń
rozproszonych będzie natomiast stanowić podstawę przetwarzania danych w eksperymencie
Belle II [14] na zderzaczu SuperKEKB.
4.7 Rekonstrukcja online i sprawdzanie jakości zbieranych danych
Rekonstrukcja online przypadków pozwala również na ciągłe testowanie jakości zbieranych danych.
Członkowie współpracy na bieżąco mogą sprawdzać wykresy ukazujące stan detektora
oraz jakość zbieranych danych. Poza zmiennymi globalnymi, takimi jak energia zrekonstruowanych
elektronów z rozproszenia Bhabha, czy krotność zrekonstruowanych śladów, można
(4) Grupa Belle korzysta także ze współpracy z Akademickim Centrum Obliczeniowym CYFRONET w Krakowie.
58