Nový řídicí a dohledový systém pro experiment COMPASS

ˇ
Systémy pro sber dat
ˇ
Sber dat na experimentu COMPASS
ˇ
Vývoj nového systému pro sber dat

Nový ˇídicí a dohledový systém pro experiment
r
COMPASS

Martin Bodlák Vladimír Jarý1 Josef Nový

1 Fakulta jaderná a fyzikálne inženýrská
ˇ
ˇ ˇ
C ESKÉ VYSOKÉ U CENÍ TECHNICKÉ V P RAZE
mailto:Vladimir.Jary@cern.ch

InstallFest 2012
Školicí centrum Silicon Hill, Praha
4. bˇezna 2012
r

M. Bodlák, V. Jarý, J. Nový Nový ˇídicí a dohledový systém pro experiment COMPASS
r

ˇ
ˇ
ˇ

Pˇehled
r

1 ˇ

2 ˇ

3 ˇ
Vzdálené ˇízení
r
ˇ
Nový systém pro sber dat
ˇ
Testy nového systému pro sber dat

r

ˇ
ˇ
ˇ

Základní pojmy

˚ ˇ
událost: data popisující prulet cástice systémem detektoru
˚
ˇ
role systému pro sber dat (data acquisition, DAQ):
1 naˇ tení dat z detektoru (readout)
c ˚
2 sestavení úplných událostí z fragmentu pocházejících
˚
z ruzných kanálu (event building)
˚ ˚
3 ˇ
zapsání událostí do trvalého úložište (data logging)
4 dohled a ˇízení (monitoring, run control)
r
ˇ
trigger systém: vybírá fyzikálne zajímavé události nebo
zamítá nezajímavé události
úˇ innost trigger systému:
c
= Ndobrych(vybranych) /Ndobrych < 1
mrtvá doba (deadtime) systému:
D = tsystem_je_vytizen /tcelkovy (je-li systém vytížen, nemuže
˚
pˇijímat žádné další události)
r
r

ˇ
ˇ
ˇ

Pˇíklad: systém s periodickým triggerem
r
ˇ ˇ
v podstate se jedná o vzorkování veliˇ iny spojité v case
c
A/D pˇevodník digitalizuje data, CPU je naˇ ítá a ukládá
r c
frekvence triggeru dána dobou zpracování události:
je-li potˇeba na zpracování 1 ms ⇒ ftrigger ≤ 1 kHz
r

Systém pro sber dat ˇízený periodickým triggerem
ˇ r

r

ˇ
ˇ
ˇ

Fyzikální trigger
ˇ ˇ
data z detektoru pˇichází náhodne a nepˇedvídatelne
˚ r r
potˇeba mít fyzikální trigger
r

Systém sbírající data ˇízený fyzikálním triggerem podle [3]
r

r

ˇ
ˇ
ˇ

Problémy s fyzikálním triggerem

1 ˇ
co delat pokud nastane nová událost a systém je
ˇ
zaneprázdnený:
pˇidání busy logiky: je-li busy signál aktivní, systém
r
nepˇijímá další události
r
2 jak využít neaktivní dobu:
ˇ
vyrovnávací pameti (FIFO): vyrovnávají ﬂuktuace na vstupu
ˇ
a poskytují relativne stabilní datový tok na výstupu
(derandomizace)
3 jak se vypoˇádat s velkým množstvím kanálu (∼ 106 ):
r ˚
shromažd’ovací moduly (napˇ. VME desky)
r
paralelní zpracování a ukládání dat
4 jak zajistit minimální deadtime:
A/D pˇevodník pracuje na frekvenci >> f
r
zpracování a ukládání dat na frekvenci ∼ f

r

ˇ
ˇ
ˇ

Experiment COMPASS

COMPASS = COmmon Muon and Proton Apparatus for
Structure and Spectroscopy
experiment s pevným terˇ em na urychlovaˇ i SPS
c c
v laboratoˇi CERN
r
ˇ
vedecký program schválen v roce 1997
studium struktury a spektroskopie hadronu
˚
experimenty s mionovým svazkem
experimenty s hadronovým svazkem
ˇ
sber dat od roku 2002
ˇ c
momentálne zaˇ íná 2. fáze experimentu (COMPASS II)
ˇ ˚
mezinárodní projekt: 250 vedcu, 29 institucí, 11 zemí

r

ˇ
ˇ
ˇ

Popis experimentu
cyklus urychlovaˇ e SPS: svazek (beam) není spojitý,
c
skládá se z úseku (spills, bursts)
˚
ˇ ˇ
systém pro sber dat používá vyrovnávací pameti pro
ˇ
rozložení záteže na celý cyklus urychlovaˇ e
c
ˇ
interakcí svazku s terˇ em vznikají sekundární cástice
c
˚ ˇ
prulet cástic detekován systémem detektoru ˚

˚ ˇ
Systém detektoru, svazek cástic dopadá na terˇ zleva, pˇevzato z [4]
c r

r

ˇ
ˇ
ˇ

ˇ
Vrstvy systému pro sber dat
1 primární elektronika detektoru
˚
provádí pˇedzpracování a digitalizaci analogových dat
r
celkem zhruba 250000 kanálu ˚
2 moduly GeSiCA, CATCH (VME technologie)
provádí naˇ ítání a shromažd’ování dat
c
naˇ ítání aktivováno signály z TCS (Trigger Control System)
c
r c ˇ
pˇidání hlaviˇ ky (identiﬁkátor triggeru, casová znaˇ ka)
c
3 ROB (readout buffer ) servery
ˇ
slouží jako vyrovnávací pamet’ pro efektivní využití cyklu
SPS urychlovaˇ ec
ˇ
PCI karta spillbuffer (512 MB pameti)
4 EVB (event builder ) servery
sestavení kompletních událostí
zapsání souboru s událostmi na trvalé úložište
˚ ˇ
uložení metadat o událostech do Oracle DB
ˇ
doplnkové úlohy: dohled na kvalitou dat, ﬁltr
r

ˇ
ˇ
ˇ

DATE (Data Acquisition and Test Environment)
software navržený pro experiment ALICE na LHC
ˇada úprav a doplnku pro COMPASS experiment
r ˇ ˚
základní dva procesory:
1 lokální shromažd’ovaˇ dat: provádí naˇ ítání dat z detektoru
c c
2 ˇ c
globální sberaˇ dat: sestavuje události z fragmentu˚
vyprodukovaných lokálními shromažd’ovaˇ i dat
c
dobˇe škálovatelný a ﬂexibilní systém:
r
režim pp (vysoká frekvence interakcí, malé událostí)
režim PbPb (nízká frekvence interakcí, velké události)
DAQ experimentu ALICE × malé laboratorní experimenty
s jedním procesorem
testy výkonu:
naˇ ítání dat: 40 GB/s
c
sestavování událostí: 2.5 GB/s
ˇ
záznam na úložište: 1.25 GB/s
r

ˇ
Systémy pro sber dat Vzdálené ˇízení
r
ˇ
Sber dat na experimentu COMPASS ˇ
ˇ
Vývoj nového systému pro sber dat ˇ

Problémy se souˇ asným systémem
c
Motivace:
ˇ
casem roste frekvence trigger systému, datový tok
260 TB dat zaznamenáno v roce 2002, v roce 2010 již 2 PB
vyšší datový tok ⇒ vyšší DAQ deadtime
stárnoucí HW ⇒ vyšší poruchovost
vývoj PCI-Express verze spillbuffer karty nákladný
chybející vzdálené ˇízení
ˇ r
Návrh nového systému:
nahradit sít’ ROB a EVB serveru vlastním HW
˚
tok dat, sestavování událostí ˇízeno HW
r
software už pouze pro ˇízení a dohled
r
možné použití i pro další experimenty (PANDA?)
r

ˇ
r
ˇ
ˇ

Scintific Linux CERN 5

založen na Red Hat Enterprise Linux 5
CERN + Fermilab → Scientific Linux
→ Scientific Linux CERN
stránky projektu http://linuxsoft.cern.ch/
RPM balíˇ ky, balíˇ kovací systém yum
c c
AFS klient
repozitáˇe s vlastním softwarem
r
RSS kanály organizace (napˇ. CERN market)
r
r

ˇ
r
ˇ
ˇ

Souˇ asná ˇídící místnost
c r

c ˇ
Souˇ asný velín umísten pˇímo v hale experimentu COMPASS:
r
Výhody
serverovna a detektory poblíž
možnost pˇímé fyzické kontroly plynových subsystému
r ˚
Nevýhody
místo, kde prochází svazek ⇒ problémy s radiací
ˇ ˇ
horší dostupnost pro cleny smeny
horší ergonomie (hluk, . . . )
Technický koordinátor experimentu doporuˇ il zˇídit vzdálenou
c r
ˇídicí místnost.
r

r

ˇ
r
ˇ
ˇ

Puvodní velín v hale experimentu
˚

r

ˇ
r
ˇ
ˇ

Pˇesun velínu
r

r

ˇ
r
ˇ
ˇ

Vzdálená ˇídicí místnost
r

vzdálený dohled a ˇízení experimentu COMPASS
r
kanceláˇská budova
r
vybavení:
8x PC
4x 24” LCD
8x 22” LCD
IP kamery v hale experimentu
napojeno na sít’ COMPASSu
nový velín otestován
ušetˇeny ﬁnanˇ ní prostˇedky, které by bylo nutné investovat
r c r
ˇ
do pˇídavného stínení spektrometru
r
pˇed nasazením zbývá nainstalovat klimatizaci
r

r

ˇ
r
ˇ
ˇ

Instalace nových stanic

Scientiﬁc Linux CERN 5, 32bit
instalaˇ ní program Anaconda
c
bezobslužná instalace pomocí kickstart skriptu
˚
ruzné parametry instalace podle rolí
˚
ˇ
rízení
sestavování událostí
souborový server
databázový server
...
kickstart soubory publikované v centrální databázi AIMS
˚ ˇ
Prubeh:
1 boot po síti, stažení kickstart skriptu z databáze
2 pˇedání skriptu programu Anaconda
r
3 naˇ tení parametru, pokus o bezobslužnou instalaci
c ˚
r

ˇ
r
ˇ
ˇ

ˇ
Nový velín v kanceláˇské budove
r

r

ˇ
r
ˇ
ˇ

Deﬁnice požadavku na nový systém
˚

ˇízení a dohled nad systémem pro sber dat
r ˇ
ˇízení toku dat
r
jednodušší systém
zachování stávajícího formátu dat
použití knihovny DIM
ˇ
použití nekterých modulu z DATE (Murphy TV, COOOL, log
˚
book, ...)
využití specializovaného hardwaru (FPGA karty)
ˇízení v reálném case není vyžadováno
r ˇ

r

ˇ
r
ˇ
ˇ

ˇ
Nová hardwarová architektura pro sber dat

r

ˇ
r
ˇ
ˇ

FPGA (Field-programmable gate array)

ˇ
Cip programovatelný v poli (mimo továrnu), pˇevzato z [3]
r

r

ˇ
r
ˇ
ˇ


ˇ
Zadání chování cipu pomocí schématu, pˇevzato z [3]
r

r

ˇ
r
ˇ
ˇ


ˇ
Zadání chování cipu pomocí VHDL, pˇevzato z [3]
r

r

ˇ
r
ˇ
ˇ

ˇ
Struktura systému pro sber dat
ˇ
Rídicí proces
ovládá podˇízené procesy
r
komunikuje s databází
dostává pˇíkazy od uživatelského rozhraní
r
Podˇízený proces
r
ˇ
beží na specializovaném hardwaru (FPGA karta)
pˇijímá pˇíkazy od ˇídicího procesu
r r r
poskytuje informace o stavu FPGA karty
GUI
1 ˇídicí rozhraní, n monitorovacích
r
pˇijímá informace od ˇídícího procesu
r r
pˇes ˇídicí proces odesílá ˇídicí pˇíkazy podˇízeným
r r r r r
procesum˚
Message logger
Message browser
r

ˇ
r
ˇ
ˇ

ˇ
Struktura systému pro sber dat

Role v systému

r

ˇ
r
ˇ
ˇ

Knihovna DIM

Distributed Information Management
ˇ
vývoj v CERN (puvodne pro experiment DELPHI)
˚
zajišt’uje asynchronní 1 k N komunikaci po síti
rozšíˇení paradigmatu klient–server o jmenný server
r
postaveno na standartu TCP/IP
rozhraní pro C/C++, Javu a Python
multiplatformní knihovna
používáno i v rámci DATE

r

ˇ
r
ˇ
ˇ

Jmenný server DNS

Komunikace prostˇednictvím DIM knihovny
r

r

ˇ
r
ˇ
ˇ

Charakteristika testovací verze

ˇ
hlavní cást v QT frameworku
nastavení a zprávy v MySQL databázi
komunikace pomocí knihovny DIM (C++ rozhraní)
pomocné skripty v Pythonu
ˇ
testování behem zimní odstávky experimentu
testy provedeny s parametry:
Gigabit Ethernet
2-16 podˇízených procesu na poˇ ítaˇ ích pro sestavování
r ˚ c c
událostí
ruzná velikost zprávy od 100 B do 500 kB
˚

r

ˇ
r
ˇ
ˇ

Výsledky testu (1/3)
˚

Poˇ et zpráv za sekundu v závislosti na velikosti zprávy
c

r

ˇ
r
ˇ
ˇ

˚

Rychlost pˇenosu v závislosti na velikosti zprávy
r

r

ˇ
r
ˇ
ˇ

˚

Test stability

r

ˇ
r
ˇ
ˇ

Uživatelské rozhraní

r

ˇ
r
ˇ
ˇ

Prohlížeˇ záznamu
c ˚

r

ˇ
r
ˇ
ˇ

Dosažené cíle a další kroky

1 c ˇ
Analyzován souˇ asný systém pro sber dat
založen na balíku DATE
problémy s výkonem a stabilitou
2 Nainstalován vzdálený velín experimentu
velín pˇipraven k nasazení
r
c r r ˇ
ušetˇeny ﬁnanˇ ní prostˇedky za pˇídavné stínení
r
3 ˇ
pˇipraven návrh ˇídicího a dohledového systému
r r
minimální verze tohoto systému implementována
a otestována
4 Další kroky
testy na reálném HW (embedded linux na softcore
procesoru)
rozšiˇování funkcionality
r

r

ˇ
r
ˇ
ˇ

Literatura

P. Abbon et al. (the COMPASS collaboration): The
COMPASS experiment at CERN, In: Nucl. Instrum.
Methods Phys. Res., A 577, 3 (2007) pp. 455–518
H. Sakulin: Field Programmable Gate Arrays, In:
International School of Trigger and Data Acquisition,
Krakow, February 2012
W. Vandeli: Introduction to Data Acquisition, In:
International School of Trigger and Data Acquisition, Roma,
February 2011
COMPASS page [online]. 2010.
Available at: http://wwwcompass.cern.ch

r

Nový řídicí a dohledový systém pro experiment COMPASS

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (18)

Nový řídicí a dohledový systém pro experiment COMPASS