Rilevamento delle Applicazioni delle nuove comunità di utenti - Scope

Rilevamento delle Applicazioni dellenuove comunità di utenti dell'infrastruttura SCoPEModelli per la raccolta dei requisitiG.B. Barone, V. Boccia, D. Bottalico, L. CarracciuoloIntroduzioneTale documento intende raccogliere e descrivere i “modelli” usati per la raccolta delle informazioninecessarie al gruppo di gestione della infrastruttura SCoPE durante la fase di supporto alle comunità dinuovi utenti al fine di meglio guidare la comunità verso l'utilizzo efficace ed efficiente della stessainfrastruttura.Il gruppo di gestione si compone di persone che, dotate di competenze diversificate (da quelle di tiposistemistico a quelle relative al middleware, fino a competenze nella progettazione ed implementazionedi algoritmi per ambienti HPC e distribuiti), forniscono risposte organiche alle esigenze di ciascunacomunità.I “modelli” presentati sono il frutto di un approccio consolidatosi in diversi anni di lavoro spesinell'avvicinamento e nella fidelizzare nuove comunità di utenti. Gli stessi modelli sono stati sviluppatia partire da analoghi strumenti già elaborati durante il Progetto SCoPE nell'ambito del Work Package 4il cui obiettivo è stato “lo sviluppo di codici innovativi ed l'integrazione di applicazioni per la ricerca insettori strategici di interesse scientifico sulle infrastrutture di calcolo distribuito ”.I “modelli”, di seguito allegati, utilizzati durante gli incontri preliminari [1] con le nuove comunità diutenti con il duplice obiettivo di comprendere la tipologia di applicazioni di interesse della comunità edindividuare le esigenze delle varie applicazioni in termini di risorse hardware e software, si possonoclassificare come segue:1. Modelli relativi a ciascun livello dell'applicazione (“Livello applicativo”, “LivelloMiddleware”, “Livello Sistema”): ciascuno dei quali è compilato, durante l'intervista effettuataagli esponenti della comunità, a cura del componente del gruppo di gestione con le competenzespecifiche del livello considerato

2. Modello riassuntivo che è compilato da tutto il gruppo di gestione a partire dai dati raccoltimediante i modelli di cui al punto 1 con l'obiettivo di fornire un quadro complessivo di ciascunaapplicazione che la nuova comunità intende “portare” sull' infrastruttua.Il documento è quindi così organizzato: nelle appendici A.1, A.2 e A.3 sono rispettivamente riportati imoduli relativi al “Livello applicativo”, al “Livello Middleware” e al “Livello Sistema”. In appendiceB è riportato il modello riassuntivo.Riferimenti[1] G.B. Barone, V. Boccia, D. Bottalico, L. Carracciuolo , Il supporto all'utenza e alle applicazioni sulsistema SCoPE: l'esperienza di UNINA . Reperibile all'URL:http://www.scope.unina.it/C4/report/docs/supporto­NuoviUtenti­Applicazioni.pdf

Appendice A.1

Form di rilevamento delle Applicazionidelle nuove comunità di utenti(Livello Applicativo)Identificativo della Comunità:Numero di problemi della comunità:

(compilare una form per ogni problema)1. Problema risolto dall'applicazione (indicare anche eventuali riferimenti bibliografici)(esempi:• eliminazione del rumore da sequenze di immagini cardiache tridimensionali acquisite mediante ecografia;• simulazione di spettri vibrazionali di sistemi molecolari medio-grandi• simulazioni di processi di fluidodinamica, …)2. Descrizione dell'applicazione in termini di componentiNuclei di calcolo (se si compilare anche il punto 3)Nuclei per la gestione dati (se si compilare anche il punto 4)Interazione con strumenti di visualizzazione, acquisizione, etc. (se si compilareanche il punto 5)Portale di accesso e workflow (se si compilare anche il punto 6)3. Descrizione dei nuclei di calcolo (compilare le sezioni da 3.2 a 3.5 per ogni nucleo)3.1 Organizzazione logica dei nuclei di calcoloSISISISINONONONO3.2 Modellizzazione del problema (se noto)(ad esempio:equazioni differenziali alle derivate parziali, equazioni integrali, …)Il modello è già esistente?E' in corso di sviluppo?E’ stato creato per il problema specifico?SISISINONONO

3.3 Modello numerico e/o approssimato (se noto)(esempi:• Volumi finiti nello spazio tridimensionale e discretizzazione temporale del primo ordine;• Density Functional Theory con funzioni di base gaussiane per la rappresentazione della densità elettronica)3.4 Nuclei computazionali più onerosi (se noto)(esempi:• risoluzione di sistemi lineari con matrice dei coefficienti sparsa;• minimizzazioni energetiche con algoritmi misti, e calcolo delle derivate seconde dell’energia)3.5 Caratteristiche del codice utilizzatoa) Del codice disponibile:Esiste una versione sequenziale?Esiste una versione parallela? (se si passare al punto c)b) Se non esiste la versione parallela:Ritiene che possa essere vantaggioso implementare una versione parallela. Se siquali vantaggi ne potrebbero derivare?SISISINONONOE` stato già avviato uno studio per la parallelizzazione dei nucleicomputazionali?SINOc) Su quale paradigma è basata la versione parallela dell'applicazione? (se noto)Message Passing (MPI)Multithread (OpenMP)Acceleratori (GPU)Ibrido (specificare quale; ad es. MPI+OpenMP, MPI+GPU, ...)SISISISINONONONOd) Il codice disponibile possiede parti:Sviluppate in proprioSINO

CommercialiOpen source4. Accesso a dati e metadati4.1 Modello di gestione datiSISINONO(esempio: gerarchico, flat, ...)4.2 DatiL'applicazione è data intensive?Se si, specificare l'ordine di grandezza dei dati da gestire in input e outputSINOI dati sono memorizzati in modo persistente?I dati sono memorizzati temporaneamente all'esecuzione?I dati sono acceduti in streaming?I dati sono sensibili e/o coperti da segretezza?Se si, in che modo sono protetti? (es. crittografati completamente o in parte, ...)SISISISINONONONO4.3 MetadatiL'applicazione fa uso di metedati?Se si, specificare il formato dei metadatiSINO4.4 Database o RepositoryL'applicazione fa uso di Database?SINO

5. Interazione con altri strumenti5.1 Sistemi di visualizzazioneL'applicazione interagisce con strumenti di visualizzazione?Se si,di che tipo?SINOsi descrivano le modalità di interazione con lo strumento di visualizzazione (es.realtime, offline, batch, ...)5.2 Sistemi di acquisizioneL'applicazione interagisce con strumenti di acquisizione?Se si,di che tipo?SINOsi descrivano le modalità di interazione con lo strumento di acquisizione (es.realtime, offline, batch, ...)6. Portale di accesso e workflow6.1 PortaleL'applicazione è accessibile dal web attraverso un portale?Se si,specificare l'URLSINOSe no, potrebbe essere utile disporre di un portale di accesso? Se si, con qualifunzionalità?AutenticazioneAmbiente utente personalizzabileSISISINONONO

Strumenti di visualizzazioneJob managementData managementGestione dei workflowAltro (specificare)SISISISINONONONO6.2 Gestori di workflowI vari moduli software che compongono l'applicazione sono coordinatimediante un workflow?Se si,descrivere brevemente l'interazione tra i moduliSINOSe no, potrebbe essere utile disporre di un gestore di workflow?6.3 Middleware di grigliaL'applicazione utilizza già middleware GRID?Se no, ritiene che possa essere vantaggioso implementare una versione GRID?Se si quali vantaggi ne potrebbero derivare?SISISINONONO7. Informazioni sulla comunità che utilizza l'applicazione7.1 Rilevanza della comunitàDa quante persone è costituita la comunità?La comunità partecipa a progetti?Se si, specificare nome/i.NazionaliInternazionali

La comunità collabora con altre comunità?Se si, specificare nome/i.NazionaliInternazionaliLa comunità fa uso di risorse di calcolo e/o storage apagamento o in convenzione?SINO

Appendice A.2

Form di rilevamento delle Applicazionidelle nuove comunità di utenti(Livello Middleware)Identificativo della Comunità:Numero di problemi della comunità:

(compilare una form per ogni problema)1. Problema risolto dall'applicazione (indicare anche eventuali riferimenti bibliografici)(esempi:• eliminazione del rumore da sequenze di immagini cardiache tridimensionali acquisite mediante ecografia;• simulazione di spettri vibrazionali di sistemi molecolari medio-grandi• simulazioni di processi di fluidodinamica, ...)2. Descrizione dell'applicazione in termini di componentiNuclei di calcoloNuclei per la gestione datiInterazione con strumenti di visualizzazione, acquisizione, etc.Portale di accesso e workflow (se si compilare anche il punto 3)3. Portale di accesso e workflow3.1 Middleware di grigliaL'applicazione utilizza già middleware GRID?Se si, quale?GlobusLCG/gLiteUnicoreARCEMIAltro (specificare)SISISISISISISISISISISINONONONONONONONONONONO4. Informazioni sulla comunità che utilizza l'applicazione4.1 VO e VRCLa comunità appartiene a qualche Virtual Organization (VO) giàesistente?Se si, selezionareQuale/i?ItalianaSINOEuropea

La comunità appartiene a qualche Virtual Research Community (VRC)già esistente?Se si, selezionareQuale/i?ItalianaSINOEuropea

Appendice A.3

Form di rilevamento delle Applicazionidelle nuove comunità di utenti(Livello Sistema)Identificativo della Comunità:Numero di problemi della comunità:

(compilare una form per ogni problema)1. Problema risolto dall'applicazione (indicare anche eventuali riferimenti bibliografici)(esempi:• eliminazione del rumore da sequenze di immagini cardiache tridimensionali acquisite mediante ecografia;• simulazione di spettri vibrazionali di sistemi molecolari medio-grandi• simulazioni di processi di fluidodinamica, ...)2. Descrizione dell'applicazione in termini di componentiNuclei di calcolo (se si compilare anche il punto 3)Nuclei per la gestione dati (se si compilare anche il punto 4)Interazione con strumenti di visualizzazione, acquisizione, etc. (se si compilareanche il punto 5)Portale di accesso e workflow (se si compilare anche il punto 6)3. Descrizione dei nuclei di calcolo (compilare le sezioni da 3.2 a 3.3 per ogni nucleo)3.1 Organizzazione logica dei nuclei di calcoloSISISISINONONONO3.2 Caratteristiche del codice utilizzatoa) Del codice disponibile:Esiste una versione sequenziale?Esiste una versione parallela? (se si passare al punto c)SISINONOb) Su quale paradigma è basata la versione parallela dell'applicazione? (se noto)

Message Passing (MPI)Multithread (OpenMP)Acceleratori (GPU)Ibrido (specificare quale; ad es. MPI+OpenMP, MPI+GPU, ...)SISISISINONONONOc) Il codice disponibile possiede parti:Sviluppate in proprioCommercialiOpen sourced) Quali linguaggi di programmazione/scripting usa l'applicazione?C/C++Fortran (specificare versione: '77, '90, '95, ...)JavaPythonPerlAltro (specificare)SISISISISISISISISINONONONONONONONONOe) Quali ambienti di sviluppo usa l'applicazione?OctaveMatlabIDLAltro (specificare)SISISISINONONONOf) Vengono utilizzati applicativi specifici?NastranGaussianQuantum EspressoSISISINONONO

FluentGromacsCESMNemoAltro (specificare)SISISISISINONONONONOg) Vengono utilizzate librerie standard?BLASPBLASSPARSKITLAPACKScaLAPACKNAGGSLTRILINOSPETScFFTWAltro (specificare)SISISISISISISISISISISINONONONONONONONONONONO3.3 Ambiente hardware/software di riferimento(esempio: cluster di 8 PC a 2.4 GHtz connessi con switch a 100 Mbits, sistema operativo Scientific Linux/Ubuntu, ...)

4. Accesso a dati e metadati4.1 DatiL'applicazione è data intensive?Se si, specificare l'ordine di grandezza dei dati da gestire in input e outputSINOI dati sono memorizzati in modo persistente? Se si, su che tipo di supporto dimemorizzazione?Disco localeArea scratch distribuitaStorage Area Network (SAN)Unità NastroAltro (specificare)SISISISISISINONONONONONOI dati sono memorizzati temporaneamente all'esecuzione?I dati sono acceduti in streaming? Se si, in che modo?SISINONOIn che formato sono i dati? (ad es. Raw, formati immagini, formati video, formatidicom, ...)I dati sono sensibili e/o coperti da segretezza?Se si, in che modo sono protetti? (es. crittografati completamente o in parte, ...)SINO

4.2 MetadatiL'applicazione fa uso di metedati?Se si, specificare il formato dei metadatiSINO4.3 Database o RepositoryL'applicazione fa uso di Database? Se si, specificareMySQLPostgresOracleAltro (specificare)SISISISINONONONO5. Interazione con altri strumenti5.1 Sistemi di visualizzazioneL'applicazione interagisce con strumenti di visualizzazione?Se si,di che tipo?SINOsi descrivano le modalità di interazione con lo strumento di visualizzazione (es.realtime, offline, batch, ...)5.2 Sistemi di acquisizioneL'applicazione interagisce con strumenti di acquisizione?Se si,di che tipo?SINO

si descrivano le modalità di interazione con lo strumento di acquisizione (es.realtime, offline, batch, ...)6. Portale di accesso e workflow6.1 PortaleL'applicazione è accessibile dal web attraverso un portale?Se si,specificare la tecnologia utilizzata per il portale (esempio Liferay, Tomcat, …)SINO6.2 Gestori di workflowI vari moduli software che compongono l'applicazione sono coordinatimediante un workflow?Se si,su quali tecnologie si basa il gestore di workflow?SINO

Appendice B

Form di rilevamento delle Applicazionidelle nuove comunità di utentiIdentificativo della Comunità:Numero di problemi della comunità:

(compilare una form per ogni problema)1. Problema risolto dall'applicazione (indicare anche eventuali riferimenti bibliografici)(esempi:• eliminazione del rumore da sequenze di immagini cardiache tridimensionali acquisite mediante ecografia;• simulazione di spettri vibrazionali di sistemi molecolari medio-grandi• simulazioni di processi di fluidodinamica, ...)2. Descrizione dell'applicazione in termini di componentiNuclei di calcolo (se si compilare anche il punto 3)Nuclei per la gestione dati (se si compilare anche il punto 4)Interazione con strumenti di visualizzazione, acquisizione, etc. (se si compilareanche il punto 5)Portale di accesso e workflow (se si compilare anche il punto 6)3. Descrizione dei nuclei di calcolo (compilare le sezioni da 3.2 a 3.6 per ogni nucleo)3.1 Organizzazione logica dei nuclei di calcoloSISISISINONONONO3.2 Modellizzazione del problema (se noto)(ad esempio:equazioni differenziali alle derivate parziali, equazioni integrali, …)Il modello è già esistente?E' in corso di sviluppo?E’ stato creato per il problema specifico?SISISINONONO

3.3 Modello numerico e/o approssimato (se noto)(esempi:• Volumi finiti nello spazio tridimensionale e discretizzazione temporale del primo ordine;• Density Functional Theory con funzioni di base gaussiane per la rappresentazione della densità elettronica)3.4 Nuclei computazionali più onerosi (se noto)(esempi:• risoluzione di sistemi lineari con matrice dei coefficienti sparsa;• minimizzazioni energetiche con algoritmi misti, e calcolo delle derivate seconde dell’energia)3.5 Caratteristiche del codice utilizzatoa) Del codice disponibile:Esiste una versione sequenziale?Esiste una versione parallela? (se si passare al punto c)b) Se non esiste la versione parallela:Ritiene che possa essere vantaggioso implementare una versione parallela. Se siquali vantaggi ne potrebbero derivare?SISISINONONOE` stato già avviato uno studio per la parallelizzazione dei nucleicomputazionali?SINOc) Su quale paradigma è basata la versione parallela dell'applicazione? (se noto)Message Passing (MPI)Multithread (OpenMP)Acceleratori (GPU)Ibrido (specificare quale; ad es. MPI+OpenMP, MPI+GPU, ...)SISISISINONONONOd) Il codice disponibile possiede parti:Sviluppate in proprioSINO

CommercialiOpen sourcee) Quali linguaggi di programmazione/scripting usa l'applicazione?C/C++Fortran (specificare versione: '77, '90, '95, ...)JavaPythonPerlAltro (specificare)SISISISISISISISINONONONONONONONOf) Quali ambienti di sviluppo usa l'applicazione?OctaveMatlabIDLAltro (specificare)SISISISINONONONOg) Vengono utilizzati applicativi specifici?NastranGaussianQuantum EspressoFluentGromacsCESMNemoAltro (specificare)SISISISISISISISINONONONONONONONOg) Vengono utilizzate librerie standard?

BLASPBLASSPARSKITLAPACKScaLAPACKNAGGSLTRILINOSPETScFFTWAltro (specificare)SISISISISISISISISISISINONONONONONONONONONONO3.6 Ambiente hardware/software di riferimento(esempio: cluster di 8 PC a 2.4 GHtz connessi con switch a 100 Mbits, sistema operativo Scientific Linux/Ubuntu, …)4. Accesso a dati e metadati4.1 Modello di gestione dati(esempio: gerarchico, flat, ...)4.2 DatiL'applicazione è data intensive?Se si, specificare l'ordine di grandezza dei dati da gestire in input e outputSINOI dati sono memorizzati in modo persistente? Se si, su che tipo di supporto dimemorizzazione?Disco localeSISINONO

Area scratch distribuitaStorage Area Network (SAN)Unità NastroAltro (specificare)SISISISINONONONOI dati sono memorizzati temporaneamente all'esecuzione?I dati sono acceduti in streaming? Se si, in che modo?SISINONOIn che formato sono i dati? (ad es. Raw, formati immagini, formati video, formatidicom, ...)I dati sono sensibili e/o coperti da segretezza?Se si, in che modo sono protetti? (es. crittografati completamente o in parte, ...)SINO4.3 MetadatiL'applicazione fa uso di metedati?Se si, specificare il formato dei metadatiSINO4.4 Database o RepositoryL'applicazione fa uso di Database? Se si, specificareMySQLPostgresOracleAltro (specificare)SISISISINONONONO

5. Interazione con altri strumenti5.1 Sistemi di visualizzazioneL'applicazione interagisce con strumenti di visualizzazione?Se si,di che tipo?SINOsi descrivano le modalità di interazione con lo strumento di visualizzazione (es.realtime, offline, batch, ...)5.2 Sistemi di acquisizioneL'applicazione interagisce con strumenti di acquisizione?Se si,di che tipo?SINOsi descrivano le modalità di interazione con lo strumento di acquisizione (es.realtime, offline, batch, ...)6. Portale di accesso e workflow6.1 PortaleL'applicazione è accessibile dal web attraverso un portale?Se si,specificare l'URLSINOspecificare la tecnologia utilizzata per il portale (esempio Liferay, Tomcat, …)

Se no, potrebbe essere utile disporre di un portale di accesso? Se si, con qualifunzionalità?AutenticazioneAmbiente utente personalizzabileStrumenti di visualizzazioneJob managementData managementGestione dei workflowAltro (specificare)SISISISISISISINONONONONONONO6.2 Gestori di workflowI vari moduli software che compongono l'applicazione sono coordinatimediante un workflow?Se si,su quali tecnologie si basa il gestore di workflow?SINOdescrivere brevemente l'interazione tra i moduliSe no, potrebbe essere utile disporre di un gestore di workflow?6.3 Middleware di grigliaL'applicazione utilizza già middleware GRID?Se si, quale?GlobusLCG/gLiteUnicoreARCEMISISISISISISISINONONONONONONO

Altro (specificare)SINOSe no, ritiene che possa essere vantaggioso implementare una versione GRID?Se si quali vantaggi ne potrebbero derivare?SINO7. Informazioni sulla comunità che utilizza l'applicazione7.1 VO e VRCLa comunità appartiene a qualche Virtual Organization (VO) giàesistente?Se si, selezionareQuale/i?ItalianaSINOEuropeaLa comunità appartiene a qualche Virtual Research Community (VRC)già esistente?Se si, selezionareQuale/i?ItalianaSINOEuropea7.2 Rilevanza della comunitàDa quante persone è costituita la comunità?La comunità partecipa a progetti?Se si, specificare nome/i.Nazionali InternazionaliLa comunità collabora con altre comunità?Nazionali Internazionali

Se si, specificare nome/i.