Strumenti Utente

Strumenti Sito

Traccia:
calcoloscientifico:migrazione_a_slurm

Differenze

Queste sono le differenze tra la revisione selezionata e la versione attuale della pagina.

Link a questa pagina di confronto

Entrambe le parti precedenti la revisioneRevisione precedente
Prossima revisione		Revisione precedente
calcoloscientifico:migrazione_a_slurm [16/03/2018 15:47] – [Situazione iniziale] fabio.spatarocalcoloscientifico:migrazione_a_slurm [12/04/2018 17:58] (versione attuale) – fabio.spataro
Linea 13: Linea 13:
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuale | +| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuali | 
-| ws01 | Web Server | DokuWiki | VRT | Virtuale | +| ws01 | Web Server | DokuWiki | VRT | Virtuali | 
-| ds[03-04] | Directory Server | Identity provider, authentication | VRT | Virtuale | +| ds[03-04] | Directory Server | Identity provider, authentication | VRT | Virtuali | 
-| db02 | Data Base | Accounting | VRT | Virtuale |+| db02 | Data Base | Accounting | VRT | Virtuali |
 | fs01 | File Server | Storage | NAS | 36 TB | | fs01 | File Server | Storage | NAS | 36 TB |
  
Linea 23: Linea 23:
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
 | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi | | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi |
-| se[03-06] | Storage Element | Storage, quorum | GPFS, VRT | Virtuale |+| se[03-06] | Storage Element | Storage, quorum | GPFS, VRT | Virtuali |
  
 === PBS Pro - UNIPR::PROD Cluster - hpc.unipr.it - Data Center Ateneo === === PBS Pro - UNIPR::PROD Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui01 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui01 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ui03 | Graphical User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui03 | Graphical User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ce01 | Computing Element | Job scheduler | VRT | Virtuale |+| ce01 | Computing Element | Job scheduler | VRT | Virtuali |
 | wn[01-08] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 32 core | | wn[01-08] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 32 core |
 | wn33 | Worker Node | Computing node | FAT | Intel Xeon Broadwell, 1TB RAM, 32 core | | wn33 | Worker Node | Computing node | FAT | Intel Xeon Broadwell, 1TB RAM, 32 core |
 | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 5 NVIDIA Tesla P100 | | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 5 NVIDIA Tesla P100 |
-| wn[51-54] | Worker Node | Computing node | KNL | Intel Xeon Phi Knights Landing | +| wn[51-54] | Worker Node | Computing node | KNL | Intel Xeon Phi Knights Landing, 68 core | 
-| wn61 | Worker Node | Computing node | VRT | Virtuale |+| wn61 | Worker Node | Computing node | VRT | Virtuali |
  
 === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo === === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui02 | User Interface | Login, compilazione, sottomissione job | VRT | Virtuale | +| ui02 | User Interface | Login, compilazione, sottomissione job | VRT | Virtuali | 
-| ce02 | Computing Element | Job scheduler | VRT | Virtuale |+| ce02 | Computing Element | Job scheduler | VRT | Virtuali |
 | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 2 NVIDIA Tesla P100 | | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 2 NVIDIA Tesla P100 |
-| wn[71-74] | Worker Node | Computing node | VRT | Virtuale |+| wn[71-74] | Worker Node | Computing node | VRT | Virtuali |
  
 === PBS Pro - INFN::PREPROD Cluster - pr.infn.it - Plesso di Fisica === === PBS Pro - INFN::PREPROD Cluster - pr.infn.it - Plesso di Fisica ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui10 | User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui10 | User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ce01 | Computing Element | Job scheduler | VRT | Virtuale |+| ce01 | Computing Element | Job scheduler | VRT | Virtuali |
 | wn[81-97] | Worker Node | Computing node | OLD | Intel Xeon | | wn[81-97] | Worker Node | Computing node | OLD | Intel Xeon |
  
 ==== Situazione transitoria ==== ==== Situazione transitoria ====
  
-Entro la **prima decade di aprile 2018** (data indicativa da concordare con E4) si estende il primo gruppo di management, si modifica il cluster di test, si aggiunge un nuovo gruppo di management e vedono la luce altri due cluster di macchine di calcolo con job scheduler **SLURM**:+Entro la **prima metà di aprile 2018** (data indicativa da concordare con E4) si estende il primo gruppo di management, si toglie dal cluster di prod uno dei nodi Intel Xeon Phi Knights Landing, si modifica il cluster di test, si aggiunge un nuovo gruppo di management e due cluster di macchine di calcolo sono gestite dal job scheduler **SLURM**:
  
   * UNIPR::MANAGEMENT Group   * UNIPR::MANAGEMENT Group
Linea 66: Linea 66:
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuale | +| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuali | 
-| ws01 | Web Server | DokuWiki | VRT | Virtuale | +| ws01 | Web Server | DokuWiki | VRT | Virtuali | 
-| ds[03-04] | Directory Server | Identity provider, authentication | VRT | Virtuale | +| ds[03-04] | Directory Server | Identity provider, authentication | VRT | Virtuali | 
-| db[01-02] | Data Base | Accounting | VRT | Virtuale |+| db01 | Data Base | Accounting | VRT | Virtuali |
 | fs01 | File Server | Storage | NAS | 36 TB | | fs01 | File Server | Storage | NAS | 36 TB |
  
Linea 76: Linea 76:
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
 | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi | | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi |
-| se[03-06] | Storage Element | Storage, quorum | GPFS, VRT | Virtuale |+| se[03-06] | Storage Element | Storage, quorum | GPFS, VRT | Virtuali |
  
 === SLURM - UNIPR::PREPROD Cluster - hpc.unipr.it - Data Center Ateneo === === SLURM - UNIPR::PREPROD Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui61 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui61 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ui62 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui62 | Web Server | Open XDMoD | VRT | Virtuali | 
-| ui63 | Graphical User Interface | Login, compilation, job submission | VRT | Virtuale | +| ce61 | Computing Element | Job scheduler | VRT | Virtuali | 
-| ui64 | Graphical User Interface | Login, compilation, job submission | VRT | Virtuale | +| wn[09-16] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 28 core | 
-| ce61 | Computing Element | Job scheduler | VRT | Virtuale | +| wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 2 core, 2 NVIDIA Tesla P100 | 
-| wn[09-17] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 28 core | +| wn[61-64] | Worker Node | Computing node | VRT | Virtuali |
-| wn34 | Worker Node | Computing node | FAT | Intel Xeon Broadwell, 512GB, 88 core | +
-| wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 2 NVIDIA Tesla P100 | +
-| wn[61-64] | Worker Node | Computing node | VRT | Virtuale |+
  
 === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo === === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui71 | User Interface | Login, compilazione, sottomissione job | VRT | Virtuale | +| ui71 | User Interface | Login, compilazione, sottomissione job | VRT | Virtuali | 
-| ce71 | Computing Element | Job scheduler | VRT | Virtuale | +| ce71 | Computing Element | Job scheduler | VRT | Virtuali | 
-| wn[71-74] | Worker Node | Computing node | VRT | Virtuale |+| wn17 | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 28 core | 
 +| wn34 | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 512GB, 88 core, NVIDIA GeForce GTX 1050 Ti | 
 +| wn54 | Worker Node | Computing node | KNL | Intel Xeon Phi Knights Landing, 68 core | 
 +| wn[71-74] | Worker Node | Computing node | VRT | Virtuali |
  
 ==== Situazione a regime ==== ==== Situazione a regime ====
  
-Entro la **fine aprile 2018** (data indicativa da concordare con E4) vengono fermati i servizi PBS Pro, il cluster UNIPR::PREPROD confluisce nel cluster UNIPR::PROD. Lo storage NAS viene sostituito dalla nuova architettura SAN + GPFS (Ethernet ed OmniPath). I vecchi Directory Server (ds[03-04] Scientific Linux 5.11) vengono sostituiti con macchine più aggiornate (ds[01-02] CentOS 7.4). I Worker Node con SLURM hanno accesso a tutte e 7 le GPU NVIDIA Tesla P100.+Entro la **prima decade di maggio 2018** (data indicativa da concordare con E4) vengono fermati i servizi PBS Pro, il cluster UNIPR::PREPROD confluisce nel cluster UNIPR::PROD. Lo storage NAS viene sostituito dalla nuova architettura SAN + GPFS (Ethernet ed OmniPath). I Worker Node con SLURM hanno accesso a tutte e 7 le GPU NVIDIA Tesla P100.
  
 Il cluster INFN::PREPROD, ormai obsoleto, viene disattivato. Tutti gli utenti hanno da tempo accesso al cluster UNIPR::PROD. Il cluster INFN::PREPROD, ormai obsoleto, viene disattivato. Tutti gli utenti hanno da tempo accesso al cluster UNIPR::PROD.
Linea 107: Linea 107:
  
 Il cluster UNIPR::TEST con servizi SLURM resta attivo. Il cluster UNIPR::TEST con servizi SLURM resta attivo.
 +
 +Entro la **fine del 2018** vengono attivati un secondo Data Base server (db02) ed un secondo Computing Element (ce02).
 +
 +Entro la **fine del 2019** i vecchi Directory Server (ds[03-04] Scientific Linux 5.11) vengono sostituiti con macchine più aggiornate (ds[01-02] CentOS 7).
  
 === UNIPR::MANAGEMENT Group - hpc.unipr.it - Data Center Ateneo === === UNIPR::MANAGEMENT Group - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuale | +| cm01 | Configuration Manager | Provisioning, configuration management | VRT | Virtuali | 
-| ws01 | Web Server | DokuWiki | VRT | Virtuale | +| ws01 | Web Server | DokuWiki | VRT | Virtuali | 
-| ds[01-02] | Directory Server | Identity provider, authentication | VRT | Virtuale | +| ds[03-04] | Directory Server | Identity provider, authentication | VRT | Virtuali | 
-| db[01-01] | Data Base | Accounting | VRT | Virtuale |+| db01 | Data Base | Accounting | VRT | Virtuali |
  
 === INFN::MANAGEMENT Group - pr.infn.it - Data Center Ateneo === === INFN::MANAGEMENT Group - pr.infn.it - Data Center Ateneo ===
Linea 120: Linea 124:
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
 | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi | | se[01-02] | Storage Element | Storage | SAN, GPFS, BDW | Intel Xeon Broadwell, 120 TB condivisi |
-| se03 | Storage Element | Storage, quorum | GPFS, VRT | Virtuale, 120 TB condivisi |+| se03 | Storage Element | Storage, quorum | GPFS, VRT | Virtuali, 120 TB condivisi |
  
 === SLURM - UNIPR::PROD Cluster - hpc.unipr.it - Data Center Ateneo === === SLURM - UNIPR::PROD Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui[01-02] | Text-based User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui01 | Text-based User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ui[03-04] | Graphical User Interface | Login, compilation, job submission | VRT | Virtuale | +| ui03 | Graphical User Interface | Login, compilation, job submission | VRT | Virtuali | 
-| ce[01-02] | Computing Element | Job scheduler | VRT | Virtuale |+| ce01 | Computing Element | Job scheduler | VRT | Virtuali |
 | wn[01-08] | Worker Node | Computing node| BDW | Intel Xeon Broadwell, 128GB, 32 core | | wn[01-08] | Worker Node | Computing node| BDW | Intel Xeon Broadwell, 128GB, 32 core |
 | wn[09-17] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 28 core | | wn[09-17] | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 128GB, 28 core |
-| wn33 | Worker Node | Computing node | FAT | Intel Xeon Broadwell, 1TB RAM, 32 core | +| wn33 | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 1TB RAM, 32 core | 
-| wn34 | Worker Node | Computing node | FAT | Intel Xeon Broadwell, 512GB RAM, 88 core |+| wn34 | Worker Node | Computing node | BDW | Intel Xeon Broadwell, 512GB RAM, 88 core |
 | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 7 NVIDIA Tesla P100 | | wn[41-42] | Worker Node | Computing node | GPU | Intel Xeon Broadwell, 7 NVIDIA Tesla P100 |
-| wn[51-54] | Worker Node | Computing node | KNL | Intel Xeon Phi Knights Landing | +| wn[51-54] | Worker Node | Computing node | KNL | Intel Xeon Phi Knights Landing, 68 core | 
-| wn[61-64] | Worker Node | Computing node | VRT | Virtuale |+| wn[61-64] | Worker Node | Computing node | VRT | Virtuali |
  
 === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo === === SLURM - UNIPR::TEST Cluster - hpc.unipr.it - Data Center Ateneo ===
  
 ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^ ^ Hostname ^ Ruolo ^ Funzioni ^ Tipologia ^ Risorse ^
-| ui71 | Text-based User Interface | Login, compilazione, sottomissione job | VRT | Virtuale | +| ui71 | Text-based User Interface | Login, compilazione, sottomissione job | VRT | Virtuali | 
-| ce71 | Computing Element | Job scheduler | VRT | Virtuale | +| ce71 | Computing Element | Job scheduler | VRT | Virtuali | 
-| wn[71-74] | Worker Node | Computing node | VRT | Virtuale |+| wn[71-74] | Worker Node | Computing node | VRT | Virtuali |
  
 ==== Requisiti ==== ==== Requisiti ====
calcoloscientifico/migrazione_a_slurm.1521211663.txt.gz · Ultima modifica: 16/03/2018 15:47 da fabio.spataro
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki