calcoloscientifico:guidautente_slurm
Differenze
Queste sono le differenze tra la revisione selezionata e la versione attuale della pagina.
| Entrambe le parti precedenti la revisioneRevisione precedenteProssima revisione | Revisione precedente | ||
| calcoloscientifico:guidautente_slurm [12/04/2018 12:58] – [Utilizzo del cluster GPU ===== == SLURM FATTO MA DA RIVEDERE BENE] paolo.oggiano | calcoloscientifico:guidautente_slurm [06/06/2018 15:27] (versione attuale) – [Storage] roberto.covati | ||
|---|---|---|---|
| Linea 2: | Linea 2: | ||
| Progetto HPC <em>- Calcolo Scientifico dell' | Progetto HPC <em>- Calcolo Scientifico dell' | ||
| < | < | ||
| - | [[https:// | + | [[https:// |
| ** [[ calcoloscientifico: | ** [[ calcoloscientifico: | ||
| Linea 125: | Linea 125: | ||
| ^ Mount Point ^ Env. Var. | ^ Mount Point ^ Env. Var. | ||
| - | ^ / | + | ^ / |
| - | ^ / | + | ^ / |
| - | ^ / | + | ^ / |
| - | ^ / | + | ^ / |
| - | ^ / | + | ^ / |
| < | < | ||
| - | (1) Scratch: passaggio da NAS a SAN previsto per 2Q-2018\\ | + | |
| - | (2) Archive: attivato nel 2019\\ | + | (1) Archive: attivato nel 2019\\ |
| - | (3) Quota al momento non attiva | + | |
| </ | </ | ||
| Linea 160: | Linea 159: | ||
| Le code sono gestite con [[ https:// | Le code sono gestite con [[ https:// | ||
| I job vengono sottomessi sulla coda di routing e smistati automaticamente su una coda di esecuzione in base alle risorse richieste. | I job vengono sottomessi sulla coda di routing e smistati automaticamente su una coda di esecuzione in base alle risorse richieste. | ||
| + | |||
| ==== Code Batch ==== | ==== Code Batch ==== | ||
| Linea 180: | Linea 180: | ||
| ^Cluster | ^Cluster | ||
| - | | BDW | + | | BDW |
| - | | | + | | |
| - | | | + | | KNL | knl |
| - | | | + | | |
| - | | | + | | GPU | gpu |
| - | | KNL | knl_debug | + | | |
| - | | | + | | |
| - | | | + | | |
| - | | GPU | gpu_debug | + | | |
| - | | | + | |
| - | | | + | |
| Area privata | Area privata | ||
| [[calcoloscientifico: | [[calcoloscientifico: | ||
| Linea 219: | Linea 216: | ||
| < | < | ||
| - | salloc | + | srun < |
| - | sbatch < | + | sbatch < |
| </ | </ | ||
| Linea 229: | Linea 226: | ||
| </ | </ | ||
| - | Visualizza | + | Visualizzare |
| < | < | ||
| - | sbalance | + | module load perl # carica il modulo per il linguaggio perl |
| + | sbalance | ||
| </ | </ | ||
| + | < | ||
| + | Il risultato viene espresso con l' | ||
| + | quindi per esempio 1 kSU corrisponde a 1000 ore-cpu. | ||
| + | </ | ||
| === Opzioni principali === | === Opzioni principali === | ||
| Linea 267: | Linea 268: | ||
| **-A <account name>** | **-A <account name>** | ||
| - | consente di specificare l' | + | consente di specificare l' |
| < | < | ||
| -A nome.cognome | -A nome.cognome | ||
| Linea 317: | Linea 318: | ||
| <code bash> | <code bash> | ||
| - | salloc | + | srun -N <numero di nodi> -n <numero cpu> -q <QOS> -C <tipo di nodo> -t <wall time> -L <file system> |
| cat $SLURM_JOB_NODELIST | cat $SLURM_JOB_NODELIST | ||
| scontrol show job < | scontrol show job < | ||
| Linea 327: | Linea 328: | ||
| <code bash> | <code bash> | ||
| # 1 gruppo (chunk) di 2 CPU tipo BDW e file system Scratch | # 1 gruppo (chunk) di 2 CPU tipo BDW e file system Scratch | ||
| - | salloc | + | srun -N1 -n2 -p bdw -L SCRATCH |
| # 2 chunk da 2 CPU di tipo KNL e file system Scratch (possono stare sullo stesso nodo) | # 2 chunk da 2 CPU di tipo KNL e file system Scratch (possono stare sullo stesso nodo) | ||
| - | salloc | + | srun -N2 -n2 -p knl -L SCRATCH |
| # I chunk devono stare su nodi diversi | # I chunk devono stare su nodi diversi | ||
| - | salloc | + | srun -N2 -n2 -p knl --scatter |
| # 1 chunk con 2 GPU sul cluster GPU | # 1 chunk con 2 GPU sul cluster GPU | ||
| - | salloc | + | srun -N1 -p gpu --gres=gpu: |
| # 2 chunk ciascuno con 2 GPU su nodi diversi | # 2 chunk ciascuno con 2 GPU su nodi diversi | ||
| - | salloc | + | srun -N2 --gres=gpu: |
| # --ntask=Y dice a MPI quanti processi devono essere attivati per ogni chunk | # --ntask=Y dice a MPI quanti processi devono essere attivati per ogni chunk | ||
| - | salloc | + | srun -N2 -n1 –ntasks=1: |
| </ | </ | ||
| Linea 541: | Linea 542: | ||
| #SBATCH --cpus-per-task=4 | #SBATCH --cpus-per-task=4 | ||
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
| - | SBATCH -oe | + | #SBATCH -oe |
| cat $SLURM_JOB_NODELIST | cat $SLURM_JOB_NODELIST | ||
| Linea 811: | Linea 812: | ||
| # 1 nodo con 5 GPU | # 1 nodo con 5 GPU | ||
| - | #SBATCH -p gpu_debug | + | #SBATCH -p gpu -N1 |
| #SBATCH --gres=gpu: | #SBATCH --gres=gpu: | ||
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
| Linea 933: | Linea 934: | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N1 -n1 |
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
| Linea 957: | Linea 958: | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N1 -n4 |
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
| Linea 980: | Linea 981: | ||
| #!/bin/bash | #!/bin/bash | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N1 -n1 |
| - | #SBATCH --gres=gpu: | + | #SBATCH --gres=gpu:tesla:1 |
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
| Linea 1002: | Linea 1003: | ||
| #SBATCH --job-name=" | #SBATCH --job-name=" | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N4 -n8 #Richiesta risorse |
| #SBATCH -n8 | #SBATCH -n8 | ||
| #SBATCH --time 0-168:00:00 | #SBATCH --time 0-168:00:00 | ||
| Linea 1094: | Linea 1095: | ||
| #!/bin/sh | #!/bin/sh | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N1 -n32 |
| #SBATCH --cpus-per-task=16 | #SBATCH --cpus-per-task=16 | ||
| #SBATCH --exclusive | #SBATCH --exclusive | ||
| Linea 1122: | Linea 1123: | ||
| #!/bin/sh | #!/bin/sh | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N2 -n32 |
| #SBATCH -n 8 | #SBATCH -n 8 | ||
| #SBATCH --exclusive | #SBATCH --exclusive | ||
| Linea 1158: | Linea 1159: | ||
| # walltime -t / --time : tempo di esecuzione stimato, max 240 ore (meglio una stima per eccesso che effettiva) | # walltime -t / --time : tempo di esecuzione stimato, max 240 ore (meglio una stima per eccesso che effettiva) | ||
| - | #SBATCH -p bdw_debug | + | #SBATCH -p bdw -N1 -n32 |
| #SBATCH --time 0-240: | #SBATCH --time 0-240: | ||
| #oppure --time 10-00:00:00 | #oppure --time 10-00:00:00 | ||
| Linea 1182: | Linea 1183: | ||
| # walltime -t : tempo di esecuzione stimato, max 240 ore (meglio una stima di poco superiore a effettiva) | # walltime -t : tempo di esecuzione stimato, max 240 ore (meglio una stima di poco superiore a effettiva) | ||
| - | #SBATCH -p gpu_dbg | + | #SBATCH -p gpu -N1 -n6 |
| - | #SBATCH --gres=gpu: | + | #SBATCH --gres=gpu:tesla:1 |
| #SBATCH --time 0-00:30:00 | #SBATCH --time 0-00:30:00 | ||
calcoloscientifico/guidautente_slurm.1523530698.txt.gz · Ultima modifica: da paolo.oggiano