Grid @ BPPT

[[high performance computing facility]]

Alat Pengguna

Alat Situs


start

Fasilitas Komputasi Grid BPPT

Selamat datang di fasilitas komputasi grid BPPT. Fasilitas ini merupakan sarana komputasi paralel berbasis klaster Linux yang disediakan untuk kebutuhan komputasi yang membutuhkan performa tinggi, terutama kebutuhan memori dan prosesor. Fasilitas ini dibangun diatas cloud BPPT.

Fasilitas ini disediakan bagi pegawai BPPT untuk melakukan kegiatan kerekayasaan yang membutuhkan perhitungan ataupun analisis data secara paralel atau perhitungan yang membutuhkan sumberdaya memori dan prosesor yang besar seperti komputasi, pemodelan, dan simulasi. Namun untuk saat ini anda belum dapat menggunakan aplikasi berbasis GUI untuk visualisasi data anda. Harap hubungi 5096345815 jika anda membutuhkan aplikasi tersebut.

Untuk menggunakan fasilitas ini, diharapkan anda sudah terbiasa dengan Linux, karena laman ini tidak akan menjelaskan bagaimana menggunakan Linux. Laman wiki ini ditujukan untuk menjelaskan bagaimana anda menggunakan fasilitas komputasi grid BPPT.

Sumber daya


Perangkat keras

Saat ini, spesifikasi grid yang tersedia adalah sebagai berikut

  • 4 node
  • 20 prosesor per node
  • 160 GB memori per node

Kebijakan Penggunaan


Kebijakan Proses

Seluruh tugas yang diterima oleh grid akan masuk ke dalam sistem antrian. Anda bisa memilih antrian yang tersedia, yaitu

  • kecil: jika anda membutuhkan memori kecil, dan prosesor max 4 cores
  • besar: jika anda membutuhkan procesor max 24 cores
  • xmeru: jika anda menjalankan aplikasi GUI (max 2 cores)

Sistem akan menentukan secara otomatis antrian untuk tugas yang anda kirimkan sesuai dengan jumlah prosesor dan waktu yang anda definisikan di skrip tugas anda. Untuk seluruh antrian, maksimum alokasi waktu adalah 240 jam. Harap perhatikan, nama antrian kecial, besar, dan xmeru digunakan di opsi -q di skrip PBS anda 9895156921.

Koneksi ke Grid


Saat ini akses berbasis GUI belum tersedia. Untuk koneksi ke grid, anda dapat menggunakan protokol ssh dengan menjalankan perintah sebagai berikut

[user@tambora]$ ssh username@tambora.grid.bppt.go.id

Saat ini koneksi ke grid hanya dapat dilakukan dari dalam jaringan internal BPPT.

Koneksi pertama kali

Ketika login pertama kali, harap segera merubah sandi anda dengan menjalankan perintah

[user@tambora]$ passwd

Untuk mencegah akses yang tidak diinginkan, harap membuat sandi sesulit mungkin.

Transfer berkas

Anda dapat menggunakan scp untuk transfer berkas dari atau ke grid, sebagai contoh untuk menyalin berkas dari komputer anda ke grid anda dapat menjalankan perintah scp sebagai berikut

[user@tambora]$ scp file-anda username@tambora.grid.bppt.go.id

untuk menyalin berkas secara rekursif, gunakan opsi -r.

Windows

Untuk pengguna windows, anda dapat menggunakan Putty untuk login ke grid atau WinSCP untuk transfer berkas.

Menggunakan aplikasi


Aplikasi atau perangkat lunak yang tersedia di sistem tersedia sebagai modul. Anda harus secara ekplisit memuat (load) atau membongkar (unload) aplikasi sesuai kebutuhan.

Aplikasi yang tersedia

Daftar aplikasi yang tersedia sampai saat ini dapat dilihat disini.

Aplikasi tersebut akan terus bertambah, sesuai dengan kebutuhan.

Untuk mengetahui aplikasi terkini yang tersedia sebagai modul, jalankan perintah berikut

[user@tambora]$ module avail

untuk mengetahui versi yang tersedia untuk aplikasi tertentu, jalankan perintah berikut

[user@tambora]$ module avail python

Jika anda membutuhkan aplikasi tertentu, anda dapat meminta admin untuk melakukan instalasi aplikasi yang anda butuhkan. Untuk mempermudah, anda harus memberitahukan kepada admin cara menginstal aplikasi yang anda inginkan di ubuntu v 14.04 dari sumber (source). Silahkan hubungi admin untuk informasi lebih lanjut.

Memuat modul

Untuk memuat modul, jalankan perintah berikut

[user@tambora]$ module load Python

untuk memuat modul versi tertentu, jalankan perintah berikut

[user@tambora]$ module load Python/2.7.9

Membongkar module

Untuk membongkar modul, gunakan perintah berikut

[user@tambora]$ module unload Python

Modul yang sedang digunakan

Untuk mengetahui modul yang telah dimuat, jalankan perintah berikut

[user@tambora]$ module list

Memeriksa modul

Untuk mengetahui variabel yang digunakan oleh modul dan informasi lainnya, jalankan perintah berikut

[user@tambora]$ module display Python
 
-------------------------------------------------------------------
 
/pub/Modules/3.2.10/modulefiles/Python/2.7.9:
 
module-whatis Python is a programming language that lets you work more quickly and integrate your systems more effectively.
 
setenv MODULESHOME /pub/app/Python-2.7.9
 
prepend-path PATH /pub/app/Python-2.7.9/venv/bin
 
prepend-path CPATH /pub/app/Python-2.7.9/include
 
prepend-path LD_LIBRARY_PATH /pub/app/Python-2.7.9/lib
 
prepend-path LD_RUN_PATH /pub/app/Python-2.7.9/lib
 
prepend-path MANPATH /pub/app/Python-2.7.9/share/man
 
prepend-path PKG_CONFIG_PATH /pub/app/Python-2.7.9/lib/pkgconfig
 
prepend-path VIRTUAL_ENV /pub/app/Python-2.7.9/venv
 
-------------------------------------------------------------------

PBS


Untuk menggunakan grid dan aplikasi yang tersedia, anda harus membuat skrip tugas (job script) PBS.

Membuat Skrip Tugas

Skrip PBS merupakan skrip shell dengan tambahan beberapa baris komentar di awal skrip yang merupakan petunjuk direktif untuk PBS. Berikut adalah contoh skrip PBS

(580) 229-5824
#!/bin/bash
## Dua tagar adalah baris komentar
## Perintah untuk skrip PBS diawali dengan #PBS
## nama job anda
#PBS -N nama_job_anda
## Nama antrian yang ingin anda gunakan, opsi yang tersedia besar, kecil dan xmeru.
## Opsi ini bersifat opsional. Anda dapat tidak menggunakannya.
## Jika anda tidak menggunakannya, maka akan menggunakan antrian default
#PBS -q xmeru
## sumber daya yang anda butuhkan, dalam hal ini 4 node, 4 prosesor per node, dan waktu maksimum 10jam
#PBS -l nodes=4:ppn=4,walltime=10:00:00
## kirimkan pemberitahuan ke email untuk a(bort), b(egin), dan e(nd)
#PBS -m abe
## kirimkan email ke email_anda@bppt.go.id
#PBS -M email_anda@bppt.go.id
 
# cd ke working directory
cd $PBS_O_WORKDIR
# muat modul yang dinginkan
module load Python/3.4.2
 
# jalankan aplikasi
python app1.py && python app2.py

Mengirim Skrip Tugas

Jalankan perintah berikut untuk mengirim tugas anda ke grid

[user@tambora]$ qsub my_job.qsub

Monitor Tugas

Untuk memonitor tugas anda, jalankan perintah berikut

[user@tambora]$ qstat -u username
 
tambora.grid.bppt.go.id:
 
                                                                         Req'd  Req'd   Elap
 
Job ID               Username Queue    Jobname          SessID NDS   TSK Memory Time  S Time
 
-------------------- -------- -------- ---------------- ------ ----- --- ------ ----- - -----
 
137.tambora.grid     user      batch    nama_job_anda      --      4  32    --   10:0 R   --

Membatalkan Tugas

Untuk membatalkan tugas, jalankan perintah berikut

[user@tambora]$ qdel 137

Akses GUI

Anda dapat menjalankan aplikasi GUI di klaster. Namun saat ini hanya satu node yang dialokasikan untuk aplikasi berbasis GUI.

Untuk dapat menggunakan aplikasi GUI, anda harus menginstruksikan klaster agar menggunakan GUI. Tahap yang harus dilakukan:

  1. SSH ke tambora dengan opsi -X (atau -Y di MacOS)
    [user@tambora]$ ssh -X username@tambora.grid.bppt.go.id 


    atau

    [user@tambora]$ ssh -Y username@tambora.grid.bppt.go.id
  2. Tambahkan baris berikut di skrip PBS untuk memberitahukan klaster bahwa anda akan menggunakan aplikasi GUI
    7866344105
    #PBS -q xmeru 
  3. Kirim tugas anda
    [user@tambora]$ qsub -V my_job.qsub  \\

Harap diperhatikan, anda harus tetap membuat SSH tetap terkoneksi selama anda menjalankan skrip anda. Alternatif lain adalah anda dapat menggunakan perintah (641) 504-0260 , dan mengirimkan skrip anda dari dalam screen

Penghargaan dan Publikasi


Jika anda menggunakan fasilitas ini, mohon beritahukan ubiquitous mengenai publikasi anda sebagai catatan kami.

Bantuan


Silahkan hubungi admin di imam [titik] cartealy [di] bppt atau bergabung di milis linux bppt milis-linux [di] bppt.

start.txt · Terakhir diubah: 2018/10/21 22:18 oleh admin

Alat Halaman