火山性流動解析専用並列計算機

2006/9/11 修正

基本性能

Dual Core Opteron 280 (2.4GHz,1MB-L2キャッシュ × 2) × 2CPU (メモリ 8GB mem) × 6ノード
- mpiプロセス数 : 4プロセス／ノード × 6ノード
- メモリ容量 : 8GB／ノード × 6ノード

基本的に大規模メモリ容量を必要とする計算に用いる。
全ノードを一斉に使用する計算が主体となるため、利用は順番制にする。
- 利用に先立って volcomp ML において使用予定期間を申告する。
- 計算が終了したら報告する。
- 計算機の運用上の協議は、全てのグループから見えるよう、出来る限りvolcomp MLを使用してopenに行う。

ネットワークはローカルに２系統もつ。
マスターノード (m00/v00) から各スレーブ (m01/v01 ~ m05/v05) にネットワーク経由で繋がっている。
- m00 ~ m05 : 通常使用およびmpi計算の通信用ネットワークにおけるホスト名。
- v00 ~ v05 : NISおよびNFS（ディスクアクセス用通信）用ネットワークにおけるホスト名。
アクセスは地震研内部のIPからのsshのみ受け付ける。sshで出る場合については制限なし。故に外部からの利用時には，地震研サーバeicなどを経由してログインする必要がある。

/home1 (240GB), /home2 (240GB)
- マスターからNFSでスレーブにエクスポート
- 各自のホームディレクトリ，および作業領域として使用
/work (130GB)
- 各ノードにローカルディスクとして存在
- 各自，ローカルな作業領域として使用
- スレーブノードから/workをマスターにエクスポート。
- マスターノードにおいては以下のようなパスでアクセスできる：
  
  /net/m00work
  /net/m01work
  　　:
  /net/m05work
- マスターはautofsでマウント：アクセスすると自動的にマウント、アクセスしないと見えない。
  
  例：　% ls /net/m01work

IOの少ない場合：各ノードにおいて、/home1, /home2上でそのまま実行．
各計算ノードにログインし，そこでコンパイル＆実行．
1. [m00]$ ssh m02
2. [m02]$ gcc test.c
3. [m02]$ ./a.out
　
IOの多い場合 ：各ノードにおける /work 上で実行．
各計算ノードにおいてコンパイル後，/work以下の各自のディレクトリにファイルをコピーし，そこで実行．計算結果を m00 に回収．
1. [m00]$ ssh m02
2. [m02]$ gcc test.c
3. [m02]$ cp a.out /work/niimura
4. [m02]$ cd /work/niimura
5. [m02]$ ./a.out
6. [m02]$ exit
7. [m00]$ cp /net/m02work/niimura/data.dat ~/

使用するノードを明示的に選択しない場合：マスターノード上でコンパイル＆ mpirun の実行。
1. [m00]$ mpicc test.c
2. [m00]$ mpirun -np 20 ./a.out
計算ノードを指定せずに流すと、m00から2プロセスずつ割り振られていく（全ノード一巡して足りなかったら，またm00から2プロセスずつ割り振られる）
使用するノードを明示的に選択する場合："-machinefile mymachines" オプション付きで mpirun で実行。

mymachines の中身に関係なく，実行したノードがかならずランク0に割り当てられることに注意
- m03, m04 限定で使用したい場合の mymachines の中身
  
  m03
  m04
- /home1, /home2 あるいは /work 上で使用可能（下記の例は /work 上）
1. [m00]$ mpicc test.c
2. [m00]$ cp a.out /net/m03work/niimura
3. [m00]$ ssh m03
4. [m03]$ cd /work/niimura
5. [m03]$ mpirun -np 8 -machinefile mymachines ./a.out
6. [m03]$ exit
7. [m00]$ cp /net/m03work/niimura/data.dat ~/

2006.3.10 新村裕昭 (東京大学　地震研究所　地球ダイナミクス部門　小屋口研究室)