共有ファイルサーバと一時ディレクトリ

今、研究データを保存している共有ファイルサーバから、自分のデータを退避させている。

共有サーバはRAIDで構成されており、700GB弱程度のディスク容量を持っている。実験の生データ置き場として使用していたのだが、70GB程度と約1割の容量を占有していた。以前から、これはまずいことだと感じていたが、データを移動する余裕がなく、ここに至ってきたが、ようやく暇ができたので行っている。

自分の場合、RAID上のディスクに実験データを置くことができたので、安心して研究を行うことができた。最近のHDDはクラッシュしにくくなったとはいえ、その確率は0ではない。

共有のファイルサーバによって、個人がバックアップの心配をしなくていい環境が簡単に用意できる。その反面、ディスクアクセスがネットワーク経由になるので、遅くなる。よってデータ置き場では早いディスクアクセスを必要とするような処理を行わせてはならない。

そこで、計算用サーバでは、高速に計算を行うことができるように、大容量の一時(テンポラリ)ディレクトリを各計算用サーバごとに、置くことを検討している。一時ディレクトリで高速に計算を行い、その中から重要なデータ(結果データ)を共有のファイルサーバに転送する。そうすることで、ネットワーク越しのファイル転送の遅さのデメリットをなくそうという方針である。

ここで悩ましいのは、一時ディレクトリの運用方針をどうするかという問題である。/tmp内のファイルは、システムによって自動的に削除される仕組みになっている。これとは別に一時ディレクトリを作ろうとしている。この一時ディレクトリを共用にした場合、誰かのファイルが埋め尽くしてしまう可能性がある。誰かのファイルを自由に削除できる方針でも良いが、処理中に誤って削除してしまう場合も考えられる。

何かよい運用方針はないものだろうか。

カテゴリー: チラシの裏 パーマリンク

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください