はじめに
Singularityをセットアップして使用を開始するために、以下の手順に従ってください。
1. データベースの初期化
初めてSingularityを使用する場合、データベースの初期化が必要です。この手順は一度だけ必要です。
singularity admin init
2. ストレージシステムへの接続
Singularityは、40以上のさまざまなストレージシステムとシームレスに統合するためにRCloneと提携しています。これらのストレージシステムは、2つの主要な役割を果たすことができます:
ソースストレージ: データセットが現在格納されている場所であり、Singularityが準備のためにデータを取得する場所です。
出力ストレージ: Singularityが処理後のCAR(Content Addressable Archive)ファイルを格納する宛先です。 ニーズに適したストレージシステムを選択し、それをSingularityに接続してデータセットの準備を開始しましょう。
2a. ローカルファイルシステムの追加
最も一般的なストレージシステムはローカルファイルシステムです。以下の方法でフォルダをソースストレージとしてsingularityに追加します:
singularity storage create local --name "my-source" --path "/mnt/dataset/folder"
2b. S3データソースの追加
AWS S3やMinIOなどを含む、S3互換のストレージシステムを利用することができます。以下は公開データセットの例です。
singularity storage create s3 aws --name "my-source" --path "public-dataset-test"
3. 準備の作成
singularity prep create --source "my-source" --name "my-prep"
4. 準備ワーカーの実行
singularity prep start-scan my-prep my-source
singularity run dataset-worker
5. 準備のステータスと結果の確認
singularity prep status my-prep
singularity prep list-pieces my-prep
Last updated
Was this helpful?