✨
Singularity
日本語
日本語
  • 概要
    • Singularityとは何ですか
    • V1またはV2
  • インストール
    • バイナリのダウンロード
    • Dockerを使用してインストールする
    • ソースからビルドする
    • 本番環境への展開
  • データの準備
    • はじめに
    • パフォーマンスのチューニング
  • コンテンツの配布
    • CARファイルの配布
  • 取引の実施
    • 取引スケジュールの作成
  • トピック
    • インライン準備
    • ベンチマーク
  • 💻CLIリファレンス
    • メニュー
    • Ez Prep
    • バージョン
    • 管理者
      • 初期化
      • リセット
      • データセットの移行
      • スケジュールの移行
    • ダウンロード
    • CARの抽出
    • 取引
      • スケジュール
        • 作成
        • リスト
        • 更新
        • 一時停止
        • 再開
      • 手動送信
      • リスト
    • 実行
      • API
      • データセットワーカー
      • コンテンツプロバイダー
      • 取引トラッカー
      • 取引プッシャー
      • ダウンロードサーバー
    • ウォレット
      • インポート
      • リスト
      • 削除
    • ストレージ
      • 作成
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • エクスプローラー
      • リスト
      • 削除
      • アップデート
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • 名前変更
    • Prep
      • 作成
      • リスト
      • 状態
      • 名前変更
      • ソースの添付
      • 出力の添付
      • 出力の解除
      • スキャンの開始
      • スキャンの一時停止
      • パックの開始
      • パックの一時停止
      • Daggenの開始
      • Daggenの一時停止
      • ピースのリスト
      • ピースの追加
      • エクスプローラー
      • ウォレットの添付
      • ウォレットのリスト
      • ウォレットの解除
  • 🌐Web APIリファレンス
    • 取引スケジュール
    • 取引
    • ファイル
    • ジョブ
    • ピース
    • 準備
    • ストレージ
    • ウォレット関連
    • ウォレット
    • 仕様
  • ❓FAQ
    • データベースがロックされています
Powered by GitBook
On this page

Was this helpful?

Edit on GitHub
  1. CLIリファレンス
  2. ストレージ
  3. 作成
  4. AWS S3 and compliant

Netease

``` NAME: singularity storage create s3 netease - Netease Object Storage(NOS)

使用法: singularity storage create s3 netease [command options] [arguments...]

説明: --env-auth ランタイムからAWSの認証情報を取得します(環境変数またはEC2/ECSメタデータ)。

  access_key_idとsecret_access_keyが空白の場合にのみ適用されます。

  例:
     | false | 次のステップでAWSの認証情報を入力します。
     | true  | 環境(環境変数またはIAM)からAWSの認証情報を取得します。

--access-key-id AWSのアクセスキーID。

  匿名アクセスまたはランタイムの認証情報の場合、空白のままにします。

--secret-access-key AWSのシークレットアクセスキー(パスワード)。

  匿名アクセスまたはランタイム認証情報の場合、空白のままにします。

--region 接続するリージョン。

  S3クローンを使用していてリージョンが不明な場合は空白のままにします。

  例:
     | <unset>            | よく分からない場合はこれを使用します。
     |                    | v4シグネチャと空のリージョンを使用します。
     | other-v2-signature | v4シグネチャが機能しない場合のみ使用します。
     |                    | たとえば、Jewel/v10 CEPHより前のバージョン。

--endpoint S3 APIのエンドポイント。

  S3クローンを使用している場合は必須です。

--location-constraint リージョンと一致するように設定する場所の制約です。

  よくわからない場合は空白のままにします。バケットの作成時のみ使用されます。

--acl バケットの作成、オブジェクトの保存またはコピー時に使用する事前定義のアクセス制御リスト(ACL)です。

  このACLはオブジェクトの作成時に使用され、bucket_aclが設定されていない場合、
  バケットの作成時にも使用されます。
  
  詳細はこちらをご覧ください:https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl
  
  サーバー側でオブジェクトをコピーする際にこのACLは適用されますが、S3は
  既存のACLをコピーしないため、新規に作成します。
  
  aclが空の文字列である場合はX-Amz-Acl:ヘッダーは追加されず、
  デフォルトの設定(private)が使用されます。
  

--bucket-acl バケットの作成時に使用する事前定義のアクセス制御リスト(ACL)です。

  詳細はこちらをご覧ください:https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl
  
  bucket_aclが設定されていない場合、バケットの作成時にのみこのACLが適用されます。
  
  aclとbucket_aclが空の文字列である場合、X-Amz-Acl:ヘッダーは追加されず、
  デフォルトの設定(private)が使用されます。
  

  例:
     | private            | 所有者にはFULL_CONTROLが付与されます。
     |                    | 他のユーザーにはアクセス権限がありません(デフォルト)。
     | public-read        | 所有者にはFULL_CONTROLが付与されます。
     |                    | AllUsersグループにはREADアクセス権限があります。
     | public-read-write  | 所有者にはFULL_CONTROLが付与されます。
     |                    | AllUsersグループにはREADおよびWRITEアクセス権限があります。
     |                    | バケットに対してこれを許可することは一般的には推奨されません。
     | authenticated-read | 所有者にはFULL_CONTROLが付与されます。
     |                    | AuthenticatedUsersグループにはREADアクセス権限があります。

--upload-cutoff チャンクアップロードに切り替えるためのサイズ制限です。

  このサイズより大きなファイルは、chunk_sizeのチャンクにアップロードされます。
  最小は0で、最大は5 GiBです。

--chunk-size アップロード時に使用するチャンクサイズです。

  upload_cutoffより大きいファイルや、サイズが不明なファイル(「rclone rcat」でのアップロードや、「rclone mount」またはGoogleフォトまたはGoogleドキュメントでアップロードされたファイルなど)をアップロードする場合、このチャンクサイズに基づいてマルチパートアップロードが行われます。
  
  注意:1つの転送あたり"--s3-upload-concurrency"チャンクがメモリ上にバッファリングされるため、このサイズのチャンクを増やすことができます。
  
  高速リンクで大きなファイルを転送している場合、メモリが十分にある場合は、転送を高速化するためにこれを増やすと良いでしょう。
  
  Rcloneは、既知のサイズの大きなファイルをアップロードする場合、10,000チャンクの制限を下回るように自動的にチャンクサイズを増やします。
  
  サイズの不明なファイルは、設定されたchunk_sizeでアップロードされます。デフォルトのチャンクサイズは5 MiBであり、最大で10,000のチャンクがあります。したがって、デフォルトではストリームアップロードできるファイルの最大サイズは48 GiBです。より大きなファイルのストリームアップロードを行う場合は、chunk_sizeを増やす必要があります。
  
  チャンクサイズを増やすと、"-P"フラグで表示される進行状況の統計の正確性が低下します。Rcloneでは、AWS SDKによってバッファリングされたチャンクが送信されたときにチャンクが送信されたとみなされますが、実際にはまだアップロードされている可能性があります。チャンクサイズが大きいほど、AWS SDKのバッファと進行状況の報告が真実からより乖離しています。
  

--max-upload-parts マルチパートアップロードでのパート数の最大数です。

  このオプションは、マルチパートアップロードを行う場合に使用する最大のマルチパートチャンク数を定義します。
  
  これは、サービスがAWS S3の10,000チャンクの仕様をサポートしていない場合に有用です。
  
  Rcloneは、既知のサイズの大きなファイルをアップロードする場合、このチャンク数の制限を下回るように自動的にチャンクサイズを増やします。
  

--copy-cutoff マルチパートコピーに切り替えるためのサイズ制限です。

  このサイズより大きいファイルをサーバーサイドでコピーする場合は、このサイズのチャンクでコピーされます。
  
  最小は0で、最大は5 GiBです。

--disable-checksum オブジェクトのメタデータにMD5チェックサムを保存しません。

  通常、rcloneはアップロードする前に入力のMD5チェックサムを計算して、オブジェクトのメタデータに追加します。これにより、大きなファイルのアップロードの開始に長い遅延が発生する可能性があります。

--shared-credentials-file 共有認証情報ファイルへのパス。

  env_auth = trueの場合、rcloneは共有認証情報ファイルを使用できます。
  
  この変数が空の場合、rcloneは"AWS_SHARED_CREDENTIALS_FILE"環境変数を探します。環境変数の値が空の場合は、現在のユーザーのホームディレクトリがデフォルトになります。
  
       Linux/OSX: "$HOME/.aws/credentials"
       Windows:   "%USERPROFILE%\.aws\credentials"
  

--profile 共有認証情報ファイルで使用するプロファイル。

  env_auth = trueの場合、rcloneは共有認証情報ファイルを使用できます。この変数は、そのファイルで使用するプロフィールを制御します。
  
  何も入力しない場合は、環境変数"AWS_PROFILE"または"デフォルト"にデフォルトで設定されます。
  

--session-token AWSセッショントークン。

--upload-concurrency マルチパートアップロードの並行度。

  同じファイルのチャンクの並行アップロード数です。
  
  高速リンクで大量の大きなファイルをアップロードしており、これらのアップロードが帯域幅を十分に利用していない場合は、これを増やすと転送が高速化されるかもしれません。

--force-path-style trueの場合、パススタイルアクセスを使用し、falseの場合は仮想ホストスタイルを使用します。

  true(デフォルト)の場合、rcloneはパススタイルアクセスを使用します。falseの場合、rcloneは仮想パススタイルを使用します。詳細は[AWS S3のドキュメント](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingBucket.html#access-bucket-intro)を参照してください。
  
  一部のプロバイダ(AWS, Aliyun OSS, Netease COS、またはTencent COSなど)では、これをfalseに設定する必要があります。rcloneはプロバイダの設定に基づいてこれを自動的に行います。

--v2-auth trueの場合、v2認証を使用します。

  false(デフォルト)の場合、rcloneはv4認証を使用します。設定されている場合、rcloneはv2認証を使用します。
  
  v4署名が機能しない場合にのみ使用してください。たとえば、Jewel/v10 CEPHより前のバージョン。

--list-chunk リストのチャンクサイズ(各ListObject S3リクエストごとのレスポンスリスト)です。

  このオプションは、AWS S3仕様の「MaxKeys」、「max-items」、または「page-size」としても知られています。
  大部のサービスはリクエストの件数が1000件以上あっても、結果リストを1000件に切り詰めます。
  AWS S3ではこれはグローバルな最大値であり、変更できません。[AWS S3](https://docs.aws.amazon.com/cli/latest/reference/s3/ls.html)をご覧ください。
  Cephでは、「rgw list buckets max chunk」オプションでこの値を増やすことができます。
  

--list-version 使用するListObjectsのバージョン:1、2、または0(自動)。

  S3が最初にリリースされたとき、バケット内のオブジェクトを列挙するためにListObjects呼び出しだけが提供されました。
  
  しかし、2016年5月にListObjectsV2呼び出しが導入されました。これは非常に高いパフォーマンスを持ち、可能であれば使用する必要があります。
  
  デフォルト(0)に設定すると、rcloneは設定に応じてどのListObjectsメソッドを呼び出すかを推測します。誤った推測をした場合は、ここで手動で設定することもできます。
  

--list-url-encode リストのURLエンコード:true/false/unset

  一部のプロバイダは、ファイル名に制御文字を含める場合にURLエンコードのリストをサポートしています。これは使用できる場合にはより信頼性があります。unsetに設定すると(デフォルト)、rcloneはプロバイダの設定に従って適用する内容を選択しますが、オーバーライドすることもできます。
  

--no-check-bucket バケットの存在をチェックせずに作成しようとしないようにする場合に設定します。

  バケットが既に存在することを知っている場合、代金取引の数を最小限に抑えるためにこれを使用すると便利です。
  
  バケット作成の権限がない場合にも必要になる場合があります。v1.52.0より前のバージョンでは、このエラーは無視されるため、無効になりました。
PreviousMinioNextOther

Last updated 1 year ago

Was this helpful?

💻