✨
Singularity
日本語
日本語
  • 概要
    • Singularityとは何ですか
    • V1またはV2
  • インストール
    • バイナリのダウンロード
    • Dockerを使用してインストールする
    • ソースからビルドする
    • 本番環境への展開
  • データの準備
    • はじめに
    • パフォーマンスのチューニング
  • コンテンツの配布
    • CARファイルの配布
  • 取引の実施
    • 取引スケジュールの作成
  • トピック
    • インライン準備
    • ベンチマーク
  • 💻CLIリファレンス
    • メニュー
    • Ez Prep
    • バージョン
    • 管理者
      • 初期化
      • リセット
      • データセットの移行
      • スケジュールの移行
    • ダウンロード
    • CARの抽出
    • 取引
      • スケジュール
        • 作成
        • リスト
        • 更新
        • 一時停止
        • 再開
      • 手動送信
      • リスト
    • 実行
      • API
      • データセットワーカー
      • コンテンツプロバイダー
      • 取引トラッカー
      • 取引プッシャー
      • ダウンロードサーバー
    • ウォレット
      • インポート
      • リスト
      • 削除
    • ストレージ
      • 作成
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • エクスプローラー
      • リスト
      • 削除
      • アップデート
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • 名前変更
    • Prep
      • 作成
      • リスト
      • 状態
      • 名前変更
      • ソースの添付
      • 出力の添付
      • 出力の解除
      • スキャンの開始
      • スキャンの一時停止
      • パックの開始
      • パックの一時停止
      • Daggenの開始
      • Daggenの一時停止
      • ピースのリスト
      • ピースの追加
      • エクスプローラー
      • ウォレットの添付
      • ウォレットのリスト
      • ウォレットの解除
  • 🌐Web APIリファレンス
    • 取引スケジュール
    • 取引
    • ファイル
    • ジョブ
    • ピース
    • 準備
    • ストレージ
    • ウォレット関連
    • ウォレット
    • 仕様
  • ❓FAQ
    • データベースがロックされています
Powered by GitBook
On this page

Was this helpful?

Edit on GitHub
  1. CLIリファレンス
  2. ストレージ
  3. アップデート
  4. AWS S3 and compliant

Netease

NAME:
    singularity storage update s3 netease - Netease Object Storage(NOS)

USAGE:
    singularity storage update s3 netease [command options] <name | id>

DESCRIPTION:
    --env-auth
        実行時にAWSの認証情報を取得します(環境変数またはEC2/ECSのメタデータ)。

        access_key_idとsecret_access_keyが空白の場合のみ適用されます。

        例:
            | false | 次のステップでAWSの認証情報を入力します。
            | true  | 環境変数(環境変数またはIAM)からAWSの認証情報を取得します。

    --access-key-id
        AWSのアクセスキーIDです。

        匿名アクセスまたは実行時の資格情報にしたい場合は空白のままにしてください。

    --secret-access-key
        AWSのシークレットアクセスキー(パスワード)です。

        匿名アクセスまたは実行時の資格情報にしたい場合は空白のままにしてください。

    --region
        接続するリージョンです。

        S3クローンを使用している場合でリージョンが不明な場合は空白のままにしてください。

        例:
            | <unset>            | 分からない場合はこれを使用します。
            |                    | v4シグネチャと空のリージョンを使用します。
            | other-v2-signature | v4シグネチャが動作しない場合にのみ使用します。
            |                    | 例:Jewel/v10 CEPH以前。

    --endpoint
        S3 APIのエンドポイントです。

        S3クローンを使用する場合は必須です。

    --location-constraint
        リージョンと一致させる必要のあるロケーション制約です。

        よく分からない場合は空白のままにしてください。バケットを作成する際にのみ使用されます。

    --acl
        バケットの作成、オブジェクトの保存またはコピー時に使用するCanned ACLです。

        このACLはオブジェクトの作成に使用され、bucket_aclが設定されていない場合はバケットの作成にも使用されます。

        詳細については、https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl を参照してください。

        サーバーサイドでオブジェクトをコピーする場合、このACLはS3によって適用されます。
        S3はソースからACLをコピーするのではなく、新しいACLを書き込みます。

        aclが空の文字列の場合、X-Amz-Acl: ヘッダは追加されず、デフォルト(private)が使用されます。

    --bucket-acl
        バケットの作成時に使用するCanned ACLです。

        詳細については、https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl を参照してください。

        このACLはバケットの作成時にのみ適用されます。設定されていない場合は、「acl」が代わりに使用されます。

        aclとbucket_aclが空の文字列の場合、X-Amz-Acl: ヘッダは追加されず、デフォルト(private)が使用されます。

        例:
            | private            | オーナーはFULL_CONTROL権限を持ちます。
            |                    | 他のユーザーにはアクセス権限がありません(デフォルト)。
            | public-read        | オーナーはFULL_CONTROL権限を持ちます。
            |                    | AllUsersグループには読み取りアクセス権限があります。
            | public-read-write  | オーナーはFULL_CONTROL権限を持ちます。
            |                    | AllUsersグループには読み取りおよび書き込みアクセス権限があります。
            |                    | バケットへの付与は一般的に推奨されません。
            | authenticated-read | オーナーはFULL_CONTROL権限を持ちます。
            |                    | AuthenticatedUsersグループには読み取りアクセス権限があります。

    --upload-cutoff
        分割アップロードに切り替えるための閾値です。

        これより大きいサイズのファイルは、chunk_size単位で分割してアップロードされます。
        最小は0、最大は5 GiBです。

    --chunk-size
        アップロードに使用するチャンクサイズです。

        upload_cutoffを超えるサイズのファイルや、サイズが不明なファイル(「rclone rcat」からのものや「rclone mount」またはGoogleフォトやGoogleドキュメントでアップロードされたものなど)は、このチャンクサイズを使用してマルチパートアップロードされます。

        メモ: "--s3-upload-concurrency"のチャンクサイズのチャンクは、転送ごとにメモリ上でバッファリングされます。

        高速リンクを介して大きなファイルを転送しており、十分なメモリを持っている場合、これを増やすと転送が高速化されます。

        Rcloneは、すでに知られている大きなサイズのファイルをアップロードするときに、10,000チャンクの制限以下になるように、自動的にチャンクサイズを増やします。

        サイズが不明なファイルは設定されたchunk_sizeでアップロードされます。デフォルトのchunk_sizeは5 MiBで、最大10,000のチャンクが存在できるため、デフォルトでは48 GiBまでのファイルサイズをストリームアップロードすることができます。より大きなファイルをストリームアップロードする場合は、chunk_sizeを増やす必要があります。

        チャンクサイズを増やすと、進捗状況の統計情報の精度が低下します。Rcloneは、AWS SDKによってバッファリングされたチャンクが送信されたときにチャンクとして処理しますが、実際にはまだアップロードされている場合もあります。チャンクサイズが大きくなると、AWS SDKのバッファと進捗状況の報告の信頼性が低下します。

    --max-upload-parts
        マルチパートアップロードで使用するパートの最大数です。

        このオプションは、マルチパートアップロード時に使用するパートの最大数を定義します。

        10,000のチャンクの仕様に対応していないサービスがある場合に便利です。

        Rcloneは、既知のサイズの大きなファイルをアップロードする場合、このチャンクサイズを自動的に増やして、このチャンク数の制限以下になるようにします。

    --copy-cutoff
        サーバーサイドコピーする必要のあるこれより大きなサイズのファイルは、このサイズのチャンクでコピーされます。

        最小は0、最大は5 GiBです。

    --disable-checksum
        オブジェクトのメタデータにMD5チェックサムを保存しません。

        通常、rcloneはアップロード前に入力のMD5チェックサムを計算し、オブジェクトのメタデータに追加するため、大きなファイルのアップロードの開始には長い遅延が発生する場合があります。

    --shared-credentials-file
        共有認証情報ファイルへのパスです。

        env_auth = trueの場合、rcloneは共有認証情報ファイルを使用できます。

        この変数が空の場合、rcloneは「AWS_SHARED_CREDENTIALS_FILE」環境変数を探します。環境変数の値が空の場合、現在のユーザーのホームディレクトリがデフォルトになります。

            Linux / OSX: "$HOME/.aws/credentials"
            Windows: "%USERPROFILE%\.aws\credentials"

    --profile
        共有認証情報ファイルで使用するプロファイルです。

        env_auth = trueの場合、rcloneは共有認証情報ファイルを使用できます。この変数はそのファイルで使用するプロファイルを制御します。

        空の場合、環境変数「AWS_PROFILE」または「default」が設定されていない場合にデフォルトになります。

    --session-token
        AWSのセッショントークンです。

    --upload-concurrency
        マルチパートアップロードに使用する並行性です。

        同じファイルのチャンクを同時にアップロードする数です。

        高速リンクを介して少数の大きなファイルをアップロードしており、これらのアップロードが帯域幅を十分に利用していない場合、これを増やすと転送が高速化されるかもしれません。

    --force-path-style
        trueの場合、パススタイルアクセスを使用し、falseの場合は仮想ホストスタイルを使用します。

        これがtrue(デフォルト)の場合、rcloneはパススタイルアクセスを使用します。falseの場合、rcloneは仮想パススタイルを使用します。詳細については、[AWS S3ドキュメント](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingBucket.html#access-bucket-intro)を参照してください。

        一部のプロバイダ(例:AWS、Aliyun OSS、Netease COS、またはTencent COS)では、これをfalseに設定する必要があります。Rcloneは、プロバイダの設定に基づいてこれを自動的に行います。

    --v2-auth
        trueの場合、v2認証を使用します。

        これがfalse(デフォルト)に設定されている場合、rcloneはv4認証を使用します。設定されている場合、rcloneはv2認証を使用します。

        v4シグネチャが動作しない場合にのみ使用してください。例:Jewel/v10 CEPH以前。

    --list-chunk
        リストチャンクのサイズ(各ListObject S3リクエストの応答リスト)です。

        このオプションは、AWS S3仕様の「MaxKeys」、「max-items」、または「page-size」としても知られています。
        ほとんどのサービスは、要求されたより多くのリストを1000オブジェクトに切り捨てます。
        AWS S3ではこれがグローバルな最大値であり、変更することはできません。[AWS S3](https://docs.aws.amazon.com/cli/latest/reference/s3/ls.html)を参照してください。
        Cephでは、「rgw list buckets max chunk」オプションでこれを増やすことができます。

    --list-version
        使用するListObjectsのバージョン:1、2、または0(自動)です。

        S3が最初にリリースされたとき、バケット内のオブジェクトを列挙するためのListObjects呼び出しが提供されていました。

        ただし、2016年5月にListObjectsV2呼び出しが導入されました。これははるかに高いパフォーマンスを提供し、可能な限り使用する必要があります。

        デフォルトの0に設定されている場合、rcloneはプロバイダの設定に基づいてどのリストオブジェクトメソッドを呼び出すかを推測します。推測が間違っている場合は、ここで手動で設定できます。

    --list-url-encode
        リストをURLエンコードするかどうか:true/false/unsetです。

        一部のプロバイダは、ファイル名で制御文字を使用する場合、URLエンコードされたリストをサポートしています。利用可能な場合、これは制御文字を使用する際のより信頼性のある方法です。これがunsetに設定されている場合(デフォルト)、rcloneはプロバイダの設定に従って適用するように選択しますが、ここでrcloneの選択を上書きすることもできます。

    --no-check-bucket
        バケットの存在をチェックしたり作成したりしようとしない場合は設定してください。

        バケットが既に存在する場合、rcloneが行うトランザクションの数を最小限にするため、これは便利です。

        バケット作成権限を持たない場合にも必要になる場合があります。v1.52.0より前では、バグのため、これは無音で渡されます。

    --no-head
        アップロードされたオブジェクトのHEADを行って整合性をチェックしない場合は設定してください。

        rcloneは、PUTによるオブジェクトのアップロード後に200 OKメッセージを受信した場合、正しくアップロードされたと想定します。

        特に、次の項目を想定します。

        - メタデータ(modtime、ストレージクラス、コンテンツタイプ)はアップロード時のものと同じであったこと
        - サイズはアップロード時のものであったこと

        単一パートPUTの応答から以下の項目を読み込みます。

        - MD5SUM
        - アップロード日

        マルチパートアップロードの場合、これらの項目は読み込まれません。

        サイズが不明なソースオブジェクトがアップロードされた場合、rcloneはHEADリクエストを行います。

        このフラグを設定すると、認識されていないアップロードの失敗の可能性が増加します。
        特に、誤ったサイズとするアップロードの失敗の確立が高くなるため、通常の操作では推奨されません。実際には、このフラグがあっても、アップロードの失敗が検出されない確率は非常に低いです。

    --no-head-object
        GETの前にHEADを実行しない場合は設定してください。

    --encoding
        バックエンドの文字コードです。

        詳細については、[概要のエンコーディングセクション](/overview/#encoding)を参照してください。

    --memory-pool-flush-time
        内部メモリバッファープールのフラッシュ頻度です。

        追加のバッファ(たとえばマルチパート)が必要なアップロードでは、メモリプールを使用して割り当てられます。
        このオプションは、未使用のバッファがプールから削除される頻度を制御します。

    --memory-pool-use-mmap
        内部メモリプールでmmapバッファを使用するかどうか。

    --disable-http2
        S3バックエンドのhttp2の使用を無効にします。

        現在、s3(特にminio)バックエンドとHTTP/2の問題が未解決です。
        S3バックエンドではHTTP/2がデフォルトで有効になっていますが、ここで無効にすることができます。問題が解決されたら、このフラグは削除されます。

        参照: https://github.com/rclone/rclone/issues/4673, https://github.com/rclone/rclone/issues/3631

    --download-url
        ダウンロード用のカスタムエンドポイントです。
        通常、AWS S3はCloudFront CDN URLに設定され、CloudFrontネットワークを介してダウンロードされるデータの出力が安価になります。

    --use-multipart-etag
        マルチパートアップロードでETagを検証するかどうか。

        true、false、またはデフォルトを使用するために設定してください。

    --use-presigned-request
        シングルパートのアップロードに署名済みのリクエストまたはPutObjectを使用するかどうか。

        これがfalseの場合、rcloneはAWS SDKからPutObjectを使用してオブジェクトをアップロードします。

        rcloneのバージョン < 1.59では、単一のパートオブジェクトをアップロードするために署名済みのリクエストを使用し、このフラグをtrueに設定すると、その機能が再度有効になります。これは、例外的な状況やテスト以外では必要ありません。

    --versions
        ディレクトリリストに古いバージョンを含めます。

    --version-at
        指定された時点でのファイルバージョンを表示します。

        パラメータは、日付「2006-01-02」、日時「2006-01-02 15:04:05」、またはその時間前の期間「100d」または「1h」のいずれかにする必要があります。

        このオプションを使用する場合、ファイルの書き込み操作は許可されませんので、ファイルのアップロードや削除はできません。

        有効な形式については、[時刻オプションドキュメント](/docs/#time-option)を参照してください。

    --decompress
        設定すると、gzipでエンコードされたオブジェクトを解凍します。

        S3へのアップロード時に「Content-Encoding: gzip」が設定されたオブジェクトを通常、rcloneは圧縮されたオブジェクトとしてダウンロードします。

        このフラグが設定されている場合、rcloneは「Content-Encoding: gzip」で受信したファイルを解凍します。これにより、rcloneはサイズとハッシュをチェックできませんが、ファイルの内容は解凍されます。

    --might-gzip
        バックエンドがオブジェクトをgzipで圧縮する可能性がある場合に設定してください。

        通常、プロバイダはオブジェクトをダウンロードする際には変更しません。`Content-Encoding: gzip`でアップロードされていないオブジェクトの場合、ダウンロード時には設定されません。

        ただし、一部のプロバイダ(たとえばCloudflare)は、`Content-Encoding: gzip`でアップロードされていないオブジェクトをgzipで圧縮する場合があります。

        これが設定されている場合、rcloneがContent-Encoding: gzipが設定されており、チャンク化された転送エンコーディングを使用してオブジェクトをダウンロードすると、rcloneはオブジェクトをオンザフライで解凍します。

        unsetに設定されている場合(デフォルト)、rcloneはプロバイダの設定に従って適用するように選択しますが、ここでrcloneの選択を上書きすることもできます。

    --no-system-metadata
        システムメタデータの設定と読み取りを抑制します


OPTIONS:
    --access-key-id value        AWSのアクセスキーIDです。[$ACCESS_KEY_ID]
    --acl value                  バケットの作成、オブジェクトの保存またはコピー時に使用するCanned ACLです。[$ACL]
    --endpoint value             S3 APIのエンドポイントです。[$ENDPOINT]
    --env-auth                   実行時にAWSの認証情報を取得します(環境変数またはEC2/ECSのメタデータ)。(デフォルト:false)[$ENV_AUTH]
    --help, -h                   ヘルプを表示する
    --location-constraint value  リージョンと一致させる必要のあるロケーション制約です。[$LOCATION_CONSTRAINT]
    --region value               接続するリージョンです。[$REGION]
    --secret-access-key value    AWSのシークレットアクセスキー(パスワード)です。[$SECRET_ACCESS_KEY]

    Advanced

    --bucket-acl value               バケットの作成時に使用するCanned ACLです。[$BUCKET_ACL]
    --chunk-size value               アップロードに使用するチャンクサイズです。(デフォルト: "5Mi")[$CHUNK_SIZE]
    --copy-cutoff value              サーバーサイドコピーする必要のあるこれより大きなサイズのファイルは、このサイズのチャンクでコピーされます。(デフォルト: "4.656Gi")[$COPY_CUTOFF]
    --decompress                     設定すると、gzipでエンコードされたオブジェクトを解凍します。(デフォルト:false)[$DECOMPRESS]
    --disable-checksum               オブジェクトのメタデータにMD5チェックサムを保存しません。(デフォルト:false)[$DISABLE_CHECKSUM]
    --disable-http2                  S3バックエンドのhttp2の使用を無効にします。(デフォルト:false)[$DISABLE_HTTP2]
    --download-url value             ダウンロード用のカスタムエンドポイントです。[$DOWNLOAD_URL]
    --encoding value                 バックエンドの文字コードです。(デフォルト: "Slash,InvalidUtf8,Dot")[$ENCODING]
    --force-path-style               trueの場合、パススタイルアクセスを使用し、falseの場合は仮想ホストスタイルを使用します。(デフォルト:true)[$FORCE_PATH_STYLE]
    --list-chunk value               リストチャンクのサイズ(各ListObject S3リクエストの応答リスト)です。(デフォルト:1000)[$LIST_CHUNK]
    --list-url-encode value          リストをURLエンコードするかどうか:true/false/unset(デフォルト:"unset")[$LIST_URL_ENCODE]
    --list-version value             使用するListObjectsのバージョン:1、2、または0(自動)(デフォルト:0)[$LIST_VERSION]
    --max-upload-parts value         マルチパートアップロードで使用するパートの最大数(デフォルト:10000)[$MAX_UPLOAD_PARTS]
    --memory-pool-flush-time value   内部メモリバッファープールのフラッシュ頻度(デフォルト:"1m0s")[$MEMORY_POOL_FLUSH_TIME]
    --memory-pool-use-mmap           内部メモリプールでmmapバッファを使用するかどうか。(デフォルト:false)[$MEMORY_POOL_USE_MMAP]
    --might-gzip value               バックエンドがオブジェクトをgzipで圧縮する可能性がある場合に設定してください。(デフォルト:"unset")[$MIGHT_GZIP]
    --no-check-bucket                バケットの存在をチェックしたり作成したりしようとしない場合は設定してください。(デフォルト:false)[$NO_CHECK_BUCKET]
    --no-head                        アップロードされたオブジェクトのHEADを行って整合性をチェックしない場合は設定してください。(デフォルト:false)[$NO_HEAD]
    --no-head-object                 GETの前にHEADを実行しない場合は設定してください。(デフォルト:false)[$NO_HEAD_OBJECT]
    --no-system-metadata             システムメタデータの設定と読み取りを抑制します(デフォルト:false)[$NO_SYSTEM_METADATA]
    --profile value                  共有認証情報ファイルで使用するプロファイルです。[$PROFILE]
    --session-token value            AWSのセッショントークンです。[$SESSION_TOKEN]
    --shared-credentials-file value  共有認証情報ファイルへのパスです。[$SHARED_CREDENTIALS_FILE]
    --upload-concurrency value       マルチパートアップロードに使用する並行性(デフォルト:4)[$UPLOAD_CONCURRENCY]
    --upload-cutoff value            分割アップロードに切り替えるための閾値(デフォルト:"200Mi")[$UPLOAD_CUTOFF]
    --use-multipart-etag value       マルチパートアップロードでETagを検証するかどうか(デフォルト:"unset")[$USE_MULTIPART_ETAG]
    --use-presigned-request          シングルパートのアップロードに署名済みのリクエストまたはPutObjectを使用するかどうか(デフォルト:false)[$USE_PRESIGNED_REQUEST]
    --v2-auth                        trueの場合、v2認証を使用します(デフォルト:false)[$V2_AUTH]
    --version-at value               指定された時点でのファイルバージョンを表示します(デフォルト:"off")[$VERSION_AT]
    --versions                       ディレクトリリストに古いバージョンを含めます(デフォルト:false)[$VERSIONS]
PreviousMinioNextOther

Last updated 1 year ago

Was this helpful?

💻