✨
Singularity
日本語
日本語
  • 概要
    • Singularityとは何ですか
    • V1またはV2
  • インストール
    • バイナリのダウンロード
    • Dockerを使用してインストールする
    • ソースからビルドする
    • 本番環境への展開
  • データの準備
    • はじめに
    • パフォーマンスのチューニング
  • コンテンツの配布
    • CARファイルの配布
  • 取引の実施
    • 取引スケジュールの作成
  • トピック
    • インライン準備
    • ベンチマーク
  • 💻CLIリファレンス
    • メニュー
    • Ez Prep
    • バージョン
    • 管理者
      • 初期化
      • リセット
      • データセットの移行
      • スケジュールの移行
    • ダウンロード
    • CARの抽出
    • 取引
      • スケジュール
        • 作成
        • リスト
        • 更新
        • 一時停止
        • 再開
      • 手動送信
      • リスト
    • 実行
      • API
      • データセットワーカー
      • コンテンツプロバイダー
      • 取引トラッカー
      • 取引プッシャー
      • ダウンロードサーバー
    • ウォレット
      • インポート
      • リスト
      • 削除
    • ストレージ
      • 作成
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • エクスプローラー
      • リスト
      • 削除
      • アップデート
        • Acd
        • Azureblob
        • B2
        • Box
        • Drive
        • Dropbox
        • Fichier
        • Filefabric
        • Ftp
        • Google Cloud Storage
        • Gphotos
        • Hdfs
        • Hidrive
        • Http
        • Internetarchive
        • Jottacloud
        • Koofr / Digi Storage
          • Digistorage
          • Koofr / Digi Storage
          • Other
        • ローカル
        • Mailru
        • Mega
        • Netstorage
        • Onedrive
        • Opendrive
        • Oos
          • Env_auth
          • Instance_principal_auth
          • No_auth
          • Resource_principal_auth
          • User_principal_auth
        • Pcloud
        • Premiumizeme
        • Putio
        • Qingstor
        • AWS S3 and compliant
          • Aws
          • Alibaba
          • Arvancloud
          • Ceph
          • Chinamobile
          • Cloudflare
          • Digitalocean
          • Dreamhost
          • Huaweiobs
          • Ibmcos
          • Idrive
          • Ionos
          • Liara
          • Lyvecloud
          • Minio
          • Netease
          • Other
          • Qiniu
          • Rackcorp
          • Scaleway
          • Seaweedfs
          • Stackpath
          • Storj
          • Tencentcos
          • Wasabi
        • Seafile
        • Sftp
        • Sharefile
        • Sia
        • Smb
        • Storj
          • 既存
          • 新規
        • Sugarsync
        • Swift
        • Uptobox
        • Webdav
        • Yandex
        • Zoho
      • 名前変更
    • Prep
      • 作成
      • リスト
      • 状態
      • 名前変更
      • ソースの添付
      • 出力の添付
      • 出力の解除
      • スキャンの開始
      • スキャンの一時停止
      • パックの開始
      • パックの一時停止
      • Daggenの開始
      • Daggenの一時停止
      • ピースのリスト
      • ピースの追加
      • エクスプローラー
      • ウォレットの添付
      • ウォレットのリスト
      • ウォレットの解除
  • 🌐Web APIリファレンス
    • 取引スケジュール
    • 取引
    • ファイル
    • ジョブ
    • ピース
    • 準備
    • ストレージ
    • ウォレット関連
    • ウォレット
    • 仕様
  • ❓FAQ
    • データベースがロックされています
Powered by GitBook
On this page
  • 概要
  • 使用法
  • 説明
  • --env-auth
  • --access-key-id
  • --secret-access-key
  • --acl
  • --bucket-acl
  • --upload-cutoff
  • --chunk-size
  • --max-upload-parts
  • --copy-cutoff
  • --disable-checksum
  • --shared-credentials-file
  • --profile
  • --session-token
  • --upload-concurrency
  • --force-path-style
  • --v2-auth
  • --list-chunk
  • --list-version
  • --list-url-encode
  • --no-check-bucket
  • --no-head
  • --no-head-object
  • --encoding
  • --memory-pool-flush-time
  • --memory-pool-use-mmap
  • --disable-http2
  • --download-url
  • --use-multipart-etag
  • --use-presigned-request
  • --versions
  • --version-at
  • --decompress
  • --might-gzip
  • --no-system-metadata
  • オプション

Was this helpful?

Edit on GitHub
  1. CLIリファレンス
  2. ストレージ
  3. 作成
  4. AWS S3 and compliant

Idrive

概要

idriveは、IDriveのストレージシステムを使ってデータをバックアップおよび同期するためのバックエンドです。

使用法

rclone storage create s3 idrive [command options] [arguments...]

説明

以下のコマンドオプションと引数を指定することができます。

--env-auth

ランタイムからAWS認証情報(環境変数またはEC2 / ECSメタデータ)を取得します。access_key_idとsecret_access_keyが空の場合にのみ適用されます。

例:

  • false: 次のステップでAWS認証情報を入力します。

  • true : 環境変数(env varsまたはIAM)からAWS認証情報を取得します。

--access-key-id

AWS Access Key IDを指定します。空の場合は匿名アクセスまたはランタイムの認証情報が使用されます。

--secret-access-key

AWS Secret Access Key(パスワード)を指定します。空の場合は匿名アクセスまたはランタイムの認証情報が使用されます。

--acl

オブジェクトとバケットの作成時に使用されるCanned ACLを指定します。

空の文字列の場合、X-Amz-Acl: ヘッダーは追加されずデフォルト(private)が使用されます。

--bucket-acl

バケットの作成時に使用されるCanned ACLを指定します。

空の場合、aclが代わりに使用されます。

空の文字列の場合、X-Amz-Acl: ヘッダーは追加されずデフォルト(private)が使用されます。

--upload-cutoff

チャンクアップロードに切り替えるためのファイルの最小サイズを指定します。

デフォルト値は0から5 GiBです。

--chunk-size

アップロード時に使用するチャンクサイズを指定します。

デフォルトのチャンクサイズは5 MiBで、最大10,000のチャンクまでバッファリングされます。

ファイルサイズが知られていない場合や大容量のリンクで大きなファイルを転送する場合は、この値を増やすと転送速度が向上します。

--max-upload-parts

マルチパートアップロード時のパーツの最大数を指定します。

デフォルト値は10,000です。

--copy-cutoff

サーバーサイドコピーする際のファイルの最小サイズを指定します。

デフォルト値は0から5 GiBです。

--disable-checksum

オブジェクトのメタデータにMD5チェックサムを格納しないようにします。

通常、rcloneはアップロード前に入力のMD5チェックサムを計算して、オブジェクトのメタデータに追加します。これにより、大きなファイルのアップロードが開始されるまでには長い時間がかかることがあります。

--shared-credentials-file

共有クレデンシャルファイルへのパスを指定します。

env_authがtrueの場合、rcloneは共有クレデンシャルファイルを使用できます。

この変数が空の場合、rcloneは "AWS_SHARED_CREDENTIALS_FILE" 環境変数を探します。環境変数が空の場合は、現在のユーザーのホームディレクトリがデフォルトになります。

  • Linux / OSX: "$HOME/.aws/credentials"

  • Windows: "%USERPROFILE%.aws\credentials"

--profile

共有クレデンシャルファイルで使用するプロファイルを指定します。

env_authがtrueの場合、rcloneは共有クレデンシャルファイルを使用します。この変数はそのファイル内で使用されるプロファイルを制御します。

空の場合は、環境変数 "AWS_PROFILE" または "default" がデフォルトになります。

--session-token

AWSのセッショントークンを指定します。

--upload-concurrency

マルチパートアップロードの同時実行数を指定します。

大容量のリンクを介して高速なリンクで少数の大きなファイルをアップロードして、これらのアップロードが帯域幅を十分に利用していない場合、この値を増やすと転送速度が向上する場合があります。

--force-path-style

trueの場合、パススタイルアクセスを使用します。falseの場合、仮想ホストスタイルアクセスを使用します。

  • true(デフォルト)の場合、rcloneはパススタイルアクセスを使用します。

  • falseの場合、rcloneは仮想ホストスタイルアクセスを使用します。

some providers (e.g. AWS, Aliyun OSS, Netease COS, or Tencent COS) require this set to false - rclone will do this automatically based on the provider setting.

--v2-auth

trueの場合、v2認証を使用します。false(デフォルト)の場合、v4認証を使用します。

v4の署名が機能しない場合にのみ、このフラグを使用します(たとえば、Jewel / v10 CEPHの場合など)。

--list-chunk

リストリクエストのサイズを指定します。AWS S3の仕様では、ほとんどのサービスがリクエストリストを1000オブジェクトに切り捨てます。

--list-version

使用するListObjectsのバージョンを指定します:1、2、または0(自動)。

S3の最初のリリースでは、バケット内のオブジェクトを列挙するためにListObjects呼び出しだけが提供されていました。

ただし、2016年5月にListObjectsV2呼び出しが導入されました。これははるかに高速であり、可能な限り使用する必要があります。

デフォルト値0で設定すると、rcloneは、リストオブジェクトメソッドの呼び出しに基づいてプロバイダに従って推測します。推測が間違っている場合は、ここで手動で設定することができます。

--list-url-encode

リストにURLエンコードを適用するかどうかを指定します。

いくつかのプロバイダはリストのURLエンコードをサポートしており、コントロール文字をファイル名で使用する場合にこれがより信頼性の高い方法です。unset(デフォルト)に設定されている場合、rcloneはプロバイダの設定に従って適用しますが、ここでrcloneの選択を上書きすることができます。

--no-check-bucket

バケットの存在を確認しないか、作成しないようにします。

バケットが既に存在する場合にトランザクション数を最小限に抑えるために使用できます。

予想どおりに機能するためには、使用するユーザーにバケット作成の権限がない場合に必要です。v1.52.0より前のバージョンでは、これはバグのために無視されていました。

--no-head

アップロードされたオブジェクトの整合性チェックのためにHEADリクエストを行わないようにします。

rcloneは、PUTでオブジェクトをアップロードした後に200 OKメッセージを受け取る場合、適切にアップロードされたと仮定します。

具体的には、以下の項目をアップロード時のresponseから読み込みます。

  • MD5SUM

  • アップロード日時

multipart uploadsの場合、これらの項目は読み込まれません。

不明な長さのソースオブジェクトがアップロードされた場合、rcloneはHEADリクエストを行います。

このフラグを設定すると、アップロードエラーの検出率が増すため、通常の操作には推奨されません。実際には、このフラグを使用しても、アップロードエラーの検出率は非常に低いです。

--no-head-object

オブジェクトを取得する際、GETの前にHEADリクエストを行わないようにします。

--encoding

バックエンドのエンコーディングを指定します。

--memory-pool-flush-time

内部メモリバッファプールをいつフラッシュするかを制御します。

追加のバッファを必要とするアップロード(マルチパートなど)では、メモリプールを使用して割り当てを行います。このオプションは、使用されなくなったバッファをプールから削除する頻度を制御します。

--memory-pool-use-mmap

内部メモリプールでmmapバッファを使用するかどうかを指定します。

--disable-http2

S3バックエンドのhttp2の使用を無効にします。

S3(特にminio)バックエンドとHTTP / 2には現在解決されていない問題があります。 HTTP / 2はS3バックエンドのデフォルトで有効になっていますが、ここで無効にすることもできます。問題が解決されると、このフラグは削除されます。

詳細については、以下を参照してください。

  • https://github.com/rclone/rclone/issues/4673

  • https://github.com/rclone/rclone/issues/3631

--download-url

ダウンロード用のカスタムエンドポイントを指定します。これは通常、AWS S3がCloudFrontネットワークを介してダウンロードされたデータに対してより安価な送信が提供されるため、CloudFront CDN URLに設定されます。

--use-multipart-etag

マルチパートアップロードでETagを使用して検証するかどうかを指定します。

true、false、または未設定にすることができます。デフォルトはプロバイダーの設定に基づきます。

--use-presigned-request

単一パートのアップロードにプリサインドリクエストまたはPutObjectを使用するかどうかを指定します。

falseの場合、rcloneはAWS SDKのPutObjectを使用してオブジェクトをアップロードします。

rcloneのバージョン1.59未満では、単一のパートオブジェクトをアップロードするためにプリサインドリクエストを使用し、このフラグをtrueに設定すると、その機能が再度有効になります。これは、例外的な状況またはテスト以外では必要ありません。

--versions

ディレクトリリストに古いバージョンを含めるかどうかを指定します。

--version-at

指定した時刻にファイルバージョンを表示します。

パラメータは次の形式で指定します。

  • 日付: "2006-01-02"

  • 時刻: "2006-01-02 15:04:05"

  • 期間: "100d"または "1h"

このオプションを使用すると、ファイルの書き込み操作が許可されないため、ファイルをアップロードしたり削除したりすることはできません。

--decompress

Content-Encoding: gzipが設定されたgzipエンコードされたオブジェクトを展開します。

通常、rcloneはこれらのファイルを圧縮されたオブジェクトとしてダウンロードします。

このフラグを設定すると、rcloneはオブジェクトを受信するとContent-Encoding: gzipで展開します。これにより、rcloneはサイズとハッシュをチェックできなくなりますが、ファイルの内容は展開されます。

--might-gzip

バックエンドがオブジェクトをgzip圧縮する可能性がある場合にこのフラグを設定します。

通常、プロバイダはオブジェクトがダウンロードされる際に変更しません。Content-Encoding: gzipでアップロードされていない場合、ダウンロード時にもそれが設定されません。

ただし、一部のプロバイダは、Content-Encoding: gzipでアップロードされていなくてもオブジェクトをgzip圧縮する場合があります(例:Cloudflare)。

次のエラーメッセージが表示される場合、これが問題のサインです。

ERROR corrupted on transfer: sizes differ NNN vs MMM

このフラグを設定し、rcloneがContent-Encoding: gzipが設定されたオブジェクトをチャンク転送エンコードの場合、rcloneはオブジェクトをリアルタイムで展開します。

unset(デフォルト)に設定されている場合、rcloneはプロバイダの設定に従って適用しますが、ここでrcloneの選択を上書きすることができます。

--no-system-metadata

システムメタデータの設定および読み取りを抑制します。

オプション

以下のオプションが使用できます。

  • --access-key-id : AWS Access Key ID

  • --acl : Canned ACL used when creating buckets and storing or copying objects

  • --env-auth : Get AWS credentials from runtime

  • --help, -h : ヘルプを表示します

  • --no-check-bucket : バケットの存在を確認しないか、作成しないようにします

  • --secret-access-key : AWS Secret Access Key (password)

PreviousIbmcosNextIonos

Last updated 1 year ago

Was this helpful?

詳細については、を参照してください。

詳細については、を参照してください。

詳細については、を参照してください。

詳細なフォーマットについては、を参照してください。

💻
こちら
こちら
概要のエンコーディングセクション
timeオプションのドキュメント