# Aws {% code fullWidth="true" %} ``` 名称: singularity storage create s3 aws - 亚马逊云服务 (AWS) S3 用法: singularity storage create s3 aws [命令选项] [参数...] 描述: --env-auth 从运行时获取AWS凭据（如果访问密钥ID和秘密访问密钥为空，则从环境变量或EC2/ECS元数据中获取）。 仅当access_key_id和secret_access_key为空时才应用。 示例: | false | 在下一步中输入AWS凭据。 | true | 从环境中获取AWS凭据（环境变量或IAM）。 --access-key-id AWS Access Key ID。 匿名访问或运行时凭据，请留空。 --secret-access-key AWS Secret Access Key（密码）。 匿名访问或运行时凭据，请留空。 --region 要连接的区域。 示例: | us-east-1 | 默认的端点 - 如果您不确定，请选择此项。 | | 美国区域，包括弗吉尼亚北部或北西太平洋。 | | 位置约束为空。 | us-east-2 | 美国东部（俄亥俄州）区域。 | | 需要位置约束为us-east-2。 | us-west-1 | 美国西部（加利福尼亚北部）区域。 | | 需要位置约束为us-west-1。 | us-west-2 | 美国西部（俄勒冈州）区域。 | | 需要位置约束为us-west-2。 | ca-central-1 | 加拿大（中部）区域。 | | 需要位置约束为ca-central-1。 | eu-west-1 | 欧洲（爱尔兰）区域。 | | 需要位置约束为EU或eu-west-1。 | eu-west-2 | 欧洲（伦敦）区域。 | | 需要位置约束为eu-west-2。 | eu-west-3 | 欧洲（巴黎）区域。 | | 需要位置约束为eu-west-3。 | eu-north-1 | 欧洲（斯德哥尔摩）区域。 | | 需要位置约束为eu-north-1。 | eu-south-1 | 欧洲（米兰）区域。 | | 需要位置约束为eu-south-1。 | eu-central-1 | 欧洲（法兰克福）区域。 | | 需要位置约束为eu-central-1。 | ap-southeast-1 | 亚太地区（新加坡）区域。 | | 需要位置约束为ap-southeast-1。 | ap-southeast-2 | 亚太地区（悉尼）区域。 | | 需要位置约束为ap-southeast-2。 | ap-northeast-1 | 亚太地区（东京）区域。 | | 需要位置约束为ap-northeast-1。 | ap-northeast-2 | 亚太地区（首尔）区域。 | | 需要位置约束为ap-northeast-2。 | ap-northeast-3 | 亚太地区（大阪-本地）区域。 | | 需要位置约束为ap-northeast-3。 | ap-south-1 | 亚太地区（孟买）区域。 | | 需要位置约束为ap-south-1。 | ap-east-1 | 亚太地区（香港）区域。 | | 需要位置约束为ap-east-1。 | sa-east-1 | 南美洲（圣保罗）区域。 | | 需要位置约束为sa-east-1。 | me-south-1 | 中东（巴林）区域。 | | 需要位置约束为me-south-1。 | af-south-1 | 非洲（开普敦）区域。 | | 需要位置约束为af-south-1。 | cn-north-1 | 中国（北京）区域。 | | 需要位置约束为cn-north-1。 | cn-northwest-1 | 中国（宁夏）区域。 | | 需要位置约束为cn-northwest-1。 | us-gov-east-1 | AWS政府云（美国东部）区域。 | | 需要位置约束为us-gov-east-1。 | us-gov-west-1 | AWS政府云（美国）区域。 | | 需要位置约束为us-gov-west-1。 --endpoint S3 API的端点。 如果使用AWS，则留空以使用该区域的默认端点。 --location-constraint 位置约束 - 必须设置为与区域匹配的值。 仅在创建存储桶时使用。 示例: | | 美国区域，包括弗吉尼亚北部或北西太平洋。 | us-east-2 | 美国东部（俄亥俄州）区域。 | us-west-1 | 美国西部（加利福尼亚北部）区域。 | us-west-2 | 美国西部（俄勒冈州）区域。 | ca-central-1 | 加拿大（中部）区域。 | eu-west-1 | 欧洲（爱尔兰）区域。 | eu-west-2 | 欧洲（伦敦）区域。 | eu-west-3 | 欧洲（巴黎）区域。 | eu-north-1 | 欧洲（斯德哥尔摩）区域。 | eu-south-1 | 欧洲（米兰）区域。 | EU | 欧洲区域。 | ap-southeast-1 | 亚太地区（新加坡）区域。 | ap-southeast-2 | 亚太地区（悉尼）区域。 | ap-northeast-1 | 亚太地区（东京）区域。 | ap-northeast-2 | 亚太地区（首尔）区域。 | ap-northeast-3 | 亚太地区（大阪-本地）区域。 | ap-south-1 | 亚太地区（孟买）区域。 | ap-east-1 | 亚太地区（香港）区域。 | sa-east-1 | 南美洲（圣保罗）区域。 | me-south-1 | 中东（巴林）区域。 | af-south-1 | 非洲（开普敦）区域。 | cn-north-1 | 中国（北京）区域。 | cn-northwest-1 | 中国（宁夏）区域。 | us-gov-east-1 | AWS政府云（美国东部）区域。 | us-gov-west-1 | AWS政府云（美国）区域。 --acl 创建存储桶和存储或复制对象时使用的预设ACL。 对于创建对象以及未设置bucket_acl的情况下，也会使用该ACL。 有关更多信息，请访问 https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl 请注意，当服务器端复制对象时，S3不会从源复制ACL，而是生成一个新的ACL。 如果acl是空字符串，则不会添加X-Amz-Acl:标头，并且将使用默认值（private）。 --bucket-acl 创建存储桶时使用的预设ACL。 有关更多信息，请访问 https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html#canned-acl 请注意，仅当创建存储桶时才使用该ACL。如果未设置，则使用"acl"。 如果 "acl" 和 "bucket_acl" 是空字符串，则不会添加X-Amz-Acl: 标头，并且将使用默认值（private）。 示例: | private | 属主获得FULL_CONTROL权限。 | | 没有其他用户可以访问（默认）。 | public-read | 属主获得FULL_CONTROL权限。 | | AllUsers组获得读取权限。 | public-read-write | 属主获得FULL_CONTROL权限。 | | AllUsers组获得读取和写入权限。 | | 一般不推荐将此权限授予存储桶。 | authenticated-read | 属主获得FULL_CONTROL权限。 | | AuthenticatedUsers组获得读取权限。 --requester-pays 与S3存储桶交互时启用请求方支付选项。 --server-side-encryption 存储此对象在S3中时使用的服务器端加密算法。 示例: | | None | AES256 | AES256 --sse-customer-algorithm 如果使用SSE-C，则存储此对象在S3中时使用的服务器端加密算法。 示例: | | None | AES256 | AES256 --sse-kms-key-id 如果使用KMS ID，则必须提供密钥的ARN。 示例: | | None | arn:aws:kms:us-east-1:* | arn:aws:kms:* --sse-customer-key 若要使用SSE-C，可以提供用于加密/解密数据的密钥。 或者，您可以提供 --sse-customer-key-base64。 示例: | | None --sse-customer-key-base64 如果使用SSE-C，则必须提供以base64格式编码的密钥，以便加密/解密数据。 或者，您可以提供 --sse-customer-key。 示例: | | None --sse-customer-key-md5 如果使用SSE-C，则可以提供密钥的MD5校验和（可选）。 如果留空，则会从提供的sse_customer_key自动生成。 示例: | | None --storage-class 存储新对象时要使用的存储类别。 示例: | | 默认存储类别 | STANDARD | 标准存储类别 | REDUCED_REDUNDANCY | 低冗余存储类别 | STANDARD_IA | 标准低频访问存储类别 | ONEZONE_IA | 单区域低频访问存储类别 | GLACIER | 冰川存储类别 | DEEP_ARCHIVE | 冰川深度归档存储类别 | INTELLIGENT_TIERING | 智能层级存储类别 | GLACIER_IR | 冰川即时检索存储类别 --upload-cutoff 切换到分块上传的截止限制。 大于此大小的文件将按照chunk_size分块上传。 最小值为0，最大值为5 GiB。 --chunk-size 用于上传的分块大小。 当上传大于upload_cutoff的文件或大小未知的文件（例如来自"rclone rcat"或使用"rclone mount"或Google Photos或Google Docs上传的文件）时，将使用此分块大小进行分块上传。 请注意，每个传输在内存中缓冲"--s3-upload-concurrency"个该大小的chunk。 如果您正在通过高速链接传输大型文件，并且有足够的内存，则增加此值将加快传输速度。 当向已知大小的大型文件上传时，rclone将自动增加分块大小，以保持在10000个分块限制以下。 未知大小的文件以配置的chunk_size上传。由于默认的chunk_size为5 MiB，并且最多可以有 10,000个chunk，这意味着默认情况下您可以流式上传的文件的最大大小为48 GiB。如果您需要 流式上传更大的文件，则需要增加chunk_size。 增大chunk大小会降低带有"-P"标志的进度统计的准确性。rclone在使用AWS SDK缓冲chunk时将chunk视为已发送， 而实际上可能还在上传中。较大的chunk大小意味着较大的AWS SDK缓冲区，以及与真实情况偏离更多的进度报告。 --max-upload-parts 单个分块上传中的最大分块数。 该选项定义了在进行分块上传时要使用的最大分块数。 如果某个服务不支持AWS S3的规范中的10000个分块，则这对于我们很有用。 当上传已知大小的大型文件时，rclone将自动增加分块大小，以保持该分块数以下。 --copy-cutoff 切换到分块复制的截止限制。 需要复制的大于此大小的文件将被分块复制。 最小值为0，最大值为5 GiB。 --disable-checksum 不要将MD5校验和存储在对象元数据中。 通常，rclone会在上传之前计算输入的MD5校验和，以便在对象的元数据中添加它。这对于数据完整性检查非常有用， 但可能会导致大文件开始上传时出现长时间延迟。 --shared-credentials-file 共享凭据文件的路径。 如果 env_auth = true，则rclone可以使用共享凭据文件。 如果此变量为空，rclone将查找 "AWS_SHARED_CREDENTIALS_FILE" 环境变量。如果环境变量值为空，则默认为当前用户的主目录。 Linux/OSX: "$HOME/.aws/credentials" Windows: "%USERPROFILE%\.aws\credentials" --profile 共享凭据文件中要使用的配置文件。 如果 env_auth = true，则rclone可以使用共享凭据文件。此变量用于控制在该文件中使用的配置文件。 如果为空，则默认为环境变量 "AWS_PROFILE" 或 "default" （如果该环境变量也未设置）。 --session-token AWS会话令牌。 --upload-concurrency 分块上传的并发数。 这是同时上传的相同文件块的数量。 如果您正在通过高速链接上传少量大型文件，并且这些上传未充分利用带宽，那么增加此值可能有助于加快传输速度。 --force-path-style 如果为true，则使用路径样式访问，如果为false，则使用虚拟主机样式访问。 如果为true（默认值），则rclone将使用路径样式访问； 如果为false，则rclone将使用虚拟主机样式访问。有关更多信息，请参阅 [AWS S3文档](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingBucket.html#access-bucket-intro)。 一些提供商（例如: AWS，阿里云OSS，网易COS或腾讯COS）要求将其设置为 false - rclone将根据提供者设置自动执行此操作。 --v2-auth 如果为true，则使用v2身份验证。 如果为false（默认值），则rclone将使用v4身份验证。 如果设置了它，rclone将使用v2身份验证。 仅当v4签名不起作用时（例如，针对Jewel/v10之前版本的CEPH）才使用此选项。 --use-accelerate-endpoint 如果为true，则使用AWS S3加速端点。 请参阅[S3 Transfer acceleration](https://docs.aws.amazon.com/AmazonS3/latest/dev/transfer-acceleration-examples.html)。 --leave-parts-on-error 如果为true，则在失败时避免调用中止上传，为手动恢复保留所有成功上传的部分。 对于在不同会话中恢复上传时，它应设置为true。 警告: 存储不完整的分块上传占用S3上的空间，并且如果不清理将添加额外的费用。 --list-chunk 列表块的大小（每个ListObject S3请求的响应列表）。 此选项也称为AWS S3规范中的"MaxKeys"、"max-items"或"page-size"。 大多数服务即使请求超过此长度也会将响应列表截断为1000个对象。 在AWS S3中，这是一个全局最大值，无法更改，请参阅[AWS S3](https://docs.aws.amazon.com/cli/latest/reference/s3/ls.html)。 在Ceph中，可以使用"rgw list buckets max chunk"选项增加此值。 --list-version 要使用的ListObjects版本：1、2或0进行自动选择。 当S3最初发布时，它只提供了ListObjects调用以枚举存储桶中的对象。 但是，在2016年5月引入了ListObjectsV2调用。这个调用的性能要高得多，如果可能的话应该使用。 如果设置为默认值0，则rclone将根据设置的提供者来猜测调用哪个列举对象方法。如果猜测错误，那么可以在此手动设置。 --list-url-encode 是否对列表进行URL编码：true/false/unset。 某些提供商支持对列表进行URL编码，在提供方设置允许的情况下，这是在文件名中使用控制字符时更可靠的方法。如果 设置为未设置（默认值），则rclone将根据提供方设置来应用适当的方式，但可以在此处覆盖rclone的选择。 --no-check-bucket 如果设置，请不要尝试检查存储桶是否存在或创建存储桶。 这在试图最小化rclone执行的事务数时非常有用，如果您知道存储桶已经存在。 --no-head 如果设置，请勿对上传的对象进行HEAD请求以检查完整性。 这在试图使rclone的事务数最小化时非常有用。 设置它意味着如果rclone在通过PUT上传对象后收到200 OK消息，那么它将假设它成功上传了。 特别是，它将假设： - 元数据，包括最后修改时间，存储类别和内容类型与上传时相同。 - 大小与上传时相同。 它从单个part PUT 请求的响应中读取以下内容： - MD5SUM - 上传日期 对于多部分上传，不会读取这些项目。 如果上传源的大小未知，则rclone **将**进行HEAD请求。 设置此标志会增加未被检测到的上传失败的几率，特别是大小不正确，因此不推荐在正常操作中使用。实际上，即使有此标志，检测到的上传错误的几率也非常小。 --no-head-object 如果设置，请在GET获取对象时不进行HEAD请求。 --encoding 后端的编码方式。 有关更多信息，请参阅概述中的[编码方法](/overview/#encoding)。 --memory-pool-flush-time 内部内存缓冲池刷新的时间间隔。 需要额外缓冲区的上传（例如，分块上传）将使用内存池进行分配。 此选项控制多久从池中删除未使用的缓冲区。 --memory-pool-use-mmap 是否在内部内存缓冲池中使用mmap缓冲区。 --disable-http2 禁用 S3 后端的 http2 使用。 目前 s3 (特别是 minio) 后端与 HTTP/2 存在未解决的问题。 HTTP/2 在 S3 后端默认启用，但可以在这里禁用。 在问题解决之前，这个标志将被保留。 参见: https://github.com/rclone/rclone/issues/4673, https://github.com/rclone/rclone/issues/3631 --download-url 自定义下载终端点。 这通常设置为 CloudFront CDN URL，因为 AWS S3 提供通过 CloudFront 网络下载的更便宜的出口流量。 --use-multipart-etag 是否在分块上传中使用ETag以进行验证。 此值应为true、false或未设置，以使用提供商的默认值。 --use-presigned-request 是否使用预签名请求或PutObject进行单个部分上传。 如果为false，rclone将使用PutObject从AWS SDK上传对象。 版本小于1.59的rclone使用预签名请求来上传单个部分对象，将此标志设置为true将重新启用该功能。除非特殊情况或测试需要，否则不应该需要设置此标志。 --versions 在目录列表中包括旧版本文件。 --version-at 显示文件版本，如指定的时间点。 参数应为日期（"2006-01-02"）、日期时间（"2006-01-02 15:04:05"）或一个持续时间，例如 "100d" 或 "1h"。 请注意，使用此选项时不允许进行文件写入操作，因此无法上传文件或删除文件。 有关有效格式，请参见[时间选项文档](/docs/#time-option)。 --decompress 如果设置，将解压缩gzip编码的对象。 可以使用 "Content-Encoding: gzip" 设置对象上传到S3。通常， rclone会将这些文件作为压缩对象下载。 如果设置了此标志，则rclone将在接收到这些文件时对带有 "Content-Encoding: gzip" 的文件进行解压缩。这意味着rclone无法检查大小和散列值，但文件内容将被解压缩。 --might-gzip 如果后端可能压缩对象，请设置此标志。 通常情况下，提供者在下载对象时不会更改对象。如果一个对象在上传时没有使用 `Content-Encoding: gzip` 上传，那么在下载时也不会设置它。 但是，即使未使用 `Content-Encoding: gzip` 上传对象，一些提供商可能也会对对象进行 gzip 压缩（例如 Cloudflare）。 这将导致收到以下错误： ERROR corrupted on transfer: sizes differ NNN vs MMM 如果设置了此标志，并且rclone下载了带有设置了 Content-Encoding: gzip 和分块传输编码的对象，则rclone将在传输过程中实时解压缩对象。 如果将此设置为未设置（默认值），则rclone将根据提供商的设置选择应用何种转换，但您可以在此处覆盖rclone的选择。 --no-system-metadata 禁止设置和读取系统元数据 --sts-endpoint STS的终端节点。 如果留空，则使用默认的区域终端节点。 选项: --access-key-id value AWS Access Key ID。[$ACCESS_KEY_ID] --acl value 创建存储桶和存储或复制对象时使用的预设ACL。[$ACL] --endpoint value S3 API的端点。[$ENDPOINT] --env-auth 从运行时获取AWS凭据（如果访问密钥ID和秘密访问密钥为空，则从环境变量或EC2/ECS元数据中获取）。 (默认值：false) [$ENV_AUTH] --help, -h 显示帮助 --location-constraint value 位置约束 - 必须设置为与区域匹配的值。[$LOCATION_CONSTRAINT] --region value 要连接的区域。[$REGION] --secret-access-key value AWS Secret Access Key（密码）。[$SECRET_ACCESS_KEY] --server-side-encryption value 存储此对象在S3中时使用的服务器端加密算法。[$SERVER_SIDE_ENCRYPTION] --sse-kms-key-id value 如果使用KMS ID，则必须提供密钥的ARN。[$SSE_KMS_KEY_ID] --storage-class value 存储新对象时要使用的存储类别。[$STORAGE_CLASS] 高级选项 --bucket-acl value 创建存储桶时使用的预设ACL。[$BUCKET_ACL] --chunk-size value 用于上传的分块大小。 (默认值： "5Mi") [$CHUNK_SIZE] --copy-cutoff value 切换到分块复制的截止限制。 (默认值： "4.656Gi") [$COPY_CUTOFF] --decompress 如果设置，将解压缩gzip编码的对象。 (默认值： false) [$DECOMPRESS] --disable-checksum 不要将MD5校验和存储在对象元数据中。 (默认值： false) [$DISABLE_CHECKSUM] --disable-http2 禁用 S3 后端的 http2 使用。 (默认值： false) [$DISABLE_HTTP2] --download-url value 自定义下载终端点。[$DOWNLOAD_URL] --encoding value 后端的编码方式。 (默认值： "Slash,InvalidUtf8,Dot") [$ENCODING] --force-path-style 如果为true，则使用路径样式访问；如果为false，则使用虚拟主机样式访问。 (默认值： true) [$FORCE_PATH_STYLE] --leave-parts-on-error 如果为true，则在失败时避免调用中止上传，为手动恢复保留所有成功上传的部分。 (默认值： false) [$LEAVE_PARTS_ON_ERROR] --list-chunk value 列表块的大小（每个ListObject S3请求的响应列表）。 (默认值： 1000) [$LIST_CHUNK] --list-url-encode value 是否对列表进行URL编码：true/false/unset (默认值： "unset") [$LIST_URL_ENCODE] --list-version value 要使用的ListObjects版本：1, 2或0进行自动选择。 (默认值： 0) [$LIST_VERSION] --max-upload-parts value 单个分块上传中的最大分块数。 (默认值： 10000) [$MAX_UPLOAD_PARTS] --memory-pool-flush-time value 内部内存缓冲池刷新的时间间隔。 (默认值： "1m0s") [$MEMORY_POOL_FLUSH_TIME] --memory-pool-use-mmap 是否在内部内存缓冲池中使用mmap缓冲区。 (默认值： false) [$MEMORY_POOL_USE_MMAP] --might-gzip value 如果后端可能压缩对象，请设置此标志。 (默认值： "unset") [$MIGHT_GZIP] --no-check-bucket 如果设置，请不要尝试检查存储桶是否存在或创建存储桶。 (默认值： false) [$NO_CHECK_BUCKET] --no-head 如果设置，请勿对上传的对象进行HEAD请求以检查完整性。 (默认值： false) [$NO_HEAD] --no-head-object 如果设置，请在GET获取对象时不进行HEAD请求。 (默认值： false) [$NO_HEAD_OBJECT] --no-system-metadata 禁止设置和读取系统元数据 (默认值： false) [$NO_SYSTEM_METADATA] --profile value 共享凭据文件中要使用的配置文件。 [$PROFILE] --requester-pays 与S3存储桶交互时启用请求方支付选项。 (默认值： false) [$REQUESTER_PAYS] --session-token value AWS会话令牌。 [$SESSION_TOKEN] --shared-credentials-file value 共享凭据文件的路径。 [$SHARED_CREDENTIALS_FILE] --sse-customer-algorithm value 如果使用SSE-C，则存储此对象在S3中时使用的服务器端加密算法。 [$SSE_CUSTOMER_ALGORITHM] --sse-customer-key value 若要使用SSE-C，可以提供用于加密/解密数据的密钥。 [$SSE_CUSTOMER_KEY] --sse-customer-key-base64 value 如果使用SSE-C，则必须提供以base64格式编码的密钥，以便加密/解密数据。 [$SSE_CUSTOMER_KEY_BASE64] --sse-customer-key-md5 value 如果使用SSE-C，则可以提供密钥的MD5校验和（可选）。 [$SSE_CUSTOMER_KEY_MD5] --sts-endpoint value STS的终端节点。 [$STS_ENDPOINT] --upload-concurrency value 分块上传的并发数。 (默认值： 4) [$UPLOAD_CONCURRENCY] --upload-cutoff value 切换到分块上传的截止限制。 (默认值： "200Mi") [$UPLOAD_CUTOFF] --use-accelerate-endpoint 如果为true，则使用AWS S3加速端点。 (默认值： false) [$USE_ACCELERATE_ENDPOINT] --use-multipart-etag value 是否在分块上传中使用ETag以进行验证 (默认值： "unset") [$USE_MULTIPART_ETAG] --use-presigned-request 是否使用预签名请求或PutObject进行单个部分上传 (默认值： false) [$USE_PRESIGNED_REQUEST] --v2-auth 如果为true，则使用v2身份验证。 (默认值： false) [$V2_AUTH] --version-at value 显示文件版本，如指定的时间点。 (默认值： "off") [$VERSION_AT] --versions 在目录列表中包括旧版本文件。 (默认值： false) [$VERSIONS] 通用 --name value 存储的名称（默认：自动生成的） --path value 存储的路径 ``` {% endcode %} --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://data-programs.gitbook.io/singularity/zh/cli-reference/storage/create/s3/aws.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.