object-lock: test changes between retention modes

Signed-off-by: Casey Bodley <cbodley@redhat.com>

nuke_prefixed_buckets waits up to 60 seconds for object locks to expire

objects locked in GOVERNANCE mode can be removed with
BypassGovernanceRetention, but some tests may leave an object locked in
COMPLIANCE mode, which blocks deletion until the retention period
expires

nuke_prefixed_buckets now checks the retention policy of objects that it
fails to delete with AccessDenied, and will wait up to 60 seconds for
locks to expire before retrying the deletes. if the wait exceeds 60
seconds, it instead throws an error without deleting the bucket

instead of doing this in nuke_prefixed_buckets, we could potentially
have each object-lock test case handle this manually, but that would
add a separate delay to each test case

Signed-off-by: Casey Bodley <cbodley@redhat.com>

nuke_prefixed_buckets deletes objects in batches

speed up the cleanup by using delete_objects() with batches of 128

Signed-off-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #397 from TRYTOBE8TME/wip-new-sts-tests

sts: Addition of new STS tests

Merge pull request #404 from flipkart-incubator/aws_sse_s3

rgw/s3_boto3: Add tests for bucket encryption APIs

rgw/s3_boto3: Add tests for bucket encryption APIs

Tests are added for GetBucketEncryption, PutBucketEncryption,
and DeleteBucketEncryption APIs.

Related PR: https://github.com/ceph/ceph/pull/42222

Signed-off-by: Rahul Dev Parashar <rahul.dev@flipkart.com>

rgw/sts: Addition of new STS tests for testing
session policies alongwith role's permission policy
and bucket policy.

Signed-off-by: Kalpesh Pandya <kapandya@redhat.com>
Signed-off-by: Pritha Srivastava <prsrivas@redhat.com>

Merge pull request #401 from SoftIron/object-retention-iso8601

Add test to check retain date is in iso 8601 format

Merge pull request #399 from iraj465/wip-new-lifecycle-transition-tests

rgw/s3_boto3:Adds lifecycle transition tests

Add test to check retain date is in iso 8601 format

Signed-off-by: Danny Abukalam <danny@softiron.com>

rgw/s3_boto3:Adds lifecycle transition test for invalid iso8601 date

Merge pull request #389 from cbodley/wip-test-49780

sts: test role policy around nonexistent objects

Merge pull request #386 from cbodley/wip-bucket-ctime

test that listed buckets have creation time

Merge pull request #393 from ofriedma/wip-ofriedma-mp-upload-bucket-policy

test multipart upload with bucket policy

Merge pull request #391 from ceph/tethology_s3select_apr19

modifying tests to be align with change of s3select compare sign( == …

test multipart upload with bucket policy

Signed-off-by: Or Friedmann <ofriedma@redhat.com>

modifying tests to be align with change of s3select compare sign( == -> = )

Signed-off-by: gal salomon <gal.salomon@gmail.com>

Merge pull request #382 from albin-antony/master

s3select: align s3-tests with new changes in s3select

tests

Signed-off-by: Albin Antony <aantony@redhat.com>

sts: test role policy around nonexistent objects

Signed-off-by: Casey Bodley <cbodley@redhat.com>

tests

Signed-off-by: Albin Antony <aantony@redhat.com>

tests

Signed-off-by: Albin Antony <aantony@redhat.com>

s3select: align s3-tests with new changes in s3select

Fix when then, date functions and NULL, add escape, trim tests

Signed-off-by: Albin Antony <aantony@redhat.com>

test that listed buckets have creation time

Signed-off-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #381 from ceph/fix_test_file_permission_add_attrib

change test_s3select.py permission; add s3select attribute

change test_s3select.py permission; add s3select attribute

Signed-off-by: galsalomon66 <gal.salomon@gmail.com>

Merge pull request #373 from ceph/fix_function_names

rename charlength and character_length function names

reduce object size for test_like_expression, it may cause timeouts in teuthology runs

Signed-off-by: galsalomon66 <gal.salomon@gmail.com>

rename charlength and character_length function names

Signed-off-by: galsalomon66 <gal.salomon@gmail.com>

Merge pull request #371 from ofriedma/wip-ofriedma-test-usage-api

Add test for GetUsage api

Reviewed-by: Ali Maredia <amaredia@redhat.com>

Add test for head bucket usage headers

Signed-off-by: Or Friedmann <ofriedma@redhat.com>

Add test for GetUsage api

Signed-off-by: Or Friedmann <ofriedma@redhat.com>

Merge pull request #363 from linuxbox2/master-headbucket-dne

Add test for HeadBucket on a non-existent bucket

Merge pull request #367 from IlsooByun/check_invalid_payload

Check if invalid payload is added after serving errordoc

Merge pull request #364 from albin-antony/when-than

s3select tests for coalesce and case

s3select tests for coalesce and case

Signed-off-by: Albin Antony <aantony@redhat.com>

Check if invalid payload is added after serving errordoc

Signed-off-by: Ilsoo Byun <ilsoobyun@linecorp.com>

Merge pull request #360 from TRYTOBE8TME/wip-sts-webidentity

Webidentity Test addition to test_sts.py

Merge pull request #358 from albin-antony/predicates

s3select predicate tests

Webidentity Test addition to test_sts.py

Signed-off-by: Kalpesh Pandya <kapandya@redhat.com>
Few main changes/additions:
1. Webidentity test addition to test_sts.py.
2. A function named check_webidentity() added to __init__.py in order to check for section presence.
3. Few lines shifted from setup() to get_iam_client() to make them execute only when sts-tests run.
4. Documentation update (for sts section)
5. Changes in s3tests.conf.SAMPLE regarding sts sections

Merge pull request #361 from ofriedma/wip-lc-expr-hdr-tags

Test expiration header for lc rules with tags

Test expiration header for lc rules with tags

Signed-off-by: Or Friedmann <ofriedma@redhat.com>

s3select predicate tests

Signed-off-by: Albin Antony <aantony@redhat.com>

Merge pull request #356 from cbodley/wip-test-bucket-recreate-acl

test bucket recreation with different acls

Add test for HeadBucket on a non-existent bucket

n.b., RGW does not send a response document for this operation,
which seems consistent with
https://docs.aws.amazon.com/AmazonS3/latest/API/API_HeadBucket.html

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

Merge pull request #362 from TRYTOBE8TME/wip-sts-issue-fix

STS issue fix (https://tracker.ceph.com/issues/47588)

STS issue fix (https://tracker.ceph.com/issues/47588)

This is the fix for the issue reported (https://tracker.ceph.com/issues/47588). The issue was with the argument which was passed to the function. After removing that argument (as it's already an optional argument) the issue is fixed.

Signed-off-by: Kalpesh Pandya <kapandya@redhat.com>

Merge pull request #359 from huww98/master

Test list_objects_v2 KeyCount with Delimiter

Merge pull request #357 from linuxbox2/wip-fixes-911

Wip fixes 911

Test list_objects_v2 KeyCount with Delimiter

Test for: https://github.com/ceph/ceph/pull/37396

Signed-off-by: 胡玮文 <huww98@outlook.com>

add noncurrent version expiration rule w/tag filter

Create 10 object versions (9 noncurrent).  Install a noncurrent
version expiration at 4 days.  Verify that 10 versions exist at
T+20, and only 1 (current) at T+60.

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

add lifecycle expiration test mixing 2-tag filter w/versioning

By design this test duplicates test_lifecycle_expiration_tags2,
but enables object versioning on the bucket.

The tests install a rule which requires -2- tags to be matched,
and creates 2 objects, one matching only 1 of the required tags,
the other matching both.  Only the 2nd object should expire.

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

add tests for lifecycle expiration w/1 and 2 object tags

Note that the 1-tag case contains a filter prefix--which exposes
an apparent bug parsing Filter when it contains a Prefix element
and a single Tag element (without And).

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

fix lifecycle expiration days: 0

In fact test_lifecycle_expiration_days0 is should fail, as 0-day
expiration is permitted for transition rules but not expiration
rules.

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

s/test_set_tagging/test_set_bucket_tagging/;

The test exercises bucket tagging, has nothing to do with object
tagging (clarity).

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

fix test_lifecycle_expiration_header_{put,head}

Primarily fixes the expiration header() verifier function
check_lifecycle_expiration_header, but also cleans up
prefix handling in setup_lifecycle_expiration().

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

fix and remark on test_lifecycle_expiration_days0

1. fix a python3-related KeyError exception

2. note here:  AWS documentation includes examples of "Days 0"
   in use, but boto3 will not accept them--this is why the days0
   test currently sets Days 1

3. delay increased to 30s, to avoid occasional failures due to
   jitter

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

test bucket recreation with different acls

Signed-off-by: Casey Bodley <cbodley@redhat.com>

Merge pull request #355 from TRYTOBE8TME/wip-sts-tests

STS Tests File and required modification in other files for the same

Merge pull request #352 from ceph/validate_test_setup

per each new uploaded file(for test), it got unique name(random), and…

per each new uploaded file(for test), it got unique name(random), and uploaded file is verified for its content

Signed-off-by: gal salomon <gal.salomon@gmail.com>
Signed-off-by: gal salomon <gal.salomon@gmail.com>

STS Tests Files and modification in __init__.py

Signed-off-by: Kalpesh Pandya <kapandya@redhat.com>

Merge pull request #353 from ceph/add_test_filter

add filter for s3select tests

add filter for s3select tests

Signed-off-by: gal salomon <gal.salomon@gmail.com>

Merge pull request #342 from ceph/s3select_first_tests_framework

commit first tests for s3select and initial framework

fix comments;remove non-used imports;enable test for projection;using get_client()

adding radom-generated tests, one for where clause , the second for prjection. random arithmetical expression is generated and used for building s3-select query; result is compared to python-engine

Merge pull request #347 from linuxbox2/wip-fix-lc-expire-timers

fix/restore test_lifecycle_expiration checks

Merge pull request #350 from tchaikov/wip-45691

bootstrap,requirements.txt: bump up setuptools and requests

bootstrap,requirements.txt: bump up setuptools and requests

Fixes: https://tracker.ceph.com/issues/45691
Signed-off-by: Kefu Chai <kchai@redhat.com>

python linter; replace assert with assert_equal; add complex query test(sum,count,where); add test-schema ;

using config parameters

Merge pull request #348 from cbodley/wip-bootstrap-virtualenv-deprecated

bootstrap: remove deprecated virtualenv options

Reviewed-by: Adam C. Emerson <aemerson@redhat.com>
Reviewed-by: Ali Maredia <amaredia@redhat.com>

bootstrap: remove deprecated virtualenv options

this fails on Ubuntu 20.04:

> virtualenv: error: unrecognized arguments: --no-site-packages --distribute

according to `virtualenv -h`:

>   --no-site-packages    DEPRECATED. Retained only for backward compatibility.
>                         Not having access to global site-packages is now the
>                         default behavior.
>   --distribute          DEPRECATED. Retained only for backward compatibility.
>                         This option has no effect.

Signed-off-by: Casey Bodley <cbodley@redhat.com>

fix/restore test_lifecycle_expiration checks

Commit bf956df71e56bcdae7d41b9789d8e8d775f76007 adding
listobvjectsv2 tests inadvertently changed the v1
test_lifecycle_expiration test, which it had copied to
create a v2 version.  Revert this.

Signed-off-by: Matt Benjamin <mbenjamin@redhat.com>

Merge pull request #345 from huangp0600/hp-dev

Fix: Bucket resource leak when cleanup

Fix: Bucket resource leak when cleanup

In the function of nuke_prefixed_buckets, if some err is thrown when deleting buckets, the left buckets remain uncleaned.
It is kind of resoruce leak on some charged platform. We have to clear them manually.

I know the original code is meant to give the user some hint by rasing error. But the resource leak of left buckets is a little annoying.

This PR would skip the problem point and continue the teardown process. The last client error would be saved and re-raised after the loop completes.

Signed-off-by: Pei <huangp0600@126.com>
Signed-off-by: Pei <phuang1@dev-new-3-3854897.slc07.dev.ebayc3.com>

add tests to validate csv-header-info functionalities is correct

adding test cases for processing CSV objects with different CSV definitions; validate null,escape-rules and quotes are processed correctly

adding utcnow test

adding tests for date-time functionalities

add complex expression tests; for nested function calls; and different where-clause which create the same group of values

adding test for detection of cyclic reference to alias

adding aggregation tests

adding alias test case

commit first tests for s3select and initial framework

Merge pull request #302 from theanalyst/public-buckets

Public buckets

fix ignore public acls with py3 compatible code

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

add tests for ignore public acls

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

add test for block public policy

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

use empty bodies for  canned acl tests with BlockPublicAccess

This should be a temporary workaround until #42208 is fixed

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

remove redundant get_client calls

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

add ability to get svc client for s3config set of apis

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

add tests for public access configuration

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

add a few test cases for public bucket policies

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

boto3: add bucket policy status checks for public ACLs

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

Merge pull request #340 from theanalyst/bootstrap-suse

bootstrap: add support for *suse distributions

bootstrap: add support for *suse distributions

Also reformatted the bootstrap script to parse /etc/os-release instead, so that
more distro/pkg manager support could be added at a later point in time and
fixed the error message

Signed-off-by: Abhishek Lekshmanan <abhishek@suse.com>

Merge pull request #337 from ceph/wip-python-3-port

Wip python 3 port

remove all non-functional tests and infra

Signed-off-by: Ali Maredia <amaredia@redhat.com>