Merge branch 'wip-cleanup' into 'rh-luminous'

Multisite updates

See merge request ceph/ceph!36

Multisite configuration modifications

Test case yaml organized in suites

Merge branch 'rgw_multiclient' into 'rh-luminous'

Rgw multiclient

See merge request ceph/ceph!34

Merge branch 'with-client-2' into 'rh-luminous'

Add client-2 in roles

See merge request ceph/ceph!35

Add client-2 in roles

Signed-off-by: Shylesh Kumar <shmohan@redhat.com>

changes to accomodate the modified rgw_system_test task

added doc string and script default value

increased client count

added multiclient tests

modified task with cleaner code

Merge branch 'wip-openssl' into 'rh-luminous'

openssl task from master

See merge request ceph/ceph!33

Pulled openssl keys from master

Merge branch 'wip-bluestore-tunables' into 'rh-luminous'

Bluestore compression tunables smoke suite

See merge request ceph/ceph!32

update maven link and version

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

dont fail on any WRN or ERR's during final log check.

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Bluestore compression tunables smoke suite

Signed-off-by: Shylesh Kumar <shmohan@redhat.com>

Merge branch 'wip-smoke-migrate-failures' into 'rh-luminous'

Make smoke/migration as a seperate suite with filestore as default objectstore

See merge request ceph/ceph!31

Make filestore as objstore in smoke/ceph-ansible/migration suites

Signed-off-by: shylesh kumar <shylesh.mohan@gmail.com>

Merge branch 'wip-cephtask-with-lvm' into 'rh-luminous'

Modify ceph task to use ceph-volume lvm for osd creation

See merge request ceph/ceph!29

Modify ceph task to use ceph-volume lvm for osd creation

Signed-off-by: shylesh kumar <shylesh.mohan@gmail.com>

Merge branch 'wip-ftob-migration' into 'rh-luminous'

Migration from filestore to bluestore task along with io with checksum validation

See merge request ceph/ceph!28

Migration from filestore to bluestore task along with
suite yaml

Signed-off-by: shylesh kumar <shylesh.mohan@gmail.com>

Add 3.2 version support

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge branch 'make-cov' into 'rh-luminous'

code coverage from source

See merge request ceph/ceph!27

Merge branch 'wip-rados-thrash1' into 'rh-luminous'

thrash refactoring

See merge request ceph/ceph!26

thrash refactoring

Signed-off-by: Shylesh Kumar <shylesh.mohan@gmail.com>

code coverage from source

Signed-off-by: shylesh kumar <shylesh.mohan@gmail.com>

Merge branch 'add_bluestore' into 'rh-luminous'

bluestore configuration added

See merge request ceph/ceph!25

bluestore configuration added

disable tests that fail due to ERR or WRN in cluster logs

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge branch 'wip-netem' into 'rh-luminous'

Task and yamls for testing delay and link failure/recovery with multisite

See merge request ceph/ceph!24

Change rgw node running tests.

Task and yamls for testing delay and link failure/recovery with multisite

Merge branch 'rgw-multisite' into 'rh-luminous'

Multisite tests refactored to run both boto2 and boto3 rgw_system tests

See merge request ceph/ceph!23

Remove duplicate tasks

Multisite tests refactored to run both boto2 and boto3 rgw_system tests

Merge branch 'nfs-ganesha-rgw-v2' into 'rh-luminous'

corrected wrongly added test name

See merge request ceph/ceph!22

Merge branch 'ceph-ipmi' into 'rh-luminous'

Task to power off/on remotes

See merge request ceph/ceph!20

corrected wrongly added test name

Task to power off/on remotes

Merge branch 'nfs-ganesha-rgw-v2' into 'rh-luminous'

Nfs ganesha rgw v2

See merge request ceph/ceph!19

Merge branch 'rgw_system_stability' into 'rh-luminous'

Rgw system stability

See merge request ceph/ceph!18

nfs_test added

deleted to rename the files for cleaner meaning

deleted nfs-ganesh-rgw v1

corrected errors

added nfs tests

added test_on_nfs_io_create

renamed the taskfile and added code to work on nfs-ganesha-rgw-v2(boto3 based)

added test_dir_version as config and corrected config numbers

cleaned and modfied code

update version numbers for rhcs 3.0z and 3.1

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

Merge branch 'singleton-reorg' into 'rh-luminous'

Singleton reorg

See merge request !15

force rgw test branch to ceph-luminous

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

remove force branch use for rgw s3 test

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

print the boto cfg in use for debug use

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

qa/tasks/ceph: add "create_rbd_pool" option

True by default, but we can opt not to create the "rbd" pool.

Signed-off-by: Kefu Chai <kchai@redhat.com>
(cherry picked from commit ac1e13ce63a6f32ae9ab0db8196c8cc8100d94ed)

qa/suites/rados/singleton: more whitelist

* SLOW_OPS is normal in a cluster with flattering OSDs
* so is OBJECT_MISPLACED.

Signed-off-by: Kefu Chai <kchai@redhat.com>
(cherry picked from commit 0e987665fe480530a0d1664392604713828bfa5c)

qa: silence SLOW_OPS,PENDING_CREATING_PGS warnings

this is an intermediate step to deprecate REQUEST_SLOW warnings.

Signed-off-by: Kefu Chai <kchai@redhat.com>
(cherry picked from commit 4a1f2a5c78cc77eafe99f087d10c0d3daa7fca7b)

Conflicts:
qa/suites/rados/singleton/all/thrash-eio.yaml
qa/suites/smoke/basic/tasks/mon_thrash.yaml
qa/suites/smoke/basic/tasks/rados_bench.yaml
qa/suites/smoke/basic/tasks/rados_cache_snaps.yaml
qa/suites/smoke/basic/tasks/rados_ec_snaps.yaml
qa/suites/smoke/basic/tasks/rbd_fsx.yaml: do not cherry-pick the
SLOW_OPS related changes.

qa: Ignore degraded PGs when injecting random eio errors

Signed-off-by: David Zafman <dzafman@redhat.com>
(cherry picked from commit c77941f593755f79e4a800545d7ff437bbe0562d)

qa/suites/rados/singleton/diverget_priors*: broaden whitelist

Signed-off-by: Sage Weil <sage@redhat.com>
(cherry picked from commit 39e5efbad2c2834acf8e6463258b148321ea85a4)

rados singleton reorg

Signed-off-by: Shylesh Kumar <shylesh.mohan@gmail.com>

Merge branch 'nfs-ganesha-fail-fix' into 'rh-luminous'

Nfs ganesha fail fix

Changed pg_pg num and pgp_num val to 8.  Missing config in nfsP_ganesha tests added.

See merge request !13

missing nfs_version config added

changed pg_num and pgp_num to 8

Merge branch 'add-nfs-ganesha-task' into 'rh-luminous'

added nfs_ganesha_task

nfs ganesha task added

See merge request !12

added nfs_ganesha_task

qa: ignore io pause warnings in mds-full test

Fixes: http://tracker.ceph.com/issues/22990
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 7bf6eb0198d0cf68d1393a8f61975bb29593fc55)

qa: ignore MON_DOWN while thrashing mons

Fixes: https://tracker.ceph.com/issues/22993
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 608e002195638e80323780f1907db40c0b9768f0)

qa: whitelist expected rstat warning

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit c53d091e5110011866aa85495ff4e5abe0442d71)

qa: whitelist cache too large in client-limits

Fixes: http://tracker.ceph.com/issues/21510
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 87039eb30a25158a192ab7099fa81fbb9ce02953)

qa: whitelist failover log warnings

Fixes: http://tracker.ceph.com/issues/21509
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 37a7737712f36422b5f035a0e02bab25ae2da890)

qa: ignore evicted client in client-recovery

Fixes: http://tracker.ceph.com/issues/21508
Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>
(cherry picked from commit 8ecef57bb10a83587f02ce087b657d303ae7c589)

qa: whitelist expected MDS_READ_ONLY for kcephfs test

Signed-off-by: "Yan, Zheng" <zyan@redhat.com>
(cherry picked from commit 584241285f52fc420ebc4a6a6455497a3ed4d45a)

qa: add health whitelist for kcephfs suite

Fixes: http://tracker.ceph.com/issues/20892
Signed-off-by: "Yan, Zheng" <zyan@redhat.com>
(cherry picked from commit b10989209f41ddb5abe16f816ffd8a3ce118fd02)

Merge branch 'bug-1518730' into 'rh-luminous'

Bug 1518730

See merge request !11

Merge branch 'wip-rbd-critical' into 'rh-luminous'

rbd critical tests

Add rbd critical tests in smoke

Signed-off-by: Sidhant Agrawal <sagrawal@redhat.com>
See merge request !8

Merge branch 'bug-1489866' into 'rh-luminous'

Bug 1489866

See merge request !10

qa: ignore bad backtrace cluster wrn

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

qa/cephfs: Add tests to validate scrub functionality

Add tests to ensure the scrub operation is not adversly affected
by certain metadata pathologies.

Signed-off-by: Douglas Fuller <dfuller@redhat.com>

Add CEPH-9873 test

Add CEPH-9825 test

Add rbd delayed deletion tests

Merge branch 'wip-os-install' into 'rh-luminous'

added rbd_os_install.yaml in smoke

Signed-off-by: Sidhant Agrawal <sagrawal@redhat.com>
See merge request !7

add default timeout of 600 seconds for pg to be in clean state

Signed-off-by: Vasu Kulkarni <vasu@redhat.com>

test: make the LibCephFS.ShutdownRacer test even more thrashy

Have each thread do the startup and shutdown in a loop for a specified
number of times.

Tracker: http://tracker.ceph.com/issues/21512
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit f877e365a42f8f34af6fc3382593ef09101a50d0)

lockdep: free_ids and lock_ref hashes must be truly global

It's possible for the teardown of g_lockdep_ceph_ctx to occur, followed
by a new context being registered as the lockdep context. When that
occurs, we can end up reusing lock id's that were previously handed out
to consumers. We need for those IDs to be persistent across lockdep
enablement and disablement.

Make both the free_ids table, and the lock_refs map persistent across
lockdep_unregister_ceph_context and lockdep_register_ceph_context cycles.
Entries in those tables will only be deleted by the destruction of the
associated mutex.

When lockdep_unregister is called, do the refcounting like we normally
would, but only clear out the state when the lockid is registered
in the lock_names hash.

Finally, we do still need to handle the case where g_lockdep has gone
false even when there are outstanding references after the decrement.
Only log the message if that's not the case.

With this, we can deal with the case of multiple clients enabling and
disabling lockdep in an unsynchronized way.

Tracker: http://tracker.ceph.com/issues/21512
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 82fe4e94bcb706434f9215bc8405ff60770cf14f)

common: add a clear_g_str_vec() function to clear g_str_vec

Prefix str_vec and str_vec_lock with "g_" to make it clear that they are
truly global values. Add a new clear_g_str_vec function to allow it to
be explicitly cleaned out by callers that need that functionality
(mostly testcase for now).

Tracker: http://tracker.ceph.com/issues/21512
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit f72ace0a5666db49bb390ff4ec6808e6e55a779f)

common: make it safe to call env_to_vec multiple times

After it has been called once and we have outstanding CephContexts with
pointers into str_vec, we can't call get_str_vec on it again.

Add a static local mutex to protect access to str_vec.

Tracker: http://tracker.ceph.com/issues/21512
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 90e898de5f4b8d22f1a6d0e2aedf9e8c50cf72d5)

lockdep: fix Mutex tests to disable lockdep properly

...and make g_lockdep a bool.

Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 0cd0bd778a6149d3e2fe657060e223be3675aed7)

client: test shutdown race

Spawn threads that bring up a bunch of ceph_mounts with individual
CephContext objects, and then tear them down in parallel.

Tracker: http://tracker.ceph.com/issues/20988
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 8252f3168a1bc90add7f7515c549e9eecffa54b7)

client: fix signed/unsigned comparison compiler warning

The build says:

src/client/Client.cc: In member function ‘void Client::trim_caps(MetaSession*, int)’:
src/client/Client.cc:4121:22: warning: comparison between signed and unsigned integer expressions [-Wsign-compare]
   if (s->caps.size() > max)
       ~~~~~~~~~~~~~~~^~~~~

Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit e057b6770b5545f327990cbaf17e7a391e3e8a50)

lockdep: fix races with concurrent lockdep teardown

If the cct is unregistered while other threads are flogging mutexes,
then we can hit all sorts of bugs. Ensure that we handle that
situation sanely, by checking that g_lockdep is still set after
we take the lockdep_mutex.

Also, remove an assertion from lockdep_unregister, and just turn it into
an immediate return. It's possible to have a call to
lockdep_unregister_ceph_context, and then a call to
lockdep_register_ceph_context while a mutex is being held by another
task.

In that case, it's possible the lock does not exist in the map
when we go to unregister it. That's not a bug though, just a natural
consequence of that series of actions.

Tracker: http://tracker.ceph.com/issues/20988
Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 75f41a95782a7ee83a243d91963e8d591402f8a6)

lockdep: don't take lockdep_mutex twice for new lock registrations

We can do it under the same mutex, which should be more efficient.

Signed-off-by: Jeff Layton <jlayton@redhat.com>
(cherry picked from commit 01863bb6fb62ea89aa3e21e43bf4dc4f3da9cfcb)

qa/suites/smoke/basic/tasks:added rbd_os_install.yaml
Signed-off-by: Sidhant Agrawal <sagrawal@redhat.com>

Merge branch 'fix_rgw_tests_path' into 'rh-luminous'

Fix rgw tests path

corrected RGW v1 tests path in RGW system tests , multisite tests and NFS Ganesha tests.
fixed missing version no in nfs ganesha task.

See merge request !6

corrected nfs-ganesha test run path and fixed version if not found error

corrected rgw v1 tests path

Merge branch 'wip-rados-reorg' into 'rh-luminous'

Rados reorg for downstream-basic suit

See merge request !5