ceph-ansible-pr: add rgw in devs

Add rgw_multisite_* in devs so we can test this with master upstream.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-ansible-pipeline: add rgw multisite

support for testing rgw multisite in the pipeline

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1181 from ceph/ceph-volume-trigger

Ceph volume trigger

ceph-ansible-pipeline: activate batch container

Now batch container is supported so let's activate it.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-ansible-pipeline: run osd scenarios when module is modified

When we edit the ceph_volume.py module we should run all the OSD
scenarios.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1179 from ceph/guits_rgw_multisite

ceph-ansible: add rgw_multisite scenario

Merge branch 'master' into guits_rgw_multisite

Merge pull request #1177 from ceph/pipeline

ceph-ansible-pipeline: run all lvm test against ceph@master

ceph-ansible: add rgw_multisite scenario

ceph-ansible corresponding PR:

ceph/ceph-ansible#1944

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

ceph-ansible-pipeline: run all lvm tests against ceph@master

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: allow all jobs to be tested with dev repos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1176 from ceph/guits-remove_color

ceph-ansible-syntax: disable syntax coloration in `git_diff_to_head()`

ceph-ansible-syntax: disable syntax coloration in `git_diff_to_head()`

when running this code locally for debugging purposes, the sed in
`match_file()` won't match the pattern because of the ANSI codes inserted by
the git diff (colored) output.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1175 from ceph/guits-revert_4a25fb2b

ceph-ansible-syntax: display matched files in group_vars_check

ceph-ansible-syntax: display matched files in group_vars_check

it can be useful to see which files have matched in `group_vars_check()`
function.
I'm currently facing an issue where the CI complains on that check while
it doesn't on an other environment when trying to reproduce the issue.

on the CI:

```
+ group_vars_check
++ match_file /defaults/main.yml
++ git_diff_to_head
++ wc -l
++ git diff origin/master..HEAD -- . ':(exclude)roles/*/meta/*'
++ sed -n 's|^+++.*\(/defaults/main.yml.*\)|\1|p'
+ nb=1
+ [[ 1 -eq 0 ]]
++ match_file group_vars/
++ wc -l
++ git_diff_to_head
++ git diff origin/master..HEAD -- . ':(exclude)roles/*/meta/*'
++ sed -n 's|^+++.*\(group_vars/.*\)|\1|p'
+ nb_group_vars=0
+ [[ 1 -gt 0 ]]
+ echo 'One or more files containing default variables has/have been modified.'
One or more files containing default variables has/have been modified.
+ echo 'You must run '\''generate_group_vars_sample.sh'\'' to generate the group_vars template files.'
You must run 'generate_group_vars_sample.sh' to generate the group_vars template files.
+ return 1
```

local env:

```
+ group_vars_check
++ match_file /defaults/main.yml
++ wc -l
++ git_diff_to_head
++ sed -n 's|^+++.*\(/defaults/main.yml.*\)|\1|p'
++ git diff origin/master..HEAD -- . ':(exclude)roles/*/meta/*'
+ nb=0
+ [[ 0 -eq 0 ]]
+ echo 'group_vars has not been touched.'
group_vars has not been touched.
+ return 0
```

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1144 from ceph/guits-remove_capital_check

ceph-ansible-syntax: remove capital letter check

Merge branch 'master' into guits-remove_capital_check

Merge pull request #1174 from ceph/jq-base

ceph-container-build-ceph-base-push-imgs: install jq

ceph-container-build-ceph-base-push-imgs: install jq

We need jq to read json.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1173 from ceph/base-manifest

ceph-container-build-ceph-base-push-imgs: try to build manifest on am…

ceph-container-build-ceph-base-push-imgs: try to build manifest on amd64 too

They are days where arm64 runs before amd64 and the other way around so
let's try to build the manifest also on amd64. This can't not do any
harm.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1172 from ceph/manifest-base

ceph-container-build-ceph-base-push-imgs-arm64: run manifest script

ceph-container-build-ceph-base-push-imgs-arm64: run manifest script

Run manifest script after the arm64 build is complete.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1170 from ceph/ceph-volume-batch-tests

ceph-volume-test: add 'lvm batch' tests

ceph-volume-test: add 'lvm batch' tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1169 from ceph/ceph-volume-smithi

ceph-volume: run all tests on smithi or mira nodes

ceph-volume: run all tests on smithi or mira nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1165 from tchaikov/ceph-dashboard-pull-requests

ceph-dashboard-pull-requests: install runtime dependencies of dashboard

Reviewed-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1167 from ceph/wip-ormira

ceph-volume-scenario: Also allow building on mira

ceph-volume-scenario: Also allow building on mira

I added a few miras as static libvirt slaves.  This builds on https://github.com/ceph/ceph-build/pull/1166

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1166 from ceph/ceph-volume-smithi

ceph-volume-scenario: lock tests to smithi nodes

ceph-volume-scenario: lock tests to smithi nodes

We are currently having troubles running test on our OVH nodes. This
locks these tests to smithi nodes for now so we can do some testing for
12.2.9.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dashboard-pull-requests: install runtime dependencies of dashboard

some of them are already fulfilled by the build time dependencies. and
since mgr is built with python2 runtime, so we don't need to install
python3 modules.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1141 from ceph/wip-nfs-ganesha-ntirpc-build-patch

nfs-ganesha: apply patch to build ntirpc without lttng

Merge branch 'master' into wip-nfs-ganesha-ntirpc-build-patch

Merge pull request #1164 from ceph/ceph-ansible_add_osds

ceph-ansible: add "add_osds" scenarios to pipeline

ceph-ansible: add "add_osds" scenarios to pipeline

adding `add_osds` and `add_osds_container` to the ceph-ansible pipeline

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

nfs-ganesha: apply patch to build ntirpc without lttng

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #1162 from ceph/guits-add_osds

ceph-ansible: add new scenario 'add_osds'

ceph-ansible: add new scenario 'add_osds'

Adding new scenarios for "day 2 operation" playbook

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1152 from callithea/wip-ceph-dashboard-prs-python3-pkgs

ceph-dashboard-pull-requests: install python3 packages

Reviewed-by: Jos Collin <jcollin@redhat.com>

ceph-dashboard-pull-requests: install python3 packages

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1161 from ceph/pipeline-sod

ceph-ansible-pipeline: fix wrong condition

ceph-ansible-pipeline: fix wrong condition

if grep report 0 ceph-osd was modified thus we exit

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1160 from ceph/pipeline

ceph-ansible-pipeline osd followup

ceph-ansible-pipeline osd followup

Not sure what's going on, this is mostly a commit to debug

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1159 from ceph/ansible-scenario

ceph-ansible-ci: do not run osd twice

ceph-ansible-ci: do not run osd twice

Do not play twice osds if they have been ack by the first task of the
pipeline.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1143 from ceph/ceph-container-build-ceph-base-push-imgs-arm64

add ceph-container-build-ceph-base-push-imgs-arm64

add ceph-container-build-ceph-base-push-imgs-arm64

Same as ceph-container-build-ceph-base-push-imgs but to build arm64
images.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1156 from ceph/guits-fix_collect_log

ceph-ansible: fix collect ceph config task

ceph-ansible: fix collect ceph config task

`ceph_conf_key_directory` doesn't exist in this playbook.
All our testing is done with '/etc/ceph', let's hardcode it here.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1155 from ceph/guits-syntax-check-ansible

ceph-ansible-pr: fix workspace in syntax check

ceph-ansible-pr: fix workspace in syntax check

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1154 from ceph/guits-syntax-check-ansible

ceph-ansible-syntax: fix path to pip

Merge branch 'master' into guits-syntax-check-ansible

ceph-ansible-syntax: fix path to pip

`$VENV` contains already '/bin/' pattern.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge branch 'master' into guits-remove_capital_check

Merge pull request #1153 from ceph/guits-syntax-check-ansible

ceph-ansible: install expected ansible version

ceph-ansible: install expected ansible version

install the ansible version corresponding to its respective ceph-ansible
ansible.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge branch 'master' into guits-remove_capital_check

Merge pull request #1151 from ceph/ci-master-typo

ceph-ansible fix job typo in pipeline

ceph-ansible fix job typo in pipeline

The job name is ceph-ansible-prs-luminous-lvm_osds_container

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge branch 'master' into guits-remove_capital_check

Merge pull request #1150 from ceph/ci-master

ceph-ansible pipeline branch improvement

ceph-ansible pipeline branch improvement

The code is not ideal and might be hard to read but the rationales are
the following:

* master ceph-ansible has fully adopted ceph-volume and we are about to
remove ceph-disk too
* this means we can not and should not run ceph-disk tests on master BUT
only on stable 3.0 and 3.1 branches.

Only lvm scenarios should play on ceph-ansible master.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1149 from tchaikov/wip-nautilus

ceph-dev-trigger: include nautilus branch

ceph-dev-trigger: include nautilus branch

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1148 from ceph/ceph-vol-cont

cpeh-ansible-prs: add lvm_batch scenario

cpeh-ansible-prs: add lvm_batch scenario

Add a new scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1147 from ceph/guits-get_ceph_conf

ceph-ansible: fetch ceph config file on failure

ceph-ansible: fetch ceph config file on failure

Let's try to get ceph configuration file on failure, it can be useful at
some point.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1146 from ceph/ceph-volume-container

ceph-ansible: add more scenarios

ceph-ansible: add more scenarios

Add more scenarios for ceph-volume in container

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1145 from callithea/wip-ceph-dashboard-pull-requests-fix-script-exec

ceph-dashboard-pull-requests: Need to cd to the dashboard dir

ceph-dashboard-pull-requests: Need to cd to the dashboard dir before executing the e2e script

Signed-off-by: Laura Paduano <lpaduano@suse.com>

ceph-ansible-syntax: remove capital letter check

Some PRs aren't passing the CI while it should.

It's making us maintaining a list of path and pattern to exclude.
IMHO, this test isn't needed and brings more issues than it is supposed to
solve.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1115 from ceph/wip-sepia-future

sepia-fog-images: Don't hardcode distros

sepia-fog-images: Don't hardcode distros

This change ensures I don't have to add or remove if statements in
funSetProfiles function any time there's a new distro version released.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1142 from ceph/container-img

ceph-container-build-ceph-base-push-imgs: build with arg

ceph-container-build-ceph-base-push-imgs: build with arg

We need to pass the ARCH so the build can successfully run.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1140 from ceph/add-ceph-base

add new ceph-container-build-ceph-base-push-imgs job

add new ceph-container-build-ceph-base-push-imgs job

This job runs on a daily basis and is responsible for building ceph/base
versionned images.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1139 from tchaikov/dashboard-pr-sudo

ceph-dashboard-pull-requests: fix permission denied error

Reviewed-by: Laura Paduano <lpaduano@suse.com>

ceph-dashboard-pull-requests: fix permission denied error

as stdout redirect is performed by the shell, and shell is launched by
the "jenkins" user, so permission denied is expected when we are trying
to create a file under /etc/yum.repos.d/. in that case, we'll have
following failure:

/tmp/jenkins8899238112048417478.sh: line 14:
/etc/yum.repos.d/google-chrome.repo: Permission denied
Build step 'Execute shell' marked build as failure

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1138 from ceph/guits-fix_ca_pr_syntax

ceph-ansible: don't check for capital letter in meta directories

ceph-ansible: don't check for capital letter in meta directories

it's expected to have capital letters in roles/*/meta/main.yml so let's
exclude this path in git_diff_to_head function.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1137 from tchaikov/wip-lang-none

scripts/build_utils.sh: add lang=none option to sources.list

Reviewed-by: Laura Paduano <lpaduano@suse.com>

scripts/build_utils.sh: add lang=none option to sources.list

some mirrors do not contains the package description translations. when
apt tries to download the packages descriptions, it fails like:

E: Failed to fetch
http://mirror.yandex.ru/mirrors/launchpad/ubuntu-toolchain-r/dists/xenial/main/i18n/Translation-en
404  Not Found [IP: 213.180.204.183 80]
E: Some index files failed to download. They have been ignored, or old
ones used instead.

for more info, see sources.list(5) and apt.conf(5). the default value
of "lang" is set by Acquire::Languages, which is in turn "en" and
"environment" by default. we need to override them with "none".

Fixes #1136
Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1135 from callithea/wip-ceph-dashboard-pull-requests-https

ceph-dashboard-pull-requests: switch to https for Chrome URLs

ceph-dashboard-pull-requests: switch to https for Chrome URLs

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1134 from callithea/wip-ceph-dashboard-pull-request-fix

ceph-dashboard-pull-requests: fix another permission denied issue

ceph-dashboard-pull-requests: fix another permission denied issue
when using ``apt-key add``

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1133 from callithea/wip-ceph-dashboard-pull-request-fix

ceph-dashboard-pull-requests: fix permission denied error

ceph-dashboard-pull-requests: fix permission denied error

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1132 from ceph/cv-nightly-additions

ceph-volume-nightly: add more branches to batch tests

ceph-volume-nightly: add more branches to batch tests

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1086 from callithea/wip-ceph-dashboard-pull-requests

ceph-dashboard-pull-requests: Jenkins job for ceph dashboard frontend (e2e) tests

ceph-dashboard-pull-requests: added inital Jenkins job for dashboard frontend (e2e) tests

Signed-off-by: Laura Paduano <lpaduano@suse.com>

Merge pull request #1131 from ceph/wip-debug-mutex

ceph-dev-[new-]setup/build/build: -DWITH_CEPH_DEBUG_MUTEX=ON for notcmalloc

Reviewed-by: Kefu Chai <kchai@redhat.com>