Merge pull request #1110 from ceph/wip-target-branch

ceph-volume-ansible-prs: require ghprbTargetBranch when manually triggering

ceph-volume-ansible-prs: require ghprbTargetBranch when manually triggering

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1109 from ajarr/nfs-ganesha-lttng

nfs-ganesha: build with LTTNG

nfs-ganesha: for shaman, build with LTTNG

... and install required LTTNG libraries

Signed-off-by: Ramana Raja <rraja@redhat.com>

Merge pull request #1108 from ceph/ceph-volume-tests

ceph-volume: deploy the target branch, not the source branch

ceph-volume-ansible-prs: disable centos7 tests

We're having infrastructure issues with OVH and the centos7 vagrant
vm kernel panics after booting. Disabling these for now until the issue
can be resolved.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-ansible-prs: deploy the target branch, not the source branch

We're going to start deploying the target branch, the branch we're
merging PRs into, instead of the source branch. This way we don't have to
wait on packages as we can assume there is somethign already available
for the target branch. The ceph-volume code we're testing will be
rsynced to the testing nodes from the source branch.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1107 from ceph/wip-no-ovh

ceph-ansible: Run all tests on smithi

ceph-ansible: Run all tests on smithi

OVH nodes cause vagrant boxes to kernel panic

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1104 from ceph/ceph-release

Ceph release

ceph-ansible-pr-syntax-chec: add test_ceph_release_in_ceph_default
function

This new function searches for statements like '    -
ceph_release_num[ceph_release] ' in the ceph-defaults role. These must
never be used since the ceph_release is set by role running after
ceph-defaults.
However, the ceph-ansible ci passes this variable when running so it's
always defined, even before ceph-defaults runs. This is particularity
from our CI. So this is done, our Ci won't complain but general users
will end with an error like "'dict object' has no attribute" since the
variable does not exist at the time of the ceph-defaults play.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-ansible-pr-syntax-chec: use the two new functions

The code now uses git_diff_to_head and match_file functions.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-ansible-pr-syntax-check: add two functions to search files

Adding 2 new functions:

* git_diff_to_head which prints the diff for the current new code
* match_file which searches and print a particular file that was
modified by the current code.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1102 from ceph/pipeline-osd

ceph-ansible-pipeline: reduce pipeline workload

ceph-ansible-pipeline: reduce pipeline workload

We now play the OSD scenarios only when
roles/ceph-defaults/tasks/facts.yml|roles/ceph-osd|ceph-validate are
touched.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1101 from ceph/ceph-ansible-pr-syntax-check-version

ceph-ansible-pr-syntax-check: use latest ansible version

ceph-ansible-pr-syntax-check: use latest ansible version

There is no reason to pin to an old ansible version. Since this is doing
syntax checking we should have the latest Ansible version to compare
against our latest ceph-ansible code.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1100 from ceph/cv-batch-nightly

ceph-volume-nightly add batch tests for master

ceph-volume-nightly add batch tests for master

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1099 from ceph/capital-letters-additions-only

ceph-ansible-pr-syntax-check: do not check for removed lines

ceph-ansible-pr-syntax-check: do not check for removed lines

The git show was returning - and + lines, we only want to check for
lines that were added not removed.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1098 from ceph/wip-cv-batch-underscores

ceph-volume-ansible-prs: use underscores for scenarios

ceph-volume-ansible-prs: use underscores for scenarios

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1097 from ceph/capital-letters

ceph-ansible-pr-syntax-check: add cbheck for coding convention

ceph-ansible-pr-syntax-check: add cbheck for coding convention

One of our convention in ceph-ansible is to not use capital letters in
task's name. So let's hardcode it in the initial phase of the pipeline.
ALso, this will let user discover what's wrong without us doing the
review and finding the problem.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1095 from ceph/wip-cv-batch

ceph-volume-ansible-prs: support batch scenarios

ceph-volume-ansible-prs: support batch scenarios

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1094 from ceph/guits-add_params_individual_scenario_testing

ceph-ansible: add docker params for individual scenario testing

ceph-ansible: add docker params for individual scenario testing

So we can test a specific docker image.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1093 from ceph/guits-fix_find_latest_tag

ceph-ansible-nightly: take the first tag only in find_latest_tag

ceph-ansible-nightly: take the first tag only in find_latest_tag

`find_latest_tag()` might return more than 1 tag if two tags match the
`jq` query in a same page of results. This breaks the nightly jobs.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1092 from ceph/wip-ceph-iscsi-cli-flake8

ceph-iscsi-cli-flake8: initial version

Merge branch 'master' into wip-ceph-iscsi-cli-flake8

Merge pull request #1091 from ceph/wip-ceph-iscsi-config-flake8

ceph-iscsi-config-flake8: added context to GitHub PR status

ceph-iscsi-cli-flake8: initial version

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

ceph-iscsi-config-flake8: added context to GitHub PR status

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1090 from ceph/wip-ceph-iscsi-config-flake8

ceph-iscsi-config-flake8: removed use of docker

ceph-iscsi-config-flake8: removed use of docker

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1089 from ceph/wip-ceph-iscsi-config-flake8

ceph-iscsi-config-flake8: removed jenkins override

ceph-iscsi-config-flake8: removed jenkins override

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1088 from ceph/wip-ceph-iscsi-config-flake8

ceph-iscsi-config-flake8: initial version

ceph-iscsi-config-flake8: initial version

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #1084 from ceph/guits-ceph-ansible_mimic

ceph-ansible: update the testing matrix

ceph-ansible: update the testing matrix

stable-3.0 => jewel,luminous
stable-3.1 => jewel,luminous,mimic
master     => dev (last sha1 on master)

This also removes xenial_cluster scenario on PRs and leave it played
in nightly.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1085 from ceph/guits-fix_ca_prs

ceph-ansible-prs: fix a typo

ceph-ansible-prs: fix a typo

`$scenario` gets set by the last iteration in the loop above.
The actual value we want is `$SCENARIO`.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1083 from ceph/wip-cansible-stable3

ceph-ansible: Just pass LVM scenarios if the branch is stable-3.0

ceph-ansible: Just pass LVM scenarios if the branch is stable-3.0

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1082 from ceph/wip-cansible-stable2

ceph-ansible: Stop hardcoding ansible version in scenarios

ceph-ansible: Stop hardcoding ansible version in scenarios

We'll set the ansible version in each ceph-ansible branch's respective
requirements.txt.

For example, master will use ansible2.5 and stable-3.{1,2} will use ansible2.4.

The only reason the ansible version was in each scenario name was so it
could get passed to tox.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1081 from ceph/wip-sepia-unlock

sepia-fog-images: Unpause queue and leave systems up

sepia-fog-images: Unpause queue and leave systems up

We don't need to mark the systems down.  If there's something wrong with
them, we'll find it during teuthology tests.

I also forgot to unpause the queue in the event of a job failure so I've
added that too.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1080 from ceph/wip-jessie-key

build_utils.sh: Use archive keyring for Jessie

build_utils.sh: Use archive keyring for Jessie

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1079 from ceph/guits-fix_ceph-container_nightlies

ceph-container: add a nightly flag

ceph-container: add a nightly flag

In addition to
ceph/ceph-container@fa0a1483d59c5a30e99f379e12a24239f91e7980

Adding this environment variable allows tests/tox.sh in ceph/ceph-container to
know whether we are running in a nightly job.

This is needed because ceph-container project checks if some code has
been changed, if no, test is not run.
Since in nightlies job will always enter this condition we must have a
way to be aware if we are running a nightly so we can skip this test.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1078 from tchaikov/wip-no-sudo

build_utils: should not use "sudo" in pbuilder hook script

build_utils: should not use "sudo" in pbuilder hook script

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1076 from tchaikov/wip-import-pub-key-without-hkp-server

build_utils: import ubuntu-toolchain-r's key without keyserver

Reviewed-by: Ken Dreyer <kdreyer@redhat.com>

build_utils: import ubuntu-toolchain-r's key without keyserver

we are running into following error recently

gpg: requesting key BA9EF27F from hkp server keyserver.ubuntu.com
gpgkeys: key 1E9377A2BA9EF27F can't be retrieved
gpg: no valid OpenPGP data found.
gpg: Total number processed: 0
gpg: keyserver communications error: keyserver helper general error
gpg: keyserver communications error: unknown pubkey algorithm
gpg: keyserver receive failed: unknown pubkey algorithm

so use the local copy of the pubkey instead

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1073 from ceph/evelu-ccache2

ceph-pull-requests: Simplifying run-make-check call

Reviewed-by: Sébastien Han <seb@redhat.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-pull-requests: Simplifying run-make-check call

Once https://github.com/ceph/ceph/pull/22847 will be merged, this commit
will remove all the custom hacks from this script as they moved directly
in ./run-make-check.sh

Merge pull request #1070 from ceph/return-0

ceph-ansible-pr-syntax-check: force return 0

ceph-ansible-pr-syntax-check: force return 0

If the test succeeds we return 0.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1069 from ceph/do-not-return

ceph-ansible-pr-syntax-check: return 1 only on failure

ceph-ansible-pr-syntax-check: return 1 only on failure

This was a leftover from an initial attempt with if combinaison. We now
return 1 only if the test line fails.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1068 from ceph/syntax-head-3

ceph-ansible-pr-syntax-check: remove merge commit from count

ceph-ansible-pr-syntax-check: remove merge commit from count

When counting the number of commit you must remove the merge commit so
we get the right number of commits.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1067 from ceph/syntax-head-2

Syntax head 2

ceph-ansible-pr-syntax-check: use target branch to compare

We must use the target branch as a reference when we try to find the
number of commits pushed.
We use 'ghprbTargetBranch' env variable, which comes  from jenkins's
injectedEnvVars.

Signed-off-by: Sébastien Han <seb@redhat.com>

Revert "ceph-ansible-pr-syntax-check: use master instead of HEAD"

This reverts commit 7c971b82771ef6766206b7ef0716a8705fdbe649.
Because this is the wrong fix, if you push a PR on a stable branch, the
comparaison will happen against master, we don't want that.

Merge pull request #1066 from ceph/syntax-head

ceph-ansible-pr-syntax-check: use master instead of HEAD

ceph-ansible-pr-syntax-check: use master instead of HEAD

origin/HEAD does not exist so let's use origin/master instead. This
prevents the following error:

bad revision 'origin/HEAD'

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1065 from ceph/collect-ceph-volume-logs

scripts: collect all logs in /var/log/ceph on ansible failures

scripts: collect all logs in /var/log/ceph on ansible failures

On the jobs that use ceph-ansible to test ceph logs are collected from
the vms on failure. However, if the cluster name was not ceph the find
command would fail to collect any ceph-volume logs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1064 from ceph/wip-no-ask

ceph-pull-requests: Automatically rebuild w/o asking params

ceph-pull-requests: Automatically rebuild w/o asking params

This will carry over our custom sha1 variable when "Rebuild" is clicked.
Previously, it was possible to click "Rebuild," and leave the `sha1`
variable empty which caused every branch/PR to get built.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1063 from ceph/signof-pipeline

ceph-ansible-pr-syntax-check: add sign-off check

ceph-ansible-pr-syntax-check: add sign-off check

We now fail if the commits don't contain a Signed-off-by certificate.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1061 from joscollin/wip-cobertura-fail-fix

ceph-build/cobertura: set *auto-update to false

ceph-build/cobertura: set *auto-update to false

Signed-off-by: Jos Collin <jcollin@redhat.com>

Merge pull request #1060 from ceph/wip-fix-pipeline

ceph-ansible-pipeline: Fix stable-3.0 phase conditional steps

ceph-ansible-pipeline: Fix stable-3.0 phase conditional steps

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1058 from ceph/evelu-cache

ceph-pull-requests: Improving ccache efficiency

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Gregory Farnum <gfarnum@redhat.com>
Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-pull-requests: Improving ccache efficiency

As of today, ccache is installed by run-make-check but the statistics
reports almost no cache it (<1%) and even worse, this is slowing down
the whole process. The needed time to setup the cache isn't compensated
by the reuse of the cache as every build is rebuilding the cache. This
is leading to a 10% loss of the compilation time.

So the question, is why does two consecutives builds doesn't reuse the
cache. Its usually a matter of variables introduces on each builds like
a sha1 or a __DATE__ or __TIME__ in a header.

As per
https://wiki.debian.org/ReproducibleBuilds/TimestampsProposal, several
tools from the tool chain (like compilers or make tools) are able to use
theses variables to enforce a particular timestamp at build time.

This commit also add a "-D ENABLE_GIT_VERSION=OFF" to avoid having the
commit id in the ceph_ver.h header. Not having the git versioning inside
the CI job is not a by deal as the binaries will be destroyed after the
build procedure.

These changes avoid introducing small variations in the source code
which breaks the build cache (ccache). The expected result is to get a
80 or 90% cache hit between two very close builds.

Signed-off-by: Erwan Velu <erwan@redhat.com>

Merge pull request #1042 from a2batic/test1

mgr/dashboard: Adds unit test coverage report

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Jos Collin <jcollin@redhat.com>

mgr/dashboard: Adds unit test coverage report
Enable plugin 'Cobertura' to generate code coverage report, for every PR for ceph-dashboard frontend unit test.
Cobertura jenkins plugin: https://wiki.jenkins.io/display/JENKINS/Cobertura+Plugin

Fixes: http://tracker.ceph.com/issues/24377
Signed-off-by: Kanika Murarka <kmurarka@redhat.com>

Merge pull request #1057 from ceph/wip-arm-name

ceph-pull-requests-arm64: Normalize name to appease JJB

ceph-pull-requests-arm64: Normalize name to appease JJB

Not sure why '!!python/unicode' was there originally but the current
version of JJB doesn't like it.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1055 from ceph/wip-ansible-nostable

ceph-ansible-pipeline: Skip *lvm* scenarios if merging into stable-3.0

ceph-ansible-pipeline: Skip *lvm* scenarios if merging into stable-3.0

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1054 from ceph/wip-ansible-condition

ceph-ansible-pipeline: Only run next phase on SUCCESS

ceph-ansible-pipeline: Only run next phase on SUCCESS

I think I misunderstood the jjb syntax before.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1053 from ceph/group-vars-fix

ceph-ansible-pr-syntax-check: fix grep error

ceph-ansible-pr-syntax-check: fix grep error

If grep fails the script exits because of the set -e so let's use ||
true to workaround that issue.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1052 from ceph/group-vars

ceph-ansible-pr-syntax-check: add group_vars check

ceph-ansible-pr-syntax-check: add group_vars check

This commit does 2 things:

* split the structure of the script to use functions
* add a function to test if group_vars weren't generated

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1050 from ceph/guits_update_ceph-ansible_nightlies

ceph-ansible: update nightlies definition

ceph-ansible: update nightlies definition

- remove testing of stable-2.2 against ceph jewel
- add testing of stable-3.1 against luminous
- update testing of stable-3.0 against luminous:
  - remove lvm scenarios

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1051 from ceph/guits-change_osd_bs_project_ceph-ansible

ceph-ansible: move bluestore_osds_container in ceph-ansible-prs-auto