ceph-container-flake8: Using project's tox.ini

The current code is running flake8 from a container to check every
python file changed by a PR.

The actual code doesn't import the tox.ini of ceph-container which
specify a particular configuration like "max-line-length = 99"

This lead to a situation where a dev which runs flake on his dev env
have a flake reporting now failures while flake from the CI fails.

So this patch is about adding project's tox.ini inside the container to
insure flake is using it.

Merge pull request #997 from tchaikov/wip-pip-download

scripts/build_utils.sh: use "download" instead of "--download"

scripts/build_utils.sh: use "download" instead of "--download"

"pip install --download" was deprecated since v8.0.0, and was replaced
with "pip download". pip v10.0.0 removed support the "--download"
option. so we need to replace "install --dowload" with "download".

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #996 from ceph/wip-tcmu-runner

tcmu-runner: additional build tweaks

tcmu-runner: only upload binary RPM to chacra

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

tcmu-runner: cleanup no longer required

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #995 from ceph/wip-tcmu-runner

tcmu-runner: added missing PROJECT environment variable

tcmu-runner: added missing PROJECT environment variable

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #994 from ceph/wip-tcmu-runner

tcmu-runner: build using in-tree spec file under mock

tcmu-runner: build using in-tree spec file under mock

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #993 from ceph/vagrant-teardown

scripts: create util function for tearing down vagrant tests

use teardown_vagrant_tests on jobs that use vagrant

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: adds a teardown_vagrant_tests method

This will collect logs and do any vagrant/libvirt cleanup needed after
any jobs fail that were using vagrant vms for testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #992 from ceph/cv-logs-fix

ceph-volume-nightly: look for the ssh config file to avoid using the root dir

ceph-volume-nightly: look for the ssh config file to avoid using the root dir

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #991 from ceph/wip-skip-ci

ceph-{ansible,container}-prs: Fix skip-build-phrase regex

ceph-{ansible,container}-prs: Fix skip-build-phrase regex

JJB converts the string to lowercase so the \W was getting converted to
\w so the actual phrase wasn't being detected.  We can just use a space
instead of trying to match any character.

https://git.openstack.org/cgit/openstack-infra/jenkins-job-builder/tree/jenkins_jobs/modules/triggers.py#n1027

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #990 from ceph/wip-skip-ci

ceph-{ansible,container}-prs: Fix skip-build-phrase

ceph-{ansible,container}-prs: Fix skip-build-phrase

I think JJB was previously not sending 'jenkins do not test' as the skip
build phrase so the plugin default '[skip ci]' was being used and
working.  Since we recently updated JJB, I'm guessing 'jenkins do not
test' *is* being configured so '[skip ci]' is no longer working.  This
commit should allow either phrase to be used.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #988 from ceph/wip-fog-pause

sepia-fog-images: Add retry function and pause the queue

sepia-fog-images: Add function to kill job if a loop hangs

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Pause the queue if there are active Deploy tasks

I've observed deployment failures while teuthology jobs are running if
the OS image is replaced/removed while it's in use.  Pausing the queue
will allow Deploy tasks to finish so we can capture a new OS image
without interrupting running jobs.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #989 from ceph/postbuildscript-fixes

all remove deprecated "script-only-if" in favor of "build-on"

all remove deprecated "script-only-if" in favor of "build-on"

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #987 from ceph/wip-unpin-jjb

jenkins-job-builder: Unpin JJB version

jenkins-job-builder: Use latest JJB version

It was pinned to a beta release in
https://github.com/ceph/ceph-build/commit/4f10012571b120e01854fae49be4d43f382787f1
so we could take advantage of an option that wasn't available in the
stable version.

It's now in the stable version and I've tested it against a job config
locally and confirmed compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #980 from ceph/wip-fog-doc

sepia-fog-images: Update setup doc

sepia-fog-images: Update setup doc

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #972 from ceph/wip-nfs-ganesha

nfs-ganesha: change CMAKE_BUILD_TYPE, add checks

Merge branch 'master' into wip-nfs-ganesha

Merge pull request #986 from ceph/latest-stable-tag

ceph-ansible-nightly: fix find for latest stable tag

ceph-ansible-nightly/build: Simplify run_tox() logic

The actual logic was a little bit complicated to read.
Since find_latest_tag() is generic, let's reuse it inside a case() loop.

ceph-ansible-nightly: fix find for latest stable tag

Simplify the code to find the latest tag.
Docker Hub API when queried only returns the 10 first tags. This is
annoying but we have to:

* count the number of pages
* query all the tags from each page
* when we find one tag, we pick the first one from the variable

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #985 from ceph/tag-stable

ceph-ansible-nightly: fix find for latest stable tag

ceph-ansible-nightly: fix find for latest stable tag

Docker Hub API when queried only returns the 10 first tags. This is
annoying but we have to:

* count the number of pages
* query all the tag from each page
* build a variable with all the tags
* transform this variable in an array
* sort the array
* pick the last element of the array which corresponds to the latest
stable tag

I could have done that with a loop (for luminous and jewel) but assigned
variable in array's name is a nigthmare in bash so I ended up doing
twice the same thing...

This is not elegant but it works.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #984 from ceph/container-tag

ceph-ansible-nightly: auto discover latest stable tag

ceph-ansible-nightly: auto discover latest stable tag

Instead of sending a commit each time we build a new release, we
discover it through the script.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #981 from ceph/cv-vagrant-debug

ceph-volume-nightly: add debug flags for vagrant

ceph-volume-nightly: add debug flags for vagrant

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #983 from ceph/bump

ceph-container-build-push-imgs: use a bigger machine to build images

ceph-container-build-push-imgs: use a bigger machine to build images

We want to parallelise the build image process. Currently it takes 40min
to build 8 images, we hope to reduce this by 8 with this new flavor.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #982 from ceph/build-discarder

migrate from logrotate to build-discarder

all builders in postbuildscript require a list now (defined with build-step)

Signed-off-by: Alfredo Deza <adeza@redhat.com>

nfs-ganesha: builders in postbuildscript require a build-step list now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup: builders in postbuildscript require a list now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

migrate from logrotate to build-discarder

build-discarder has been deprecated for a while and it is pervasive in
all jobs. Jenkins will stop supporting this as well as Jenkins Job
Builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

nfs-ganesha: change CMAKE_BUILD_TYPE, add checks

- change CMAKE_BUILD_TYPE to RelWithDebInfo
- include checks to make sure packages are installed
on the machines and necessary FSAL packages are built
- update $CEPH_VERSION to latest luminous

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #979 from ceph/failure-logs

Archive ceph logs when CI tests fail

ceph-volume-nightly: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-ansible-prs: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-scenario: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-nightly: archive ceph logs on test failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: take into account custom cluster names in collect logs playbook

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-scenario: use the collect_ceph_logs util function

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: adds a collect_ceph_logs function

This function will use ansible to connect to all testing
vms and fetch in ceph logs to the jenkins slave. These logs
can then be archived by jenkins.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

collect-logs: store logs in a hostname directory

This is so if we have many nodes that have the same named log, for
example ceph-volume.log

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

collect-logs: use find to get all remote ceph logs to fetch

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-scenario: use -vv and debug callback when collecting logs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-scenario: use the collect-logs.yml playbook on test failures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

build_utils: adds a method that creates a collect-logs.yml playbook

This playbook is used to collect ceph-volume and ceph-osd logs from
vms that have failed tests.

We do it this way so that we don't have to clone ceph-build to get at
the playbook we stored in the repo.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-scenario: allow archiving empty files

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-scenario: collect ceph-volume logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #978 from ceph/kraken-role

ansible: adds a role for deploying kraken

ansible: fix twitter config vars for kraken config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: remove circus config template from kraken role

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: fix invalid syntax and other errors in the kraken role

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: populate kraken custom_settings

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: adds kraken role and example playbook

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #977 from ceph/tox-manual-trigger

ceph-volume-pr: trigger tox tests manually

ceph-volume-ansible-prs: use github_status_setup from build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-pr: adds functionality to trigger tox testing manually

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

build_utils: adds a function to setup things for github-status

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #976 from ceph/shaman-ipv6-2

shaman prs: use a template for pg_hba.conf

shaman-pull-requests use the new template for pg_hba.conf

Signed-off-by: Alfredo Deza <adeza@redhat.com>

shaman-pull-requests create a pg_hba.conf template

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #975 from ceph/shaman-pg-ipv6

shaman-pull-requests allow users to connect locally over ipv6 sans password

shaman-pull-requests allow users to connect locally over ipv6 sans password

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #974 from tchaikov/wip-good-old-kraken

ceph-dev{,-new}-trigger: do build kraken w/o ppa and on trusty

ceph-dev{,-new}-trigger: do build kraken w/o ppa and on trusty

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #973 from ceph/build-ceph-img

ceph-container-build-push-imgs: use a script from ceph-container

ceph-container-build-push-imgs: use a script from ceph-container

Let's execute a script in the ceph-container project instead of writting
the script here.
ceph-build does the CI so let's keep it that way.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #971 from ceph/ceph-container-build-push-imgs

ceph-container: add job to build and push images

ceph-container: add job to build and push images

After a PR is merged we trigger a build and a push the newly built
images to the Docker Hub.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #970 from ceph/wip-sepia-space

sepia-fog-images: count words in $remaininghosts

sepia-fog-images: count words in $remaininghosts

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #969 from ceph/wip-fog-typo

sepia-fog-images: Syntax fix and typo correction

sepia-fog-images: Add machine name to unlock command

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Remove finished hostnames properly

Before this change, if there were 3+ hosts in $remaininghosts and one of
the hostnames in the middle finished, sed would remove the hostname and
its trailing space which would mash the last two hostnames together.

```
Example:

remaininghosts="mira071 smithi164 mira001"
remaininghosts=$(echo $remaininghosts | sed -e "s/ *smithi164 *//")
$ echo $remaininghosts
mira071mira001
```

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #968 from ceph/wip-rhel-sepia

sepia-fog-images: Add support for RHEL

sepia-fog-images: Add support for RHEL

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #967 from ceph/ceph-volume-emails

ceph-volume-nightly add email notifications

ceph-volume-nightly add email notifications

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #966 from ceph/trim-bz-mill

bz-mill keep just 15 days around of logs

bz-mill keep just 15 days around of logs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #965 from ceph/wip-just-unlock

sepia-fog-images: Don't wait for machines to reboot after capture

sepia-fog-images: Don't wait for machines to reboot after capture

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #960 from ceph/add_ceph-ansible_ooo_scenario

ceph-ansible: add tripleo oriented scenario

ceph-ansible: add tripleo oriented scenario

This commit enable a new 'tripleo deployment' scenario.
ceph-ansible related PR: https://github.com/ceph/ceph-ansible/pull/2407/files

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #963 from ceph/ceph-volume-suite

ceph-volume-test: a job that starts all ceph-volume functional tests