build_utils.sh: Add Bionic

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1023 from ceph/branch-regex-fix

ceph-build: use BRANCH instead of non-existing GIT_BRANCH

ceph-build: use BRANCH instead of non-existing GIT_BRANCH

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1022 from ceph/wip-bionic

Add support for Ubuntu Bionic globally

Add support for Ubuntu Bionic globally

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1019 from tchaikov/wip-do-not-build-mimi-on-trusty

ceph-build: do not build mimic on old distros

ceph-build: do not build mimic on old distros

mimic and nautilus require C++17 to build, but following distro do
not ship new enough GCC compiler:

- ubuntu trusty
- debian jessie
- debian stretch

so we won't build mimic or newer ceph on these distros.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #1021 from ceph/disable_purge

ceph-ansible-prs: disable purge_bluestore_osds_container

ceph-ansible-prs: disable purge_bluestore_osds_container

This scenario is failing for every PRs because of a race condition.
A PR has been opened https://github.com/ceph/ceph/pull/21415 but until
it doesn't get merged we better to disable this scenario.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #1020 from ceph/wip-bionic

sepia-fog-images: Add support for Ubuntu 18.04

sepia-fog-images: Add support for Ubuntu 18.04

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1018 from ceph/wip-timeout-arm

ceph-pull-requests-arm64: Timeout after 3h

ceph-pull-requests-arm64: Timeout after 3h

Builds were hanging indefinitely during unit tests

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1017 from ceph/centos-container

ceph-ansible-nightly: always test on centos

ceph-ansible-nightly: always test on centos

The job was still configured to test on Ubuntu and we want CentOS.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1016 from ceph/script-prune

cleanup: remove all top-level scripts

readme: update the deprecation with script locations

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: remove all top-level scripts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1015 from ceph/evelu-ceph-container-arm64

ceph-container-build-push-imgs-arm64: Fixing scripts

ceph-container-build-push-imgs-arm64: Fixing scripts

As ceph-container needs a particular build script for arm64, let's fix
the script name.

Merge pull request #1014 from ceph/arm

ceph-container-build-push-imgs-arm64: fix node label

ceph-container-build-push-imgs-arm64: fix node label

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1013 from ceph/arm64-follwup

ceph-container-build-push-imgs-arm64: update node label

ceph-container-build-push-imgs-arm64: update node label

The arm64 nodes have a 'arm64 xenial' label.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1012 from ceph/ceph-container-prs

ceph-container-prs: only auto start a subsection of tests

ceph-container-prs: only auto start a subsection of tests

All tests can be triggered manually by github comments, but we only
want certain ones to start automatically when the PR is created.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1011 from ceph/pip-easy-install

scripts: upgrade pip with easy_install before actual pinning

scripts: upgrade pip with easy_install before actual pinning

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1010 from ceph/cv-prs-teardown-fix

ceph-volume-ansible-prs: ensure correct path is used for teardown

ceph-volume-ansible-prs: ensure correct path is used for teardown

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1009 from ceph/cv-functional-repo

ceph-volume-test: configurable ceph repo url

ceph-volume-test: configurable ceph repo url

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1008 from ceph/pip-download-fix2

scripts: pin pip to 10.0.0 on missing BASH func

scripts: pin pip to 10.0.0 on missing BASH func

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1007 from ceph/pip-download-fix

scripts: pin pip to 10.0.0

scripts: pin pip to 10.0.0

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1006 from ceph/cv-scenario-url

ceph-volume-scenario: configurable ceph repo url

ceph-volume-scenario: configurable ceph repo url

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #1005 from ceph/fix-build

build: fix unkown option

build: fix unkown option

Newer version of pip does not support --download anymore, the option has
been replaced by --cache-dir.
This fixes errors like:

+ /tmp/venv.ufvIkiZl8v/bin/pip download
--dest=/home/jenkins-build/.cache/pip pip
ERROR: unknown command "download"

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1004 from ceph/arm64-container-img

add ceph-container-build-push-imgs-arm64

add ceph-container-build-push-imgs-arm64

We need to build container images on arm64.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1003 from ceph/wip-rhel75

sepia-fog-images: Add CentOS/RHEL 7.5 support

sepia-fog-images: Add CentOS/RHEL 7.5 support

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #1001 from ceph/container-credentials-binding

container: add docker hub credential binding

container: add docker hub credential binding

docker-hub-leseb is defined as a credential on 2.jenkins.ceph.com

Merge pull request #1000 from ceph/evelu-ceph-container-flake8

ceph-container-flake8: Fixing tox.ini path

ceph-container-flake8: Fixing tox.ini path

tox.ini is located at the root of the project, so in $workspace/ceph-container

Merge pull request #999 from ceph/evelu-ceph-container-flake8

ceph-container-flake8: Using project's tox.ini

ceph-container-flake8: Using project's tox.ini

The current code is running flake8 from a container to check every
python file changed by a PR.

The actual code doesn't import the tox.ini of ceph-container which
specify a particular configuration like "max-line-length = 99"

This lead to a situation where a dev which runs flake on his dev env
have a flake reporting now failures while flake from the CI fails.

So this patch is about adding project's tox.ini inside the container to
insure flake is using it.

Merge pull request #997 from tchaikov/wip-pip-download

scripts/build_utils.sh: use "download" instead of "--download"

scripts/build_utils.sh: use "download" instead of "--download"

"pip install --download" was deprecated since v8.0.0, and was replaced
with "pip download". pip v10.0.0 removed support the "--download"
option. so we need to replace "install --dowload" with "download".

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #996 from ceph/wip-tcmu-runner

tcmu-runner: additional build tweaks

tcmu-runner: only upload binary RPM to chacra

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

tcmu-runner: cleanup no longer required

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #995 from ceph/wip-tcmu-runner

tcmu-runner: added missing PROJECT environment variable

tcmu-runner: added missing PROJECT environment variable

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #994 from ceph/wip-tcmu-runner

tcmu-runner: build using in-tree spec file under mock

tcmu-runner: build using in-tree spec file under mock

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #993 from ceph/vagrant-teardown

scripts: create util function for tearing down vagrant tests

use teardown_vagrant_tests on jobs that use vagrant

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: adds a teardown_vagrant_tests method

This will collect logs and do any vagrant/libvirt cleanup needed after
any jobs fail that were using vagrant vms for testing.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #992 from ceph/cv-logs-fix

ceph-volume-nightly: look for the ssh config file to avoid using the root dir

ceph-volume-nightly: look for the ssh config file to avoid using the root dir

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #991 from ceph/wip-skip-ci

ceph-{ansible,container}-prs: Fix skip-build-phrase regex

ceph-{ansible,container}-prs: Fix skip-build-phrase regex

JJB converts the string to lowercase so the \W was getting converted to
\w so the actual phrase wasn't being detected.  We can just use a space
instead of trying to match any character.

https://git.openstack.org/cgit/openstack-infra/jenkins-job-builder/tree/jenkins_jobs/modules/triggers.py#n1027

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #990 from ceph/wip-skip-ci

ceph-{ansible,container}-prs: Fix skip-build-phrase

ceph-{ansible,container}-prs: Fix skip-build-phrase

I think JJB was previously not sending 'jenkins do not test' as the skip
build phrase so the plugin default '[skip ci]' was being used and
working.  Since we recently updated JJB, I'm guessing 'jenkins do not
test' *is* being configured so '[skip ci]' is no longer working.  This
commit should allow either phrase to be used.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #988 from ceph/wip-fog-pause

sepia-fog-images: Add retry function and pause the queue

sepia-fog-images: Add function to kill job if a loop hangs

Signed-off-by: David Galloway <dgallowa@redhat.com>

sepia-fog-images: Pause the queue if there are active Deploy tasks

I've observed deployment failures while teuthology jobs are running if
the OS image is replaced/removed while it's in use.  Pausing the queue
will allow Deploy tasks to finish so we can capture a new OS image
without interrupting running jobs.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #989 from ceph/postbuildscript-fixes

all remove deprecated "script-only-if" in favor of "build-on"

all remove deprecated "script-only-if" in favor of "build-on"

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #987 from ceph/wip-unpin-jjb

jenkins-job-builder: Unpin JJB version

jenkins-job-builder: Use latest JJB version

It was pinned to a beta release in
https://github.com/ceph/ceph-build/commit/4f10012571b120e01854fae49be4d43f382787f1
so we could take advantage of an option that wasn't available in the
stable version.

It's now in the stable version and I've tested it against a job config
locally and confirmed compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #980 from ceph/wip-fog-doc

sepia-fog-images: Update setup doc

sepia-fog-images: Update setup doc

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #972 from ceph/wip-nfs-ganesha

nfs-ganesha: change CMAKE_BUILD_TYPE, add checks

Merge branch 'master' into wip-nfs-ganesha

Merge pull request #986 from ceph/latest-stable-tag

ceph-ansible-nightly: fix find for latest stable tag

ceph-ansible-nightly/build: Simplify run_tox() logic

The actual logic was a little bit complicated to read.
Since find_latest_tag() is generic, let's reuse it inside a case() loop.

ceph-ansible-nightly: fix find for latest stable tag

Simplify the code to find the latest tag.
Docker Hub API when queried only returns the 10 first tags. This is
annoying but we have to:

* count the number of pages
* query all the tags from each page
* when we find one tag, we pick the first one from the variable

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #985 from ceph/tag-stable

ceph-ansible-nightly: fix find for latest stable tag

ceph-ansible-nightly: fix find for latest stable tag

Docker Hub API when queried only returns the 10 first tags. This is
annoying but we have to:

* count the number of pages
* query all the tag from each page
* build a variable with all the tags
* transform this variable in an array
* sort the array
* pick the last element of the array which corresponds to the latest
stable tag

I could have done that with a loop (for luminous and jewel) but assigned
variable in array's name is a nigthmare in bash so I ended up doing
twice the same thing...

This is not elegant but it works.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #984 from ceph/container-tag

ceph-ansible-nightly: auto discover latest stable tag

ceph-ansible-nightly: auto discover latest stable tag

Instead of sending a commit each time we build a new release, we
discover it through the script.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #981 from ceph/cv-vagrant-debug

ceph-volume-nightly: add debug flags for vagrant

ceph-volume-nightly: add debug flags for vagrant

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #983 from ceph/bump

ceph-container-build-push-imgs: use a bigger machine to build images

ceph-container-build-push-imgs: use a bigger machine to build images

We want to parallelise the build image process. Currently it takes 40min
to build 8 images, we hope to reduce this by 8 with this new flavor.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #982 from ceph/build-discarder

migrate from logrotate to build-discarder

all builders in postbuildscript require a list now (defined with build-step)

Signed-off-by: Alfredo Deza <adeza@redhat.com>

nfs-ganesha: builders in postbuildscript require a build-step list now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup: builders in postbuildscript require a list now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

migrate from logrotate to build-discarder

build-discarder has been deprecated for a while and it is pervasive in
all jobs. Jenkins will stop supporting this as well as Jenkins Job
Builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

nfs-ganesha: change CMAKE_BUILD_TYPE, add checks

- change CMAKE_BUILD_TYPE to RelWithDebInfo
- include checks to make sure packages are installed
on the machines and necessary FSAL packages are built
- update $CEPH_VERSION to latest luminous

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #979 from ceph/failure-logs

Archive ceph logs when CI tests fail

ceph-volume-nightly: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-volume-ansible-prs: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-scenario: archive ceph logs on failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>