ceph-volume-docs: renamed from ceph-lvm-docs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #743 from dmick/master

ceph-docs/build/build: don't try to skip if not a merge commit

ceph-docs/build/build: don't try to skip if not a merge commit

This touches on http://tracker.ceph.com/issues/19976, but doesn't
fix it; it just defaults to "build it if it's not a merge commit".
I'm still not sure the ideas in the bug are workable.  So this
mitigates the issue.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #742 from ceph/ceph-lvm-branches

ceph-lvm-docs: define BRANCH to sync it to the right dir

ceph-lvm-docs: use utility to trim branch slashes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-lvm-docs: define BRANCH to sync it to the right dir

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #741 from ceph/ceph-lvm-docs

ceph-lvm-docs: create job for automatic docs on merges to stable branches

ceph-lvm-docs: create job for automatic docs on merges to stable branches

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #740 from ceph/ansible-prs

ceph-ansible-prs: adds the *-update_docker_cluster scenario

ceph-ansible-prs: adds the *-update_docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #736 from ceph/wip-ceph-docker-flake8

Add ceph-docker-flake8

Merge branch 'master' into wip-ceph-docker-flake8

Merge pull request #739 from ceph/wip-re-enable-nfs-ganesha

nfs-ganesha: re-enable triggered builds

Add ceph-docker-flake8

This is a blatant ripoff of ceph-docker-lint, only for Python files.

Signed-off-by: Zack Cerza <zack@redhat.com>

nfs-ganesha: re-enable triggered builds

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #738 from dmick/master

Spelling fixes/enhancements for pull request statuses

ceph-pull-requests: add custom name/status messages

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-pr-submodules: Fix spelling of status check name

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #737 from ceph/disable-triggers

ceph-dev-build: disable nfs-ganesha and samba builds for now

ceph-dev-build: disable nfs-ganesha and samba builds for now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #735 from ceph/docker-purge-test

ceph-ansible-prs: adds the ansible2.2-purge_docker_cluster scenario

ceph-ansible-prs: adds the ansible2.2-purge_docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #732 from ceph/cdp-python3

ceph-deploy-pull-requests: use python3 nodes

ceph-deploy-pull-requests: use python3 nodes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #731 from ceph/docker-scenarios

ceph-docker-prs: add more tests for osd scenarios and luminous

ceph-docker-prs: add more tests for osd scenarios and luminous

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #730 from ceph/wip-net-destroy

scripts: Be more aggressive with libvirt network destruction

scripts: Be more aggressive with libvirt network destruction

See https://github.com/vagrant-libvirt/vagrant-libvirt/issues/670#issuecomment-261964248

Can confirm that deleting the default network still allows
vagrant-libvirt to run fine on Ubuntu 16.04.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #729 from ceph/wip-samba-trigger

samba: Strip out origin/ for CEPH_BRANCH

Reviewed-by: Boris Ranto <branto@redhat.com>

samba: remove inactive distros and erroneous variable definition

Signed-off-by: Dan Mick <dan.mick@redhat.com>

samba: Strip out origin/ for CEPH_BRANCH

When we pass the CEPH_BRANCH from ceph-dev-build, it contains
origin/<branch>, we need to strip out the remote from the CEPH_BRANCH
before we can use it.

Also set BRANCH to SAMBA_BRANCH since we use BRANCH to post to chacra.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #728 from ceph/wip-samba-trigger

A couple more samba fixes

Reviewed-by: Alfredo Deza <adeza@redhat.com>

samba: Rename BRANCH to SAMBA_BRANCH

This fixes the builds triggered by ceph. Otherwise we will try to fetch
the same branch as ceph and that one will likely not exist.

Signed-off-by: Boris Ranto <branto@redhat.com>

samba: Drop default trusty build

We no longer need to build for trusty by default.

Signed-off-by: Boris Ranto <branto@redhat.com>

samba: Add pam dependency

Signed-off-by: Boris Ranto <branto@redhat.com>

samba: Fix the xargs command

The xargs command only serialized the input. Using the plain on lines to
be sure this time.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #727 from ceph/wip-samba-trigger

samba: Clean old ceph bits before getting new

samba: Clean old ceph bits before getting new

Debian/Ubuntu does not tie the package versions the same way the rpm
packagin does so upgrading a single package won't remove any old
packages. Remove the old bits before installing any new.

This should fix a build failure on xenial where there were two libcephfs
libraries present on the system at the time of build which broke the
build.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #725 from ceph/wip-samba-trigger

samba-trigger: Trigger build on commits

samba: Trigger builds on push to ceph repo

Signed-off-by: Boris Ranto <branto@redhat.com>

samba: Build against desired ceph branch/commit

Signed-off-by: Boris Ranto <branto@redhat.com>

samba-trigger: Trigger build on commits

This will trigger a samba build on push to any of master* ceph* or wip-*
branches.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #726 from ceph/fix_poolrefresh

scripts: fix virsh pool-refresh issue

scripts: fix virsh pool-refresh issue

`c7edf24` introduced a new behavior regarding teardown.
`virsh pool-refresh default` might fail if the pool doesn't exist yet.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #723 from ceph/wip-libvirt-destruction

scripts: Be more aggressive with deleting libvirt VMs

scripts: Be more aggressive with deleting libvirt VMs

This PR ensures all slaves that use tox & Vagrant don't have any running libvirt VMs that could cause IP collisions

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #720 from ceph/wip-cleanup-libvirt

scripts: Add function to delete leftover vagrant VMs

scripts: Add function to delete leftover vagrant VMs

Some of the network errors thrown by libvirt when running
Docker builds were because the slave had leftover Vagrant VMs that didn't
get destroyed.

This PR ensures all slaves being used for Docker tests will have VMs and disk images cleaned up if the build fails.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #719 from ceph/link-docker

ceph-docker-lint: start docker and use sudo

ceph-docker-lint: start docker and use sudo

yum does not start services after installation, so starting it and using
sudo to call docker command.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #718 from ceph/docker-lint-selinux

ceph-docker-lint: remove chcon command

ceph-docker-lint: remove chcon command

selinux is disabled so this command is useless.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #714 from ceph/shellcheck-version

Shellcheck version

ceph-docker-lint: add docker shellcheck

To run shellcheck with the -x option (Follow 'source' statements even
when the file is not specified as input.  By default, shellcheck will
only follow files specified on the command line (plus /dev/null).  This
option  allows  following any file the script may source.) we need at
least version 0.4.0.
Unfortunately epel only provides a 0.3.X version.

Fortunately, the container image provides the latest version which helps
us running the tests.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-docker-lint: test code SC2015

Work around in https://github.com/ceph/ceph-docker/pull/622
Using if and unset -e and reset it.

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1450480
Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-docker-lint: remove -x arg

The current version from EPEL does not have the -x argument.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-docker-lint: remove .build.swp file

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #716 from ceph/wip-cannon-url

really fix the expected url to be canonicalized

really fix the expected url to be canonicalized

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #717 from ceph/docker-scenarios

ceph-docker: update scenario names

ceph-docker: update scenario names

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #715 from ceph/wip-fix-jenkins-invocation

fix the expected value of HUDSON_URL

fix the expected value of HUDSON_URL

and exit when deps aren't installed when running locally

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #713 from ceph/shellcheck-exclude

ceph-docker-lint: exclude codes

ceph-docker-lint: do not check variables_entrypoint.sh

Shellcheck will complain with SC2034: foo appears unused. Verify it or
export it.
The problem here is that this file contains a reference of all the
variables so indeed they appear unused.
We could potentially source some portion of the code from that file,
however I don't want to change the structure of the code because of
shellchecker. Also sourcing all the variables might results in expected
scenario if these variables are not expected to be declared.

There is no way to tell shellcheck to ignore this file so we should not
test it.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-docker-lint: exclude codes

Excluding the following code:

* SC1091: since our entrypoint copies files in / during this shellcheck
the files can not be found. Basically we source ./file but presently the
file is under osd_directory/file so can not be found.
* SC2015: because we use 'set -e' we don't have other choice to use '||
true' here.
* SC2009: pgrep returns processes ID where we are looking for a specific
string in the process line.
* SC2001: our sed expressions are too complex we can not substitute them
with bash ${variable//search/replace}.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #712 from ceph/docker-ceph-ansible-version

ceph-docker-nightly: test on stable-2.2 of ceph-ansible

ceph-docker-nightly: test on stable-2.2 of ceph-ansible

We don't need to test on stable-2.1 of ceph-ansible anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #711 from ceph/shellchecker-source

ceph-docker-lint: Shellchecker source

ceph-docker-lint: remove reverse grep for NOT_MAINTAINED_ANYMORE

As per PR: https://github.com/ceph/ceph-docker/pull/632 the directory
NOT_MAINTAINED_ANYMORE does not exist anymore.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-docker-lint: shellcheck: allow 'source' outside of FILES.

ceph-docker sources a lot of files so to prevent warning from shellcheck
we add the option '-x' to source.
Follow 'source' statements even when the file is not specified as input.
By default, shellcheck will only follow files specified on the command
line (plus /dev/null).  This option allows following any file the
script may source.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #710 from ceph/wip-filter

filter files in PR to be only files ending in .sh$

filter files in PR to be only files ending in .sh$

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #709 from ceph/wip-docker-lint-config

check lint on all PRs automatically

Merge branch 'master' into wip-docker-lint-config

check lint on all PRs automatically

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #708 from ceph/wip-docker-lint-config

remove trigger whitelist

remove trigger whitelist

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #707 from ceph/wip-docker-lint

fix exit of build script

Merge branch 'master' into wip-docker-lint

fix exit of build script

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #706 from ceph/wip-docker-lint

limit shellcheck to files changed by the PR

limit shellcheck to files changed by the PR

also add some provisions for running locally

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #704 from ceph/wip-docker-lint2

correct lint executable; filter paths; set +e so we can lint all files

correct lint executable; filter paths; set +e so we can lint all files

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #703 from ceph/wip-docker-lint

install EPEL and correct package name

Merge branch 'master' into wip-docker-lint

install EPEL and correct package name

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #702 from ceph/wip-docker-lint

adds a linting of all shell files the project

adds a linting of all shell files in the project

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #701 from ceph/log-retention

Keep logs around longer for ceph-ansible/docker jobs

ceph-docker-prs: keep all logs in a 15 day period

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: keep all logs in a 15 day period

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-nightly: keep all logs forever

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #695 from ceph/libvirt-fixes

attempt to make libvirt slaves more stable

use libvirt util methods in all jobs that use libvirt

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: add libvirt util functions to build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-installer-tests: restart libvirt services before running tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-prs: restart libvirt services before running tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-nightly: restart libvirt services before running tests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>