ceph-deploy-build: do not use python to detect the distro

We're using pbuilder in many build jobs now so we can't depend on the
host to be the actual distro version that the binaries are being built
for. This uses the value from the JJB matrix to determine what distro
value to use when posting to chacra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #605 from ceph/purge-cluster-collocated

ceph-ansible-prs: adds the purge_cluster_collocated scenario

ceph-ansible-prs: adds the purge_cluster_collocated scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #604 from ceph/wip-nfs-ganesha

nfs-ganesha: first run at a build script for rpms and debs

nfs-ganesha: first run at a build script for rpms

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #603 from ceph/ceph-dev-build-triggers

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #602 from ceph/installer-builds

Adds a nightly job that tests ceph-installer

ceph-installer-nightly: send an email on build failures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a nightly job that tests ceph-installer

This job is parametrized so that we can also run it manually or
trigger it easily from other jobs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #601 from ceph/installer-builds

ceph-{ansible,installer}-rpms: do not use sepia slaves or sg

ceph-installer-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-installer-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #599 from ceph/submodule-check-xe

ceph-pr-submodules: increase verbosity to try and get values out of vars

ceph-pr-submodules: increase verbosity to try and get values out of variables

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #600 from ceph/sg-mock-group

ceph-{ansible,installer}-rpm: use "sg" for mock group

ceph-{ansible,installer}-rpm: use "sg" for mock group

The previous commit (0d90b3c5fec43fe66fc1e9c3856519f91e4454cf) attempted
to use newgrp to refresh groups, but I did not realize that this just
spawns a new shell (at least in my experiments in a bash interactive
shell), and it is ineffective on our JNLP slaves.

Use the approach we implemented for Docker (in
f9cc49aec026c2ae17b1db2603d262f5cb1c8a00), and run mock through "sg" to
set the group.

Merge pull request #598 from ktdreyer/mock-newgrp

ceph-{ansible,installer}-rpm: fix mock group addition

ceph-{ansible,installer}-rpm: fix mock group addition

When an ephemeral slave is first created, we have to add the
jenkins-build UID to the "mock" group so that it can run mock.

The problem is that "usermod -a -G" will not affect the current login
shell. When the ceph-*-rpm jobs run "usermod" for the first time,
the jenkins-build UID obtains those group rights for any future jobs,
but not the current job.

The result is that every time an ephemeral slave boots, it will fail its
first ceph-*-rpm build job (and future ones succeed).

Call "newgrp" to refresh the groups for this login shell, so that all
mock operations succeed, including the first one on each slave.

Merge pull request #597 from ceph/git-diff-devs

move git diff checks on dev builds

ceph-dev-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #596 from ceph/diff-autogen-hammer

ceph-setup: move the git diff check before calling autogen.sh

Reviewed-by: Dan Mick <dmick@redhat.com>

ceph-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #591 from ceph/ceph-docker-fixes

fixes for ceph-docker-nightly

ceph-docker-nightly: use xenial and amd64 nodes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-nightly: use sg to execture pytest as part of the docker group

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #593 from ceph/ceph-release-author

ansible: use the ceph-release-team for the debian changelog

ansible: use the ceph-release-team for the debian changelog

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #594 from ceph/rm-rhcs-installer

rhcs-installer: rm -rf

rhcs-installer: rm -rf

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #449 from ceph/job-cleanup

Job cleanup

ceph-puppet-modules: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

takora-pull-requests: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

takora: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

mariner-installer: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #590 from ceph/wip-samba-fix

samba: send extra information

samba: send extra information

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #592 from ceph/mv-ceph-ansible-rpm-config

ceph-{ansible,installer}-rpm: fix config location

ceph-{ansible,installer}-rpm: fix config locations

Our jenkins-job-builder job expects the JJB YAML to be located in a
"config/definitions" directory. Add the child "definitions" directory
here.

Merge pull request #586 from ktdreyer/ceph-ansible-rpm

add ceph-ansible-rpm job

add ceph-ansible-rpm job

This job builds RPMs for each ceph-ansible GitHub branch.

(This is a 99% copy and paste from ceph-installer-rpm, so we probably
need to come up with a centralized area for these types of jobs and use
JJB templates. I can't come up with a good directory name at the moment,
though.)

Merge pull request #589 from ceph/ceph-docker-nightly

ceph-docker-nightly: initial pass on a nightly test run for ceph-docker

ceph-docker-nightly: initial pass on a nightly test run for ceph-docker

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #588 from ceph/wip-samba-fix

samba: Minor fix-ups

samba: Minor fix-ups

This also fixes the get_distro_and_target function to get the proper
DIST and DISTRO for the new trusty-pbuilder-like tags.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #587 from ceph/wip-samba-fix

samba: Fix-up the build

samba: Fix-up the build

I was able to perform a centos7 build with these changes. The ubuntu
builds fail because the libgnutls-dev version is too knew -- this should
be fixable in samba sources.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #585 from ktdreyer/ceph-installer-abstract-build-script

ceph-installer-rpm: abstract build script

ceph-installer-rpm: abstract build script

Don't hardcode the "ceph-installer" package name in the
ceph-installer-rpm build script. Determine the package name from the
Jenkins job name instead.

The purpose of this change is to make the build script more re-usable
between different packages. (Eventually we could use JJB templates to
construct multiple jobs using these same build steps.)

Merge pull request #584 from jimcurtis/master

Adding playbook directory for creating private docker registry

Review feedback

Adding playbook directory for creating private docker registry

Merge pull request #583 from ceph/wip-sudo-env

Pass CEPH_EXTRA_CMAKE_ARGS through sudo to pbuilder build

Pass CEPH_EXTRA_CMAKE_ARGS through sudo to pbuilder build

This should finally allow notcmalloc builds on debian.

Setting the variable on the sudo command line does affect the
resulting pbuilder debian/rules execution (tested with a dummy
debian package)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #581 from ceph/ceph-dev-new-build

Ceph dev new build

ceph-dev-new-setup: fetch tags from ceph.git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-setup: update the config name to normalized convention

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new: update/normalize names for '-new' jobs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-build: create a job to fetch from ceph-dev-new-setup

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-setup: normalize on '-new' names

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #580 from ceph/revert-579-add-ca-scenario

Revert "ceph-ansible-prs: add 2 scenarios"

Revert "ceph-ansible-prs: add 2 scenarios"

Merge pull request #579 from ceph/add-ca-scenario

ceph-ansible-prs: add 2 scenarios

ceph-ansible-prs: add 2 scenarios

Both:

* xenial_mon_osd: tests a 1 mon 1 osd xenial cluster using
raw_multi_journal OSD scenario

* xenial_conf_tests: test a 3 mon cluster and ensures
ceph.conf is rendered correctly

were missing, so adding them to the CI.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #578 from ceph/new-tox-envs

ceph-ansible-prs: adds the docker_cluster scenario

ceph-ansible-prs: adds the docker_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #577 from ceph/ceph-dev-setup-new

Ceph dev setup new

ceph-dev-new-trigger: rename to reflect actual job name

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new: rename to reflect actual job name

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new: use ceph-dev-setup-new to use the correct git url

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup-new: clone ceph-dev-setup temporarily for ceph-ci.git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #576 from ceph/fix-alfredo-doodoo-part-deux

create a ceph-dev-new trigger just for ceph-ci

ceph-dev-new-trigger: create a new job only for ceph-ci

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-trigger: remove triggers from ceph.git to ceph-dev-new

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #575 from ceph/fix-alfredo-doodoo

ceph-dev-new: fix the collision on the job name

ceph-dev-new: fix the collision on the job name

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #574 from ceph/trigger-ceph-new

ceph-dev-trigger: trigger ceph-dev-new

ceph-dev-trigger: trigger ceph-dev-new

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #565 from ceph/ceph-dev-new

ceph-dev-new: create a sister job for ceph-dev to build from ceph-ci

ceph-dev-new: create a sister job for ceph-dev to build from ceph-ci

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #573 from ceph/new-tox-envs

ceph-ansible-prs: use underscores instead of dashes for scenarios

ceph-ansible-prs: use underscores instead of dashes for scenarios

This avoids an issue in tox where it splits on dashes and picks an
incorrect scenario because we had dashes in our environment names.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #572 from ceph/arch-ansible-syntax

ceph-ansible-pr-syntax-check: adds a x86_64 label

ceph-ansible-pr-syntax-check: adds a x86_64 label

We don't want this job picking up our arm64 slaves.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #571 from ceph/tox-workdir

ceph-ansible-prs: set a working directory for tox

ceph-ansible-prs: set a working directory for tox

We need to set a working directory for tox because the default for some
scenarios are too long and the job fails to call pip because it exceeds
the char limit.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #570 from ceph/ansible-scenarios-osds

enable other ceph-ansible scenarios

ceph-ansible-prs: add journal, collocation, and dmcrypt scenarios

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #568 from ceph/prado-support

Prado support

ansible: start the libvirt services for slave_libvirt

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: forcefully add a slave_libvirt.yml file for prado to work with

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: update slave_libvirt example to prado changes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: forcefully add a slave.yml file for prado to work with

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: update slave example to prado changes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #569 from ceph/contrib

ceph-ansible-pr-syntax-check: use yml file

ceph-ansible-pr-syntax-check: use yml file

We now use yaml files so we need to change the mv accordingly.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #567 from ceph/ansible-galaxy

ceph-ansible-galaxy: fix workspace path