ceph-ansible-prs: adds purge_cluster and purge_dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #623 from ceph/1.25.17-clean-calamari

try some other ways to cleanup ./dist

Merge branch 'master' into 1.25.17-clean-calamari

try some other ways to cleanup ./dist

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #621 from ceph/wip-nfs-ganesha

nfs-ganesha: add "Build" section, 'Extras', other fixes

nfs-ganesha: Shaman related additions, various fixes

enable "Build" section on shaman

enable 'Extras' build info on shaman

various other minor fixes

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #622 from ceph/docker-pr-updates

ceph-docker pull requests testing updates

ceph-docker-prs: add the ceph_ansible2.1-jewel-xenial_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the ceph-docker-pull-requests job

This has been replace with ceph-docker-prs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #620 from ceph/1.23.17-clean-calamari

need sudo to clean dist on centos

need sudo to clean dist on centos

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #619 from jcsp/wip-18645

build_utils: fix setuptools installation

Reviewed-by: Dan Mick <dmick@redhat.com>

build_utils: fix setuptools installation

Hopefully the original order of pip vs. setuptools
in this script was not important, because apparently
we now need latest pip in order to install setuptools.

Fixes: http://tracker.ceph.com/issues/18645
Signed-off-by: John Spray <john.spray@redhat.com>

Merge pull request #618 from ceph/ceph-docker-tests

ceph-docker-prs: functional testing for ceph-docker pull requests

ceph-docker-prs: only teardown in the ceph-ansible dir

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-prs: runs ceph-docker testing scenarios on PRs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #617 from ceph/wip-nfs-ganesha

nfs-ganesha: various fixes

nfs-ganesha: Various fixes

Install missing libraries

make sure commands exit 1

move unpacked tarball into nfs-ganesha-debian

remove duplicated axis

trim down distros list to centos7 and xenial

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #616 from ceph/1.13-wip-output-error

print out build log if mock fails

print out build log if mock fails

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #615 from ceph/revert-614-shaman-status-updates

Revert "Send status to shaman earlier when building ceph rpm binaries"

Revert "Send status to shaman earlier when building ceph rpm binaries"

Merge pull request #614 from ceph/shaman-status-updates

Send status to shaman earlier when building ceph rpm binaries

ceph-dev-build: post build status to shaman for rpm builds earlier

Moves the post to shaman earlier in the script so if we have package
failures later in the script an update is still sent to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-new-build: post status to shaman earlier for rpm builds

We recently had an issue where we had a networking issue getting epel
packages and the build failed before any status was sent to shaman. This
fix should avoid that and post earlier in the build script.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #613 from ceph/inject-password-triggers

Inject password triggers

ceph-dev-trigger: inject the passwords to notify shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: inject the passwords to notify shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #612 from ceph/ceph-installer-tests

ceph-installer-tests: a project to run ceph-installer functional tests

ceph-installer-tests: a project to run ceph-installer functional tests

This will create a new jenkins job for each testing scenario defined in
the config file. These jobs will run daily and can be trigger manually,
optionally providing which branches of ceph-installer and ceph-ansible
to test with.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #610 from ceph/trigger-report-new

notify of queued builds from trigger job

ceph-dev-new-trigger: create a script to notify shaman of triggered builds

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: include the notification script in the configuration for the job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #611 from ceph/wip-nfs-ganesha

nfs-ganesha: edit cmake command

nfs-ganesha: edit cmake command

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #607 from ceph/trigger-report

report when a build is triggered

ceph-dev-trigger: include the notify script as part of the builder config section

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-trigger: create script to notify shaman of triggered build

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #609 from ceph/wip-nfs-ganesha

nfs-ganesha: fix scm section, add absolute paths

nfs-ganesha: fix scm section, add absolute paths

Made changes to scm section to configure both git
repos.

Made all references to "dist" dir absolute paths

Made sure directories being git cleaned are
actual git repos

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #608 from ceph/wip-nfs-ganesha

nfs-ganesha: ceph fsals ON, change git repo url

nfs-ganesha: ceph fsals ON, change git repo url

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #606 from ceph/ceph-deploy-build-fix

ceph-deploy-build: do not use python to detect the distro

ceph-deploy-build: do not use python to detect the distro

We're using pbuilder in many build jobs now so we can't depend on the
host to be the actual distro version that the binaries are being built
for. This uses the value from the JJB matrix to determine what distro
value to use when posting to chacra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #605 from ceph/purge-cluster-collocated

ceph-ansible-prs: adds the purge_cluster_collocated scenario

ceph-ansible-prs: adds the purge_cluster_collocated scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #604 from ceph/wip-nfs-ganesha

nfs-ganesha: first run at a build script for rpms and debs

nfs-ganesha: first run at a build script for rpms

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #603 from ceph/ceph-dev-build-triggers

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #602 from ceph/installer-builds

Adds a nightly job that tests ceph-installer

ceph-installer-nightly: send an email on build failures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a nightly job that tests ceph-installer

This job is parametrized so that we can also run it manually or
trigger it easily from other jobs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #601 from ceph/installer-builds

ceph-{ansible,installer}-rpms: do not use sepia slaves or sg

ceph-installer-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-installer-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #599 from ceph/submodule-check-xe

ceph-pr-submodules: increase verbosity to try and get values out of vars

ceph-pr-submodules: increase verbosity to try and get values out of variables

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #600 from ceph/sg-mock-group

ceph-{ansible,installer}-rpm: use "sg" for mock group

ceph-{ansible,installer}-rpm: use "sg" for mock group

The previous commit (0d90b3c5fec43fe66fc1e9c3856519f91e4454cf) attempted
to use newgrp to refresh groups, but I did not realize that this just
spawns a new shell (at least in my experiments in a bash interactive
shell), and it is ineffective on our JNLP slaves.

Use the approach we implemented for Docker (in
f9cc49aec026c2ae17b1db2603d262f5cb1c8a00), and run mock through "sg" to
set the group.

Merge pull request #598 from ktdreyer/mock-newgrp

ceph-{ansible,installer}-rpm: fix mock group addition

ceph-{ansible,installer}-rpm: fix mock group addition

When an ephemeral slave is first created, we have to add the
jenkins-build UID to the "mock" group so that it can run mock.

The problem is that "usermod -a -G" will not affect the current login
shell. When the ceph-*-rpm jobs run "usermod" for the first time,
the jenkins-build UID obtains those group rights for any future jobs,
but not the current job.

The result is that every time an ephemeral slave boots, it will fail its
first ceph-*-rpm build job (and future ones succeed).

Call "newgrp" to refresh the groups for this login shell, so that all
mock operations succeed, including the first one on each slave.

Merge pull request #597 from ceph/git-diff-devs

move git diff checks on dev builds

ceph-dev-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #596 from ceph/diff-autogen-hammer

ceph-setup: move the git diff check before calling autogen.sh

Reviewed-by: Dan Mick <dmick@redhat.com>

ceph-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #591 from ceph/ceph-docker-fixes

fixes for ceph-docker-nightly

ceph-docker-nightly: use xenial and amd64 nodes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-nightly: use sg to execture pytest as part of the docker group

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #593 from ceph/ceph-release-author

ansible: use the ceph-release-team for the debian changelog

ansible: use the ceph-release-team for the debian changelog

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #594 from ceph/rm-rhcs-installer

rhcs-installer: rm -rf

rhcs-installer: rm -rf

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #449 from ceph/job-cleanup

Job cleanup

ceph-puppet-modules: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

takora-pull-requests: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

takora: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

mariner-installer: removes job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #590 from ceph/wip-samba-fix

samba: send extra information

samba: send extra information

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #592 from ceph/mv-ceph-ansible-rpm-config

ceph-{ansible,installer}-rpm: fix config location

ceph-{ansible,installer}-rpm: fix config locations

Our jenkins-job-builder job expects the JJB YAML to be located in a
"config/definitions" directory. Add the child "definitions" directory
here.

Merge pull request #586 from ktdreyer/ceph-ansible-rpm

add ceph-ansible-rpm job

add ceph-ansible-rpm job

This job builds RPMs for each ceph-ansible GitHub branch.

(This is a 99% copy and paste from ceph-installer-rpm, so we probably
need to come up with a centralized area for these types of jobs and use
JJB templates. I can't come up with a good directory name at the moment,
though.)

Merge pull request #589 from ceph/ceph-docker-nightly

ceph-docker-nightly: initial pass on a nightly test run for ceph-docker

ceph-docker-nightly: initial pass on a nightly test run for ceph-docker

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #588 from ceph/wip-samba-fix

samba: Minor fix-ups

samba: Minor fix-ups

This also fixes the get_distro_and_target function to get the proper
DIST and DISTRO for the new trusty-pbuilder-like tags.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #587 from ceph/wip-samba-fix

samba: Fix-up the build

samba: Fix-up the build

I was able to perform a centos7 build with these changes. The ubuntu
builds fail because the libgnutls-dev version is too knew -- this should
be fixable in samba sources.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #585 from ktdreyer/ceph-installer-abstract-build-script

ceph-installer-rpm: abstract build script

ceph-installer-rpm: abstract build script

Don't hardcode the "ceph-installer" package name in the
ceph-installer-rpm build script. Determine the package name from the
Jenkins job name instead.

The purpose of this change is to make the build script more re-usable
between different packages. (Eventually we could use JJB templates to
construct multiple jobs using these same build steps.)

Merge pull request #584 from jimcurtis/master

Adding playbook directory for creating private docker registry

Review feedback

Adding playbook directory for creating private docker registry

Merge pull request #583 from ceph/wip-sudo-env

Pass CEPH_EXTRA_CMAKE_ARGS through sudo to pbuilder build

Pass CEPH_EXTRA_CMAKE_ARGS through sudo to pbuilder build

This should finally allow notcmalloc builds on debian.

Setting the variable on the sudo command line does affect the
resulting pbuilder debian/rules execution (tested with a dummy
debian package)

Signed-off-by: Dan Mick <dan.mick@redhat.com>