Merge pull request #631 from ceph/wip-nfs-ganesha-trigger

nfs-ganesha: job that triggers builds of nfs-ganesha

nfs-ganesha: job that triggers builds of nfs-ganesha

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #638 from ceph/wip-nfs-ganesha

nfs-ganesha: fix shaman url check for build_deb

nfs-ganesha: fix shaman url check for build_deb

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #637 from ceph/wip-nfs-ganesha

nfs-ganesha: add validate scripts for each distro

nfs-ganesha: add validate scripts for each distro

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #634 from ceph/wip-nfs-ganesha

nfs-ganesha: Debian builds working various fixes

nfs-ganesha: Debian builds, setup scripts renamed

.debs building with pbuilder

setup scripts now distro dependent

remove $BRANCH variable

various minor fixes

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #636 from ceph/more-ceph-ansible-tests

ceph-ansible-prs: adds the ansible2.2-update_dmcrypt scenario

ceph-ansible-prs: adds the ansible2.2-update_dmcrypt scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #635 from ceph/more-ceph-ansible-tests

ceph-ansible-prs: adds ansible2.2-docker_dmcrypt_journal_collocation

ceph-ansible-prs: adds ansible2.2-docker_dmcrypt_journal_collocation

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #630 from ceph/wip-fix-arch

Samba+calamari: minor fixes

samba: Update the default values

samba: update repo information before installing dependencies

Signed-off-by: Boris Ranto <branto@redhat.com>

Use Arch more consistently

We used DEB_ARCH instead of ARCH when pushing to chacra in
samba/calamari. This meant that we pushed to amd64 instead of x86_64.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #633 from ceph/wip-signer-user

Change user and path for pushing upstream releases

Change user and path for pushing upstream releases

~/repos was a symlink and an unnecessary extra step.  If the true path
were to change, either this file or the symlink would need to change
anyway.

The 'signer' user does not have sudo access.  'dhc-user' was the legacy
user from when download.ceph.com was hosted in DreamCompute.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #632 from ceph/more-ceph-ansible-tests

ceph-ansible-prs: adds the ansible2.2-docker_dedicated_journal test

ceph-ansible-prs: adds the ansible2.2-docker_dedicated_journal test

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #625 from ceph/wip-nfs-ganesha

nfs-ganesha: fixes to enable "Builds" section in shaman

nfs-ganesha: debian fixes, various additions

Signed-off-by: Ali Maredia <amaredia@redhat.com>

nfs-ganesha: more fixes

Signed-off-by: Ali Maredia <amaredia@redhat.com>

nfs-ganesha: fixes to enable "Builds" section in shaman

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #629 from ceph/ceph-docker-nightly

ceph-docker-nightly: scheduled tests for ceph-docker

ceph-docker-nightly: scheduled tests for ceph-docker

Creates a set of jobs that test building and deploying jewel and kraken
containers with the master branch of ceph-ansible. It also includes a
test for building and deploying a jewel container with the stable-2.1
branch of ceph-ansible.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #627 from ceph/ceph-docker-prs

ceph-docker-prs: enable PR testing for kraken images

ceph-docker-prs: test master branch of ceph-ansible

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-prs: enable PR testing for kraken images

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #628 from dmick/master

ceph-dev-*: fix tcmalloc args for pre-cmake builds

ceph-*: fix tcmalloc args for pre-cmake builds

Prior to cmake, --with(out)-tcmalloc must be passed to the
configure done during the actual build.  For rpm, that means an
extra arg to the invocation of rpmbuild in build_rpm; for deb,
debian/rules invokes configure.  Also, no reason to export
the shell variables; they're used locally and passed as
property files between Jenkins jobs.

Fixes: http://tracker.ceph.com/issues/18744
Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #626 from ceph/1.26.17-clean-calamari

removing stale distros and preventing the SCM step from wiping the wo…

removing stale distros and preventing the SCM step from wiping the workspace

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #624 from ceph/ceph-ansible-prs-update

ceph-ansible-prs: adds purge cluster scenarios

ceph-ansible-prs: adds purge_cluster and purge_dmcrypt scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #623 from ceph/1.25.17-clean-calamari

try some other ways to cleanup ./dist

Merge branch 'master' into 1.25.17-clean-calamari

try some other ways to cleanup ./dist

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #621 from ceph/wip-nfs-ganesha

nfs-ganesha: add "Build" section, 'Extras', other fixes

nfs-ganesha: Shaman related additions, various fixes

enable "Build" section on shaman

enable 'Extras' build info on shaman

various other minor fixes

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #622 from ceph/docker-pr-updates

ceph-docker pull requests testing updates

ceph-docker-prs: add the ceph_ansible2.1-jewel-xenial_cluster scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the ceph-docker-pull-requests job

This has been replace with ceph-docker-prs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #620 from ceph/1.23.17-clean-calamari

need sudo to clean dist on centos

need sudo to clean dist on centos

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #619 from jcsp/wip-18645

build_utils: fix setuptools installation

Reviewed-by: Dan Mick <dmick@redhat.com>

build_utils: fix setuptools installation

Hopefully the original order of pip vs. setuptools
in this script was not important, because apparently
we now need latest pip in order to install setuptools.

Fixes: http://tracker.ceph.com/issues/18645
Signed-off-by: John Spray <john.spray@redhat.com>

Merge pull request #618 from ceph/ceph-docker-tests

ceph-docker-prs: functional testing for ceph-docker pull requests

ceph-docker-prs: only teardown in the ceph-ansible dir

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-docker-prs: runs ceph-docker testing scenarios on PRs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #617 from ceph/wip-nfs-ganesha

nfs-ganesha: various fixes

nfs-ganesha: Various fixes

Install missing libraries

make sure commands exit 1

move unpacked tarball into nfs-ganesha-debian

remove duplicated axis

trim down distros list to centos7 and xenial

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #616 from ceph/1.13-wip-output-error

print out build log if mock fails

print out build log if mock fails

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #615 from ceph/revert-614-shaman-status-updates

Revert "Send status to shaman earlier when building ceph rpm binaries"

Revert "Send status to shaman earlier when building ceph rpm binaries"

Merge pull request #614 from ceph/shaman-status-updates

Send status to shaman earlier when building ceph rpm binaries

ceph-dev-build: post build status to shaman for rpm builds earlier

Moves the post to shaman earlier in the script so if we have package
failures later in the script an update is still sent to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-new-build: post status to shaman earlier for rpm builds

We recently had an issue where we had a networking issue getting epel
packages and the build failed before any status was sent to shaman. This
fix should avoid that and post earlier in the build script.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #613 from ceph/inject-password-triggers

Inject password triggers

ceph-dev-trigger: inject the passwords to notify shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: inject the passwords to notify shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #612 from ceph/ceph-installer-tests

ceph-installer-tests: a project to run ceph-installer functional tests

ceph-installer-tests: a project to run ceph-installer functional tests

This will create a new jenkins job for each testing scenario defined in
the config file. These jobs will run daily and can be trigger manually,
optionally providing which branches of ceph-installer and ceph-ansible
to test with.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #610 from ceph/trigger-report-new

notify of queued builds from trigger job

ceph-dev-new-trigger: create a script to notify shaman of triggered builds

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-new-trigger: include the notification script in the configuration for the job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #611 from ceph/wip-nfs-ganesha

nfs-ganesha: edit cmake command

nfs-ganesha: edit cmake command

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #607 from ceph/trigger-report

report when a build is triggered

ceph-dev-trigger: include the notify script as part of the builder config section

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-trigger: create script to notify shaman of triggered build

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #609 from ceph/wip-nfs-ganesha

nfs-ganesha: fix scm section, add absolute paths

nfs-ganesha: fix scm section, add absolute paths

Made changes to scm section to configure both git
repos.

Made all references to "dist" dir absolute paths

Made sure directories being git cleaned are
actual git repos

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #608 from ceph/wip-nfs-ganesha

nfs-ganesha: ceph fsals ON, change git repo url

nfs-ganesha: ceph fsals ON, change git repo url

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #606 from ceph/ceph-deploy-build-fix

ceph-deploy-build: do not use python to detect the distro

ceph-deploy-build: do not use python to detect the distro

We're using pbuilder in many build jobs now so we can't depend on the
host to be the actual distro version that the binaries are being built
for. This uses the value from the JJB matrix to determine what distro
value to use when posting to chacra.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #605 from ceph/purge-cluster-collocated

ceph-ansible-prs: adds the purge_cluster_collocated scenario

ceph-ansible-prs: adds the purge_cluster_collocated scenario

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #604 from ceph/wip-nfs-ganesha

nfs-ganesha: first run at a build script for rpms and debs

nfs-ganesha: first run at a build script for rpms

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #603 from ceph/ceph-dev-build-triggers

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

ceph-dev-trigger: remove the trigger for wip- branches for ceph.git

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #602 from ceph/installer-builds

Adds a nightly job that tests ceph-installer

ceph-installer-nightly: send an email on build failures

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a nightly job that tests ceph-installer

This job is parametrized so that we can also run it manually or
trigger it easily from other jobs.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #601 from ceph/installer-builds

ceph-{ansible,installer}-rpms: do not use sepia slaves or sg

ceph-installer-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: remove usage of 'sg'

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-installer-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-rpm: adds !sepia label

The sepia nodes, using JNLP, are having troubles building these rpms so
let's just use OVH nodes until we can resolve this.

The issue being that mock runs fine if we use 'sg', but the noarch rpm
is never built.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #599 from ceph/submodule-check-xe

ceph-pr-submodules: increase verbosity to try and get values out of vars

ceph-pr-submodules: increase verbosity to try and get values out of variables

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #600 from ceph/sg-mock-group

ceph-{ansible,installer}-rpm: use "sg" for mock group

ceph-{ansible,installer}-rpm: use "sg" for mock group

The previous commit (0d90b3c5fec43fe66fc1e9c3856519f91e4454cf) attempted
to use newgrp to refresh groups, but I did not realize that this just
spawns a new shell (at least in my experiments in a bash interactive
shell), and it is ineffective on our JNLP slaves.

Use the approach we implemented for Docker (in
f9cc49aec026c2ae17b1db2603d262f5cb1c8a00), and run mock through "sg" to
set the group.

Merge pull request #598 from ktdreyer/mock-newgrp

ceph-{ansible,installer}-rpm: fix mock group addition

ceph-{ansible,installer}-rpm: fix mock group addition

When an ephemeral slave is first created, we have to add the
jenkins-build UID to the "mock" group so that it can run mock.

The problem is that "usermod -a -G" will not affect the current login
shell. When the ceph-*-rpm jobs run "usermod" for the first time,
the jenkins-build UID obtains those group rights for any future jobs,
but not the current job.

The result is that every time an ephemeral slave boots, it will fail its
first ceph-*-rpm build job (and future ones succeed).

Call "newgrp" to refresh the groups for this login shell, so that all
mock operations succeed, including the first one on each slave.

Merge pull request #597 from ceph/git-diff-devs

move git diff checks on dev builds

ceph-dev-setup: move the git diff check before calling autogen.sh

Fixes: http://tracker.ceph.com/issues/17901
Signed-off-by: Alfredo Deza <adeza@redhat.com>