ceph-ansible-pull-requests: force ansible version

Ansible 2.2 seems to be breaking things, let's stick with 2.1 for now.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #530 from ceph/wip-calamari-simple

calamari: Simplify to add debian build

calamari: Simplify to add debian build

The debian build does not currently support creating source packages so
we need to merge the build and setup jobs into a single job. This patch
also simplifies various other bits and adds the support for the debian
build.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #528 from ceph/wip-shared-func

Add 2 new helper functions

scripts/build_utils.sh: Add setup_pbuilder function

This is based on the setup_pbuilder file made by Alfredo Deza.

Signed-off-by: Boris Ranto <branto@redhat.com>

scripts/build_utils.sh: Add get_distro_and_target function

This is a more generic function that will set DISTRO variable and
MOCK_TARGET variable (rpm systems only).

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #523 from ceph/prod-chacra-shaman

fixes to allow for chacra.ceph.com repos to register with shaman

ceph-setup: allow for concurrent jobs to run

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: allow for concurrent jobs to run

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph: allow for concurrent jobs to run

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: fix the repo url used by build_rpm

ceph-build: fix chacra url when POSTing repo extra for rpm repos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: set FLAVOR to default

We don't build multiple flavors for upstream releases, but we use the
full chacra url when uploading binaries and updating repos.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #527 from ceph/wip-kernel

kernel: various fixes

kernel: various fixes

- rename ARCH to DEB_ARCH to avoid overriding kernel ARCH variable in
  Makefile
- rename SHA1 to GIT_COMMIT, we do not set SHA1 anywhere
- generate the kernel config with a script
- deb files are stored in ../, clean ../, clean-up first to upload only
  new ../*.deb files
- rpm files are stored in ~/rpmbuild, clean-up first to upload only new
  rpm files
- remove precise from default distros as we do not seem to have any huge
  precise machines lying around at the moment
- add trusty to default distros

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #522 from ceph/wip-kernel

kernel: Add initial implementation

Reviewed-by: Andrew Schoen <aschoen@redhat.com>

kernel: Add initial implementation

Add initial implementation for kernel jenkins builds. We build and prep
kernel in one phase with a single 'make' target and the Makefile does
not support creating just source rpm/deb files so we need to do all the
work in a single job.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #525 from ceph/ceph-ansible-syntax-checker

ceph-ansible-pr-syntax-check: various fixes

ceph-ansible-pr-syntax-check: fix path to group_vars/all.sample

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-pr-syntax-check: fixes github link

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #524 from ceph/ceph-ansible-syntax-checker

adds a new job to do syntax checks on ceph-ansible pull requests

adds a new job to do syntax checks on ceph-ansible pull requests

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #516 from ceph/ceph-dev-notcmalloc

ceph-dev-trigger: enable notcmalloc flavor

ceph-dev-trigger: enable notcmalloc flavor

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #521 from tchaikov/wip-tarball-make-dist

release_tarball: use make-dist if available

Reviewed-by: Sage Weil <sage@redhat.com>

release_tarball: use make-dist if available

this enables us to prepare release tarball for versions without
autotools support, where we use make-dist to create the release tarball
instead.

- make-dist only produces .bz2 tarball, so we switch to .bz2 in this
  change.
- it's a waste to create both .gz and .bz2 tarballs using "make dist*",
  as we only use one of the to repackage the .gz and .bz2 tarballs.
  so let's drop "make dist" and use "make dist-bzip2" only.

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #520 from ceph/prod-chacra-shaman

ceph-build: update shaman on build status and post extra repo information

ceph-build: remove unused build/setup script

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: post build status to shaman for rpm builds

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: post completed status to shaman after deb builds

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: send failure status to shaman on build failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: report deb build started status to shaman

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-setup: report to shaman on build failure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: post 'extra' repo information to chacra for rpm repos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: post 'extra' repo information to chacra for deb repos

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #519 from ceph/build-wip

ceph-dev-trigger: granularly define the branches to build for testing

ceph-dev-trigger: granularly define the branches to build for testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #518 from ceph/jessie-pgp

ansible: use pgp.mit.edu to fetch the jessie release key

ansible: use pgp.mit.edu to fetch the jessie release key

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #502 from ceph/fix-slave-hostname

ansible: update the cloud-init templates for /etc/hosts

ansible: ignore failures change /etc/hosts cloud templates

Not all our nodes have those templates so ignore failures to modify
those non-existant templates.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: update the cloud-init templates for /etc/hosts

If a node is rebooted the /etc/hosts file is rewritten with these
template files because ``manage_etc_hosts`` is set to ``true``. This
causes jobs to fail because the hostname is no longer resolveable after
reboot.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #517 from ceph/pip-no-binary

no binary installs for pip

ceph-build: do not use binary ansible installs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: modify configure.ac only when it exists for ceph releases

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: create a helper to avoid compiling python packages

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #515 from ceph/dev-force-push

ceph-dev-trigger: use a list, not a continuated string

ceph-dev-trigger: use a pipe for continuated string

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #514 from ceph/dev-force-push

ceph-dev-trigger: force push even when remote package exists

ceph-dev-trigger: force push even when remote package exists

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #513 from ceph/docker-fixes3

docker-pull-requests: use the correct path for teardown

docker-pull-requests: use the correct path for teardown

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #512 from ceph/docker-fixes2

ceph-docker-pull-requests: really try to remove containers

ceph-docker-pull-requests: remove 'ceph-demo' as well from getting checked since they aren't available in pull requests

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-pull-requests: really try to remove containers

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #511 from ceph/docker-fixes

Docker fixes

ceph-docker-pull-requests: remove 'exec ceph-mon' call since it isn't available

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-pull-requests: add a header to indicate on failure script start

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #510 from ceph/ceph-setup-copy

ceph-setup: mkdir and then copy recursively vs. using mv

ceph-setup: mkdir and then copy recursively vs. using mv

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #509 from ceph/docker-sudo

ceph-docker-pull-requests: use sudo to remove deamon base and demo

ceph-docker-pull-requests: use sudo to remove deamon base and demo

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #508 from ceph/docker-workspace

ceph-docker-pull-requests: remove daemon demo and base from top dir

ceph-docker-pull-requests: rename the configuration file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-pull-requests: remove daemon demo and base from top dir for pull requests

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #507 from ceph/docker-workspace

Docker workspace

ceph-docker-pull-requests: define better the right path where to execute from

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-pull-requests: request amd64 arch nodes to build on

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #506 from ceph/docker-deps

install correct deps

ceph-docker-pull-requests: require a xenial host if possible

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-docker-pull-requests: install docker.io which is the actual dependency of docker

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #505 from ceph/release-cmake

ceph-setup: when in cmake use different flags for compression

ceph-setup: when in cmake use different flags for compression

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #504 from ceph/ceph-docker-prs

ceph-docker-pull-requests: intial pass at a pull request job

ceph-docker-pull-requests: intial pass at a pull request job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #503 from ceph/build-properties

scripts: create the build_info properties file when updating shaman

ceph-dev-build: no need to write the build_info file during setup

This is now done in scripts/build_utils whenever a status is posted to
shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: write the build_info properties file when updating shaman

Centralize the creation of this file in one place so that other scripts
do not have to remember to write it when they want to post updates to
shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #501 from ceph/build-properties

ceph-dev-build: write the correct vars to build_info in setup_rpm

ceph-dev-build: write the correct vars to build_info in setup_rpm

I was using the incorrect values for the NORMAL_* values in setup_rpm
which was posting incorrect information to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #500 from ceph/build-properties

ceph-dev-build: split setup into setup_deb and setup_rpm

scripts: always POST when sending build info to shaman

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: if shaman fails to return a node, fail the build

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: remove the unused setup file

We now have os type specific setup files

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: adds a setup_rpm script

We want to split up setup by os type so we can post
correct build info to shaman earlier

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: adds a setup_deb script

We want to split up setup by os type so we can post correct
information to shaman earlier in the build.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: give the failure script access to the NORMALIZED_* vars

In the build scripts we can write the NORMALIZED_* vars to a property
file so that if the build fails the postbuildscript can use inject those
vars and use them to properly post build info to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #499 from ceph/fail-branch

we need to set variables when reporting build failures

ceph-dev-setup: on failure make sure BRANCH and SHA1 are set correctly

When the job fails it gets fresh parameters from the ceph-dev job, so we
have to set these variables again to avoid things refs like 'origin/*'
in shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: filter BRANCH in build/failure

When the postscriptbuild fires it passes that script fresh parameters
from ceph-dev, so we need to filter the value of BRANCH again or we get
it info in shaman that look like 'origin/*'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #498 from ceph/build-info-fix

post build info status to shaman on failure

ceph-dev-setup: set script-only-if-failed: False

The default for this is True and if you want to only execute
the script on failure you need to set this to False.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: set script-only-if-failed: False

This needs to be set because the default is True and if you want
to post on failure you have to change this value as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #497 from ceph/wip-jnode-rename

Rename jenkins-node module for ansible v2 compatibility

Rename jenkins-node module for ansible v2 compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #496 from ceph/ref-not-branch

Ref not branch and "status" not "state"

scripts: use 'status', not 'state'

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: use 'ref', not 'branch'

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #494 from ceph/posting-build

update shaman on build status

ceph-dev-setup: define SHA1 at the very beginning so it is available when posting status

Signed-off-by: Alfredo Deza <adeza@redhat.com>