Merge pull request #503 from ceph/build-properties

scripts: create the build_info properties file when updating shaman

ceph-dev-build: no need to write the build_info file during setup

This is now done in scripts/build_utils whenever a status is posted to
shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

scripts: write the build_info properties file when updating shaman

Centralize the creation of this file in one place so that other scripts
do not have to remember to write it when they want to post updates to
shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #501 from ceph/build-properties

ceph-dev-build: write the correct vars to build_info in setup_rpm

ceph-dev-build: write the correct vars to build_info in setup_rpm

I was using the incorrect values for the NORMAL_* values in setup_rpm
which was posting incorrect information to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #500 from ceph/build-properties

ceph-dev-build: split setup into setup_deb and setup_rpm

scripts: always POST when sending build info to shaman

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: if shaman fails to return a node, fail the build

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: remove the unused setup file

We now have os type specific setup files

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: adds a setup_rpm script

We want to split up setup by os type so we can post
correct build info to shaman earlier

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: adds a setup_deb script

We want to split up setup by os type so we can post correct
information to shaman earlier in the build.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: give the failure script access to the NORMALIZED_* vars

In the build scripts we can write the NORMALIZED_* vars to a property
file so that if the build fails the postbuildscript can use inject those
vars and use them to properly post build info to shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #499 from ceph/fail-branch

we need to set variables when reporting build failures

ceph-dev-setup: on failure make sure BRANCH and SHA1 are set correctly

When the job fails it gets fresh parameters from the ceph-dev job, so we
have to set these variables again to avoid things refs like 'origin/*'
in shaman.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: filter BRANCH in build/failure

When the postscriptbuild fires it passes that script fresh parameters
from ceph-dev, so we need to filter the value of BRANCH again or we get
it info in shaman that look like 'origin/*'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #498 from ceph/build-info-fix

post build info status to shaman on failure

ceph-dev-setup: set script-only-if-failed: False

The default for this is True and if you want to only execute
the script on failure you need to set this to False.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: set script-only-if-failed: False

This needs to be set because the default is True and if you want
to post on failure you have to change this value as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #497 from ceph/wip-jnode-rename

Rename jenkins-node module for ansible v2 compatibility

Rename jenkins-node module for ansible v2 compatibility

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #496 from ceph/ref-not-branch

Ref not branch and "status" not "state"

scripts: use 'status', not 'state'

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: use 'ref', not 'branch'

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #494 from ceph/posting-build

update shaman on build status

ceph-dev-setup: define SHA1 at the very beginning so it is available when posting status

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: create helpers to post build statuses to shaman

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: post build status on rpm builds

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: post build status on deb builds

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: configure to post failed statuses on build failures

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: create a failure script to post failed build status

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup: configure when the job fails; run the failure script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup: add a script to post build information on failure

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #493 from ceph/wip-diamond-deb

diamand: Fix dir name mismatch

diamand: Fix dir name mismatch

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #492 from ceph/jnlp-false

ansible: set use_jnlp: false in slave.yml

ansible: set use_jnlp: false in slave.yml

We will never use prado to setup slaves using jnlp and
the way this was before was causing a recursion error when
ansible was trying to render the playbook.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #491 from ceph/wip-diamond-deb

diamond: Add debian support

diamond: Add debian support

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #490 from ceph/ovh-hostnames

ansible: always add 'ceph-builders' to /etc/hosts

ansible: always add 'ceph-builders' to /etc/hosts

The nodes we spin up in OVH are using an image that sets the hostname
to 'ceph-builders'. Also, the hostname we give it is too long to use and
ansible silenty fails to set it.

This change ensures that nodes can use sudo correctly and avoids errors
like: 'sudo: unable to resolve host ceph-builders'.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #489 from ceph/build-libcephfs

actually be able to build libcephfs-java

ceph-build: remove the --binary-arch flag when calling pbuilder

This caused for non-binary arch to be skipped. Specifically:
"Build-Depends-Indep" which in this case is in charge of building
libcephfs-java.

The man page explains that the flag is used to: "Specify  to  build
architecture specific targets instead of all targets" which we need to.

This was introduced in commit: d80f78adcb28a2c60fd79895f4f5c63d999b457d

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: remove the --binary-arch flag when calling pbuilder

This caused for non-binary arch to be skipped. Specifically:
"Build-Depends-Indep" which in this case is in charge of building
libcephfs-java.

The man page explains that the flag is used to: "Specify  to  build
architecture specific targets instead of all targets" which we need to.

This was introduced in commit: d80f78adcb28a2c60fd79895f4f5c63d999b457d

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #488 from ceph/unexpected-fi

Unexpected fi token

Reviewed-by: Kefu Chai <kchai@redhat.com>

ceph-setup: fix bash syntax error on conditional check

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-setup: fix bash syntax error on conditional check

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #485 from ceph/wip-cmake

cmake: modified several scripts for cmake support

cmake: modified several scripts for cmake support

Modified build scripts to support configuration
for both cmake and automake builds.

Removed traces of blkin library from builds.

Added cmake as a rpm requirement for ansible
slaves

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #487 from ceph/slave-hostname

ansible: set hostname on slaves

ansible: set the hostname in slave_static.yml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: set hostname in slave.yml

This avoids an issue on OVH nodes where sudo does not work.
When trying to use sudo on these nodes we see:

sudo: unable to resolve host (none)

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #486 from ceph/pbuilder-network

allow network access in pbuilder builds

ceph-dev-build: allow network usage for pbuilder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build: allow network usage for pbuilder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #484 from ceph/pbuilder-home-fix

set BUILD_HOME to the right path

ceph-build: set BUILD_HOME to the correct HOME value

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-dev-build: set BUILD_HOME to the correct HOME value

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #483 from ceph/trusty-builds

ceph-dev: also build trusty by default

ceph-dev: also build trusty by default

The sepia lab is mostly testing on trusty, so we want to build trusty by
default as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #482 from ceph/init-playbook

ansible: install python2.7 on xenial nodes

ansible: install python2.7 on xenial nodes

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #478 from ceph/static-slave-playbook

A playbook to configure static jenkins slaves

ansible: set utf-8 locale for the build user

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: xenial nodes need to install curl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build-pull-requests: move the templates folder for playbook testing

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: adds a template for an epel yum repo

The smithi nodes did not have epel enabled.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: adds a systemd template for jenkins

This is used for static slaves that run the java command to connect to
the jenkins master using jnlp.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: default nodename to ansible_hostname in slave_static.yml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: adds a hosts-static inventory file with smithi nodes included

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ansible: adds an example playbook for configuring static slaves

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #479 from ceph/pbuilder-home

set BUILD_HOME in pbuilderrc

ceph-dev-build: set BUILD_HOME in .pbuilderrc

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build: set BUILD_HOME in .pbuilderrc

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #480 from ceph/wip-calamari

calamari: Various fixes

calamari-clients-setup: Do install in setup phase

We already do it like this downstream, we only re-package the pre-built
tarball there. This makes the upstream workflow more similar to the one
downstream (and actually possible).

Signed-off-by: Boris Ranto <branto@redhat.com>

calamari-clients-build: Various fixes and improvements

- make sure the old src.rpms are removed before creating a new one
- automatically show mock logs if the build fails
- do not upload src.rpm twice, mock creates a srpm with proper dist,
  keep that one

Signed-off-by: Boris Ranto <branto@redhat.com>

calamari: Use small machines

We do not need the huge machines for the calamari setup tasks, use small
machines instead.

Also use centos7 node instead of trusty one, nodejs bits seems to be
somewhat broken in trusty.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #477 from ceph/slave-locale

ansible: set utf-8 locale for the build user

ansible: create the .profile if it doesn't exist

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: set utf-8 locale for the build user

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #476 from ceph/dch-command

ceph-dev-setup: add back the dch -v command

ceph-dev-setup: add back the dch -v command

Without this command the dsc artifacts are not created correctly and
ceph-dev-build fails to find them, resulting in errors like:

"dpkg-source: error: cannot read ceph_10.2.2-508-g9bfc0cf-1.dsc: No such
file or directory"

From:
https://jenkins.ceph.com/job/ceph-dev-build/ARCH=x86_64,AVAILABLE_ARCH=x86_64,AVAILABLE_DIST=xenial,DIST=xenial,MACHINE_SIZE=huge/492/console

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #475 from ceph/wip-calamari-clients

calamari-clients: Add calamari-clients jenkins build jobs

calamari-clients: Add calamari-clients jenkins build jobs

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #474 from ceph/fix-deb-binary-names

ceph-dev: fix debian binary names

ceph-dev-setup: do not call dch -v during the build

This is unneeded and setting an incorrect version number

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-dev-build: ensure the binaries have the distro version in them

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #473 from ceph/ceph-spec-vers-sed

ceph-dev-build: further massage ceph.spec to insist on using sha1 in version name

ceph-dev-build: further massage ceph.spec to insist on using sha1 in version name

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #472 from ceph/dev-setup-utils

ceph-dev-setup: include the build utils when building

ceph-dev-setup: include the build utils when building

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #469 from ceph/jjb-node

jenkins-job-builder: should not use the master node

jenkins-job-builder: should not use the master node

master is not setup for building anything and does not have virtualenv
installed which this job needs. In general, we don't want jobs that do
any "building' to use master.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #471 from ceph/jnlp-slave-ansible

ansible: support registering slaves with jnlp

ansible: support registering slaves with jnlp

This adds a use_jnlp flag to slave.yml which provides support to
register the slave with jnlp instead of ssh if use_jnlp: true

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #470 from ceph/if-else-autogen

ceph-dev-setup: call autogen only when not using cmake

ceph-dev-setup: call autogen only when not using cmake

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #466 from ceph/filter-branches

Filter slashes out of branches

ceph-dev-setup: use the new utility for slashes in branches

Signed-off-by: Alfredo Deza <adeza@redhat.com>

scripts: create a branch filtering for slashes

Signed-off-by: Alfredo Deza <adeza@redhat.com>