teuthology-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

teuthology-docs: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

merfi-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

jenkins-job-builder: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-deploy-docs: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ensure setuptools is update for all consumers of the build_utils script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #380 from ceph/libssl

install dev packges for libssl and libffi on rpm and deb sytems

install dev packges for libssl and libffi on rpm and deb sytems

These are needed to pip install ansible.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #381 from ceph/upgrade-setuptools

upgrade setuptools for ceph-build-pull-requests

upgrade setuptools for ceph-build-pull-requests

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #379 from ceph/jessie-id

use the correct ID for the Jessie key

use the correct ID for the Jessie key

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #378 from ceph/typo-jessie-key

typo fix on debian gpg key for jessie

Reviewed-by: Dan Mick <dmick@redhat.com>

typo fix on debian gpg key for jessie

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #377 from ceph/fix-hostname

ensure the current hostname is defined in /etc/hosts

ensure the current hostname is defined in /etc/hosts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #376 from ceph/add-jessie-key

Add Debian Jessie GPG Key

Add Debian Jessie GPG Key

Regardless of the machine, since we are usually building on Trusty, this will
allow that type of server to build and avoid the "Release signed by unknown
key" issue.

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #375 from ceph/wip-calamari-trusty

need to checkout calamari source

need to checkout calamari source

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #373 from ceph/archive-ring

install the debian keys so pbuilder will work with newer distros

install the debian keys so pbuilder will work with newer distros

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #374 from ceph/extra-vars

Use --extra-vars instead of Mako templating for the prado playbook

rename slave.yml.j2 to slave.yml

There is no need to have two different playbooks anymore now that we're not
using mako templating in prado.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use jinja2 vars instead of mako in slave.yml.j2

We're going to pass --extra-vars in the prado command now so there is no
need to do extra templateting with mako.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #372 from ceph/revert-combination-filter

Revert combination filter

Revert "define a new label axis for generic builders"

This reverts commit 2670b50fee7b317ebfdbe2926dc4074ba0001096.

Revert "filter out trusty-pbuilder for centos7 and centos6"

This reverts commit 566263e6baada5544343dece3c30093bde36f3d1.

Merge pull request #370 from ceph/pbuilder-support

Pbuilder support

Alfredo explains: labeling nodes as supporting pbuilder (with 'trusty-pbuilder') means we can avoid confusion between "the distro I can build" and "the distro I am running", in case jobs want to select slaves by the latter.

Reviewed-by: Dan Mick <dmick@redhat.com>

filter out trusty-pbuilder for centos7 and centos6

Signed-off-by: Alfredo Deza <adeza@redhat.com>

define a new label axis for generic builders

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #369 from dmick/wip-arm64-centos7

Allow ceph-build to run on arm64/centos7 as well

Allow ceph-build to run on arm64/centos7 as well

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #356 from dmick/master

Add 'rebootable' label to ceph-pull-requests

Add 'rebootable' label to ceph-pull-requests

This is to signal node selection that the job will reboot the node
after it finishes.  Without an explicit label on the node and a request
for it, any 'trusty' node would satisfy, and be rebooted; this is
a problem for nodes that 'dial in' to the Jenkins master (such as
physical slaves on the sepia network).

This corresponds with the addition of 'rebootable' tags to mita's
configuration, so that mita nodes continue to suffice for this job.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #367 from ceph/ceph-ansible-pr-update

make ceph-ansible-pull-requests request nodes specific to the job

make ceph-ansible-pull-requests request nodes specific to the job

When the labels were more generic other jobs would pick them up and run
the risk of being destroyed by the ceph-ansible-pull-requests job after
a run. There was also an issue were jobs that didn't need a node with an
extra device would provision one of the 'unique' nodes because the
labels also included 'small' and 'trusty'. Making the labels this
specific ensures that only this job will use those node types.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #366 from ceph/default-exclusive

default to being exclusive, always

default to being exclusive, always

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #365 from ceph/exclusive-and-unique

allow nodes to be configured as 'exclusive'

allow nodes to be configured as 'exclusive'

In Jenkins lingo: "exclusive" means that it will only be used on jobs with
label restrictions matching the node (vs. the normal which is 'use this node as
much as possible')

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #364 from ceph/need-to-clone-the-repo-calamari

I need to clone I want to build, surprise

I need to clone I want to build, surprise

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #363 from ceph/build-calamari-with-salt

Build calamari with salt

run the salt that vagrant would have exe

Calamari gets built by salt. We had used vagrant
to manage the machine and such but now we'll let jenkins
do it and remove vagrant from the equation.

Signed-off-by: Gregory Meno <gmeno@redhat.com>

stop checking out Diamond

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #362 from ceph/wip-add-calamari-jobs

vagrant not required to build

vagrant not required to build

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #361 from ceph/xenial-non-arm

allow xenial builds for amd64 with the combination filter

allow xenial builds for amd64 with the combination filter

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #360 from ceph/fix-mirror-url

ceph-build: fix mirror url for xenial

ceph-build: fix mirror url for xenial

Without this change xenial builds were using the debian mirror.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #359 from ceph/fix-chacra-check-url

ceph-build: fix the chacra_check_url for debian builds

ceph-build: fix the chacra_check_url for debian builds

This corrects the name of librados2 so that we can do a proper check
against chacra before reuploading a binary.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #358 from ceph/revert-dynamic-axis

Revert dynamic axis

revert dynamic axis on ceph.yml configuration

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build: revert dynamic axis configuration

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #357 from ceph/base-url-fix

Base url fix

DEB check_url endpoint variables chacra interactions

This fixes the issue where the same url would be used to check DEB binary existence
and to POST new binaries causing this:

POST /binaries/ceph/jewel/ubuntu/trusty/x86_64/librados2_10.2.0-10.2.0-1trusty_x86_64.deb/ HTTP/1.1" 400

Which is the wrong URL for DEB binaries

Signed-off-by: Alfredo Deza <adeza@redhat.com>

RPM check_url endpoint variables chacra interactions

This fixes the issue where the same url would be used to check binary existence
and to POST new binaries causing this:

POST /binaries/ceph/jewel/centos/7/x86_64/librados2-10.2.0-0.el7.x86_64.rpm/source/ HTTP/1.1" 404 None

Which is the wrong URL

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #355 from ceph/dynamic-axis

Dynamic axis for Ceph builds

Reviewed-by: Dan Mick <dmick@redhat.com>

update the help for DIST_VERSIONS

Signed-off-by: Alfredo Deza <adeza@redhat.com>

explain the terrible implementation of the dynamic axis in jjb

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add the DIST_VERSIONS param to the Ceph job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

make the DIST dynamic allowing ENV VAR to be passed to alter

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add the dynamic-axis plugin to the master playbook

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #354 from dmick/wip-check-chacra-for-packages

ceph-build: check chacra for ceph-osd package to test for "should I build"

ceph-build/build/build_*: check for librados2 package presence

Assertion: if librados2 .deb of the right version etc. is present,
the build doesn't need to continue, because either the entire
build succeeded and published already, or none of it did.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-build/build/build_rpm: show ARCH, but not BPTAG (not used for rpm)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-build/build/build_rpm: remove mention of debian

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-build/build/build_deb: set and use debian_version/bpvers earlier

Signed-off-by: Dan Mick <dan.mick@redhat.com>

ceph-build/build/build_deb: move "gen_debian_version" earlier in script

Also drop the comment; history is over

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #352 from dmick/master

ceph-build: don't try x86_64/xenial builds (yet)

ceph-build: don't try x86_64/xenial builds (yet)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #351 from dmick/master

ceph-build/build/build_deb: restore mistakenly dropped changes for arm64

ceph-build/build/build_deb: restore mistakenly dropped changes for arm64

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #350 from dmick/master

jenkins-job-builder: sigh, log_level, not log-level

jenkins-job-builder: sigh, log_level, not log-level

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #349 from dmick/master

jenkins-job-builder: diagnostics and allow to run on master

jenkins-job-builder: diagnostics and allow to run on master

Adding --log-level DEBUG to hope to point out problems, and allow
job to run on master so it runs without mita provisioning (it's small
and should be fast)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #348 from dmick/wip-integrate-arm64

Remove separate -arm64 versions and integrate into main jobs

Remove separate -arm64 versions and integrate into main jobs

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #347 from ceph/java-conf-wheezy

set java conf for wheezy too

set java conf for wheezy too

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #346 from ceph/ceph-ansible-distros

ceph-ansible-pull-requests: support for trusty and centos7

ceph-ansible-pull-requests: support for trusty and centos7

These tests will now run against both trusty and centos7 nodes.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #345 from dmick/master

more arm64 testing: more version hacking, add back chacra operations, run setup on xenial slave

ceph-setup-arm64: allow to run on the xenial node

Signed-off-by: Dan Mick <dan.mick@redhat.com>

-arm64: more "ignore non-x.y.z version" hacking.  Will disappear.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

-arm64: uncomment chacra lines now that it builds

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #344 from ceph/ceph-flags

ceph-build: adds the ability to do a throwaway build that's not uploaded to chacra

ceph-build: only push to chacra when $THROWAWAY is false

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

lower case FORCE_VERSION

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add THROWAWAY and FORCE_VERSION options

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the new FORCE_VERSION when tagging for version

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #343 from dmick/master

ceph-setup-arm64: tweaks for building unreleased branches

ceph-setup-arm64: tweaks for building unreleased branches

- pull from ceph.git, not ceph-releases
- always rebuild tarball
- name all source tars by $vers (x.y.z), not $cephvers (x.y.z-N-gSHA1)

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #342 from dmick/master

Test: add ceph-setup-arm64; use it from ceph-build-arm64

Test: add ceph-setup-arm64; use it from ceph-build-arm64

Make ceph-build-arm64 take from its own private setup build phase,
and add a BRANCH parameter to try to make it grab the requested
branch rather than 'latest'

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #341 from ceph/venv-trailing-slash

default to using a trailing slash now