Merge pull request #396 from ceph/mita-deploy-name

mita-deploy: change the job name to mita-deploy

mita-deploy: change the job name to mita-deploy

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #395 from ceph/mita-deploy

create a job to deploy mita

create a job to deploy mita

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #394 from ceph/evelu-ansible-rights

ansible: Enforce rights on /home/jenkins-build

ansible: Enforce rights on /home/jenkins-build

On a fresh new image, the /home/jenkins-build relies to root.root making ccache
failing at creating a file here.

That means that anything trying to write a file in the home dir will fail.

This patch simply enfore the user/group of the home dir

Merge pull request #391 from ceph/ssh-conflicts

Remove ssh-agent credentials

ceph-tag: remove ssh credentials to prevent github auth conflicts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-setup: remove ssh credentials to prevent github auth conflicts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #390 from ktdreyer/jenkins-https-public-cert

import Jenkins' HTTP public cert

import Jenkins' HTTP public cert

In case we have to rebuild jenkins.ceph.com, this is one less manual
step.

Merge pull request #389 from ceph/detect-debian

ceph-build: map the DIST to distro to properly detect ubuntu vs debian

ceph-build: map the DIST to distro to properly detect ubuntu vs debian

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #371 from ErwanAliasr1/evelu-perf

ceph-pull-requests: Override processor numbers

ceph-pull-requests: Override processor numbers

By default, run-make-check divide by 2 the number of processors to be used
during the make process.

When building a PR on our build farm, we need to use the full potential of the
build hosts.

By overriding NPROC with the actual number of processors, we speedup the build
process and use in a more efficient way the build hosts.

Merge pull request #388 from ceph/xenial-interface

ceph-ansible-pull-requests: use the ens3 monitor interface with xenial

ceph-ansible-pull-requests: use the ens3 monitor interface with xenial

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #387 from ceph/jessie-pbuilder-fixes

add debootstrapopts for Debian to point to the correct keyring location

Reviewed-by: Dan Mick <dmick@redhat.com>

add debootstrapopts for Debian to point to the correct keyring location

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #386 from ceph/ceph-setup-tag

ceph-setup: build from tag, not from branch

Reviewed-by: Dan Mick <dmick@redhat.com>

ceph-setup: build from tag, not from branch

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #385 from ceph/rm-jdk7

slave.yml: remove openjdk7 from default install list

slave.yml: remove openjdk7 from default install list

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #384 from ceph/jdk-xenial

slave.yml: condition opnjdk installs for xenial

slave.yml: condition opnjdk installs for xenial

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #383 from ceph/xenial-for-ansible

ceph-ansible-pull-requests: add a xenial instance when testing

Reviewed-by: Dan Mick <dmick@redhat.com>

ceph-ansible-pull-requests: add a xenial instance when testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #382 from ceph/newer-setuptools

Newer setuptools across all python-using jobs

teuthology-pull-requests: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

teuthology-docs: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

merfi-pull-requests: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-tag: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-qa-suite-pull-requests: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

jenkins-job-builder: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-deploy-docs: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build-pull-requests: include build_utils in shell builder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-tag: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-qa-suite-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

teuthology-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

teuthology-docs: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

merfi-pull-requests: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

jenkins-job-builder: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-deploy-docs: use build_utils

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ensure setuptools is update for all consumers of the build_utils script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #380 from ceph/libssl

install dev packges for libssl and libffi on rpm and deb sytems

install dev packges for libssl and libffi on rpm and deb sytems

These are needed to pip install ansible.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #381 from ceph/upgrade-setuptools

upgrade setuptools for ceph-build-pull-requests

upgrade setuptools for ceph-build-pull-requests

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #379 from ceph/jessie-id

use the correct ID for the Jessie key

use the correct ID for the Jessie key

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #378 from ceph/typo-jessie-key

typo fix on debian gpg key for jessie

Reviewed-by: Dan Mick <dmick@redhat.com>

typo fix on debian gpg key for jessie

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #377 from ceph/fix-hostname

ensure the current hostname is defined in /etc/hosts

ensure the current hostname is defined in /etc/hosts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #376 from ceph/add-jessie-key

Add Debian Jessie GPG Key

Add Debian Jessie GPG Key

Regardless of the machine, since we are usually building on Trusty, this will
allow that type of server to build and avoid the "Release signed by unknown
key" issue.

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #375 from ceph/wip-calamari-trusty

need to checkout calamari source

need to checkout calamari source

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #373 from ceph/archive-ring

install the debian keys so pbuilder will work with newer distros

install the debian keys so pbuilder will work with newer distros

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #374 from ceph/extra-vars

Use --extra-vars instead of Mako templating for the prado playbook

rename slave.yml.j2 to slave.yml

There is no need to have two different playbooks anymore now that we're not
using mako templating in prado.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use jinja2 vars instead of mako in slave.yml.j2

We're going to pass --extra-vars in the prado command now so there is no
need to do extra templateting with mako.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #372 from ceph/revert-combination-filter

Revert combination filter

Revert "define a new label axis for generic builders"

This reverts commit 2670b50fee7b317ebfdbe2926dc4074ba0001096.

Revert "filter out trusty-pbuilder for centos7 and centos6"

This reverts commit 566263e6baada5544343dece3c30093bde36f3d1.

Merge pull request #370 from ceph/pbuilder-support

Pbuilder support

Alfredo explains: labeling nodes as supporting pbuilder (with 'trusty-pbuilder') means we can avoid confusion between "the distro I can build" and "the distro I am running", in case jobs want to select slaves by the latter.

Reviewed-by: Dan Mick <dmick@redhat.com>

filter out trusty-pbuilder for centos7 and centos6

Signed-off-by: Alfredo Deza <adeza@redhat.com>

define a new label axis for generic builders

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #369 from dmick/wip-arm64-centos7

Allow ceph-build to run on arm64/centos7 as well

Allow ceph-build to run on arm64/centos7 as well

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #356 from dmick/master

Add 'rebootable' label to ceph-pull-requests

Add 'rebootable' label to ceph-pull-requests

This is to signal node selection that the job will reboot the node
after it finishes.  Without an explicit label on the node and a request
for it, any 'trusty' node would satisfy, and be rebooted; this is
a problem for nodes that 'dial in' to the Jenkins master (such as
physical slaves on the sepia network).

This corresponds with the addition of 'rebootable' tags to mita's
configuration, so that mita nodes continue to suffice for this job.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

Merge pull request #367 from ceph/ceph-ansible-pr-update

make ceph-ansible-pull-requests request nodes specific to the job

make ceph-ansible-pull-requests request nodes specific to the job

When the labels were more generic other jobs would pick them up and run
the risk of being destroyed by the ceph-ansible-pull-requests job after
a run. There was also an issue were jobs that didn't need a node with an
extra device would provision one of the 'unique' nodes because the
labels also included 'small' and 'trusty'. Making the labels this
specific ensures that only this job will use those node types.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #366 from ceph/default-exclusive

default to being exclusive, always

default to being exclusive, always

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #365 from ceph/exclusive-and-unique

allow nodes to be configured as 'exclusive'

allow nodes to be configured as 'exclusive'

In Jenkins lingo: "exclusive" means that it will only be used on jobs with
label restrictions matching the node (vs. the normal which is 'use this node as
much as possible')

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #364 from ceph/need-to-clone-the-repo-calamari

I need to clone I want to build, surprise

I need to clone I want to build, surprise

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #363 from ceph/build-calamari-with-salt

Build calamari with salt

run the salt that vagrant would have exe

Calamari gets built by salt. We had used vagrant
to manage the machine and such but now we'll let jenkins
do it and remove vagrant from the equation.

Signed-off-by: Gregory Meno <gmeno@redhat.com>

stop checking out Diamond

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #362 from ceph/wip-add-calamari-jobs

vagrant not required to build

vagrant not required to build

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #361 from ceph/xenial-non-arm

allow xenial builds for amd64 with the combination filter

allow xenial builds for amd64 with the combination filter

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #360 from ceph/fix-mirror-url

ceph-build: fix mirror url for xenial

ceph-build: fix mirror url for xenial

Without this change xenial builds were using the debian mirror.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #359 from ceph/fix-chacra-check-url

ceph-build: fix the chacra_check_url for debian builds

ceph-build: fix the chacra_check_url for debian builds

This corrects the name of librados2 so that we can do a proper check
against chacra before reuploading a binary.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #358 from ceph/revert-dynamic-axis

Revert dynamic axis

revert dynamic axis on ceph.yml configuration

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-build: revert dynamic axis configuration

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #357 from ceph/base-url-fix

Base url fix

DEB check_url endpoint variables chacra interactions

This fixes the issue where the same url would be used to check DEB binary existence
and to POST new binaries causing this:

POST /binaries/ceph/jewel/ubuntu/trusty/x86_64/librados2_10.2.0-10.2.0-1trusty_x86_64.deb/ HTTP/1.1" 400

Which is the wrong URL for DEB binaries

Signed-off-by: Alfredo Deza <adeza@redhat.com>

RPM check_url endpoint variables chacra interactions

This fixes the issue where the same url would be used to check binary existence
and to POST new binaries causing this:

POST /binaries/ceph/jewel/centos/7/x86_64/librados2-10.2.0-0.el7.x86_64.rpm/source/ HTTP/1.1" 404 None

Which is the wrong URL

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #355 from ceph/dynamic-axis

Dynamic axis for Ceph builds

Reviewed-by: Dan Mick <dmick@redhat.com>