build arm64 on trusty

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #241 from ceph/tty-sudo

do not use backrefs for changing sudoers

do not use backrefs for changing sudoers

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #239 from ktdreyer/wip-ceph-build-rm-apt-mirror

ceph-build: do not rely on apt-mirror.sepia.ceph.com

ceph-build: do not rely on apt-mirror.sepia.ceph.com

The pbuilder steps in the ceph-build job relied on
apt-mirror.sepia.ceph.com. Remove this dependency, and point at the main
alias for the US-based Ubuntu mirrors instead.

Merge pull request #240 from ceph/ssh-files

correct the location to the hostkeys

correct the location to the hostkeys

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #238 from ceph/cdp-prs

port ceph-deploy-pull-requests to use new utitlies

include the utility script in the shell

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the new utility to install packages

Signed-off-by: Alfredo Deza <adeza@redhat.com>

don't call the script anymore, just run tox directly

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #237 from ceph/rm-gh-notify

remove github notifier

remove github notifier

Because the GitHub Pull Request Builder plugin handles updating the status

See https://github.com/jenkinsci/ghprb-plugin/issues/104

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #236 from ceph/add-mscms

install the multiple scm plugin

install the multiple scm plugin

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #235 from ktdreyer/wip-jobconfighistory-plugin

ansible: add jobConfigHistory plugin

ansible: add jobConfigHistory plugin

https://wiki.jenkins-ci.org/display/JENKINS/JobConfigHistory+Plugin

This plugin tracks changes in each job. Among other features, the Build
History widget will show an icon of a wrench with the tooltip "Config
changed since last build", indicating that the config has changed from
one build to the next.

Merge pull request #234 from ceph/ceph-rc

Allow to push binaries to `$BRANCH-rc` refs

use the new RC option to modify the chacra ref

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add an RC option for release candidate releases

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #233 from ceph/ceph-release-utils

ceph-release-rpm: use check_binary_existence from build_utils

ceph-release-rpm: check for noarch packages, not x86_64

We upload the ceph-release rpm as noarch and source, but were checking
x86_64 when trying to decide if the binaries needed rebuilt or not.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: use check_binary_existence from build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #232 from ceph/ceph-deploy-utils

ceph-deploy: use methods from build_utils.sh

ceph-deploy: use the check_binary_existence method from build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: remove get_rpm_dist as it exists in build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: move all build scripts into the the same shell directive

This is so build can have access to method in build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #231 from ceph/build-huge

add the 'huge' label to ensure competent machines are used for building

add the 'huge' label to ensure competent machines are used for building

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #230 from ceph/ceph-build-fix

ceph-build: separate deb build scripts from rpm build scripts

ceph-build: separate deb build scripts from rpm build scripts

We need these specific scripts grouped into their own shell directives
so that if setup_deb exits on a centos node then setup_rpm will still be
ran against that same node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #228 from ceph/ceph-build-tweak

ceph-build: use the check_binary_existence util method

ceph-build: use the check_binary_existence method

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: combine all build scripts into one shell directive

This way they can all share the scripts/build_utils.sh file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #229 from ktdreyer/wip-jjb-force

jenkins-job-builder: add FORCE parameter

jenkins-job-builder: add FORCE parameter

This will wipe out JJB's cache if set. It is useful for wiping out
changes that may have occurred outside of GitHub's master branch.

For example, if I make a change to a job on a local branch, and I apply
my JJB changes locally, I want to force this jenkins-job-builder job to
wipe out my changes later.

Merge pull request #226 from ceph/radosgw-agent-chacra

Make the radosgw-agent job push to chacra.ceph.com

rpm-based jenkins slaves need to install rpmdevtools

This is used for rpm binary creation.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: no need to archive the binaries when pushing to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a util method that checks chacra to see if a binary exists

Also, uses this new function in the radosgw-agent job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: upload debian binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: push rpm binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add get_rpm_dist function to build_utils

This function is used in jobs that need to post binaries to chacra.
Calling it creates  DISTRO and DISTRO_VESION global variables that are
suitable for creating a chacra endpoint with.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: add the FORCE and TEST flags

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: include build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: enable injection of global passwords and config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use a small && trusty node for radosgw-agent builds

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #225 from ceph/dch-name

set the environment vars for dch to use authors

set the environment vars for dch to use authors

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #224 from ktdreyer/ceph-build-prs-check-ansible

ceph-build-pull-requests: check ansible syntax

ceph-build-pull-requests: check ansible syntax

With this change, the ceph-build-pull-requests job will run
ansible-playbook with the "--syntax-check" flag on every playbook in the
top-level of "./ansible/". This will help us avoid simple Ansible syntax
errors.

Merge pull request #223 from ceph/build-utils

creates a utility to install python packages and configure chacractl

fix idention in the make_chacractl_config method

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

do not clone ceph-build to use build_utils.sh; use !include-raw

This also includes a few small fixes related to using build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in ceph-release-rpm to install/configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in the ceph-deploy job to install / configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in the ceph-build job to install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a util function to create the .chacractl config file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a utility script that other jobs can use to install python packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #222 from ceph/rename-ceph

Rename the ceph next jobs

Rename the ceph next jobs

We'll be using this moving forward from now on, so let's remove the
"next" suffix.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the old ceph jobs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #221 from ktdreyer/ceph-setup-branch-var

ceph-setup-next: correct $BRANCH variable in output

ceph-setup-next: correct $BRANCH variable in output

$Branch is undefined. Use $BRANCH.

arior to this change, Jenkins would not print the branch name to the
console log during the "ceph-setup-next" job.

Merge pull request #220 from ktdreyer/ceph-next-tag-param-desc

ceph-next: clarify "TAG" parameter description

ceph-next: clarify "TAG" parameter description

Update ceph-next's "TAG" parameter description to clarify what happens
when the box is checked or unchecked.

Merge pull request #219 from ceph/chacractl-version

always update the pip cache before installing packages

always update the pip cache before installing packages

We do this to get around a bug in the previous code that would never go
out to look for new packages if something in the cache satisfied the
requirements. Specifically, we wanted chacractl==0.0.5 installed, but
because 0.0.4 exists in the cache and satisified the requirement of
>=0.0.4 the cache was never updated to include 0.0.5.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #218 from ceph/chacractl-version

use --upgrade when installing chacractl

use --upgrade when installing chacractl

This will allow us to not have to change the CHACRACTL_VERSION variable
each time we release a new version of chacractl.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #217 from ceph/chacractl-version

explicitly sepcify a chacractl version to install

explicitly sepcify a chacractl version to install

This fixes a bug where we don't get newer versions of chacractl
installed when we want it because of the use of the pip cache.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #216 from ceph/no-venv-activate

do not source the venv in ceph-deploy and ceph-release-rpm jobs

do not source the venv in ceph-deploy and ceph-release-rpm jobs

When we source the virtualenv the virtualenv path is linked within the
binaries.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #215 from ceph/rm-activate

do not activate virtualenv when building

use the full path to the chacractl exe on build_deb

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the full path to the chacractl exe on build_rpm

Signed-off-by: Alfredo Deza <adeza@redhat.com>

do not activate a venv when installing chacractl

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #214 from ktdreyer/wip-rm-disabled-false

remove default "disabled" and "concurrent" settings from jobs.

remove default "concurrent" setting from jobs.

Several jobs had an explicit "concurrent: false" setting. This is
already the default behavior in JJB. Remove these lines in order to
reduce the clutter.

remove "disabled" setting from jobs.

Several jobs had an explicit "disabled: false" setting. This is already
the default behavior in JJB. Remove these lines in order to reduce the
clutter.

Merge pull request #211 from ktdreyer/wip-calamari-urls

standardize calamari URLs

standardize calamari URLs

Use the publicly-accessible, non-SSH URLs for Git and GitHub.

Merge pull request #213 from ceph/chacractl-exists-fix

fix the chacractl exists call in ceph-build-next and ceph-deploy

fix the chacractl exists call in ceph-build-next and ceph-deploy

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #212 from ktdreyer/wip-standardize-browser

use auto browser for Git SCMs

use auto browser for Git SCMs

Many jobs specified the githubweb browser and defined a specific URL to
find the commits.

Reduce the duplication and rely on the Jenkins Git plugin's ability to
automatically construct the URLs to the SCM commits.

Merge pull request #207 from ktdreyer/wip-rm-docs-hostkey

ansible: do not pre-populate an SSH key for docs.ceph.com

ansible: do not pre-populate an SSH key for docs.ceph.com

The new docs VM is moving behind a firewall / reverse-proxy, so it will
not be directly accessible from the internet. We will to run the
documentation jobs directly on the docs VM as a Jenkins slave, and we
will stop using rsync over SSH for publishing the docs.

Since there's no direct SSH access to the docs VM any more, remove the
SSH host key from the slaves.

(My Ansible syntax in slave.yml.j2 was broken anyway.)

Merge pull request #210 from ktdreyer/wip-docs-jobs

use docs.ceph.com slave for docs jobs

use docs.ceph.com slave for docs jobs

No need to rsync over SSH, or even use ssh-agent with the
jenkins-publish credentials. We can just rsync the job's output directly
into the proper location in /var.

Update the "node" setting to make the job run on the node labeled
"docs".

Merge pull request #209 from ceph/ceph-deploy-next

ceph-deploy: remove squeeze; use a small && trusty node

ceph-deploy: run using a small trusty node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: remove squeeze

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #208 from ceph/ceph-deploy-next

bug fixes for the ceph-deploy chacra port

ceph-deploy: correctly find the deb binaries to push to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: inject global passwords into the build environment

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: properly set the DISTRO for the chacra endpoint

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: use the correct variable for the chacra url

Signed-off-by: Andrew Schoen <aschoen@redhat.com>