use the new build_utils to install ansible

Signed-off-by: Alfredo Deza <adeza@redhat.com>

include build_utils.sh for ceph-deploy-tag

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a ceph-deploy-tag job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add more options/flags to fine-control ceph-deploy release

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #250 from ceph/cdp-ansible

Ansible support for tagging ceph-deploy releases

move tasks into their directory

Signed-off-by: Alfredo Deza <adeza@redhat.com>

specify project=ceph for ceph-tag

Signed-off-by: Alfredo Deza <adeza@redhat.com>

also conditionally include the tag process to be able to skip when it exists already

Signed-off-by: Alfredo Deza <adeza@redhat.com>

conditionally clear the previous commit and tag

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a main.yml for releasing ceph-deploy

Signed-off-by: Alfredo Deza <adeza@redhat.com>

condition the role depending on the project to release

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #249 from ceph/teuthology-pr-labels

teuthology-pull-requests: change node to trusty&&amd64&&small

teuthology-pull-requests: change node to trusty&&amd64&&small

This fixes a bug where the job incorrectly picks an arm64 node, which
does not compile gevent correctly causing the job to fail.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #248 from ceph/ansible-slave-updates

prado playbook updates

use host instead of name when adding github.com.pub for v1.9.1 compat

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fix the path to github.com.pub for a prado configured slave

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #247 from ktdreyer/wip-jjb-https-url

jenkins-job-builder: use HTTPS url for jenkins.ceph.com

jenkins-job-builder: use HTTPS url for jenkins.ceph.com

Default to the encrypted HTTPS url (not HTTP)

Merge pull request #246 from ceph/arm-mirror

use ports mirror for arm packages in pbuilder

use ubuntu-ports for the mirror

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use ports mirror for arm packages in pbuilder

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #245 from ktdreyer/jjb-small-node

jenkins-job-builder: run on "small" nodes

jenkins-job-builder: run on "small" nodes

Merge pull request #244 from ktdreyer/jjb-force-default

jenkins-job-builder: set default value for FORCE param

jenkins-job-builder: set default value for FORCE param

It's not totally clear from the JJB documentation whether we need this
or not, but I'm seeing an issue with our helga-jenkins plugin when we
leave this parameter out of the "!ci build jenkins-job-builder"
invocation.  Explicitly set a default, just to see if this makes a
difference.

Merge pull request #243 from ktdreyer/rm-time-date-tracking

rm date/time tracking

rm date/time tracking

Prior to this commit, some of the build scripts would print the time and
date to the console log.

As far as I can tell this is a hold-over from the original Gitbuilder
scripts. Jenkins already logs the start and end times for us so there's
no need to clutter the build scripts with this.

Remove the code that prints `date`.

Merge pull request #242 from ceph/arm64

build arm64 on trusty

build arm64 on trusty

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #241 from ceph/tty-sudo

do not use backrefs for changing sudoers

do not use backrefs for changing sudoers

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #239 from ktdreyer/wip-ceph-build-rm-apt-mirror

ceph-build: do not rely on apt-mirror.sepia.ceph.com

ceph-build: do not rely on apt-mirror.sepia.ceph.com

The pbuilder steps in the ceph-build job relied on
apt-mirror.sepia.ceph.com. Remove this dependency, and point at the main
alias for the US-based Ubuntu mirrors instead.

Merge pull request #240 from ceph/ssh-files

correct the location to the hostkeys

correct the location to the hostkeys

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #238 from ceph/cdp-prs

port ceph-deploy-pull-requests to use new utitlies

include the utility script in the shell

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the new utility to install packages

Signed-off-by: Alfredo Deza <adeza@redhat.com>

don't call the script anymore, just run tox directly

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #237 from ceph/rm-gh-notify

remove github notifier

remove github notifier

Because the GitHub Pull Request Builder plugin handles updating the status

See https://github.com/jenkinsci/ghprb-plugin/issues/104

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #236 from ceph/add-mscms

install the multiple scm plugin

install the multiple scm plugin

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #235 from ktdreyer/wip-jobconfighistory-plugin

ansible: add jobConfigHistory plugin

ansible: add jobConfigHistory plugin

https://wiki.jenkins-ci.org/display/JENKINS/JobConfigHistory+Plugin

This plugin tracks changes in each job. Among other features, the Build
History widget will show an icon of a wrench with the tooltip "Config
changed since last build", indicating that the config has changed from
one build to the next.

Merge pull request #234 from ceph/ceph-rc

Allow to push binaries to `$BRANCH-rc` refs

use the new RC option to modify the chacra ref

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add an RC option for release candidate releases

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #233 from ceph/ceph-release-utils

ceph-release-rpm: use check_binary_existence from build_utils

ceph-release-rpm: check for noarch packages, not x86_64

We upload the ceph-release rpm as noarch and source, but were checking
x86_64 when trying to decide if the binaries needed rebuilt or not.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: use check_binary_existence from build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #232 from ceph/ceph-deploy-utils

ceph-deploy: use methods from build_utils.sh

ceph-deploy: use the check_binary_existence method from build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: remove get_rpm_dist as it exists in build_utils.sh

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: move all build scripts into the the same shell directive

This is so build can have access to method in build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #231 from ceph/build-huge

add the 'huge' label to ensure competent machines are used for building

add the 'huge' label to ensure competent machines are used for building

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #230 from ceph/ceph-build-fix

ceph-build: separate deb build scripts from rpm build scripts

ceph-build: separate deb build scripts from rpm build scripts

We need these specific scripts grouped into their own shell directives
so that if setup_deb exits on a centos node then setup_rpm will still be
ran against that same node.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #228 from ceph/ceph-build-tweak

ceph-build: use the check_binary_existence util method

ceph-build: use the check_binary_existence method

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: combine all build scripts into one shell directive

This way they can all share the scripts/build_utils.sh file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #229 from ktdreyer/wip-jjb-force

jenkins-job-builder: add FORCE parameter

jenkins-job-builder: add FORCE parameter

This will wipe out JJB's cache if set. It is useful for wiping out
changes that may have occurred outside of GitHub's master branch.

For example, if I make a change to a job on a local branch, and I apply
my JJB changes locally, I want to force this jenkins-job-builder job to
wipe out my changes later.

Merge pull request #226 from ceph/radosgw-agent-chacra

Make the radosgw-agent job push to chacra.ceph.com

rpm-based jenkins slaves need to install rpmdevtools

This is used for rpm binary creation.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: no need to archive the binaries when pushing to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a util method that checks chacra to see if a binary exists

Also, uses this new function in the radosgw-agent job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: upload debian binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: push rpm binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Add get_rpm_dist function to build_utils

This function is used in jobs that need to post binaries to chacra.
Calling it creates  DISTRO and DISTRO_VESION global variables that are
suitable for creating a chacra endpoint with.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: add the FORCE and TEST flags

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: include build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

radosgw-agent: enable injection of global passwords and config

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use a small && trusty node for radosgw-agent builds

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #225 from ceph/dch-name

set the environment vars for dch to use authors

set the environment vars for dch to use authors

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #224 from ktdreyer/ceph-build-prs-check-ansible

ceph-build-pull-requests: check ansible syntax

ceph-build-pull-requests: check ansible syntax

With this change, the ceph-build-pull-requests job will run
ansible-playbook with the "--syntax-check" flag on every playbook in the
top-level of "./ansible/". This will help us avoid simple Ansible syntax
errors.

Merge pull request #223 from ceph/build-utils

creates a utility to install python packages and configure chacractl

fix idention in the make_chacractl_config method

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

do not clone ceph-build to use build_utils.sh; use !include-raw

This also includes a few small fixes related to using build_utils

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in ceph-release-rpm to install/configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in the ceph-deploy job to install / configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in the ceph-build job to install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a util function to create the .chacractl config file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a utility script that other jobs can use to install python packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #222 from ceph/rename-ceph

Rename the ceph next jobs

Rename the ceph next jobs

We'll be using this moving forward from now on, so let's remove the
"next" suffix.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the old ceph jobs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #221 from ktdreyer/ceph-setup-branch-var

ceph-setup-next: correct $BRANCH variable in output

ceph-setup-next: correct $BRANCH variable in output

$Branch is undefined. Use $BRANCH.

arior to this change, Jenkins would not print the branch name to the
console log during the "ceph-setup-next" job.

Merge pull request #220 from ktdreyer/ceph-next-tag-param-desc

ceph-next: clarify "TAG" parameter description

ceph-next: clarify "TAG" parameter description

Update ceph-next's "TAG" parameter description to clarify what happens
when the box is checked or unchecked.

Merge pull request #219 from ceph/chacractl-version

always update the pip cache before installing packages

always update the pip cache before installing packages

We do this to get around a bug in the previous code that would never go
out to look for new packages if something in the cache satisfied the
requirements. Specifically, we wanted chacractl==0.0.5 installed, but
because 0.0.4 exists in the cache and satisified the requirement of
>=0.0.4 the cache was never updated to include 0.0.5.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #218 from ceph/chacractl-version

use --upgrade when installing chacractl

use --upgrade when installing chacractl

This will allow us to not have to change the CHACRACTL_VERSION variable
each time we release a new version of chacractl.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #217 from ceph/chacractl-version

explicitly sepcify a chacractl version to install