use build_utils in the ceph-deploy job to install / configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use build_utils in the ceph-build job to install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a util function to create the .chacractl config file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

adds a utility script that other jobs can use to install python packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #222 from ceph/rename-ceph

Rename the ceph next jobs

Rename the ceph next jobs

We'll be using this moving forward from now on, so let's remove the
"next" suffix.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the old ceph jobs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #221 from ktdreyer/ceph-setup-branch-var

ceph-setup-next: correct $BRANCH variable in output

ceph-setup-next: correct $BRANCH variable in output

$Branch is undefined. Use $BRANCH.

arior to this change, Jenkins would not print the branch name to the
console log during the "ceph-setup-next" job.

Merge pull request #220 from ktdreyer/ceph-next-tag-param-desc

ceph-next: clarify "TAG" parameter description

ceph-next: clarify "TAG" parameter description

Update ceph-next's "TAG" parameter description to clarify what happens
when the box is checked or unchecked.

Merge pull request #219 from ceph/chacractl-version

always update the pip cache before installing packages

always update the pip cache before installing packages

We do this to get around a bug in the previous code that would never go
out to look for new packages if something in the cache satisfied the
requirements. Specifically, we wanted chacractl==0.0.5 installed, but
because 0.0.4 exists in the cache and satisified the requirement of
>=0.0.4 the cache was never updated to include 0.0.5.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #218 from ceph/chacractl-version

use --upgrade when installing chacractl

use --upgrade when installing chacractl

This will allow us to not have to change the CHACRACTL_VERSION variable
each time we release a new version of chacractl.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #217 from ceph/chacractl-version

explicitly sepcify a chacractl version to install

explicitly sepcify a chacractl version to install

This fixes a bug where we don't get newer versions of chacractl
installed when we want it because of the use of the pip cache.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #216 from ceph/no-venv-activate

do not source the venv in ceph-deploy and ceph-release-rpm jobs

do not source the venv in ceph-deploy and ceph-release-rpm jobs

When we source the virtualenv the virtualenv path is linked within the
binaries.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #215 from ceph/rm-activate

do not activate virtualenv when building

use the full path to the chacractl exe on build_deb

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the full path to the chacractl exe on build_rpm

Signed-off-by: Alfredo Deza <adeza@redhat.com>

do not activate a venv when installing chacractl

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #214 from ktdreyer/wip-rm-disabled-false

remove default "disabled" and "concurrent" settings from jobs.

remove default "concurrent" setting from jobs.

Several jobs had an explicit "concurrent: false" setting. This is
already the default behavior in JJB. Remove these lines in order to
reduce the clutter.

remove "disabled" setting from jobs.

Several jobs had an explicit "disabled: false" setting. This is already
the default behavior in JJB. Remove these lines in order to reduce the
clutter.

Merge pull request #211 from ktdreyer/wip-calamari-urls

standardize calamari URLs

standardize calamari URLs

Use the publicly-accessible, non-SSH URLs for Git and GitHub.

Merge pull request #213 from ceph/chacractl-exists-fix

fix the chacractl exists call in ceph-build-next and ceph-deploy

fix the chacractl exists call in ceph-build-next and ceph-deploy

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #212 from ktdreyer/wip-standardize-browser

use auto browser for Git SCMs

use auto browser for Git SCMs

Many jobs specified the githubweb browser and defined a specific URL to
find the commits.

Reduce the duplication and rely on the Jenkins Git plugin's ability to
automatically construct the URLs to the SCM commits.

Merge pull request #207 from ktdreyer/wip-rm-docs-hostkey

ansible: do not pre-populate an SSH key for docs.ceph.com

ansible: do not pre-populate an SSH key for docs.ceph.com

The new docs VM is moving behind a firewall / reverse-proxy, so it will
not be directly accessible from the internet. We will to run the
documentation jobs directly on the docs VM as a Jenkins slave, and we
will stop using rsync over SSH for publishing the docs.

Since there's no direct SSH access to the docs VM any more, remove the
SSH host key from the slaves.

(My Ansible syntax in slave.yml.j2 was broken anyway.)

Merge pull request #210 from ktdreyer/wip-docs-jobs

use docs.ceph.com slave for docs jobs

use docs.ceph.com slave for docs jobs

No need to rsync over SSH, or even use ssh-agent with the
jenkins-publish credentials. We can just rsync the job's output directly
into the proper location in /var.

Update the "node" setting to make the job run on the node labeled
"docs".

Merge pull request #209 from ceph/ceph-deploy-next

ceph-deploy: remove squeeze; use a small && trusty node

ceph-deploy: run using a small trusty node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: remove squeeze

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #208 from ceph/ceph-deploy-next

bug fixes for the ceph-deploy chacra port

ceph-deploy: correctly find the deb binaries to push to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: inject global passwords into the build environment

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: properly set the DISTRO for the chacra endpoint

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: use the correct variable for the chacra url

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: fix the chacra baseurl

Push to ceph-deploy, not ceph. Herp derp.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #206 from ktdreyer/wip-readme-testing-by-hand

README: add instructions for testing JJB by hand

README: add instructions for testing JJB by hand

Merge pull request #205 from ceph/ceph-deploy-next

make the ceph-deploy job upload to chacra

ceph-deploy: no need to archive when we're pushing to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: don't use a relative path when finding binaries

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: set wipe-workspace to true and remove cleanup code

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: push debian binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: push the rpm binaries to chacra

This also removes the repo creation from this job because that'll be
done by chacra now.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: add the FORCE and TEST properties

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #177 from ktdreyer/wip-github-hostkey

ansible: add github.com host key on slaves

ansible: add github.com host key on slaves

This prevents "Host key verification failed" errors when operating with
GitHub over SSH.

Merge pull request #204 from ceph/rpmmacros

Create `rpmmacros` file

do not cast to int

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the jenkins_user variable in the slave.yml.j2 template

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the jenkins_user variable

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a template for the rpmmacros

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add the macros directive to the slave.yml.j2 template

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ensure that rpmmacros is set when building centos slaves

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #203 from ceph/force-ceph-next

ceph-build-next: use --force with chacractl when FORCE is checked

ceph-build-next: use --force with chacractl when FORCE is checked

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #202 from ktdreyer/jjb-postbuildscript

jenkins-job-builder: postbuildscript publisher fixes

jenkins-job-builder: postbuildscript publisher fixes

Prior to this commit, the JJB YAML syntax was just broken, and
jenkins-job-builder would not parse this file.

Fix the YAML syntax, make the script run properly as a "shell" step,
make it execute regardless of the build status (with the
"script-only-if-*" settings).

Merge pull request #199 from ktdreyer/jjb-libyaml-dev

ansible: install libyaml-dev on the slaves

Merge pull request #200 from ktdreyer/wip-slave-api-user

ansible: use "ceph-jenkins" as API user

Merge pull request #201 from ktdreyer/jjb-delete-config-after-build

jenkins-job-builder: rm jenkins_jobs.ini after build

jenkins-job-builder: rm jenkins_jobs.ini after build

Clean up this file after each run, to make it less likely other jobs
will have access to it.

ansible: use "ceph-jenkins" as API user

Jenkins authorizes this user account to add or remove slaves. In order
to have permission to add or remove slaves, we have to give this account
administrator rights to Jenkins.

Prior to this commit, we had a system user "prado" in Jenkins with
administrator rights.

Since we do not control this user account on GitHub.com, it is better to
use a GitHub.com user account that we control.

ansible: install libyaml-dev on the slaves

The jenkins-job-builder module on PyPI requires this package.

Merge pull request #198 from ceph/fix-baeurl

inject passwords

do noarch stuff, not x86_64

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove artifact configuration, chacra takes care of this

Signed-off-by: Alfredo Deza <adeza@redhat.com>

inject passwords

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #197 from ceph/fix-baeurl

fix links to post to ceph-release, not ceph urls

fix links to post to ceph-release, not ceph urls

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #196 from ceph/ceph-retag

Ceph retag

use TAG in script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

configure TAG and default it to true

Signed-off-by: Alfredo Deza <adeza@redhat.com>

prevent ansible from re-tagging

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #195 from ceph/bang-bash

prevent an early exit from a non-zero exit status

prevent an early exit from a non-zero exit status

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #194 from ceph/port-ceph-release

port ceph-release-rpm to use chacra

ceph-release-rpm: fix the chacra TEST flag

actually post to the 'test' ref now

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: use chacractl binary --force

This will force a binary to update even it it already exists

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: add the FORCE and TEST properties

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: push the created binary to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: install chacractl and the .chacractl config file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #193 from ktdreyer/wip-ceph-release-key-url

ceph-release-rpm: use download.ceph.com GPG key URL

ceph-release-rpm: use download.ceph.com GPG key URL

This should be more reliable than the Gitweb interface, and matches what
we've done in ceph's docs, ceph-deploy, etc.

Merge pull request #191 from ktdreyer/wip-ansible-hsts

ansible: set HSTS header in nginx

Merge pull request #192 from ktdreyer/wip-calamari-branches

fix calamari jobs' "branches" definition

fix calamari jobs' "branches" definition

A bug in jenkins-job-wrecker screwed up the "branches" settings when we
imported these jobs from the internal Calamari jenkins server. Fix this.

ansible: set HSTS header in nginx

This will cause a browser to automatically load the "https://" URL when
the user enters "jenkins.ceph.com" into the browser.

We are using HTTP redirects from HTTP -> HTTPS already on
jenkins.ceph.com, but this change should make it a bit more secure.

See https://www.owasp.org/index.php/HTTP_Strict_Transport_Security for
more information

Merge pull request #190 from ceph/ceph-next-updates

ceph-build-next: fix the grep that finds the binaries to push to chacra

ceph-build-next: fix the grep that finds the binaries to push to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>