Merge pull request #211 from ktdreyer/wip-calamari-urls

standardize calamari URLs

standardize calamari URLs

Use the publicly-accessible, non-SSH URLs for Git and GitHub.

Merge pull request #213 from ceph/chacractl-exists-fix

fix the chacractl exists call in ceph-build-next and ceph-deploy

fix the chacractl exists call in ceph-build-next and ceph-deploy

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #212 from ktdreyer/wip-standardize-browser

use auto browser for Git SCMs

use auto browser for Git SCMs

Many jobs specified the githubweb browser and defined a specific URL to
find the commits.

Reduce the duplication and rely on the Jenkins Git plugin's ability to
automatically construct the URLs to the SCM commits.

Merge pull request #207 from ktdreyer/wip-rm-docs-hostkey

ansible: do not pre-populate an SSH key for docs.ceph.com

ansible: do not pre-populate an SSH key for docs.ceph.com

The new docs VM is moving behind a firewall / reverse-proxy, so it will
not be directly accessible from the internet. We will to run the
documentation jobs directly on the docs VM as a Jenkins slave, and we
will stop using rsync over SSH for publishing the docs.

Since there's no direct SSH access to the docs VM any more, remove the
SSH host key from the slaves.

(My Ansible syntax in slave.yml.j2 was broken anyway.)

Merge pull request #210 from ktdreyer/wip-docs-jobs

use docs.ceph.com slave for docs jobs

use docs.ceph.com slave for docs jobs

No need to rsync over SSH, or even use ssh-agent with the
jenkins-publish credentials. We can just rsync the job's output directly
into the proper location in /var.

Update the "node" setting to make the job run on the node labeled
"docs".

Merge pull request #209 from ceph/ceph-deploy-next

ceph-deploy: remove squeeze; use a small && trusty node

ceph-deploy: run using a small trusty node

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: remove squeeze

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #208 from ceph/ceph-deploy-next

bug fixes for the ceph-deploy chacra port

ceph-deploy: correctly find the deb binaries to push to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: inject global passwords into the build environment

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: properly set the DISTRO for the chacra endpoint

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: use the correct variable for the chacra url

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: fix the chacra baseurl

Push to ceph-deploy, not ceph. Herp derp.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #206 from ktdreyer/wip-readme-testing-by-hand

README: add instructions for testing JJB by hand

README: add instructions for testing JJB by hand

Merge pull request #205 from ceph/ceph-deploy-next

make the ceph-deploy job upload to chacra

ceph-deploy: no need to archive when we're pushing to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: don't use a relative path when finding binaries

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: set wipe-workspace to true and remove cleanup code

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: push debian binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: push the rpm binaries to chacra

This also removes the repo creation from this job because that'll be
done by chacra now.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: install and configure chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-deploy: add the FORCE and TEST properties

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #177 from ktdreyer/wip-github-hostkey

ansible: add github.com host key on slaves

ansible: add github.com host key on slaves

This prevents "Host key verification failed" errors when operating with
GitHub over SSH.

Merge pull request #204 from ceph/rpmmacros

Create `rpmmacros` file

do not cast to int

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the jenkins_user variable in the slave.yml.j2 template

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the jenkins_user variable

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a template for the rpmmacros

Signed-off-by: Alfredo Deza <adeza@redhat.com>

add the macros directive to the slave.yml.j2 template

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ensure that rpmmacros is set when building centos slaves

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #203 from ceph/force-ceph-next

ceph-build-next: use --force with chacractl when FORCE is checked

ceph-build-next: use --force with chacractl when FORCE is checked

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #202 from ktdreyer/jjb-postbuildscript

jenkins-job-builder: postbuildscript publisher fixes

jenkins-job-builder: postbuildscript publisher fixes

Prior to this commit, the JJB YAML syntax was just broken, and
jenkins-job-builder would not parse this file.

Fix the YAML syntax, make the script run properly as a "shell" step,
make it execute regardless of the build status (with the
"script-only-if-*" settings).

Merge pull request #199 from ktdreyer/jjb-libyaml-dev

ansible: install libyaml-dev on the slaves

Merge pull request #200 from ktdreyer/wip-slave-api-user

ansible: use "ceph-jenkins" as API user

Merge pull request #201 from ktdreyer/jjb-delete-config-after-build

jenkins-job-builder: rm jenkins_jobs.ini after build

jenkins-job-builder: rm jenkins_jobs.ini after build

Clean up this file after each run, to make it less likely other jobs
will have access to it.

ansible: use "ceph-jenkins" as API user

Jenkins authorizes this user account to add or remove slaves. In order
to have permission to add or remove slaves, we have to give this account
administrator rights to Jenkins.

Prior to this commit, we had a system user "prado" in Jenkins with
administrator rights.

Since we do not control this user account on GitHub.com, it is better to
use a GitHub.com user account that we control.

ansible: install libyaml-dev on the slaves

The jenkins-job-builder module on PyPI requires this package.

Merge pull request #198 from ceph/fix-baeurl

inject passwords

do noarch stuff, not x86_64

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove artifact configuration, chacra takes care of this

Signed-off-by: Alfredo Deza <adeza@redhat.com>

inject passwords

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #197 from ceph/fix-baeurl

fix links to post to ceph-release, not ceph urls

fix links to post to ceph-release, not ceph urls

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #196 from ceph/ceph-retag

Ceph retag

use TAG in script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

configure TAG and default it to true

Signed-off-by: Alfredo Deza <adeza@redhat.com>

prevent ansible from re-tagging

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #195 from ceph/bang-bash

prevent an early exit from a non-zero exit status

prevent an early exit from a non-zero exit status

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #194 from ceph/port-ceph-release

port ceph-release-rpm to use chacra

ceph-release-rpm: fix the chacra TEST flag

actually post to the 'test' ref now

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: use chacractl binary --force

This will force a binary to update even it it already exists

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: add the FORCE and TEST properties

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: push the created binary to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-release-rpm: install chacractl and the .chacractl config file

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #193 from ktdreyer/wip-ceph-release-key-url

ceph-release-rpm: use download.ceph.com GPG key URL

ceph-release-rpm: use download.ceph.com GPG key URL

This should be more reliable than the Gitweb interface, and matches what
we've done in ceph's docs, ceph-deploy, etc.

Merge pull request #191 from ktdreyer/wip-ansible-hsts

ansible: set HSTS header in nginx

Merge pull request #192 from ktdreyer/wip-calamari-branches

fix calamari jobs' "branches" definition

fix calamari jobs' "branches" definition

A bug in jenkins-job-wrecker screwed up the "branches" settings when we
imported these jobs from the internal Calamari jenkins server. Fix this.

ansible: set HSTS header in nginx

This will cause a browser to automatically load the "https://" URL when
the user enters "jenkins.ceph.com" into the browser.

We are using HTTP redirects from HTTP -> HTTPS already on
jenkins.ceph.com, but this change should make it a bit more secure.

See https://www.owasp.org/index.php/HTTP_Strict_Transport_Security for
more information

Merge pull request #190 from ceph/ceph-next-updates

ceph-build-next: fix the grep that finds the binaries to push to chacra

ceph-build-next: fix the grep that finds the binaries to push to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #189 from ceph/ceph-next-updates

fix a typo when constructing the chacra endpoint

fix a typo when constructing the chacra endpoint

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #188 from ceph/doc-update

remove old docs that relied on a convention that is not enforced

remove old docs that relied on a convention that is not enforced

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #187 from ceph/ceph-next-updates

fix FORCE logic; use correct $DIST var

use the correct DIST variable

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build-next: fix logic for the FORCE flag

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #185 from ktdreyer/ceph-deploy-docs

ceph-deploy-docs: misc changes

Merge pull request #186 from ktdreyer/ceph-docs

ceph-docs: switch to github webhooks

ceph-docs: update git URL

Avoid ".git" HTTPS URLs, for consistency

ceph-docs: switch to github webhooks

Polling is slow and inefficient

ceph-deploy-docs: keep only the last 10 builds

no need to keep more

ceph-deploy-docs: trigger on github webhooks

Polling is slow and inefficient

ceph-deploy-docs: update Git URLs

Don't refer to ".git" in the HTTPS urls.

In addition to providing consistency, this change also un-breaks the
githubweb commit viewer (github was 404'ing on these URLs)

Merge pull request #184 from ktdreyer/wip-readme

README: note polling convention vs webhooks

README: note polling convention vs webhooks

Merge pull request #183 from ceph/ceph-next-updates

ceph-build-next: source the venv in build_deb and build_rpm

ceph-build-next: source the venv in build_deb and build_rpm

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

calamari-clients-centos: fix branch definition

A bug in jenkins-job-wrecker screwed up the "branches" setting when we
imported these jobs from the internal Calamari jenkins server. Fix this.

Merge pull request #182 from ceph/ceph-next-updates

missing source when activating the venv; fix .chacractl file

calamari-clients: fix branch definition

A bug in jenkins-job-wrecker screwed up the "branches" setting when we
imported these jobs from the internal Calamari jenkins server. Fix this.

missing source when activating the venv

This also fixes the path to pip after have the venv activated

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

quote the values in .chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

README.rst: update CentOS versions in example

I don't think we've ever supported CentOS 5.

Merge pull request #181 from ktdreyer/wip-jjb-urls

jenkins-job-builder: update URLs

jenkins-job-builder: update URLs

GitHub's webhooks to https://jenkins.ceph.com/git/notifyCommit are not
triggering rebuilds of this job.

Tweak the URLs to see if this makes a difference.