teuthology-docs: rsync to newdocs.ceph.com

TODO: Replace "newdocs.ceph.com" with "docs.ceph.com" in the rsync
command. This can be done once we change the "docs.ceph.com" A record in
DNS to point to the the newdocs.ceph.com web server.

ceph-deploy-docs: rsync to new newdocs.ceph.com

TODO: Replace "newdocs.ceph.com" with "docs.ceph.com" in the rsync
command. This can be done once we change the "docs.ceph.com" A record in
DNS to point to the the newdocs.ceph.com web server.

add ceph-docs job

This job publishes ceph's in-tree documentation to the docs.ceph.com web
server.

Gitbuilder previously performed this function, so we can retire the
gitbuilder host (gitbuilder-doc.front.sepia.ceph.com) that did this,
once we're satisfied that this job is running smoothly.

TODO: Replace "newdocs.ceph.com" with "docs.ceph.com" in the rsync
commands and SSH host key. This can be done once we change the
"docs.ceph.com" A record in DNS to point to the the newdocs.ceph.com web
server.

Merge pull request #164 from ceph/ceph-mirror

fix remotes definition for ceph-mirror

fix remotes definition for ceph-mirror

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #163 from ceph/ceph-mirror

mirror the ceph repo

list the remotes for now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a ceph-mirror job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #162 from ceph/chacractl-exists

check the exit status on the chacractl exists command; add a FORCE flag to ceph-next

trap the output of chacra exists in a var and then check that var

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fix the echo statement to mention the FORCE flag

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fix the chacractl exists command

It needs the 'repos' or 'binaries' bit of the url as well.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a FORCE flag to the ceph-next job

When FORCE is checked binaries will be built and pushed to chacra even
if they already exist in chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

check the exit status of chacractl exists <binary_endpoint>

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #161 from ceph/chacractl-exists

check chacra to see if a binary exists before rebuilding it

check before building rpm binaries to see if they exist in chacra

If they're already chacra we don't need to rebuild and push them again.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

check before building deb binaries if they already exist in chacra

If they already exist, we don't want to rebuild and push them.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the RELEASE checkbox from the ceph job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

remove the RELEASE checkbox on the ceph-next job

We do not sign with jenkins anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #159 from ceph/wrappers

allow some jobs to use globally configured variables

allow some jobs to use globally configured variables

Thes variables are defined on the jenkins master using the web UI.

http://jenkins.ceph.com/configure

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #157 from ceph/test-builds

add the ability to do ceph test builds

change the property TEST_BUILD to TEST

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

if TEST_BUILD is checked, push binaries to chacra under the 'test' ref

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add a TEST_BUILD checkbox to the ceph-next job

This will be used to force the job to push binaries to the 'test' ref at
chacra.ceph.com. This way we can do test builds without polluting the
system with bogus binaries.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #156 from ktdreyer/add-description-setter-plugin

ansible: add description-setter plugin

ansible: add description-setter plugin

Some jobs use this plugin. Add it to our master's Ansible configuration.

Merge pull request #154 from ceph/chacractl-config

programatically make the .chacractl file

Merge pull request #155 from ktdreyer/rm-ceph-kmod-rpm

rm ceph-kmod-rpm job

rm ceph-kmod-rpm job

RHEL 7.1 includes kRBD support in the main kernel package, and we no
longer maintain any out-of-tree modules for RHEL.

This Jenkins job is now obsolete. Remove it.

CephFS users should not use the out-of-tree cephfs kmod packages. Use
Linus' mainline kernel packages from elrepo instead.

programatically make the .chacractl file

This uses variables created by the masks-passwords jenkins plugin.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

use the already defined JJB_CONFIG

Signed-off-by: Alfredo Deza <adeza@redhat.com>

update the location of the sh script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

report exceptions better

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use 0.4.7 of python jenkins

Signed-off-by: Alfredo Deza <adeza@redhat.com>

we should specify the builds need with ansible, not in library

Signed-off-by: Alfredo Deza <adeza@redhat.com>

with apologies to ken, we are vendoring python-jenkins 4.7

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #153 from ceph/ansible-centos

do not install dpkg and dpkg-dev on yum based jenkins slaves

do not install dpkg and dpkg-dev on yum based jenkins slaves

These packages were failing to install on CentOS 7, we do not think they
are needed anyway.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

do not mount or format anything else, not needed anymore

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #152 from ktdreyer/wip-slave-prado

ansible: slave config updates

ansible: slave config updates

Update the URL for our new production Jenkins instance

Use the dedicated "prado" UID to join the systems to Jenkins

Use the new SSH key credentialId for our new production Jenkins instance

Merge pull request #151 from ceph/new-ssh

use the new key for jenkins-build

use the new key for jenkins-build

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #150 from ceph/ansible-updates

remove unneeded tasks from slave.yml and slave.yml.j2

remove unneeded tasks from slave.yml and slave.yml.j2

We're not going to worry about the private keys anymore and the
jenkins_job.ini and .chacractl files are going to be created using the
mask-passwords plugin for jenkins.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #149 from ceph/jjb-ini

programatically use a jenkins job config ini file

use the build/build path

Signed-off-by: Alfredo Deza <adeza@redhat.com>

use the new programatic jjb ini when building

Signed-off-by: Alfredo Deza <adeza@redhat.com>

programatic jenkins jobs ini config file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #148 from ktdreyer/wip-ansible-mask-passwords-plugin

ansible: add mask-passwords plugin

ansible: add mask-passwords plugin

https://wiki.jenkins-ci.org/display/JENKINS/Mask+Passwords+Plugin

Currently the jenkins-job-builder job relies on a static
/etc/jenkins_jobs.ini config file that we put into place on a slave by
hand. We do that to avoid exposing the account password that JJB uses.

The mask-passwords Jenkins plugin will allow us to dynamically write
passwords in to files on the fly. This means that we can construct
JJB's config file on the fly, or chacractl's config file, etc. It allows
us to avoid storing cryptographic secrets (passwords) on the slaves,
since the secret material will only be stored on the master.

Merge pull request #147 from ceph/no-disk-format

No disk format for ovh

adding the jenkins-node library

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove the need to format the disk

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #146 from ceph/rm-point-releases

remove rhel and dotted releases from the build jobs

Merge pull request #145 from ktdreyer/wip-ansible-disable-ldap-plugin

ansible: don't enable ldap plugin

remove rhel and dotted releases from takora

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from radosgw-agent

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from mariner installer

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-release-rpm

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-release build scripts

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-release

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-deploy configuration

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-deploy

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-build

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove rhel and dotted releases from ceph-build-next

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ansible: don't enable ldap plugin

not needed on jenkins.ceph.com

Merge pull request #142 from ktdreyer/wip-ansible-https

ansible: nginx configs for HTTPS

ansible: nginx configs for HTTPS

Add HTTPS to the jenkins web server to protect authentication.

The key and certificate files are managed outside of Ansible.

ansible: nginx: set hostname in config

Ensure that nginx routes HTTP requests to the right server definition.

Merge pull request #144 from ktdreyer/wip-ansible-ubuntu-support

ansible: use Ubuntu UID for nginx.conf

ansible: use Ubuntu UID for nginx.conf

On CentOS, the nginx package from EPEL defaults to using the "nginx"
UID.

On Ubuntu, the nginx package defaults to using the "www-data" UID.

Merge pull request #143 from ktdreyer/wip-ansible-ubuntu-support

ansible: merge back in Ubuntu support

ansible: merge back in Ubuntu support

We originally copied this role from
https://github.com/ICTO/ansible-jenkins, and then modified it to support
CentOS.

As it turns out, our master runs on Ubuntu (Trusty), so we still need the
Ubuntu bits. Add them back in here.

ansible: move nginx service config

this is not yum-specific

ansible: only do yum tasks on yum-based systems

These tasks are not relevant on Ubuntu systems

ansible: switch to OVH's cloud-init UID

OVH's cloud-init defaults to setting up an "admin" user rather than
"centos" or "ubuntu".

restart ssh depending on distro

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #139 from ktdreyer/rename-jjb-job

jjb: rename to "jenkins-job-builder"

Merge pull request #141 from ceph/chacractl

ceph-build-next: push binaries to chacra

ceph-build-next: push debian binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build-next: push built rpm binaries to chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

upload the .chacractl to jenkins slaves

The actual file is not commited because of the api credentials, you must
provide this file yourself when running the playbook.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build-next: there is no need to clone ceph-build anymore

Now that we're not using ansible in the job we don't need it anymore

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #140 from ceph/chacractl

duplicate the ceph-build job as ceph-build-next

remove unneeded ansible playbooks and pip install chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fix names in the ceph-build-next job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

fix the name in the ceph-next job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

duplicate the ceph-setup job as ceph-setup-next

This is so we can use it in the new jobs that use chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a new cpeh-next job that will utilize chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

rename the original ceph-build job back to ceph-build

I had to rename this temporarily because of a mistake I made in naming
the new job.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Rename ceph-build to ceph-build-next

This job will be the new way to do things with chacra

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: setup the virtualenv, install ansible and call the playbook

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: clone the ceph-build repo so we can run the ansible playbook

That playbook will eventually install chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-build: stub out an ansible playbook to install chacractl

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

duplicate the ceph-build job

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

we use sudo, no need to halt on non-root users

Signed-off-by: Alfredo Deza <adeza@redhat.com>

sorry, commenting for now, need to make configurable

Signed-off-by: Alfredo Deza <adeza@redhat.com>

adding jessie back into ceph pool

Signed-off-by: Alfredo Deza <adeza@redhat.com>