unquote archive settings

Prior to this commit the archive settings for ceph-deploy and
radosgw-agent were quoted 'false' or 'true' instead of simply the
boolean types that YAML expects.

jenkins-jobs interpreted these strings to be "true", so we ended up with
the following XML:

  <latestOnly>true</latestOnly>

This meant that Jenkins deleted all the older archived ceph-deploy
packages each time a new version was built.  When 1.5.22.1 was built,
the "older" 1.5.23 package was deleted.

Unquote the boolean values so JJB will properly interpret them.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #54 from ceph/remove-squeeze

remove squeeze from matrix

remove squeeze from matrix

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #53 from ktdreyer/import-ceph-release-rpm

import ceph-release-rpm jjb task

import ceph-release-rpm jjb task

This imports the current settings for "ceph-release-rpm" as YAML.

This is an import of the job previously defined in Jenkins' own data
store (ie /home2/jenkins/jobs/ceph-release-rpm/config.xml)

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #52 from ktdreyer/wip-radosgw-agent-name

radosgw-agent: remove wip display name

radosgw-agent: remove wip display name

It doesn't make sense to name this job "wip", since we're using it to
build releases.

Merge pull request #51 from ceph/remove-make-check

removed ceph make check

Merge pull request #50 from ceph/remote-bindings

remove python-bindings

removed ceph make check

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove python-bindings

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #49 from ceph/wip-ceph-setup-skip-tag

ceph-setup: skip tagging each build

ceph-setup: skip tagging each build

Jenkins (un)helpfully tags each build. Don't do this in the ceph-setup
task.

Unfortunately the change in dd5d14520a6fc37337f3a092ca8afc241b2fbacc did
not seem to cover this case, so we need to re-examine why.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

revert: mistakingly disabled wrong project

Signed-off-by: Alfredo Deza <adeza@redhat.com>

disabling this other ceph pull request job for now

Signed-off-by: Alfredo Deza <adeza@redhat.com>

disable this test-job that seems stale

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #45 from ktdreyer/wip-ceph-build-pr-noverbose

ceph-build-pull-requests: quiet output

Merge pull request #48 from ktdreyer/wip-fix-ceph-package-job-name

ceph-package: fix display name

Reviewed-by: Dan Mick <dmick@redhat.com>

ceph-package: fix display name

Commit f8d03a28c00e8ad6b2c496e069de6492791496ba fixed the internal
Jenkins job name, this fixes the display name as well.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #47 from ktdreyer/wip-fix-ceph-package-job-name

ceph-package: fix job name

ceph-package: fix job name

When I imported the ceph-package job, I made a bad copy & paste in the
name - it was erroneously named "ceph-build".

Update the job's name to the correct value.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

Merge pull request #43 from ktdreyer/rpm-unpackaged-files

build_rpms.sh: terminate on unpackaged files

Merge pull request #46 from ceph/wip-ceph-rm-do-autogen

ceph-setup: remove do_autogen.sh

ceph-setup: remove do_autogen.sh

Remove do_autogen.sh from the ceph-setup task. Run ./autogen.sh and
./configure instead.

I've copied this long ./configure argument list from a prior run of
./do_autogen.sh so that we're using the same arguments. We can adjust it
as needed.

One of the reasons for making this change is that ./do_autogen.sh takes
an argument ("-L") depending on whether we're building a Hammer or
Firefly release. The goal of this change is to use a more stable
interface for doing the builds.

As background, from Sage on IRC yesterday:

  sage: i'm surprised jenkins is using do_autogen.sh at all actually?
  ktdreyer: what should it use?
  sage: ./autogen.sh and then pass the args explicitly to ./configure
        that it wants?
  sage: it doesn't really matter i guess, but do_autogen.sh piles a
        bunch of random stuff in there
  ktdreyer: I was just looking at autobuild-ceph.git's build-ceph.sh
  ktdreyer: it does what you're suggesting
  ktdreyer: cool
  sage: do_autogen.sh in my mind is for developers.  if it makes sense
        for relase that's ok, but that's not how i've treated it

Merge pull request #44 from ktdreyer/wip-import-ceph

import ceph task

ceph-setup: remove debugging "pwd" command

This was just for debugging and can be removed. It is also redundant
with the

  echo "  PWD=$(pwd)"

line that the build script already runs.

Reported-by: Alfredo Deza <adeza@redhat.com>
Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

import ceph-package jjb task

This imports the current settings for "ceph-package" as YAML.

This is an import of the job previously defined in Jenkins' own data
store (ie /home2/jenkins/jobs/ceph-package/config.xml)

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

import ceph-build jjb task

This imports the current settings for "ceph-build" as YAML.

This is an import of the job previously defined in Jenkins' own data
store (ie /home2/jenkins/jobs/ceph-build/config.xml)

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

import ceph-setup jjb task

This imports the current settings for "ceph-setup" as YAML.

This is an import of the job previously defined in Jenkins' own data
store (ie /home2/jenkins/jobs/ceph-setup/config.xml)

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

import ceph jjb task

This imports the current settings for "ceph" as YAML.

This is an import of the job previously defined in Jenkins' own data
store (ie /home2/jenkins/jobs/ceph/config.xml)

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

ceph-build-pull-requests: quiet output

Running the pull requests script with -x is very noisy. The script
already prints a lot of information with "echo", so just silence the
debugging outupt.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

build_rpms.sh: terminate on unpackaged files

As Ceph changes and new files get installed by default, we need to
ensure that the commits which create these files also update the
packaging files lists as well.

One way to do this is to tell Gitbuilder to stop skipping unpackaged
files in the RPMs. This will cause Gitbuilder builds to indicate a
failure when new files get added without packaging updates.

Signed-off-by: Ken Dreyer <kdreyer@redhat.com>

add more ceph-org members to avoid buggy permissions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

more removal off scm polling for pull request jobs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #42 from ceph/pollscm

remove poll scm option for pull request jobs

Reviewed-by: Ken Dreyer <kdreyer@redhat.com>

remove poll scm option for pull request jobs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

fix permissions on ceph-qa-suite

Signed-off-by: Alfredo Deza <adeza@redhat.com>

initial take on ceph-qa-suite pull request support

Signed-off-by: Alfredo Deza <adeza@redhat.com>

make sure the right key is used when releasing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

move files from the parent dir, not the cwd

Signed-off-by: Alfredo Deza <adeza@redhat.com>

do not use build dir, use KEYID

Signed-off-by: Alfredo Deza <adeza@redhat.com>

remove cd to build

Signed-off-by: Alfredo Deza <adeza@redhat.com>
(cherry picked from commit f4c8c4ad732ddd05786b000083c1fcefaed8cef7)

Merge pull request #41 from ceph/radosgw-agent

initial take on radosgw-agent task

initial take on radosgw-agent task

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #40 from dachary/wip-disable-github

disable github triggers for ceph-pull-requests

disable github triggers for ceph-pull-requests

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #38 from dachary/wip-loic

add dachary to the list of admins for ceph-pull-requests

add dachary to the list of admins for ceph-pull-requests

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #37 from dachary/wip-ceph-mirror

use ceph mirror instead of github

use ceph mirror instead of github

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #35 from dachary/wip-10046-make-check

run make check on pull requests

run make check on pull requests

Signed-off-by: Loic Dachary <loic@dachary.org>

Merge pull request #31 from ktdreyer/doc-documentation-jobs

doc: add notes about "documentation" jobs

Merge pull request #34 from andrewschoen/ceph-deploy-docs

port the ceph-deploy-docs job to yaml

port the ceph-deploy-docs job to yaml

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #33 from andrewschoen/teuthology-docs

actually delete the teuthology-docs-build directory

actually delete the teuthology-docs-build directory

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #32 from andrewschoen/teuthology-docs

Teuthology docs

rename teuthology-docs-build to teuthology-docs. fix encoding in rsync command

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

doc: add notes about "documentation" jobs

Add a bit of documentation regarding "documentation" jobs in Jenkins.
This records our lessons learned during Andrew's work to create the
"teuthology-docs-build" job configuration and get that particular one
running.

create job to build and push teuthology docs

Create a job to build teuthology docs and push them to
ceph.com/teuthology/docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>
Reviewed-by: Ken Dreyer <kdreyer@redhat.com>

Create a job to build teuthology docs and push them to ceph.com/teuthology/docs

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #29 from ktdreyer/readme-pull-requests

doc: add section for configuring pull request jobs

doc: add section for configuring pull request jobs

Describe the requirements for setting up a new job that will build pull
requests.

Merge pull request #28 from ktdreyer/jenkins-slave-chef-github-url

jenkins-slave-chef-pull-requests: add GitHub URL

jenkins-slave-chef-pull-requests: add GitHub URL

Configure the GitHub plugin for the jenkins-slave-chef-pull-requests job.

(Ideally this will allow the job to recognize the pull request web
hooks that come in from GitHub.)

Merge pull request #27 from ktdreyer/jenkins-slave-chef-correct-url

jenkins-slave-chef-pull-requests: fix Git URL

jenkins-slave-chef-pull-requests: fix Git URL

Fix a bad copy & paste for the jenkins-slave-chef-pull-requests job
configuration.

Merge pull request #26 from ktdreyer/ceph-kmod-rpm

import ceph-kmod-rpm configuration

import ceph-kmod-rpm configuration

This imports the current settings for ceph-kmod-rpm as YAML.

Merge pull request #24 from ktdreyer/ceph-deploy-pr-trust-throden

ceph-deploy-pull-requests: add Travis to admins list

Merge pull request #25 from ceph/wip-ceph-build-prs

create a ceph-build PR job

create a ceph-build PR job

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-deploy-pull-requests: add Travis to admins list

Travis is a co-maintainer of ceph-deploy; add him to the list of
administrators for the GitHub Pull Requests plugin. Jenkins will trust
any pull requests from Travis and build them automatically.

(I don't know why Jenkins wasn't already trusting Travis since he's a
member of the Ceph organization.)

Merge pull request #23 from ceph/wip-radosgw-agent

create a radosgw-agent PR job

install tox, not requirements.txt

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a radosgw-agent PR job

Signed-off-by: Alfredo Deza <adeza@rehat.com>

Merge pull request #22 from ktdreyer/jjb-better-search

jjb: increase precision of job searches

jjb: increase precision of job searches

The "for `ls .` ... -d subdirectory" logic was examining every entry at
the top-level of the workspace, both files and directories. The files
entries were useless since they would never contain subdirectories.

Use "find" instead to only locate directories at the top level.

The purpose of this change is to make the verbose output (with set -x)
easier to read, and make it easier to spot errors in the future.

Merge pull request #21 from ktdreyer/jjb-errors

jjb: be verbose and fail early on errors

jjb: be verbose and fail early on errors

Prior to this commit, if the "job-builder update" command failed,
Jenkins would still consider the overall job to have succeeded, because
the jjb/config/config script was exiting with a zero exit code. (This
was because the for/ls loop were the final commands to run, and they
were exiting with zero.)

When I modified the Jenkins UID as a part of the overall Jenkins
authentication changes yesterday, the "job-builder update" command no
longer worked, because the password in jenkins_builder.ini was no longer
valid. However, Jenkins still considered the jjb job to be passing, as
explained above.

Tell bash to be verbose about the commands it runs ("set -x") and fail
early if there are any problems ("set -e").

With this change, if there is a problem with "job-builder update" or any
other command in the script, the job will fail right away and Jenkins
will bring it to our attention sooner.

Merge pull request #19 from ktdreyer/ceph-deploy-pull-requests

import ceph-deploy-pull-requests

Merge pull request #20 from ktdreyer/readme-updates

doc: README updates

doc: add "naming conventions" section

doc: capitalize titles

doc: improve RST syntax in "testing changes"

RST expects double backticks, not single ones.

import ceph-deploy-pull-requests

This imports the current settings for ceph-deploy-pull-requests as YAML.

jenkins-slave-chef-pull-requests: fix YAML syntax

The YAML syntax for the github-pull-request portion of the
cjenkins-slave-chef-pull-requests job was incorrect; use the correct
syntax.

doc: add steps for testing changes

fix indentation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add artifact publishers

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

use the newly jjb-able ceph-deploy

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #17 from ktdreyer/jenkins-slave-chef-pull-requests

add jenkins-slave-chef-pull-requests

Merge pull request #18 from ktdreyer/readme-updates

README updates

doc: refresh CentOS versions

CentOS 4 doesn't exist any more; use something more modern.

doc: link to jenkins-job-builder task in README

The README makes reference to the fact that a Jenkins job deploys any
job config changes. Add a hyperlink to this job.

add jenkins-slave-chef-pull-requests

This task will test pull requests for the jenkins-slave-chef repository
by running "rake".

fix path to jenkins build

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add a pwd to debug where we are

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #16 from andrewschoen/ceph-deploy

Ceph deploy