Merge pull request #19 from ktdreyer/ceph-deploy-pull-requests

import ceph-deploy-pull-requests

Merge pull request #20 from ktdreyer/readme-updates

doc: README updates

doc: add "naming conventions" section

doc: capitalize titles

doc: improve RST syntax in "testing changes"

RST expects double backticks, not single ones.

import ceph-deploy-pull-requests

This imports the current settings for ceph-deploy-pull-requests as YAML.

jenkins-slave-chef-pull-requests: fix YAML syntax

The YAML syntax for the github-pull-request portion of the
cjenkins-slave-chef-pull-requests job was incorrect; use the correct
syntax.

doc: add steps for testing changes

fix indentation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add artifact publishers

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

use the newly jjb-able ceph-deploy

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #17 from ktdreyer/jenkins-slave-chef-pull-requests

add jenkins-slave-chef-pull-requests

Merge pull request #18 from ktdreyer/readme-updates

README updates

doc: refresh CentOS versions

CentOS 4 doesn't exist any more; use something more modern.

doc: link to jenkins-job-builder task in README

The README makes reference to the fact that a Jenkins job deploys any
job config changes. Add a hyperlink to this job.

add jenkins-slave-chef-pull-requests

This task will test pull requests for the jenkins-slave-chef repository
by running "rake".

fix path to jenkins build

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add a pwd to debug where we are

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Merge pull request #16 from andrewschoen/ceph-deploy

Ceph deploy

invoke jenkins-build from ceph-deploy during build

change name so it doesn't conflict with existing job; remove commented out branches

use an actualy jenkins yml file, hopefully less wrong this time

added the ceph-deploy.yml file in the proper directory structure

update the README with example project layout

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

be specific about the package name

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix bash syntax error

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

use the right order for deb/rpm

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove double cd to pybind dir

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

cd into pybind/ceph

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

gigantic script to build deb+rpm

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

skip installing python deps for the bindings job

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix path for bash executable:

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

an initial take on the build script

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

build only  for now

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix yml indentation

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

make the python bindings a matrix project

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

correctly search for definitions directories

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

loop around all projects to build Jenkins configurations

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

initial take on python-bindings

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

remove generated xml

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

poll every minute for github

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add some comments of the config actions

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

I HATE BASH. Removing dollar sign from var

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

make mkdir work

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

add a valid path to the sdist index

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

use local caching

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

fix paths to definitions

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

restrict to one node

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create a virtualenv for jenkins job builder

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

correct path to call config script

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create the jjb project with magic configurations

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

deprecate all scripts

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

create a README explaning new build rules

Signed-off-by: Alfredo Deza <alfredo@deza.pe>

Use mirror even on pbuilder update.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Use apt-mirror for pbuilder.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Copy patch file(s) from source tree.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

Merge pull request #15 from ceph/wip-rpm-subdir

build_rpms.sh: when copying *.patch, look in rpm/ instead of ./

build_rpms.sh: when copying *.patch, look in rpm/ instead of ./

Signed-off-by: Dan Mick <dan.mick@inktank.com>

move wheezy hack into build_dsc.sh, where it belongs

Signed-off-by: Sage Weil <sage@redhat.com>

Revert "build_debs: horrible hack to remove libbabeltrace from wheezy build deps"

This reverts commit 40a6547fbd2260b4d2e3277242fe97348a826cb9.

This doesn't work.

Merge pull request #13 from ceph/wip-babeltrace

some ugly hacks to make wip-lttng build on wheezy

build_debs: horrible hack to remove libbabeltrace from wheezy build deps

There is no package available, so remove it from build deps.

This is just to get around the control file checks.  The build already
does not enable support on wheezy.

Signed-off-by: Sage Weil <sage@redhat.com>

build-ceph-deb-native: no libbabeltrace for wheezy

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #12 from ceph/wip-rpm-patch

build-rpms.sh: copy "*.patch" from topdir into SOURCES

build-rpms.sh: copy "*.patch" from topdir into SOURCES

This allows patches to be applied when building the RPMs; the addition
of the ceph patch to disable /etc/init.d/ceph from autostarting Ceph
daemons leads to the desire for a .patch file, conditionally applied
by the .spec.  See the Ceph sources.

Signed-off-by: Dan Mick <dan.mick@inktank.com>

Merge pull request #11 from kdreyer-inktank/jenkins-debian-diffs

jenkins: optionally skip Debian package diffs

Merge pull request #10 from kdreyer-inktank/kmod

add kmod publishing script

jenkins: optionally skip Debian package diffs

The Debian package diffs are present when we do a real release, but
they're not present during the continuous integration
"ceph-setup-nightly" Jenkins task.

Skip moving the files if they're not present.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #9 from kdreyer-inktank/createrepo

sign_and_index_rpm_repo: speed up createrepo indexing

add kmod publishing script

Run this script after the kmod package builds in Jenkins and we want to
publish the build to ceph.com.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

sign_and_index_rpm_repo: speed up createrepo indexing

Run "createrepo" with the --update and --checkts options. This allows
createrepo to skip a lot of the metadata generation. With thousands of released
RPMs on ceph.com, every bit helps.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #8 from kdreyer-inktank/gary

minor adjustments to rpm signing

minor adjustments to rpm signing

Check in Gary's adjustments to the RPM signing scripts. These changes were
present on the Jenkins server.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #7 from kdreyer-inktank/jenkins

jenkins: show errors and fail fast during job execution

jenkins: show errors and fail fast during job execution

Jenkins will dynamically write the commands in its database into a
script and run it with "-x" and "-e" in order to display each step and
fail after the first step fails.

Now that our commands are stored in Git, ensure that we're doing the
same thing.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #6 from kdreyer-inktank/pbuilder-update

Revert "do up force pbuilder update on build"

Revert "do up force pbuilder update on build"

This reverts commit 6fcd39b06d20f3e561533d0479ae942bf80a6010.

It's true that this will be slower, but the wheezy builds are failing if
we don't do this.

(There is an apt-mirror.front.sepia.ceph.com. Maybe using that would
speed things up?)

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

Merge pull request #5 from kdreyer-inktank/jenkins-cephver

release_tarball: select the "v" tags for cephver

Reviewed-by: Sage Weil <sage@inktank.com>

Merge pull request #3 from kdreyer-inktank/jenkins

jenkins: use in-tree clone for the ceph-build repo

release_tarball: select the "v" tags for cephver

By default, Jenkins' Git plugin adds its own tag to the repository. This
interferes with the versioning in release_tarball.sh

One solution would be to disable the tag in the Jenkins job. Since this
is not the default, that tag creation option would need to be manually
disabled for every job in Jenkins that runs this script. The other
option is to make the script more selective about what it considers to
be cephver. This commit implements this option.

Use a --match selector to "git describe" so that we're sure we're using
the standard "vX.X" tags.

Pipe "git describe" through "sed" instead of "cut", so that it's easier
to debug what tag was selected.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

jenkins: use in-tree clone for the ceph-build repo

Historically we have had a single system-wide clone of the ceph-build
repository on each builder, at /srv/ceph-build.

The disadvantage to this configuration is that there is no way to ensure
that each of these clones are up to date. When we make changes to the
ceph-build repository on GitHub, we have to manually pull the changes
into each builder's local clone at /srv.

Going forward, we will use the Multi-SCM plugin to Jenkins to make the
ceph-setup Jenkins job use an up-to-date clone of the ceph-build
repository. This will ensure that Jenkins is using the very latest code
from ceph-build.

The ceph-build repository will be cloned into the root of the tree.
Remove the references to /srv/ceph-build and just use the relative path,
"ceph-build".

Merge pull request #4 from kdreyer-inktank/jenkins-syntax

jenkins: fix shell conditional syntax

jenkins: fix shell conditional syntax

The setup task was failing with the following error:

  ./ceph-build/jenkins/setup: 58: [: missing ]

Add whitespace so the interpreter properly recognizes the conditional.

Merge pull request #2 from kdreyer-inktank/jenkins

add Jenkins scripts to Git

Reviewed-by: Dan Mick <dan.mick@inktank.com>

jenkins: support autobuild key or release key

We need Jenkins to build ceph more often so we can have more testing,
but we don't want to sign these "unofficial" builds with the official
release key.

Conditionally select the release key or the autobuild key based upon the
$RELEASE environment variable. Jenkins will set this variable using a
parameter when it runs each ceph build. For formal releases, we will set
the parameter to "true".

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

jenkins: fix trailing whitespace

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

jenkins: add headers to scripts

Add headers and shebangs to each of the Jenkins scripts.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

add jenkins scripts

Move our Jenkins scripts out of Jenkins' database and into Git so that
we can have greater visibility on future changes.

Going forward, we will modify the ceph Jenkins tasks to only run these
scripts.

Signed-off-by: Ken Dreyer <ken.dreyer@inktank.com>

add saucy, trusty in

Added Saucy to dists.

Signed-off-by: Sandon Van Ness <sandon@inktank.com>

get_rpm_dist.sh:  Add rhel6

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

push_to_rpm_repo.sh: use new script to create repo indexes.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

gen_yum_zypper_repo_rpm.sh: add version to buildarea path

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

ceph_build:  Initial versions of gen_yum_zypper_repo_rpm.sh

A script to create yum or zypper repo config rpms.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

deb_dists:  Drop natty from the release builds

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

sign_rpm.sh:  Fix bug

There isn't an rpm sub directory in the repo.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

sign_and_index_rpm_repo.sh:  New script

This is the last script to run against the rpm repo after any
extra packages are added.  It signs all the rpms in the repo,
then builds an index using creatrepo for the top level directories
such as noarch and x86_64.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

do_release.sh:  Don't sign rpm packages yet.

Since we are now adding extra rpms to the repo, wait until we
are all done before signing them.  Signing is done in another shell
script later in the pipeline.

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

ceph-build:  drop oneiric and fedora17 from build

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>

gen_reprepro_conf.sh:  Add arm architecture

Need to list the arm archecture in order to add arm packages
to the repo. (bug #5090)

Signed-off-by: Gary Lowell <gary.lowell@inktank.com>