Merge branch 'master' into ceph-client-no-library

Conflicts:
recipes/osd.rb

merge bootstrap_osd recipe into osd recipe

This mirrors a commit in master we need for effective merging

osd: be more generous about accepting monitors.

The solr database doesn't update quickly enough for our search to
work well on initial bringup.
Instead, fail if we actually have no monitors, but otherwise loop
until our search for a mon with the osd bootstrap key succeeds.

Don't finish an initial Chef run until monitors have joined the quorum

On their first run, the monitor role now loops until the monitor
process reports it has entered the quorum.

keep track of which disks have been prepared (crowbar)

This way we can only prepare disks which aren't
already set up.

create a ceph-client role

The ceph-client role sets the host up to access the Ceph
cluster and generates the host a key capable of creating
new client access keys

remove check for swift on the node (crowbar)

Crowbar doesn't correctly handle running multiple disk
users on a node anyway, so just get rid of the check.

library: fix indentation on have_quorum

Clean up unused variable.

Crowbar: Don't try to play nice with Swift.

We tried to avoid using data disks that swift-storage has taken over,
but nothing guarded us against Swift stepping on our toes. Similarly,
we never protected nova-multi-volume's toes. Current Crowbar just
doesn't solve this problem; don't try.

Do NOT install ceph-osd on the same machine as swift-storage or
nova-multi-volume.

Foodcritic cleanup.

Simplify recipes: merge bootstrap_osd into osd.

Simplify recipes: merge rados-rest into radosgw.

make swift disk check more careful

Merge pull request #7 from johnae/master

Make default radosgw attributes same as those expected in recipe

Warn about basename of clone needing to be "ceph".

Crowbar: use all "Storage" disks for OSD.

Verify that the disk has not been taken by Swift already.

Once all disks have been prepared, trigger a hotplug event,
to activate them, and ultimately get OSDs using them.

Crowbar: Make bootstrap_osd find mons.

Crowbar has switched to per-node special-purpose roles, a direct
search for role: won't find the actual roles (and roles: is updated
too late to be generally useful, though it might work here --
preferring this way so the search logic is implemented only once).

Rewrite .length < 1 using the more ruby-like .empty?

Refactor to add extra search criteria to get_mon_nodes, so it can be reused.

Share more code inside get_mon_nodes.

Only call search() in one place, just build different search strings
for Crowbar and non-Crowbar.

Refactor to extract get_mon_nodes() utility function.

Make default attributes keys same as those expected in recipe

Add current node to mon_hosts, if it has role ceph-mon.

This shortcircuits the search logic, so ceph-mon --mkfs will always
see itself in ceph-mon, and thus won't end up with an empty monmap.
Empty monmap would prevent it from initializing properly, and the
peer hints aren't enough to help.

Search is not reliable for this, as the search index updates lazily,
and e.g. the "roles:" field, holding the expanded run_list, is only
set at the end of a successful chef-client run.

Crowbar creates a special-purpose role, one per node, and assigns the
actual roles to that role. We work around this by doing the search in
two phases, when running under Crowbar.

Thanks to Tyler Brekke.

Enforce the name of the cookbook as "ceph".

Revert last three commits.

The roles are named ceph-mon etc. The recipes are named ceph::mon etc.
The cookbook is named "ceph". The git repository is named
"ceph-cookbooks.git". The string "ceph-cookbooks" should not be
anywhere in the code anywhere inside of the cookbook.

doc: rollback file names and role names for sanity check.

Removing ceph directory causes problems, because of many references to ceph::something.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: renamed for consistency.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated roles to point to ceph-cookbooks:recipe.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Make ceph::osd recipe install gdisk for ceph-disk-prepare.

ceph.deb only recommends it, as there are ways of using Ceph without
using ceph-disk-prepare.

Move ceph/* to top-level.

This repository used to be a collection of several cookbooks, but this
hasn't been true for a month, since
a77b418b95df8f2b6f56d9a90e47dc62100cdf4d. Simplifies the file layout
and makes this look more like your usual cookbook.

Thanks to Guilhem Lettron <guilhem@lettron.fr>

Rely on the apache2 cookbook to install relevant apache packages.

Thanks to Guilhem Lettron for pointing this out.

Merge pull request #6 from Youscribe/fixRadosgw

Fix radosgw

use "localhost" is more conventional than "127.0.0.1"

fix attribute to match attributes/radosgw.rb

doc: Removed my add of ceph-env.rb, because it's not particularly useful.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Added environments dir and file. Added roles dir and file for knife from file.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Passthrough non-global ceph.conf values in a separate hash.

For example:

  "config-sections": {
    "osd": {
      "osd_journal_size": "3000"
    }
    "osd.42": {
      "debug ms": "20"
    }
  }

Passthrough arbitrary (global) config variables to ceph.conf.

Still sanity checking that the ones we want are provided.

Give ceph-mon hints about its peers.

This handles the case where ceph-mon already started, already read a
mon_host from ceph.conf, but more nodes (needed for initial quorum)
had the ceph-mon role added to them after the fact, and thus weren't
in mon_host at startup time.

Refactor to extract get_mon_addresses.

Cleanup: combine ceph::single_mon into ceph::mon.

Remove unused recipes oss and xattr.

oss was used by DreamHost to deploy obsync.

xattr was used by a workaround for running an ext4 osd on rootfs.

ceph::mon does NOT depend on radosgw, no idea what was going on here.

Cleaning up the inherited recipes.

Install ceph-common in ceph::default.