Merge pull request #22 from Youscribe/monRefactor

Mon refactor

Reviewed-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Use Mixlib::ShellOut instead of Chef::ShellOut

Manage starting mon with upstart

remove useless require json in mon and add it in libraries

ceph support "status" command

Place service at the end of script to ensure that service is always enable and running after chef is execute

Don't use libraries for things that must be in attributes

creates prevent re-run

refactor to use chef commands
move ceph_bootstrap_osd_key to node['ceph']

we must wait for get osd-bootstrap keyring to finish

Last fixes
create /var/lib/ceph/mon/ceph-{hostname} directory if it doesn't exist.
remove ceph.mon.node attribute (more reflexion to this behaviour later)
fix typo for done file
service ceph-mon-all support restart and status
service must be restart immediately to launch ceph-mon

correct rebase

ceph-mon-all-starter is a task, not a service

Ensure that ceph-mon-all is start at the end of recipe

Merge pull request #23 from Youscribe/error_osd_device

don't break if node["ceph"]["osd_devices"] is empty

Reviewed-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Merge pull request #24 from shellycloud/master

Fixed finding node's IP address

Reviewed-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Fixed indentation in ceph.conf.

Fixed finding mon's IP address.

Merge pull request #20 from Youscribe/allow_standalone

Allow standalone installation of radosgw

Reviewed-by: Alexandre Marangone <alexandre.marangone@inktank.com>

remove useless create file from chef value, read variable, create file, remove file...
You forget to fax it

don't break if node["ceph"]["osd_devices"] is empty (but log it)

remove sysvinit script for radosgw

Merge pull request #19 from yuryu/master

Fix recipe compile error when 'public network' is set to Ceph environment

Reviewed-by: Alexandre Marangone <alexandre.marangone@inktank.com>

add dependency to apache2 v1.1.12
It add mod_fastcgi

Manage a standalone installation (without apache2)
Improve apache2 recipe

- Fix recipe compile error when 'public network' is set to Ceph environment

================================================================================
Recipe Compile Error in /var/cache/chef/cookbooks/ceph/recipes/mon.rb
================================================================================

NoMethodError
-------------
undefined method `[]' for nil:NilClass

Cookbook Trace:
---------------
  /var/cache/chef/cookbooks/ceph/libraries/default.rb:84:in `get_mon_addresses'
  /var/cache/chef/cookbooks/ceph/libraries/default.rb:84:in `map'
  /var/cache/chef/cookbooks/ceph/libraries/default.rb:84:in `get_mon_addresses'
  /var/cache/chef/cookbooks/ceph/recipes/conf.rb:4:in `from_file'
  /var/cache/chef/cookbooks/ceph/recipes/mon.rb:20:in `from_file'

Relevant File Content:
----------------------
/var/cache/chef/cookbooks/ceph/libraries/default.rb:

 77:      end
 78:
 79:      mons += get_mon_nodes()
 80:      if is_crowbar?
 81:        mon_ips = mons.map { |node| Chef::Recipe::Barclamp::Inventory.get_network_by_type(node, "admin").address }
 82:      else
 83:        if node['ceph']['config']['global'] && node['ceph']['config']['global']['public network']
 84>>         mon_ips = mons.map { |node| find_node_ip_in_network(node['ceph']['config']['global']['public network'], node) }
 85:        else
 86:          mon_ips = mons.map { |node| node['ipaddress'] + ":6789" }
 87:        end
 88:      end
 89:    end
 90:    return mon_ips.uniq
 91:  end
 92:
 93:  def get_quorum_members_ips()

Merge pull request #18 from alram/master

Fix for old ceph-disk-prepare

Fix issue with old ceph-disk-prepare

Old ceph-disk-prepare re-write the partition table and fail before writting
the Parition GUID.
This fix tests the presence of a osd_device status, if present, we skip
the OSD.
It also fix a typo when setting the osd_device status

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Merge pull request #17 from alram/wip-rpm-distro

Chef support for CentOS/RHEL, Fedora and SuSE

Reviewed-by-not-tested-by: Sage Weil <sage@inktank.com>

Create mon data dir before calling ceph-mon --mkfs

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Upstart and SYSV Init support

- Handles different service names between upstart
and sysvinit.
- Create mon_dir/(upstart|sysvinit) depending on
service to be used.

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Support EL, Fedora and (open)SuSE repo

- Recipe is now ceph::repo
- For EL, add EPEL repository for dependencies by default.
Deactivable by using el_add_epel: false under ceph: {} in
the chef environment.
- Handle package names difference between EL/FC/SuSE and Debian.

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Merge pull request #16 from alram/master

ceph-cookbooks patches

Reviewed-by: Greg Farnum <greg@inktankcom>
Reviewed-by: Sage Weil <sage@inktank.com>

change cookbook version to 0.1.0

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Update README.md

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

add node env sample

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Add OSD deployment when not using crowbar

Also installs cryptsetup in case dmcrypt is being used

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

change template to be more flexible

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

add, hopefully, helpful comments

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Ceph will automatically create the admin and bootstrap keys

We just need to store the boostrap-osd key once it is created

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Set mon to use upstart

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

create /var/run/ceph/

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

remove unused block

Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>

Merge pull request #15 from Youscribe/separateDebug

separate *-dbg packages and add an attribute to manage it

Reviewed-by: Sage Weil <sage@inktank.com>

concat in ruby way

separate *-dbg packages and add an attribute to manage it

Merge pull request #14 from Youscribe/rgw_port

manage rgw_port on radosgw recipe

Reviewed-by: Sage Weil <sage@inktank.com>

manage rgw_port on radosgw recipe

Merge pull request #12 from Tech-Corps/update-apt-repos

Update apt repos to be inline with doc changes

Update apt repos to be inline with doc changes

See http://ceph.com/docs/master/install/debian/

Merge pull request #10 from seanchannel/patch-1

delete NewDreamNetwork url

use ceph.com instead of ceph.newdream.net for apt repos

Merge pull request #11 from Youscribe/apt

use "apt" cookbook to manage apt file.

use "apt" cookbook to manage apt file.

Add "testing" as possible branch

delete NewDreamNetwork url

I'm new to ceph, but there doesn't seem to be a github account for NewDreamNetwork anymore, right?

Clean up unused variable.

Crowbar: Don't try to play nice with Swift.

We tried to avoid using data disks that swift-storage has taken over,
but nothing guarded us against Swift stepping on our toes. Similarly,
we never protected nova-multi-volume's toes. Current Crowbar just
doesn't solve this problem; don't try.

Do NOT install ceph-osd on the same machine as swift-storage or
nova-multi-volume.

Foodcritic cleanup.

Simplify recipes: merge bootstrap_osd into osd.

Simplify recipes: merge rados-rest into radosgw.

make swift disk check more careful

Merge pull request #7 from johnae/master

Make default radosgw attributes same as those expected in recipe

Warn about basename of clone needing to be "ceph".

Crowbar: use all "Storage" disks for OSD.

Verify that the disk has not been taken by Swift already.

Once all disks have been prepared, trigger a hotplug event,
to activate them, and ultimately get OSDs using them.

Crowbar: Make bootstrap_osd find mons.

Crowbar has switched to per-node special-purpose roles, a direct
search for role: won't find the actual roles (and roles: is updated
too late to be generally useful, though it might work here --
preferring this way so the search logic is implemented only once).

Rewrite .length < 1 using the more ruby-like .empty?

Refactor to add extra search criteria to get_mon_nodes, so it can be reused.

Share more code inside get_mon_nodes.

Only call search() in one place, just build different search strings
for Crowbar and non-Crowbar.

Refactor to extract get_mon_nodes() utility function.

Make default attributes keys same as those expected in recipe

Add current node to mon_hosts, if it has role ceph-mon.

This shortcircuits the search logic, so ceph-mon --mkfs will always
see itself in ceph-mon, and thus won't end up with an empty monmap.
Empty monmap would prevent it from initializing properly, and the
peer hints aren't enough to help.

Search is not reliable for this, as the search index updates lazily,
and e.g. the "roles:" field, holding the expanded run_list, is only
set at the end of a successful chef-client run.

Crowbar creates a special-purpose role, one per node, and assigns the
actual roles to that role. We work around this by doing the search in
two phases, when running under Crowbar.

Thanks to Tyler Brekke.

Enforce the name of the cookbook as "ceph".

Revert last three commits.

The roles are named ceph-mon etc. The recipes are named ceph::mon etc.
The cookbook is named "ceph". The git repository is named
"ceph-cookbooks.git". The string "ceph-cookbooks" should not be
anywhere in the code anywhere inside of the cookbook.

doc: rollback file names and role names for sanity check.

Removing ceph directory causes problems, because of many references to ceph::something.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: renamed for consistency.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

doc: Updated roles to point to ceph-cookbooks:recipe.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Make ceph::osd recipe install gdisk for ceph-disk-prepare.

ceph.deb only recommends it, as there are ways of using Ceph without
using ceph-disk-prepare.

Move ceph/* to top-level.

This repository used to be a collection of several cookbooks, but this
hasn't been true for a month, since
a77b418b95df8f2b6f56d9a90e47dc62100cdf4d. Simplifies the file layout
and makes this look more like your usual cookbook.

Thanks to Guilhem Lettron <guilhem@lettron.fr>

Rely on the apache2 cookbook to install relevant apache packages.

Thanks to Guilhem Lettron for pointing this out.

Merge pull request #6 from Youscribe/fixRadosgw

Fix radosgw

use "localhost" is more conventional than "127.0.0.1"

fix attribute to match attributes/radosgw.rb

doc: Removed my add of ceph-env.rb, because it's not particularly useful.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Added environments dir and file. Added roles dir and file for knife from file.

Signed-off-by: John Wilkins <john.wilkins@inktank.com>

Passthrough non-global ceph.conf values in a separate hash.

For example:

  "config-sections": {
    "osd": {
      "osd_journal_size": "3000"
    }
    "osd.42": {
      "debug ms": "20"
    }
  }

Passthrough arbitrary (global) config variables to ceph.conf.

Still sanity checking that the ones we want are provided.

Give ceph-mon hints about its peers.

This handles the case where ceph-mon already started, already read a
mon_host from ceph.conf, but more nodes (needed for initial quorum)
had the ceph-mon role added to them after the fact, and thus weren't
in mon_host at startup time.

Refactor to extract get_mon_addresses.

Cleanup: combine ceph::single_mon into ceph::mon.

Remove unused recipes oss and xattr.

oss was used by DreamHost to deploy obsync.

xattr was used by a workaround for running an ext4 osd on rootfs.

ceph::mon does NOT depend on radosgw, no idea what was going on here.

Cleaning up the inherited recipes.

Install ceph-common in ceph::default.