Add a purge playbook to remove Ceph

The playbook removes packages, configuration files and ALL THE DATA from
Ceph.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #67 from leseb/improve-ceph-conf

Improve ceph.conf

Improve ceph.conf

Add tunables for:

* recovery
* performance

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #66 from leseb/wip-maintenance

Add maintenance playbook

Add maintenance playbook

This playbook was made to automate Ceph servers maintenance
Typical use case: hardware change
By running this playbook you will set the 'noout' flag on your
cluster, which means that OSD **can't** be marked as out
of the CRUSH map, but they will be marked as down.
Basically we tell the cluster to don't move any data since
the operation won't last for too long.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #65 from guestisp/add-support-for-subdomains-calls

Add support for subdomain calls in S3 api.

Add support for subdomain calls in S3 api. See http://ceph.com/docs/master/radosgw/config/#enabling-subdomain-s3-calls

Merge pull request #61 from guestisp/remove-default-users-from-rgw

Remove RadosGW default users

Totally removed test users creation from RGW tasks

Merge pull request #62 from guestisp/fix-54-use-hostname-in-ceph-conf

Use ansible_hostname in RGW config inside ceph.conf

Use ansible_hostname in RGW config inside ceph.conf
Fix #54

Remove RadosGW default users

Update README

Merge pull request #59 from jcftang/wip-motd-mon

Drop a update-motd.d fragment for monitors so when the user/admin logs i...

Drop a update-motd.d fragment for monitors so when the user/admin logs into a monitor there is a small notice for the user about the state of the ceph cluster. Works only on ubuntu for now

Merge pull request #58 from guestisp/skip-missing-hosts-from-rgw-conf

Skip missing RGW hosts in ceph.conf

Skip missing RGW hosts in ceph.conf

Fix README typo

Fix typo

Merge pull request #57 from leseb/fix-readme

Highlight important facts (fsid and monitor key)

Highlight important facts (fsid and monitor key)

Update the README with an entry for the fsid and monitor keys. We
dediced to remove every key from the default variables.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #56 from leseb/fix-rgw-key-conf

Fix rgw section name

Fix section name

All the rgw instance should share the same key so the section name
should not be changed.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #55 from leseb/fix-rgw-pkg

Remove hardcoded distro

Remove hardcoded distro

This was a leftover from some previous tests.

Closes: #53
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #50 from guestisp/fix-49

Fix #49

Merge pull request #52 from guestisp/fix-51

Fix #51

Merge pull request #48 from guestisp/remove-https-for-ceph-key

Remove HTTPS from ceph key url

Fix #51

Fix #49

Remove HTTPS from ceph key url. It's a public key, no need for HTTPS as it trigger "failed to validate the SSL certificate for ceph.com:443" errors

Merge pull request #47 from jcftang/wip-haproxy

Example HAProxy configuration

re-tab/indent configuration

Fix typo in handler

note what the radosgw_interface variable means

make radosgw_interface configurable for haproxy

microformat variable to be in line with rest of roles and playbooks

fix up indentation in configuration file

more meaningful backend name

Initial add of haproxy example for fronting a number of radosgw's

Merge pull request #46 from leseb/fix-mon-initial-members

Remove mon_initial_members option

Remove mon_initial_members option

The mon_initial_members is not used since we declare the mon section in
the ceph.conf file. Later, we could reduce the ceph.conf file by only
using the mon_host flag instead of all the mon sections.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #45 from leseb/improve-read

Improve README file

Improve README file

Clarify the support section, add OS support.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #43 from leseb/feature-reduce-vm-memory

Reduce VM memory consumption

Reduce VM memory consumption

We now have 7 virtual machines in the Vagrant sandbox. This takes a lot
of memory. This might be a problem for some laptop and whon't help
testings.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #7 from leseb/wip-add-rgw

Add RADOS Gateway support

Add RADOS Gateway support

This is a wip branch.
This works on Ubuntu precise, Debian Wheezy and CentOS 6.4.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #40 from guestisp/fix-ceph-conf-if-mds-are-not-reachable

Fix ceph.conf if MDSs are not reachable

Fix ceph.conf if MDSs are not reachable

Merge pull request #39 from guestisp/fix-ceph-conf-if-mons-unreachable

Fix ceph.conf if mons are unreachable

Merge pull request #36 from guestisp/fix-fqdn-when-copying-keys-to-osd

Use ansible_fqdn when copying keys to OSDs

Merge pull request #38 from guestisp/fix-mons-yaml

Fix typo in group_vars/mons and remove "-C foo"

Fix ceph.conf if mons are unreachable

Fix typo in group_vars/mons and remove "-C foo"

Use ansible_fqdn when copying from mons

Use ansible_fqnd also in mds role

Use ansible_fqdn when copying keys to OSDs

Merge pull request #34 from leseb/fix-revert-autogeneration-keys

Revert 37882255d6ac5d15b7725df6a2c15a2c0c22928f (auto key generation)

Revert 37882255d6ac5d15b7725df6a2c15a2c0c22928f (auto key generation)

We introduced a key generation mechanism that aimed to ease deployment.
In the end, it brought more complexity to the playbook and doesn't
scale.

Reverting the auto generation commit and instructing users to generate
their own keys.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #33 from leseb/feature-reduce-verbose

Ability to reduce verbosity

Ability to reduce verbosity

If you don't want to see the output of all the skipped host, you can set
this value to 'False'.
This will dramatically reduce the output of the run.

Closes: #32
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #31 from leseb/fix-cosmetic

Cosmetic on apt module

Cosmetic on apt module

Use 'present' instead of 'installed'.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #30 from leseb/fix-vagrant-osd-disk

Add more tiny disks

Add more tiny disks

Instead of having 5GB disks now we have 6 disks of 1GB per virtual
machine, which is more than enough for testing.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #29 from leseb/fix-ansible-setup2

Remove log section

Remove log section

While running Ansible for the first time, this won't affec the local
git.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #28 from leseb/fix-ansible-setup

Improve vagrant testing and ansible setup

Improve vagrant testing and ansible setup

It is easier now to git clone the repository and to run your first
environment without extra configuration.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #12 from jcftang/wip-cleanup

Wip cleanup

break out MDS roles into its own group, shouldn't be installing the MDS on every OSD host in this example

Ignore keyrings, they should never be commited to git

Ignore some temporary files

Merge pull request #26 from leseb/wip-separate-osd-scenarios

Wip separate osd scenarios

Separate OSD scenarios to multiple files

Currently everything lives in main.yml, the file has become difficult to
read at some point and can be a real mess since we keep adding new
scenarios.
I think we should separate the scenarios into dedicated files and just
do includes in the main.yml file.

Closes: #16
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #25 from leseb/fix-gen-keys

Autogenerate initial mon key

Autogenerate initial mon key

As mentionned in the issue 24 it's not really safe to store a default
fsid nor a monitor key. Thus the commit brings the auto-generation of
the initial monitor key. However it is quite complex to do the same for
the fsid, so I leave this to the person in charge of the deployment to
generate one and edit group_vars/all accordingly. The default fsid has
been removed as well.

Close: #24

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #18 from leseb/fix-rm-dev

Use full device name

Merge pull request #22 from leseb/fix-allow-disable-mds

Allow to disable MDS

Merge pull request #23 from leseb/fix-hardcoded-eth

Remove hardcoded interface name

Remove hardcoded interface name

Add the ability to select a binding interface for the monitors.

Closes: #20
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Allow to disable MDS

Even if MDS are not configured in site.yml the playbook has a
dependancy on the ceph.conf template.
This disables the mds section from the ceph.conf file.

Closes: #21
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Use full device name

Use full device name so we can specify custom devices (by-path, links
etc...)

Closes: #17
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #13 from leseb/wip-support-install-rh

Multi distro installation support

Multi distro installation support

Now the playbook is able to install Ceph on RedHat systems.
This has been tested on CentOS 6.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #11 from leseb/wip-multi-journal

Add multi-journal support and fix collocation scenario

Add multi-journal support and fix collocation scenario

This commits brings the support of multiple journals where each journal
points to a specific OSD and vice-versa. The commit also clarifies the
usage of multi scenarios for both journal and osd_data.
In the meantime, it fixes the collocation scenario.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #10 from leseb/wip-check-sys-arch-support

Check system and architecture

Check system and architecture

If the system is not Linux and the architecture is not x86 Ansible will
fail and exit.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #4 from leseb/wip-many-devices

Support diverse setup disks

Support diverse setup disks

This brings the support of heterogeneous hardware. Not all the servers
are identical, some have more or less disks than the others. Prior this
commit, the 'parted' command was hanging, now the command simply exits 1
if the device doesn't exist, same for the 'egrep' piped command after.
Then we skip these errors and continue to run. So now, you can specify
multiple devices in group_vars/osds that don't exist on all the
servers.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #2 from leseb/wip-cleanup

Cleanup redundant command

Cleanup redundant command

Since the fetch module takes care of the permissions it is not necessary
to set them with another module. The second command is useless.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #1 from leseb/wip-ceph-ansible-playbook-init

Add Ceph Playbook

Add Ceph Playbook

Initial commit.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Initial commit