Merge pull request #82 from lorin/master

Use Vagrant's Ansible provisioner

Use Vagrant's Ansible provisioner

Use Vagrant's built-in support for Ansible provisioner. This eliminates the need
for a hosts file, and simplifies the ansible config file.

Renames config from .ansible.cfg to ansible.cfg since Ansible expects the file
to be called ansible.cfg and be adjacent to Vagrantfile when using the Vagrant
provisioner.

Merge pull request #81 from leseb/enh-testing-mode

Enable single host mode

Enable single host mode

This commit introduces a new config option 'osd crush chooseleaf type'.
With the help of this option and by setting it to '0' we tell Ceph to
store all the replicas on a single host. Basically we tell CRUSH to
iterate over disk and not over host.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #80 from leseb/change-default-disk

Change the default disk numbering

Change the default disk numbering

While trying to auto-provision with vagrant, new disks get /dev/sdb and
so forth. So starting from /dev/sdd doesn't make sense.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #79 from leseb/fix-rgw-email

Fix non-declared rgw email_address variable

Fix non-declared rgw email_address variable

Fix: #77

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #76 from AcalephStorage/fetch-fsid

Removed dependency on mon[0]

keys are now copied from the first available mon host

since we're now using fsid for the directory name, it should be safe to
just copy the keys from all mon hosts. Once they are copied, the rest of
the hosts will just skip copying. :)

Avoid ip/fqdn weirdness & use fsid path for keys

Merge pull request #74 from guestisp/fix-73-use-ansible-fqdn-in-purge-yml

Fix #73 by using `ansible_fqdn`

Merge pull request #72 from guestisp/fix-71-typo-in-purge-yml

Fix #71. Removed wrong `---`

Merge pull request #70 from guestisp/fix-69-mon-osd-min-down-reporters

Fix #69 - mon osd min down reporters

Fix #73 by using `ansible_fqdn`

Fix #71. Removed wrong `---`

Fix #69 - mon osd min down reporters

Merge pull request #68 from leseb/purge-ceph

Add a purge playbook to remove Ceph

Add a purge playbook to remove Ceph

The playbook removes packages, configuration files and ALL THE DATA from
Ceph.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #67 from leseb/improve-ceph-conf

Improve ceph.conf

Improve ceph.conf

Add tunables for:

* recovery
* performance

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #66 from leseb/wip-maintenance

Add maintenance playbook

Add maintenance playbook

This playbook was made to automate Ceph servers maintenance
Typical use case: hardware change
By running this playbook you will set the 'noout' flag on your
cluster, which means that OSD **can't** be marked as out
of the CRUSH map, but they will be marked as down.
Basically we tell the cluster to don't move any data since
the operation won't last for too long.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #65 from guestisp/add-support-for-subdomains-calls

Add support for subdomain calls in S3 api.

Add support for subdomain calls in S3 api. See http://ceph.com/docs/master/radosgw/config/#enabling-subdomain-s3-calls

Merge pull request #61 from guestisp/remove-default-users-from-rgw

Remove RadosGW default users

Totally removed test users creation from RGW tasks

Merge pull request #62 from guestisp/fix-54-use-hostname-in-ceph-conf

Use ansible_hostname in RGW config inside ceph.conf

Use ansible_hostname in RGW config inside ceph.conf
Fix #54

Remove RadosGW default users

Update README

Merge pull request #59 from jcftang/wip-motd-mon

Drop a update-motd.d fragment for monitors so when the user/admin logs i...

Drop a update-motd.d fragment for monitors so when the user/admin logs into a monitor there is a small notice for the user about the state of the ceph cluster. Works only on ubuntu for now

Merge pull request #58 from guestisp/skip-missing-hosts-from-rgw-conf

Skip missing RGW hosts in ceph.conf

Skip missing RGW hosts in ceph.conf

Fix README typo

Fix typo

Merge pull request #57 from leseb/fix-readme

Highlight important facts (fsid and monitor key)

Highlight important facts (fsid and monitor key)

Update the README with an entry for the fsid and monitor keys. We
dediced to remove every key from the default variables.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #56 from leseb/fix-rgw-key-conf

Fix rgw section name

Fix section name

All the rgw instance should share the same key so the section name
should not be changed.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #55 from leseb/fix-rgw-pkg

Remove hardcoded distro

Remove hardcoded distro

This was a leftover from some previous tests.

Closes: #53
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #50 from guestisp/fix-49

Fix #49

Merge pull request #52 from guestisp/fix-51

Fix #51

Merge pull request #48 from guestisp/remove-https-for-ceph-key

Remove HTTPS from ceph key url

Fix #51

Fix #49

Remove HTTPS from ceph key url. It's a public key, no need for HTTPS as it trigger "failed to validate the SSL certificate for ceph.com:443" errors

Merge pull request #47 from jcftang/wip-haproxy

Example HAProxy configuration

re-tab/indent configuration

Fix typo in handler

note what the radosgw_interface variable means

make radosgw_interface configurable for haproxy

microformat variable to be in line with rest of roles and playbooks

fix up indentation in configuration file

more meaningful backend name

Initial add of haproxy example for fronting a number of radosgw's

Merge pull request #46 from leseb/fix-mon-initial-members

Remove mon_initial_members option

Remove mon_initial_members option

The mon_initial_members is not used since we declare the mon section in
the ceph.conf file. Later, we could reduce the ceph.conf file by only
using the mon_host flag instead of all the mon sections.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #45 from leseb/improve-read

Improve README file

Improve README file

Clarify the support section, add OS support.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #43 from leseb/feature-reduce-vm-memory

Reduce VM memory consumption

Reduce VM memory consumption

We now have 7 virtual machines in the Vagrant sandbox. This takes a lot
of memory. This might be a problem for some laptop and whon't help
testings.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #7 from leseb/wip-add-rgw

Add RADOS Gateway support

Add RADOS Gateway support

This is a wip branch.
This works on Ubuntu precise, Debian Wheezy and CentOS 6.4.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #40 from guestisp/fix-ceph-conf-if-mds-are-not-reachable

Fix ceph.conf if MDSs are not reachable

Fix ceph.conf if MDSs are not reachable

Merge pull request #39 from guestisp/fix-ceph-conf-if-mons-unreachable

Fix ceph.conf if mons are unreachable

Merge pull request #36 from guestisp/fix-fqdn-when-copying-keys-to-osd

Use ansible_fqdn when copying keys to OSDs

Merge pull request #38 from guestisp/fix-mons-yaml

Fix typo in group_vars/mons and remove "-C foo"

Fix ceph.conf if mons are unreachable

Fix typo in group_vars/mons and remove "-C foo"

Use ansible_fqdn when copying from mons

Use ansible_fqnd also in mds role

Use ansible_fqdn when copying keys to OSDs

Merge pull request #34 from leseb/fix-revert-autogeneration-keys

Revert 37882255d6ac5d15b7725df6a2c15a2c0c22928f (auto key generation)

Revert 37882255d6ac5d15b7725df6a2c15a2c0c22928f (auto key generation)

We introduced a key generation mechanism that aimed to ease deployment.
In the end, it brought more complexity to the playbook and doesn't
scale.

Reverting the auto generation commit and instructing users to generate
their own keys.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #33 from leseb/feature-reduce-verbose

Ability to reduce verbosity

Ability to reduce verbosity

If you don't want to see the output of all the skipped host, you can set
this value to 'False'.
This will dramatically reduce the output of the run.

Closes: #32
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #31 from leseb/fix-cosmetic

Cosmetic on apt module

Cosmetic on apt module

Use 'present' instead of 'installed'.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #30 from leseb/fix-vagrant-osd-disk

Add more tiny disks

Add more tiny disks

Instead of having 5GB disks now we have 6 disks of 1GB per virtual
machine, which is more than enough for testing.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #29 from leseb/fix-ansible-setup2

Remove log section

Remove log section

While running Ansible for the first time, this won't affec the local
git.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #28 from leseb/fix-ansible-setup

Improve vagrant testing and ansible setup

Improve vagrant testing and ansible setup

It is easier now to git clone the repository and to run your first
environment without extra configuration.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #12 from jcftang/wip-cleanup

Wip cleanup

break out MDS roles into its own group, shouldn't be installing the MDS on every OSD host in this example

Ignore keyrings, they should never be commited to git

Ignore some temporary files

Merge pull request #26 from leseb/wip-separate-osd-scenarios

Wip separate osd scenarios

Separate OSD scenarios to multiple files

Currently everything lives in main.yml, the file has become difficult to
read at some point and can be a real mess since we keep adding new
scenarios.
I think we should separate the scenarios into dedicated files and just
do includes in the main.yml file.

Closes: #16
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #25 from leseb/fix-gen-keys

Autogenerate initial mon key

Autogenerate initial mon key

As mentionned in the issue 24 it's not really safe to store a default
fsid nor a monitor key. Thus the commit brings the auto-generation of
the initial monitor key. However it is quite complex to do the same for
the fsid, so I leave this to the person in charge of the deployment to
generate one and edit group_vars/all accordingly. The default fsid has
been removed as well.

Close: #24

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #18 from leseb/fix-rm-dev

Use full device name

Merge pull request #22 from leseb/fix-allow-disable-mds

Allow to disable MDS

Merge pull request #23 from leseb/fix-hardcoded-eth

Remove hardcoded interface name

Remove hardcoded interface name

Add the ability to select a binding interface for the monitors.

Closes: #20
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Allow to disable MDS

Even if MDS are not configured in site.yml the playbook has a
dependancy on the ceph.conf template.
This disables the mds section from the ceph.conf file.

Closes: #21
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>