Rework radosgw keys and data dir path

Fix the usage of Upstart for Ubuntu machines instead of the init.d
script.
Note that because of the way upstart init script looks at the radosgw id
the command 'start radosgw id=' is broken, you should use 'start
radosgw-all' instead.
Keep backard compatibility with the radosgw init script as well by using
client prefixed by 'client.radosgw'.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #229 from leseb/improve-syntax

Improve YAML syntax

Improve YAML syntax

Improve readibility.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #211 from leseb/postdeployment-validator

WIP: first implementation of functional tests

Merge pull request #227 from leseb/fix-mds-giant

Fix MDS creation for version >= 0.84

Fix MDS creation for version >= 0.84

The ceph fs new command was introduced in Ceph 0.84. Prior to this
release, no manual steps are required to create a filesystem, and pools
named data and metadata exist by default.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #190 from leseb/coreos-support

Docker support

Docker support

WIP!

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #223 from leseb/vagrant-if

Fix Vagrant vars for MDS and RGW

Fix Vagrant vars for MDS and RGW

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #222 from leseb/improve-handlers

Improve Handler support

Improve Handler support

Now proper commands/actions are used per hosts and groups.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #212 from leseb/rbd-client-logs

Add RBD client logs support

Merge pull request #218 from leseb/radosgw-civetweb

Add support of civetweb for Rados Gateway

Add support of civetweb for Rados Gateway

Almost here.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #219 from leseb/fix-rgw-socket

Fix Rados Gateway socket path

Fix Rados Gateway socket path

Fixes: #217
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #216 from leseb/vagrant-vars

Use an external file to manage Vagrant variables

Use an external file to manage Vagrant variables

This is really handy when we are testing code since we don't need to
modify the Vagrantfile, which is tracked by git.
The next commit will ignore the vagrant_variables.yml file.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Add RBD client logs support

The path must be writable by QEMU and allowed by SELinux or AppArmor

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

WIP: first implementation of functional tests

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #210 from leseb/multi-rgw-support

Bring multi RGW support

Bring multi RGW support

Now we can setup multi-rgw with the playbook.
Each rgw instance has its own key.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #209 from leseb/fix-rgw-section

Fix the rgw section

Fix the rgw section

If we use the hostname, the radosgw will lookup for a wrong secret.
Using the same name for all the gateways.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #208 from leseb/improve-rgw

Improve RGW config section

Improve RGW config section

Use hostname in socket and log.
Improve jinja template so when a var doesn't exist we don't indent the
next line.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #207 from leseb/fix-rgw-vagrant

Enable proper options while activating rgw or mds with Vagrant

Enable proper options while activating rgw or mds with Vagrant

When enabling radosgw virtual machines, we also need to enable the
radosgw variable. Same thing goes with the mds.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #206 from leseb/fix-rgw-keys

Fix RGW key fetching

Fix RGW key fetching

In a previous commit, key name changed, fixing this.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #204 from marmot21/patch-1

Update ceph.conf.j2

Update ceph.conf.j2

This is just a simple change that will allow multiple gateways

Merge pull request #202 from leseb/refactor-mon-keys

Refactor keys creation and fetching

Refactor keys creation and fetching

We isolated the key operations into a file and modified the fetch
function to collect all the new keys.
In the mean time fixed the pool creation since the command is not
indempotent.
Renamed the rgw key to work with the key collection.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #200 from leseb/mon-key

Add Monitor Keys example

Add Monitor Keys example

Can be useful when `ceph-authtool --gen-print-key` is not available.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #198 from leseb/ceph-client

Ability to populate OpenStack installation

Ability to populate OpenStack installation

Creates pools, keys and users.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #197 from flisky/master

fsid & ceph_stable_redhat_distro fixs up

update distro comment

so we don't need change them every ceph release

epel-release is mandatory

see: https://www.mail-archive.com/ceph-users@lists.ceph.com/msg14819.html
also: https://github.com/ceph/ceph-deploy/commit/831b130f98a18db09c862f56e80b788bbf094373

make sure we use **fsid** in command

update ceph noarch repo url

Merge pull request #196 from leseb/fix-travis-2

Fix Travis

Fix Travis

Only do syntax check now.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #195 from ceph/revert-194-fix-travis

Revert "Fix Travis run"

Revert "Fix Travis run"

Merge pull request #194 from leseb/fix-travis

Fix Travis run

Fix Travis run

Fix travis run and effectively test the playbooks.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #191 from leseb/travis

Add test to the playbooks

Add test to the playbooks

Through Travis.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #189 from leseb/change-controller-name

Change disk controller name

Change disk controller name

The recently added Trusty box was build with a Controller named
"SATAController", we must reuse the same name while adding our devices.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #188 from leseb/use-trusty-box

Upgrade to Trusty box

Upgrade to Trusty box

Use a Trusty box instead of Precise.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #187 from leseb/debug

Enable Ceph daemons debug options

Enable Ceph daemons debug options

Add debug options for Ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #186 from leseb/swapoff

Ability to disable swap

Ability to disable swap

With enough memory we will probably not need any swap.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #185 from leseb/os-tuning-vfs-pressure

Decrease vfs cache pressure

Decrease vfs cache pressure

On OSD servers we want to keep as much inodes and dentries in memory as
we can.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #184 from leseb/fix-transparent-huge-page-path

Fix transparent huge page sys path

Fix transparent huge page sys path

The old path was meant for old kernels...

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #183 from leseb/xfs-mount-option-sequential

Add more option to maximise sequential IO

Add more option to maximise sequential IO

Using the largeio,inode64,swalloc options usually improves sequential
workloads.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #182 from leseb/ice-fix-epel

Add yum priority plugin

Add yum priority plugin

Without this plugin if a Ceph version is present in a repo (let's say
epel) it will install the epel version and not the ICE version.
We install yum-plugin-priorities.noarch to honor the 'priority=1' flag.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #181 from leseb/transparent-hugepages

Ability to disable transparent hugepage

Ability to disable transparent hugepage

In storage world it's often recommended to disable transparent hugepages
as they will tend to lower performance.
Note that this change won't survive reboot. There are several ways to
disable this permanently such as:

* rc.local
* grub boot line

It's a bit tricky to do this in Ansible since it really depends on the
OS you're running on.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #180 from leseb/zone-reclaim-mode

Restructure OS tuning and add new value

Restructure OS tuning and add new value

We now use a single task and loop over a set of params, it's easier to
add now params.

Setting zone_reclaim_mode to 0.
See the discussion on the Ceph ML:
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2013-December/036211.html

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #177 from leseb/osd-sections

WIP: Implement OSD sections

Merge pull request #179 from leseb/force-vars

Make the monitor secret a mandatory variable.

Make the monitor secret a mandatory variable.

Default behavior is to fail if a variable is not declared however this
can be disable in your ansible.cfg so we force this variable as
mandatory.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

WIP: Implement OSD sections

Still WIP, @mwheckmann free to test
As requested by #162

Current known issue, since ceph.conf gets modified during every single
run (at the end during the merge) so this will restart ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #176 from leseb/os-tuning

Make OS tuning var configurable and file re-ordering

Make OS tuning var configurable and file re-ordering

Depending on the OS you are runnning on you should be able to configure
these values.
Re-ordering file for clarity as well.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #175 from leseb/fix-ice

Fix ICE installation

Fix ICE installation

Wrong ordering and variable.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #174 from leseb/update-group-vars

Update group_vars files to match roles defaults vars

Update group_vars files to match roles defaults vars

Updating each group_vars file to reflect the content of each role
default variables.

Closes: #169
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #173 from leseb/fix-vagrant-1.8-deployment

Fix vagrant deployment for vagrant version > 1.7

Fix vagrant deployment for vagrant version > 1.7

See: https://github.com/mitchellh/vagrant/issues/5048.

Closes: #172
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #171 from leseb/file-max

Bump up maximum number of open files

Bump up maximum number of open files

Large cluster will easily reach the default value so we increase it.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #170 from leseb/max-open-files

Bump up max open file for big cluster

Bump up max open file for big cluster

Big cluster will easily reach the default limit so we need to increase
it and make it configurable.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Revert "Remove the fsid vars from mon and osd roles"

This reverts commit 216c8e24c83a865a49798a7383fdda7e53b331cf.

Merge pull request #167 from leseb/fix-vagrant-fsid

Fix the vagrant deployment

Fix the vagrant deployment

Add a fetch/ceph_cluster_uuid.conf file so we keep the same UUID from
the Vagrantfile and from the ceph-common run.
Prior to that change the Vagrantfile was setting
4a158d27-f750-41d5-9e7f-26ce4c9d2d45 but while playing the ceph-common
role we check if fetch/ceph_cluster_uuid.conf exists, if not we generate
an UUID. Here we ended up with 2 UUIDs...

IMPORTANT NOTE FOR NON-VAGRANT DEPLOYMENT. IF YOU WANT TO USE YOUR OWN
UUID PLEASE REMOVE THAT FILE BEFORE RUNNING THE PLAYBOOK.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #166 from leseb/remove-unsed-vars

Remove the fsid vars from mon and osd roles

Remove the fsid vars from mon and osd roles

We do not need them since they get registered by the ceph-common role.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #165 from leseb/move-vars

Move role variables to defaults

Move role variables to defaults

Following best practices from
http://docs.ansible.com/playbooks_variables.html#variable-precedence-where-should-i-put-a-variable

Closes: #161
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #164 from leseb/ansible-yaml-parser

Add a dummy ansible host file for syntax checking

Add a dummy ansible host file for syntax checking

The Ansible YAML syntax checker needs an inventory file.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #163 from bmanojlovic/master

add quotes so ansible yaml parser do not barf on it...

add quotes so ansible yaml parser do not barf on it...

Merge pull request #160 from leseb/ice-rhel7-krbd-mod

Add ICE Kernel module support for Red Hat systems