Merge pull request #188 from leseb/use-trusty-box

Upgrade to Trusty box

Upgrade to Trusty box

Use a Trusty box instead of Precise.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #187 from leseb/debug

Enable Ceph daemons debug options

Enable Ceph daemons debug options

Add debug options for Ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #186 from leseb/swapoff

Ability to disable swap

Ability to disable swap

With enough memory we will probably not need any swap.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #185 from leseb/os-tuning-vfs-pressure

Decrease vfs cache pressure

Decrease vfs cache pressure

On OSD servers we want to keep as much inodes and dentries in memory as
we can.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #184 from leseb/fix-transparent-huge-page-path

Fix transparent huge page sys path

Fix transparent huge page sys path

The old path was meant for old kernels...

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #183 from leseb/xfs-mount-option-sequential

Add more option to maximise sequential IO

Add more option to maximise sequential IO

Using the largeio,inode64,swalloc options usually improves sequential
workloads.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #182 from leseb/ice-fix-epel

Add yum priority plugin

Add yum priority plugin

Without this plugin if a Ceph version is present in a repo (let's say
epel) it will install the epel version and not the ICE version.
We install yum-plugin-priorities.noarch to honor the 'priority=1' flag.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #181 from leseb/transparent-hugepages

Ability to disable transparent hugepage

Ability to disable transparent hugepage

In storage world it's often recommended to disable transparent hugepages
as they will tend to lower performance.
Note that this change won't survive reboot. There are several ways to
disable this permanently such as:

* rc.local
* grub boot line

It's a bit tricky to do this in Ansible since it really depends on the
OS you're running on.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #180 from leseb/zone-reclaim-mode

Restructure OS tuning and add new value

Restructure OS tuning and add new value

We now use a single task and loop over a set of params, it's easier to
add now params.

Setting zone_reclaim_mode to 0.
See the discussion on the Ceph ML:
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2013-December/036211.html

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #177 from leseb/osd-sections

WIP: Implement OSD sections

Merge pull request #179 from leseb/force-vars

Make the monitor secret a mandatory variable.

Make the monitor secret a mandatory variable.

Default behavior is to fail if a variable is not declared however this
can be disable in your ansible.cfg so we force this variable as
mandatory.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

WIP: Implement OSD sections

Still WIP, @mwheckmann free to test
As requested by #162

Current known issue, since ceph.conf gets modified during every single
run (at the end during the merge) so this will restart ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #176 from leseb/os-tuning

Make OS tuning var configurable and file re-ordering

Make OS tuning var configurable and file re-ordering

Depending on the OS you are runnning on you should be able to configure
these values.
Re-ordering file for clarity as well.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #175 from leseb/fix-ice

Fix ICE installation

Fix ICE installation

Wrong ordering and variable.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #174 from leseb/update-group-vars

Update group_vars files to match roles defaults vars

Update group_vars files to match roles defaults vars

Updating each group_vars file to reflect the content of each role
default variables.

Closes: #169
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #173 from leseb/fix-vagrant-1.8-deployment

Fix vagrant deployment for vagrant version > 1.7

Fix vagrant deployment for vagrant version > 1.7

See: https://github.com/mitchellh/vagrant/issues/5048.

Closes: #172
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #171 from leseb/file-max

Bump up maximum number of open files

Bump up maximum number of open files

Large cluster will easily reach the default value so we increase it.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #170 from leseb/max-open-files

Bump up max open file for big cluster

Bump up max open file for big cluster

Big cluster will easily reach the default limit so we need to increase
it and make it configurable.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Revert "Remove the fsid vars from mon and osd roles"

This reverts commit 216c8e24c83a865a49798a7383fdda7e53b331cf.

Merge pull request #167 from leseb/fix-vagrant-fsid

Fix the vagrant deployment

Fix the vagrant deployment

Add a fetch/ceph_cluster_uuid.conf file so we keep the same UUID from
the Vagrantfile and from the ceph-common run.
Prior to that change the Vagrantfile was setting
4a158d27-f750-41d5-9e7f-26ce4c9d2d45 but while playing the ceph-common
role we check if fetch/ceph_cluster_uuid.conf exists, if not we generate
an UUID. Here we ended up with 2 UUIDs...

IMPORTANT NOTE FOR NON-VAGRANT DEPLOYMENT. IF YOU WANT TO USE YOUR OWN
UUID PLEASE REMOVE THAT FILE BEFORE RUNNING THE PLAYBOOK.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #166 from leseb/remove-unsed-vars

Remove the fsid vars from mon and osd roles

Remove the fsid vars from mon and osd roles

We do not need them since they get registered by the ceph-common role.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #165 from leseb/move-vars

Move role variables to defaults

Move role variables to defaults

Following best practices from
http://docs.ansible.com/playbooks_variables.html#variable-precedence-where-should-i-put-a-variable

Closes: #161
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #164 from leseb/ansible-yaml-parser

Add a dummy ansible host file for syntax checking

Add a dummy ansible host file for syntax checking

The Ansible YAML syntax checker needs an inventory file.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #163 from bmanojlovic/master

add quotes so ansible yaml parser do not barf on it...

add quotes so ansible yaml parser do not barf on it...

Merge pull request #160 from leseb/ice-rhel7-krbd-mod

Add ICE Kernel module support for Red Hat systems

Add ICE Kernel module support for Red Hat systems

Install Kernel modules from ICE for Ceph RBD.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #158 from leseb/zap-disk-before-osd-creation

Zap disk before running ceph-disk prepare

Zap disk before running ceph-disk prepare

We remove all the partitions, label and re-create something clean prior
to prepare the design. This will help solving many issues with existing
disks or while scratching/deploy test environments often.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #159 from leseb/ice-support-more-os

Add multi-OS support for ICE

Add multi-OS support for ICE

ICE supports Ubuntu, CentOS and RHEL.
Adding those.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #157 from leseb/fix-osd-autodiscovery

Fix OSD device auto-discovery

Fix OSD device auto-discovery

Missing variable, conditionnal didn't work.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #156 from leseb/disable-default-mds-rgw

Disable MDS and RGW from default

Disable MDS and RGW from default

MDS and RGW are not deployed often (RGW more), so we disable them from
the default deployment to only get MONs and OSDs.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #155 from leseb/ice-support

Add support for Intank Ceph Enterprise

Add support for Intank Ceph Enterprise

With the appropriate subscription details you will be able to use the
Inktank Ceph Enterprise version of Ceph running on RHEL7.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #148 from shinespb/master

added auto-discovery of OSD disks

Merge pull request #154 from leseb/fix-bootstrap-precise

Add support for Precise when installing ansible

Add support for Precise when installing ansible

Add support for precise and ppa.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #151 from matthewrees/100-continue

Support for 100-continue toggling for RGW

Merge pull request #153 from leseb/add-client

Introduce client configuration

Introduce client configuration

Introduce a client VM for KRBD and RGW.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Replaced shell based sed with apt_repo module call

Change to shell from command

Merge pull request #152 from leseb/fix-uuid-autogen

Fix auto uuid generation

Fix auto uuid generation

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Support for 100-continue toggling for RGW

Tested for Precise and Trusty.

Merge pull request #150 from ceph/revert-149-autogen-mon-secret

Revert "Fix autogen UUID and add auto gen monitor key"

Revert "Fix autogen UUID and add auto gen monitor key"

Merge pull request #149 from leseb/autogen-mon-secret

Fix autogen UUID and add auto gen monitor key

Fix autogen UUID and add auto gen monitor key

This fixes the UUID auto generation and introduces the monitor key auto
generation.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

added auto-discovery of OSD disks

Merge pull request #147 from leseb/autogen-fsid

Auto generate an FSID

Auto generate an FSID

It has becomes really anoying to manually generate an fsid prior to the
inital bootstrap. This commit introduces a method that auto-generates an
fsid. If for whatever reasons you want to force your own fsid you can
simply edit these 3 files and override the fsid variable:

- roles/ceph-common/vars/main.yml
- roles/ceph-mon/vars/main.yml
- roles/ceph-osd/vars/main.yml

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #7 from matthewrees/master

Rebase on master

Merge pull request #6 from ceph/master

Rebase from upstream

Merge pull request #142 from matthewrees/trusty-radosgw

Fixing errors in rgw playbook for Trusty

Merge pull request #145 from matthewrees/separate-ceph-keys

Standardising key addition

Revert URL-based key addition for Debian

Merge pull request #146 from leseb/fix-cephx

Fix wrong variable for cephx signature

Fix wrong variable for cephx signature

Add a comment for KRBD, enabling cephx signatures will prevent you to
map RBD devices.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Standardising key addition

Debian based repo’s now fetch keys in a similar manner to Redhat based
ones, and both stable and dev keys have entries in vars.

Merge pull request #3 from ceph/master

Rebase from upstream

Merge pull request #144 from leseb/ceph-client

Add more detail for the client socket

Add more detail for the client socket

Adding: cluster name, type, id and cctid.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #141 from matthewrees/monitor-interface

monitor_interface template change

Merge pull request #143 from leseb/fix-rh-install

Fix wrong vars during RH install

Fix wrong vars during RH install

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Fixing errors in rgw playbook for Trusty

- We don’t need ceph-extra for trusty
- Enable multiverse repo for access to libapache2-mod-fastcgi
- Update cache before attempting to install packages to register
multiverse repo and only refresh cache once an hour to avoid delays in
the playbook
- Add wildcard to disabling default site as on Ubuntu it is 000_default
by…default

Merge pull request #2 from ceph/master

Rebase from upstream

monitor_interface template change

This will fix the monitor_interface issue for Vagrant provisioning
while being preferred to using group_var entries for physical
deployments.

Merge pull request #140 from leseb/rbd-cache

Add a client section in the ceph configuration file

Add a client section in the ceph configuration file

In this section we enabled the rbd cache and a socket per client.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #139 from leseb/use-giant

Use Giant version

Use Giant version

Use the last stable version: Giant

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #138 from leseb/increase-pid-max

Increase kernel.pid_max to a higher value

Increase kernel.pid_max to a higher value

While running big boxes with 72 disks it's easy to get out of PID for
all the threads needed by Ceph. Increasing the default value removes
this limitation.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #1 from ceph/master

Rebase from upstream

Merge pull request #137 from matthewrees/vagrantfile

Further linting and deployment automation