Merge pull request #240 from leseb/vagrant-boxes

Make more boxes available

Make more boxes available

The box can be configured thanks to a new var, look at vagrant_variables
and select your box.
Handy to test several distros deployment.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #239 from leseb/upstart-sysvinit

Rework upstart and sysvinit

Rework upstart and sysvinit

Once again and hopefully final commit to rework the support of both
upstart and sysvinit. As from now, Ubuntu systems will use upstart and
the others will use sysvinit.
A later commit might include the support of systemd as the unit files
come out. This will be for Hammer so probably soon.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #214 from mhubig/splitup

Adds an ansible playbook to split the roles from this repo.

Merge pull request #236 from leseb/fix-mon-upstart

Activate either sysvinit or upstart

Activate either sysvinit or upstart

Depending on the distro, init scripts will look for different files to
be available on the ceph data dir.
Fixing the upstart support here.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #235 from leseb/fix-rest-api

Default client is already client.restapi

Default client is already client.restapi

No need to specify it.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #234 from leseb/rework-rgw-keys

Fix RGW startup

Fix RGW startup

If the distribution wasn't Ubuntu, the check wasn't performed so the
evaluation in the task later wasn't possible.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #233 from leseb/fix-mds-pool-creation

Enforce var pool creation

Merge pull request #232 from leseb/ceph-rest-api

Implement Ceph REST API

Enforce var pool creation

Make sure that 'mds' is enabled before creating the filesystem.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Implement Ceph REST API

Now the Ceph REST API can be deployed.
Default implementation deploys it on the same nodes as the monitors
which should be fine.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #231 from leseb/fix-rgw-dir-path

Rework radosgw keys and data dir path

Rework radosgw keys and data dir path

Fix the usage of Upstart for Ubuntu machines instead of the init.d
script.
Note that because of the way upstart init script looks at the radosgw id
the command 'start radosgw id=' is broken, you should use 'start
radosgw-all' instead.
Keep backard compatibility with the radosgw init script as well by using
client prefixed by 'client.radosgw'.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #229 from leseb/improve-syntax

Improve YAML syntax

Improve YAML syntax

Improve readibility.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #211 from leseb/postdeployment-validator

WIP: first implementation of functional tests

Merge pull request #227 from leseb/fix-mds-giant

Fix MDS creation for version >= 0.84

Fix MDS creation for version >= 0.84

The ceph fs new command was introduced in Ceph 0.84. Prior to this
release, no manual steps are required to create a filesystem, and pools
named data and metadata exist by default.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #190 from leseb/coreos-support

Docker support

Docker support

WIP!

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #223 from leseb/vagrant-if

Fix Vagrant vars for MDS and RGW

Fix Vagrant vars for MDS and RGW

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #222 from leseb/improve-handlers

Improve Handler support

Improve Handler support

Now proper commands/actions are used per hosts and groups.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #212 from leseb/rbd-client-logs

Add RBD client logs support

Merge pull request #218 from leseb/radosgw-civetweb

Add support of civetweb for Rados Gateway

Add support of civetweb for Rados Gateway

Almost here.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #219 from leseb/fix-rgw-socket

Fix Rados Gateway socket path

Fix Rados Gateway socket path

Fixes: #217
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #216 from leseb/vagrant-vars

Use an external file to manage Vagrant variables

Use an external file to manage Vagrant variables

This is really handy when we are testing code since we don't need to
modify the Vagrantfile, which is tracked by git.
The next commit will ignore the vagrant_variables.yml file.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Adds ansible script to split this repo into roles.

Use it like this, to split and update:

ansible-playbook -i dummy-ansible-hosts contrib/splitup.yml \
  --tags split --extra-vars github=mhubig/ansible

ansible-playbook -i dummy-ansible-hosts contrib/splitup.yml \
  --tags update --extra-vars github=mhubig/ansible

Add RBD client logs support

The path must be writable by QEMU and allowed by SELinux or AppArmor

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

WIP: first implementation of functional tests

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #210 from leseb/multi-rgw-support

Bring multi RGW support

Bring multi RGW support

Now we can setup multi-rgw with the playbook.
Each rgw instance has its own key.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #209 from leseb/fix-rgw-section

Fix the rgw section

Fix the rgw section

If we use the hostname, the radosgw will lookup for a wrong secret.
Using the same name for all the gateways.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #208 from leseb/improve-rgw

Improve RGW config section

Improve RGW config section

Use hostname in socket and log.
Improve jinja template so when a var doesn't exist we don't indent the
next line.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #207 from leseb/fix-rgw-vagrant

Enable proper options while activating rgw or mds with Vagrant

Enable proper options while activating rgw or mds with Vagrant

When enabling radosgw virtual machines, we also need to enable the
radosgw variable. Same thing goes with the mds.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #206 from leseb/fix-rgw-keys

Fix RGW key fetching

Fix RGW key fetching

In a previous commit, key name changed, fixing this.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #204 from marmot21/patch-1

Update ceph.conf.j2

Update ceph.conf.j2

This is just a simple change that will allow multiple gateways

Merge pull request #202 from leseb/refactor-mon-keys

Refactor keys creation and fetching

Refactor keys creation and fetching

We isolated the key operations into a file and modified the fetch
function to collect all the new keys.
In the mean time fixed the pool creation since the command is not
indempotent.
Renamed the rgw key to work with the key collection.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #200 from leseb/mon-key

Add Monitor Keys example

Add Monitor Keys example

Can be useful when `ceph-authtool --gen-print-key` is not available.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #198 from leseb/ceph-client

Ability to populate OpenStack installation

Ability to populate OpenStack installation

Creates pools, keys and users.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #197 from flisky/master

fsid & ceph_stable_redhat_distro fixs up

update distro comment

so we don't need change them every ceph release

epel-release is mandatory

see: https://www.mail-archive.com/ceph-users@lists.ceph.com/msg14819.html
also: https://github.com/ceph/ceph-deploy/commit/831b130f98a18db09c862f56e80b788bbf094373

make sure we use **fsid** in command

update ceph noarch repo url

Merge pull request #196 from leseb/fix-travis-2

Fix Travis

Fix Travis

Only do syntax check now.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #195 from ceph/revert-194-fix-travis

Revert "Fix Travis run"

Revert "Fix Travis run"

Merge pull request #194 from leseb/fix-travis

Fix Travis run

Fix Travis run

Fix travis run and effectively test the playbooks.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #191 from leseb/travis

Add test to the playbooks

Add test to the playbooks

Through Travis.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #189 from leseb/change-controller-name

Change disk controller name

Change disk controller name

The recently added Trusty box was build with a Controller named
"SATAController", we must reuse the same name while adding our devices.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #188 from leseb/use-trusty-box

Upgrade to Trusty box

Upgrade to Trusty box

Use a Trusty box instead of Precise.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #187 from leseb/debug

Enable Ceph daemons debug options

Enable Ceph daemons debug options

Add debug options for Ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #186 from leseb/swapoff

Ability to disable swap

Ability to disable swap

With enough memory we will probably not need any swap.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #185 from leseb/os-tuning-vfs-pressure

Decrease vfs cache pressure

Decrease vfs cache pressure

On OSD servers we want to keep as much inodes and dentries in memory as
we can.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #184 from leseb/fix-transparent-huge-page-path

Fix transparent huge page sys path

Fix transparent huge page sys path

The old path was meant for old kernels...

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #183 from leseb/xfs-mount-option-sequential

Add more option to maximise sequential IO

Add more option to maximise sequential IO

Using the largeio,inode64,swalloc options usually improves sequential
workloads.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #182 from leseb/ice-fix-epel

Add yum priority plugin

Add yum priority plugin

Without this plugin if a Ceph version is present in a repo (let's say
epel) it will install the epel version and not the ICE version.
We install yum-plugin-priorities.noarch to honor the 'priority=1' flag.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #181 from leseb/transparent-hugepages

Ability to disable transparent hugepage

Ability to disable transparent hugepage

In storage world it's often recommended to disable transparent hugepages
as they will tend to lower performance.
Note that this change won't survive reboot. There are several ways to
disable this permanently such as:

* rc.local
* grub boot line

It's a bit tricky to do this in Ansible since it really depends on the
OS you're running on.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #180 from leseb/zone-reclaim-mode

Restructure OS tuning and add new value

Restructure OS tuning and add new value

We now use a single task and loop over a set of params, it's easier to
add now params.

Setting zone_reclaim_mode to 0.
See the discussion on the Ceph ML:
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2013-December/036211.html

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #177 from leseb/osd-sections

WIP: Implement OSD sections

Merge pull request #179 from leseb/force-vars

Make the monitor secret a mandatory variable.

Make the monitor secret a mandatory variable.

Default behavior is to fail if a variable is not declared however this
can be disable in your ansible.cfg so we force this variable as
mandatory.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

WIP: Implement OSD sections

Still WIP, @mwheckmann free to test
As requested by #162

Current known issue, since ceph.conf gets modified during every single
run (at the end during the merge) so this will restart ceph daemons.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #176 from leseb/os-tuning

Make OS tuning var configurable and file re-ordering

Make OS tuning var configurable and file re-ordering

Depending on the OS you are runnning on you should be able to configure
these values.
Re-ordering file for clarity as well.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #175 from leseb/fix-ice

Fix ICE installation

Fix ICE installation

Wrong ordering and variable.

Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #174 from leseb/update-group-vars

Update group_vars files to match roles defaults vars

Update group_vars files to match roles defaults vars

Updating each group_vars file to reflect the content of each role
default variables.

Closes: #169
Signed-off-by: Sébastien Han <sebastien.han@enovance.com>

Merge pull request #173 from leseb/fix-vagrant-1.8-deployment

Fix vagrant deployment for vagrant version > 1.7