Update for infrastructure-playbooks execution

- Updates to allow running infrastructure-playbooks both from within its
  directory or root directory of ceph-ansible.

Signed-off-by: Ivan Font <ifont@redhat.com>

Merge pull request #1051 from ceph/syntax-fixes

infrastructure-playbooks: fix syntax errors in all playbooks

infrastructure-playbooks: fix syntax errors in all playbooks

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #1029 from badone/wip-python2

site.yml.sample: Attempt to install python2

Merge pull request #1042 from verdurin/centos-extras-ini_file

Change enabling of extras repo for CentOS to use ini_file

Merge pull request #1043 from ceph/rbd-pg

mon: destroy and recreate rbd pool if necessary

mon: destroy and recreate rbd pool if necessary

Users reported that pool_default_pg_num is not honoured for the default
pool 'rbd'. So now we check the pg num value for the RBD pool and if it
does not match pool_default_pg_num then we delete and recreate it.
We also make sure the pool is empty first, just in case someone changed
the value manually and didn't reflect the change in ceph-ansible.

The only issue with this patch is that the pool ID will not be 0 anymore
but more likely 1.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1044 from batrick/no-vagrant-dev-branch

vagrant: use group_vars for ceph pkg source

vagrant: use group_vars for ceph pkg source

This was a holdout from the Linode merge that shouldn't have been
included. The right way to set the installation source is through
group_vars.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Change enabling of extras repo for CentOS to use ini_file

Signed-off-by: Adam Huffman <bloch@verdurin.com>

Merge pull request #1039 from analbeard/master

fixed breakage on Debian under ansible v2.0 caused by #74d73d1e65b672…

fixed breakage on Debian under ansible v2.0 caused by #74d73d1e65b6720c0372c61aea7a627e4e571a3b

Merge pull request #1035 from verdurin/centos-extras

Ensure extras repo enabled on CentOS

Merge pull request #1036 from analbeard/master

forced an apt-get update prior to installing any packages from Ceph r…

Ensure extras repo enabled for CentOS across different roles

Signed-off-by: Adam Huffman <bloch@verdurin.com>

forced an apt-get update prior to installing any packages from Ceph repos

Remove superfluous distro family check

Signed-off-by: Adam Huffman <bloch@verdurin.com>

site.yml.sample: Attempt to install python2

Some modern distros ship without python2 so we need to install it blindly,
before any module is run. Fedora > 23 also requires some aditional packages be
installed.

Signed-off-by: Brad Hubbard <bhubbard@redhat.com>

Ensure extras repo enabled on CentOS

Merge pull request #1022 from jsaintrocc/vagrant-xenial

Updated to use xenial by default.  Added OSD specific controller.

Merge pull request #1028 from badone/wip-vagrant_box_url

vagrant_variables.yml.sample: vagrant_url should be vagrant_box_url

vagrant_variables.yml.sample: vagrant_url should be vagrant_box_url

As per the variable in Vagrantfile and vagrant_variables.yml.linode

Signed-off-by: Brad Hubbard <bhubbard@redhat.com>

Merge pull request #1023 from ceph/fix-copy-rundep

common: fix rundep installation

Switched to using the bento/ubuntu-16.04 box

common: fix rundep installation

see: https://bugzilla.redhat.com/show_bug.cgi?id=1382878

Signed-off-by: Sébastien Han <seb@redhat.com>

Updated to use xenial by default.  Added OSD specific controller so we are less dependent on boxes controller

Merge pull request #1019 from font/vagrant-openstack-config

Updates to fix running with openstack

Updates to fix running with OpenStack

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Merge pull request #1015 from font/vagrant_net_cfg

Create separate subnet for public/cluster networks

Use same private subnet for public/cluster networks for OpenStack

Use same private subnet for public/cluster networks for Linode

Create separate subnet for public/cluster networks

- All Ceph instances now communicate using public subnet and
  additionally OSDs communicate with each other using private cluster
  subnet
- Workaround for
  https://github.com/vagrant-libvirt/vagrant-libvirt/issues/645
- Fix for #952 to avoid concatenated MAC addresses caused by
  vagrant-libvirt bug.

Merge pull request #1014 from 9seconds/cluster_name_for_ceph_fetch_keys

Allow to propagate cluster name to ceph-fetch-keys

Update ceph-fetch-keys vars sample

Merge remote-tracking branch 'upstream/master' into cluster_name_for_ceph_fetch_keys

Merge pull request #1016 from suuuper/master

Fixed packages for red hat

generate_group_vars: add ceph-fetch-keys

Signed-off-by: Sébastien Han <seb@redhat.com>

Fixed packages for red hat

Allow to propagate cluster name to ceph-fetch-keys

ceph-fetch-keys role currently works only if cluster name is 'ceph'.
This commit allows to set custom cluster name in 'defaults' in the same
fashion as other roles do.

Merge pull request #1012 from ceph/cluster-name-rolling

rolling_update: improve variables import

rolling_update: improve variables import

we now have pointer to default role so we don't miss any of the
variables defined.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1009 from ceph/clarify-osd-scenarios

osd: clarify osd scenarios

osd: clarify osd scenarios

Co-Authored-By: Rachana Patel <racpatel@redhat.com>
Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #1008 from font/purge-cluster-rework

Reworked purge cluster playbook

Merge pull request #1006 from ceph/fix-autodiscovery

osd: fix autodiscovery disk

Merge pull request #1007 from lae/fix/multi_journal_header_task

Remove dupes in raw_journal_devices in a consistent manner

osd: fix autodiscovery disk

Signed-off-by: Sébastien Han <seb@redhat.com>
Co-Authored-By: Christoph Dwertmann

Reworked purge cluster playbook

- Separated out one large playbook into multiple playbooks to run
  host-type by host-type i.e. mdss, rgws, rbdmirrors, nfss, osds, mons.
- Combined common tasks into one shared task for all hosts where
  applicable
- Fixed various bugs

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Remove dupes in raw_journal_devices in a consistent manner

Merge pull request #1005 from OrFriedmann/fix-ubuntu-apt-nfs-ganesha

Fix ubuntu apt nfs ganesha

Update install_on_debian.yml

add installation of jemalloc for nfs-ganesha

add repositories required for nfs-ganesha

Merge pull request #2 from ceph/master

Update

Merge pull request #966 from ceph/nfs-ganesha-repo

common: add gluster ganesha repo on Debian

Merge pull request #961 from ceph/fix-purge

purge: only purge ceph partitions

purge: only purge ceph partitions

Prior to this change we were purging all the partitions on the device
when using the raw_journal_devices scenario.
This was breaking deployments where other partitions are used for other
purposes (ie: OS system).

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #996 from batrick/multimds

multimds: add commands to enable and set max_mds

multimds: add commands to enable and set max_mds

Also regenerated group_vars.

Fixes #986.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

secure_cluster: fix leftover version check

Missed by #953.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #1004 from analbeard/master

Debian installation: fix Ansible compilation and correct syntax for Ansible v2

updated Debian package installation syntax for Ansible v2

fixed installation on Debian Jessie

Merge pull request #994 from ceph/bz-1203603

fix non skipped task for ansible v1.9.x

Merge pull request #953 from jsaintrocc/hammerfix

Fixes for Hammer install and added numerical release checks

Merge pull request #1001 from ceph/timeout-upgrade

upgrade: add custom timeout options

fix non skipped task for ansible v1.9.x

please refer to
https://bugzilla.redhat.com/show_bug.cgi?id=1376283

Signed-off-by: Sébastien Han <seb@redhat.com>

upgrade: add custom timeout options

This commit introduces the ability to configure delays and retries for
cluster health checks, for both monitors and OSDs.

Signed-off-by: Sébastien Han <seb@redhat.com>

Updated release version check

Rebased

Merge pull request #998 from batrick/vagrant-label-prefix

vagrant: add label_prefix setting

Merge pull request #1000 from Oloremo/master

Small fix in config template

Remove duplication of "osd crush chooseleaf type"

Signed-off-by: Proskurin Kirill <kproskurin@mirantis.com>

Fixed check to legacy ceph_stable_releases list

Merge pull request #999 from ktdreyer/rhcs-2-default

group_vars: default to version 2 of RHCS

Used list style ands for better readibility and fixed legacy debian checks

Rebased with upstream master

vagrant: add label_prefix setting

This enables running multiple clusters concurrently in the same Linode
account. Linode does not allow machines to have the same label.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

group_vars: default to version 2 of RHCS

This RHCS version is now generally available. Default to using it.

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Signed-off-by: Ken Dreyer <kdreyer@redhat.com>
Related: rhbz#1357631

Merge pull request #997 from batrick/client-ceph-fuse

ceph-common: install ceph-fuse on clients

ceph-common: install ceph-fuse on clients

Fixes #985.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #988 from batrick/linode-dockerfile

docker: add Dockerfile for Linode cluster dev env

Merge pull request #990 from font/iscsi

Adding iscsi_gw_vms variable

Merge pull request #984 from thotypous/master

Allow deployer to customize openstack pools

Adding iscsi_gw_vms variable

Signed-off-by: Ivan Font <ivan.font@redhat.com>

docker: add README documenting directory purpose

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Allow deployer to customize openstack pools

By overriding the openstack_pools variable introduced by this commit, the
deployer may choose not to create some of the openstack pools, or to add
new pools which were not foreseen by ceph-ansible, e.g. for a gnocchi
storage backend.

For backwards compatibility, we keep the openstack_glance_pool,
openstack_cinder_pool, openstack_nova_pool and
openstack_cinder_backup_pool variables, although the user may now choose
to specify the pools directly as dictionary literals inside the
openstack_pools list.

Merge pull request #989 from ceph/switch-bare-metal-to-container

ability to switch from bare metal to containerized daemons

ability to switch from bare metal to containerized daemons

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: add Dockerfile for Linode cluster dev env

This Dockerfile is for setting up a dev environment for launching Ceph
clusters on Linode.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #977 from ceph/switch-bare-metal-to-container

ability to switch from bare metal to containerized daemons

Merge pull request #981 from ceph/persistent-disk-path

ceph-osd: get full link path when testing if a partition

Merge pull request #982 from batrick/linode

vagrant: add support for Linode VMs

ability to switch from bare metal to containerized daemons

Signed-off-by: Sébastien Han <seb@redhat.com>

vagrant: add support for Linode VMs

Other things of note:

o You can now set the ceph branch to test against in
  vagrant_variables.yml.

o You can now set the ceph_conf_overrides in vagrant_variables.yml.

This commit depends on an open PR:

https://github.com/displague/vagrant-linode/pull/66

Until that is merged, you must copy the changed file to your copy
of the vagrant-linode plugin, e.g.:

    cp lib/vagrant-linode/actions/create.rb ~/.vagrant.d/gems/gems/vagrant-linode-0.2.7/lib/vagrant-linode/actions/create.rb

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

ceph-osd: get full link path when testing if a partition

This allows us to test devices set with persistent naming such as
/dev/disk/by-*
When registering devices we can use persisent (/dev/disk/by-*) or
non-persistent (/dev/sd*). Both declarations are supported by
ceph-ansible. There was just two tasks that were not compatible with
this. Since we support using partitions directly we need to test that
because the device activation will be different. To test if the device
is a partition we use a regular expression which wasn't compatible with
the persistent device naming format (/dev/disk/by-*).

This commit solves this issue by reading the path of the symlink since
devices like /dev/disk/by-* are symlinks to devices like /dev/sd*

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph.conf: add variable setting monitor addr block

For some providers (such as upcoming Linode support), some NICs may have
multiple IP addresses. (In the case of Linode, the only NIC has a public
and private IP address.) This is normally okay as we can use the
ceph.conf cluster_network and public_network variables to force the
monitor to listen on the addresses we want. However, we also need
ansible to set the correct monitor IP addresses in "mon hosts" (i.e. the
addresses the monitors will listen on!). This new monitor_address_block
setting tells ansible which IP address to use for each monitor.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #980 from batrick/deploy_monitors-py2

deploy_monitors: use python2 for v2 code

deploy_monitors: use python2 for v2 code

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #978 from FranBarrera/openstack-add-floating-ip

Add floating_ip_pool openstack