docker: add Dockerfile for Linode cluster dev env

This Dockerfile is for setting up a dev environment for launching Ceph
clusters on Linode.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #977 from ceph/switch-bare-metal-to-container

ability to switch from bare metal to containerized daemons

Merge pull request #981 from ceph/persistent-disk-path

ceph-osd: get full link path when testing if a partition

Merge pull request #982 from batrick/linode

vagrant: add support for Linode VMs

ability to switch from bare metal to containerized daemons

Signed-off-by: Sébastien Han <seb@redhat.com>

vagrant: add support for Linode VMs

Other things of note:

o You can now set the ceph branch to test against in
  vagrant_variables.yml.

o You can now set the ceph_conf_overrides in vagrant_variables.yml.

This commit depends on an open PR:

https://github.com/displague/vagrant-linode/pull/66

Until that is merged, you must copy the changed file to your copy
of the vagrant-linode plugin, e.g.:

    cp lib/vagrant-linode/actions/create.rb ~/.vagrant.d/gems/gems/vagrant-linode-0.2.7/lib/vagrant-linode/actions/create.rb

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

ceph-osd: get full link path when testing if a partition

This allows us to test devices set with persistent naming such as
/dev/disk/by-*
When registering devices we can use persisent (/dev/disk/by-*) or
non-persistent (/dev/sd*). Both declarations are supported by
ceph-ansible. There was just two tasks that were not compatible with
this. Since we support using partitions directly we need to test that
because the device activation will be different. To test if the device
is a partition we use a regular expression which wasn't compatible with
the persistent device naming format (/dev/disk/by-*).

This commit solves this issue by reading the path of the symlink since
devices like /dev/disk/by-* are symlinks to devices like /dev/sd*

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph.conf: add variable setting monitor addr block

For some providers (such as upcoming Linode support), some NICs may have
multiple IP addresses. (In the case of Linode, the only NIC has a public
and private IP address.) This is normally okay as we can use the
ceph.conf cluster_network and public_network variables to force the
monitor to listen on the addresses we want. However, we also need
ansible to set the correct monitor IP addresses in "mon hosts" (i.e. the
addresses the monitors will listen on!). This new monitor_address_block
setting tells ansible which IP address to use for each monitor.

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #980 from batrick/deploy_monitors-py2

deploy_monitors: use python2 for v2 code

deploy_monitors: use python2 for v2 code

Signed-off-by: Patrick Donnelly <pdonnell@redhat.com>

Merge pull request #978 from FranBarrera/openstack-add-floating-ip

Add floating_ip_pool openstack

Add floating-ip openstack

Signed-off-by: FranBarrera <FranBarrera6@gmail.com>

Merge pull request #976 from FranBarrera/add-openstack-net

Add network Openstack

Add net openstack

Signed-off-by: FranBarrera <franbarrera6@gmail.com>

Revert "Add net openstack"

This reverts commit 4e4433cd81a2b8a30a28d321b052c27c92cd1544.

Revert "add net in vagrant_variables.yml.sample"

This reverts commit a0172d42383767d348dcce57d9159736345a2c85.

add net in vagrant_variables.yml.sample

Signed-off-by: FranBarrera <franbarrera6@gmail.com>

Add net openstack

Signed-off-by: FranBarrera <franbarrera6@gmail.com>

Merge pull request #975 from ceph/remove-compact-upggrade

rolling updates: remove mon compact command

rolling updates: remove mon compact command

Users have reported this task to hang. Since this command is not
required to perform the upgrade, we remove it.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #972 from racpatel/fix-rolling_update

rolling_update.yml will not work if cluster name is other than ceph

rolling_update.yml will not work if cluster name is not 'ceph'. Adding --cluster will solve this problem

 Fixes issue #969

Signed-off-by: Rachana Patel <rachana83.patel@gmail.com>

Merge pull request #960 from ceph/prepare-lrbd

iscsi-gw: preparing the new iscsi role

iscsi-gw: preparing the new iscsi role

adding the bare minimum to test and start the new role.

Signed-off-by: Sébastien Han <seb@redhat.com>

groups_vars update

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge branch 'master' of github.com:ceph/ceph-ansible

common: declare raw_journal_devices

So we can safely pass the check and avoid the undeclared variable error.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #959 from font/nfs

NFS fixes

NFS fixes

- Move mon_containerized_default_ceph_conf_with_kv config from ceph-mon
  to ceph-common defaults as it's used in ceph-nfs
- Update conditional to generate ganesha config when not
  mon_containerized_default_ceph_conf_with_kv
- Revert change to store radosgw keyring using ansible_hostname on
  ansible server so that ceph-nfs can find it
- Update ceph-ceph-nfs0-rgw-user container to use ansible_hostname
  variable

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Merge pull request #957 from gbraad/patch-readme

Correct naming of referenced file

Merge pull request #956 from gbraad/patch-1

Correct a small typo

Correct naming of referenced file

Correct a small typo and description

Merge pull request #955 from font/rgw

Fix for ceph-rgw role

Merge pull request #954 from font/purge

Update relative path to include vars

Merge pull request #951 from ceph/fix-docker-cluster-name

Fix docker cluster name

Fix for ceph-rgw role

- Short-circuit conditional to prevent dereferencing an undefined
  dictionary variable

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Update relative path to include vars

Signed-off-by: Ivan Font <ivan.font@redhat.com>

docker: fix osd configuration

use the activation scenario instead of the full ceph_disk one, we
already have a task to prepare osds so we just need to activate the
device.

working for me using vagrant :)

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: fix more than one monitor deployment

There is no need to run the actions from
roles/ceph-mon/tasks/docker/create_configs.yml
on the first monitor only since the monitor deployment happens
**serially**.
Moreover with Vagrant it's useful to allow the auto creation of the
cluster fsid, so enabling the option. If this is not desired you can
still set `fsid: 9c9c0448-0551-401d-b55b-e5b3a42bae42` for example.

Signed-off-by: Sébastien Han <seb@redhat.com>

docker: use cluster name

Fix cluster name for docker scenario and other playbooks.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #947 from font/cephconf

Restrict fact gathering to mons and update ceph.conf

Merge pull request #948 from font/rbdmirror

Add ceph-rbd-mirror role to containerized sample playbook

Add ceph-rbd-mirror role to containerized sample playbook

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Restrict fact gathering to mons and update ceph.conf

- Gather facts only for mons before processing ceph-mon role serially in
  containerized playbook sample
- Updated ceph.conf in order to generate a valid ceph.conf

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Merge pull request #945 from ceph/fix-docker

docker: gather all the fact

docker: gather all the fact

If we don't do this we won't be able to get the ip address of the docker
interface.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #931 from font/rbdmirror_purge

Update for containerized purge cluster playbook

Include group_vars files in purge cluster playbook

- Add all relevant group_vars files in containerized purge cluster
  playbook and ignore errors if file may not exist.
- Also fixing indentation issues.

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Update for containerized purge cluster playbook

- Added support for purging containerized rbd-mirror node

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Merge pull request #941 from dang/nfs-rgw

NFS fixups

Merge pull request #924 from jsaintrocc/check-part-speedup

check_devices.yml cleanup and optimization

NFS fixups

- Move fsal_rgw config to ceph-common, as it's shaered with ceph-rgw
- Update all.docker.sample with NFS config
- Rename fsal_rgw to nfs_obj_gw and fsal_ceph to nfs_file_gw, because
  the former names mean nothing to non-Ganesha developers

Signed-off-by: Daniel Gryniewicz <dang@redhat.com>

Merge pull request #936 from jsaintrocc/multisite

RGW Multisite Support

Rebased and moved multisite/rgw playbooks to infrastructure-playbooks

Merged with Upstream Master

Merge pull request #938 from ASBishop/issue/843

Fix pre-infernalis RPM installation of ceph-radosgw

Fix pre-infernalis RPM installation of ceph-radosgw

For pre-infernalis installation of ceph-radosgw from RPM, run 'chkconfig'
to ensure systemd's ceph-radosgw.service is created.

This fixes issue #843.

Merge pull request #939 from ceph/playbook-dir

create a directory for infrastructure playbooks

create a directory for infrastructure playbooks

Since we have a couple of infrastructure related playbooks
(additionnally to the roles we are using to deploy Ceph), it makes sense
to have them located in a separate directory.

Signed-off-by: Sébastien Han <seb@redhat.com>

fixed name: capitilization

Merge pull request #937 from font/vagvars

Add rbd-mirror to vagrant variables atomic sample

Fixed quotes and removed combined_ prefix from variables that no longer need it

Add rbd-mirror to vagrant variables atomic sample

Signed-off-by: Ivan Font <ivan.font@redhat.com>

Experimental RGW Multisite Support

Merge pull request #933 from font/cephconf

Fix ceph.conf template for containerized deployment

Merge pull request #929 from ceph/shrink-cluster

add shrink playbook

Merge pull request #935 from cdwertmann/patch-2

Remove duplicate "max open files"

Merge pull request #932 from dang/nfs-rgw

NFS for FSAL_RGW

Merge pull request #934 from ceph/issue-811

rename ceph_stable_rh_storage to ceph_stable_rhcs

Remove duplicate "max open files"

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in prerequisites for iso install

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in prerequisites for cdn install

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs when installing rhs on redhat

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs when installing rhs on debian

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in mandatory vars

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in system checks

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in main task

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in repo template

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in defaults

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

ceph-common: convert ceph_stable_rh_storage to ceph_rhcs in README

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

group_vars: convert ceph_stable_rh_storage to ceph_rhcs

Signed-off-by: Alfredo Deza <adeza@redhat.com>
Resolves: issue#811

Fix ceph.conf template for containerized deployment

Signed-off-by: Ivan Font <ivan.font@redhat.com>

add shrink playbooks: mons and osds

We now have the ability to shrink a ceph cluster with the help of 2 new
playbooks. Even if a lot portions of those are identical I thought I
would make more sense to separate both for several reasons:

* it is rare to remove mon(s) and osd(s)
* this remains a tricky process so to avoid any overlap we keep things
* separated

For monitors, just select the list of the monitor hostnames you want to
delete from the cluster and execute the playbook like this. The hostname
must be resolvable. Then run the playbook like this:

ansible-playbook shrink-cluster.yml -e mon_host=ceph-mon-01,ceph-mon-02
Are you sure you want to shrink the cluster? [no]: yes

For OSDs, just select the list of the OSD id you want to delete from the
cluster and execute the playbook like this:

ansible-playbook shrink-cluster.yml -e osd_ids=0,2,4
Are you sure you want to shrink the cluster? [no]: yes

If you know what you're doing you can run it like this:

ansible-playbook shrink-cluster.yml -e ireallymeanit=yes -e
osd_ids=0,2,4

Thanks a lot to @SamYaple for his help on the complex
variables/fact/filters

Signed-off-by: Sébastien Han <seb@redhat.com>

NFS for FSAL_RGW

Add support for FSAL_RGW to the NFS gateway.  Both standard and
containerized versions are supported.

Merge pull request #928 from danielin917/ceph-ansible-from-src

Allow ceph-ansible to be run on a locally built/installed Ceph

Allow ceph-ansible to be run on a locally built/installed Ceph

-First install ceph into a directory with CMake
cmake -DCMAKE_INSTALL_LIBEXECDIR=/usr/lib -DWITH_SYSTEMD=ON -DCMAKE_INSTALL_PREFIX:PATH:=/usr <ceph_src_dir> && make DESTDIR=<install_dir> install/strip

-Ceph-ansible copies over the install_dir

-User can use rundep_installer.sh to install any runtime dependencies that ceph needs onto the machine from rundep

Merge pull request #815 from ceph/ceph-initial-mon

WIP ceph-common: test mon initial members

Merge pull request #930 from font/rbdmirror

Updates for containerized rbd-mirror role

Updates for containerized rbd-mirror role

- Remove /var/lib/ceph dependencies
- Add support for rbd-mirror image tag

Signed-off-by: Ivan Font <ivan.font@redhat.com>

code cleanup

Initial support for RGW Multisite

Merge pull request #927 from ceph/fixes-dmcrypt

osd: fix collocation spelling and declare dmcrypt variables

Merge pull request #923 from danielin917/rsync_vagrant

Changes to allow for flexible rsync directory

Changes to allow for flexible rsync directory

-rsync directory was hardcoded previously and did not reflect the default /vagrant rsync directory

Merge pull request #900 from ceph/rhbz-1339576

purge-cluster: remove -q flag from grep to prevent broken pipes

osd: fix collocation spelling and declare dmcrypt variables

* changed s/colocation/collocation/
* declare dmcrypt variable in ceph-common so the variables check does
not fail

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #926 from jsaintrocc/purge-local-sudo

Fix local_action Requiring Root and Various Small Fixes

Various small fixes: local_action required root, ansible2 warnings, using file module instead of rm

ceph_devices.yml cleanup and optimization