Merge pull request #560 from stpierre/cephx-false-skip-key-permissions

Cephx false skip key permissions

Merge pull request #528 from bengland2/iso_mount

make sure /etc/fstab is always valid at boot time no matter what

revert absent->unmounted as leseb requested

Merge pull request #558 from stpierre/firewall-check-improvements

Improve firewall checks

Improve firewall checks

The firewall checks can fail for any number of reasons -- e.g., the
ceph cluster hostnames are unresolvable from the ansible host, or the
ports are filtered by some intermediate hop, etc. Make two changes to
make those checks better:

* Set pipefail when running the checks, so if nmap itself fails the
  command will be marked as 'failed'. Specifically, this fixes the
  case where the hostnames cannot be resolved.
* Add a new variable, check_firewall, which can be used to disable
  checks entirely. Specifically, this fixes the case where some
  intermediate firewall filters the ports, so nmap returns "filtered".

Do not set key permissions with cephx: false

If cephx is set to false, the "set keys permissions" task fails with:

file ({# ceph_keys.stdout_lines #}) is absent, cannot continue

This skips that step when cephx is false.

Merge pull request #554 from ceph/octal-file-perms

Octal file perms

ceph-osd: use fact logic to set permissions

Signed-off-by: Sébastien Han <seb@redhat.com>

Octal file permissions must contain leading zero

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #551 from ceph/add-ceph-fetch-key

contrib: add ceph-fetch-keys

contrib: add ceph-fetch-keys

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #550 from ceph/fetch-keys-role

Adds a new role, ceph-fetch-keys

a playbook to add an OSD to an existing cluster

The playbook uses the ceph-fetch-keys role to connect to the mons and
retrieve keys for the OSD bootstrapping. Ensure that all your mons for
the cluster you're adding the OSD to is in your inventory in the mons
group. This ensures that a proper ceph.conf is created for the new OSD.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Adds a new ceph-fetch-keys role

The purpose of this is so we can connect to the mons and gather the keys
needed to configure an OSD or additonal MON without having to reconfigure
the existing mons at the same time.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #549 from retspen/master

Added support parallels provider

Added support parallels provider

Merge pull request #548 from ceph/more-tags

adds some more --package-install tags; make check_mandatory_vars more specific

make mandatory variable checks only apply when needed

In our use case we might only be configuring mons and not osds in the
same call, so we don't want to check variables needed for osds when they
are not needed to configure a mon.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

add the package-install tags to some tasks in check_mandatory_vars

We'll want these checks to always run when we're installing packages

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #543 from ceph/min_free_kbytes

ceph-common: calculate vm.min_free_kbytes

ceph-common: use stdout for the register var

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-common: do not calculate vm.min_free_kbytes

we preserve the default kernel value.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #542 from KGoreczny/upgrade_purge_cluster

Rewrite purge-cluster playbook

Merge pull request #546 from ceph/separate-agent

separate the agent so it doesn't break standard installs

Unify quotation marks

Signed-off-by: KGoreczny <krzysztof.goreczny@intel.com>

remove the agent from the mons

Signed-off-by: Alfredo Deza <adeza@redhat.com>

separate the agent so it doesn't break standard installs

Mainly because some packages are still not there for upstream which will cause
it to break installs that would otherwise would succeed

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #544 from ceph/contrib-rhscon

contrib: add the ceph-agent

Merge pull request #539 from ceph/rhscon-support

rhscon (storage agent)

gitignore group_vars/agent

Signed-off-by: Alfredo Deza <adeza@redhat.com>

contrib: add the ceph-agent

Signed-off-by: Sébastien Han <seb@redhat.com>

Add dnf package support; change condition checks for package managers

Signed-off-by: KGoreczny <krzysztof.goreczny@intel.com>

Use yum and apt modules instead of package to provide Ansible <2.0 support; fix typo

Signed-off-by: KGoreczny <krzysztof.goreczny@intel.com>

ceph-common: update group_vars vm.min_free_kbytes

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #541 from haasn/master

ceph-common: use explicit action syntax for config_template

ceph-common: calculate vm.min_free_kbytes

based on the os memory we calculate the value for vm.min_free_kbytes

Signed-off-by: Sébastien Han <seb@redhat.com>

Rewrite purge-cluster playbook

Signed-off-by: Krzysztof Goreczny <krzysztof.goreczny@intel.com>

use the agent on monitors on site.yml.sample

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a group_vars agent sample file

Signed-off-by: Alfredo Deza <adeza@redhat.com>

fix wording on defaults main.yml

Signed-off-by: Alfredo Deza <adeza@redhat.com>

only check for subscription manager on RH systems

Signed-off-by: Alfredo Deza <adeza@redhat.com>

ceph-common: use explicit action syntax for config_template

This fails with "ERROR! no action detected in task" otherwise.

Merge pull request #540 from ceph/fix-autodiscover-osd

ceph-osd: fix the autodiscovery osd scenario

ceph-osd: fix the autodiscovery osd scenario

the parted command wasn't getting the devices properly and the partition
count is not necessary.

Signed-off-by: Sébastien Han <seb@redhat.com>

check for subscription manager

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create the task to install and configure the agent

Signed-off-by: Alfredo Deza <adeza@redhat.com>

better reword the master host variable

Signed-off-by: Alfredo Deza <adeza@redhat.com>

create a template for the ceph agent minion

Signed-off-by: Alfredo Deza <adeza@redhat.com>

define the supported versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

initial files for the ceph-agent role

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #538 from ceph/galaxy-requirements

add a galaxy dependency file example

add a galaxy dependency file example

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #536 from ceph/fix-auto-discover-disk

ceph-osd: fix the auto discovery scenario

ceph-osd: fix register variable

as stated in https://github.com/ansible/ansible/issues/4297
if we register a variable twice and even if a task is skipped the
  register will not get overwritten... So we use the fact variant as
  mentionned in the ansible issue.

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-osd: simply the regex to check the device

Signed-off-by: Sébastien Han <seb@redhat.com>

ceph-osd: fix the auto discovery scenario

While this is not widly used (AFAIK :p) the feature was broken. Thanks
to @zmc for reporting it. You can now set `osd_auto_discovery` to
true in your group_vars/osd and it will go through all the devices
available and will make them OSDs.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #535 from dang/rgw_addr

Allow RGW and client VMs together

Allow RGW and client VMs together

RGW and Client VMs were sharing a network range, causing vagrant
failure.  Bump the RGW range to the next value.

Merge pull request #534 from ceph/fix-osd-typo

ceph-osd: docker: fix type

ceph-osd: docker: fix type

use ceph_osd_docker_devices and not ceph_osd_docker_device

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #533 from ceph/use-ansible-version

use the ansible_version variable

use the ansible_version variable

use the builtin variable to check the ansible version

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge branch 'master' of github.com:ceph/ceph-ansible

Merge pull request #526 from mattt416/issue_525

Change modes to string values

make sure /etc/fstab is always valid at boot time no matter what

Merge pull request #526 from mattt416/issue_525

Change modes to string values

Change modes to string values

Currently deploying a MON fails with "bad symbolic permission for mode"
errors due to the file/directory modes not being interpreted as octal
values.  This commit updates roles/ceph-common/tasks/main.yml to set
the file/directory modes to strings so they can be interpreted
correctly.

Closes issue #525

Merge pull request #524 from ceph/fix-typo

ceph-rgw: fix docker typo

ceph-rgw: fix docker typo

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #521 from ceph/vagrant-container

ceph-ansible: allow to run containerized daemons

ceph-ansible: allow to run containerized daemons

run containerized daemons in virtual machines.
to enable it simply do:

`cp site-docker.yml.sample site-docker.yml`

and set `docker: true` in `vagrant_variables.yml`

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #519 from ceph/restapi-meta

ceph-restapi: fix meta file

ceph-restapi: fix meta file

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #512 from guits/quick_fix

Refact code using `set_fact` to handle 'legacy' versions

Refact code using `set_fact`

At the moment, all the tasks using the file module are duplicated to have differents ownerships depending on the fact `is_ceph_infernalis`.
The goal of this commit is to have a new logic for this:
- First set facts depending on the `is_ceph_infernalis` fact
- Create the files or directories using the setted facts as ownerships.

Merge pull request #516 from ceph/ansible-v2-warnings

ceph-common: replace 'sudo' by 'become'

ceph-common: replace 'sudo' by 'become'

to avoid warning from ansible v2. works for both `1.9.4` and `2.0.0.2`.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #514 from ceph/pkg-install-tags

Adds a package-install tag to all installation tasks

Adds a package-install tag to all installation tasks

We have a requirement to install the packages first without
configuration. These tags should allow us to target the tasks need to do
that.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #508 from mattt416/upgrade_flag

Control when ceph packages get updated

Merge pull request #511 from ceph/use-pythonuuid

ceph-common: use a generic way to create uuid

ceph-common: use a generic way to create uuid

as reported in #510 some systems don't have uuidgen installed so we
better use a more global way to generate it. It sounds like python
should be available in case uuidgen is not.
Otherwise we will have to find another way :)

closes #510

Signed-off-by: Sébastien Han <seb@redhat.com>

Control when ceph packages get updated

Currently, all the ceph package installation resources use
"state=latest", which means subsequent runs of the ceph playbooks
could result in ceph being upgraded if there are package updates
available in the selected repo.

This commit adds a new variable to ceph-common called
'upgrade_ceph_packages' which defaults to False.  This variable is used
in the package installation resources for ceph packages to determine if
the resource should use "state=present" or "state=latest".  If the
variable gets set to True, "state=latest" will be used.

Additionally, we update rolling_update.yml to override
upgrade_ceph_packages to true to permit package upgrades in this
context specifically.

Closes issue #506

Merge pull request #493 from ceph/sudo-test

CI does not use root, but sudo will do fine

fix type on ice template

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #502 from ceph/use-dnf

use dnf when yum is not available

use dnf when yum is not available

fixes the `importError: No module named yum` see here:
https://jenkins.ceph.com/job/ceph-ansible-pull-requests/45/console

Signed-off-by: Sébastien Han <seb@redhat.com>

remove remote_user from test.yml so it uses the current user

We need this so that the CI tests with jenkins will use the correct
user with sudo access.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

create a single-machine inventory for testing

Signed-off-by: Alfredo Deza <adeza@redhat.com>

CI does not use root, but sudo will do fine

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #501 from ceph/common-defaults

Add defaults for ceph_stable_ice_tmp_path and ceph_stable_ice_kmod

Add defaults for ceph_stable_ice_tmp_path and ceph_stable_ice_kmod

It seems that in ansible 2.0 even if a task is skipped by it's `when`
clause not evaluating to true the variables in the play are still
rendered. Because these were not defined in defaults/main.yml ansible
was failing in installs/install_on_redhat where those variables are
being used in a `with_items` stanza.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #500 from ceph/python-pip

Fix pip package name on debian

Fix pip package name on debian

use python-pip and not pip

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #498 from ceph/fsid-monitor-key

remove unecessary variables

remove unecessary variables

these variables will be created on the fly, there is no need to force
them.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #497 from ceph/vm-kybte

update group_vars/all.sample with min_free_kbytes

update group_vars/all.sample with min_free_kbytes

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #490 from ceph/ansible-2

Necessary change to work on ansible v2

Necessary change to work on ansible v2

Signed-off-by: Sébastien Han <seb@redhat.com>