rgw: fix systemd creation

Analogous changes to mds create.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: fix create on systemd

Signed-off-by: Sage Weil <sage@redhat.com>

fedora: use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

rgw: enable appropriate ceph-radosgw@ if systemd

Note that this still doesn't work quite right... perhaps the pass in init
is not systemd?

Signed-off-by: Sage Weil <sage@redhat.com>

mon: fix create on fedora to use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

1.5.26

[RM-12414] Bump version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12414] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #329 from trhoden/RM-12259-dnf

Class-based package managers to add DNF support for Fedora 22

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #328 from trhoden/RM-12374

[RM-12374] Pass mon host list from ceph.conf to mon_create

[RM-12374] Pass mon host list from ceph.conf to mon_create

When using mon_create_initial(), we already have list of initial mon
members from the config file.  Pass it to mon_create() in args.mon
so that mon_create() does not throw an exception when it finds that
args.mon does not exist.

This is actually an optimization as well. mon_create_initial() always
looked up mon_initial_members from the config file, but didn't pass that
to mon_create().  mon_create() would then see that args.mon was empty
and then look up mon_initial_members *again*.  Now we only need to open
and read the file once.

Fixes: #12374
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #327 from trhoden/BZ-1228842

[BZ-1228842] Echo RGW default port during rgw create

[BZ-1228842] Echo RGW default port during rgw create

Let the user know the default port has been used for RGW, as the
default port is probably not one people will guess.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use packager object for Fedora uninstall

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Pass full distro module to uninstall()

Not having the distro modules be objects shows it's limitations
here, as there is no easy way for a module to reference itself.
Technically you could reference itself by name (e.g. have the
fedora module use ceph_deploy.hosts.fedora.packager), but that
is pretty ugly and continues to rely on global vars.

For now, just pass the full distro module instead of distro.conn
so that we can easily access distro.* attributes.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Set packager to module top-level (Fedora only)

Put the logic of selecting the appropriate packager into the hosts.get(),
that way the packager is available to all module methods (like install()
and uninstall()) without having to figure it out each time.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Fedora: install priority plugin using packager class

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use DNF by default for Fedora >=22

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Add classes for Yum and DNF package managers

Introduce Yum and DNF classes that extend a base RPMManager class
that contains all the commonalities between Yum and DNF.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #314 from mbroz/master

Set owner of directory and keyrings according to owner of /var/lib/ceph.

Reviewed-by: Travis Rhoden <trhoden@redhat.com>
Reviewed-by: Boris Ranto <branto@redhat.com>
Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Owen Synge <osynge@suse.com>

Set owner of directory and keyrings according to owner of /var/lib/ceph.

If Ceph is running under a separate ceph user, it requires access
to various files under this user.
This patch tries to set owner of these files to the current owner
of base_dir (/var/lib/ceph).

If the ceph directory is owned by root, it expects old installation
and should work with old tools as well (avoids --setuser option).

Signed-off-by: Milan Broz <mbroz@redhat.com>

Merge pull request #325 from trhoden/RM-12330

[RM-12330] Pin mock version to work on Python 2.6

[RM-12330] Pin mock version to work on Python 2.6

Fixes: #12330
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #324 from ddiss/suse_install_bundled_v3

Install SUSE-built packages by default for SUSE distros

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #323 from trhoden/RM-12147

Fix mutex groups in ceph-deploy install

Merge pull request #322 from trhoden/RM-12168

[RM-12168] Don't use store_true and default=None

Merge pull request #321 from trhoden/RM-12171

[RM-12171] Make pkg --install and --remove mutually exclusive

Add tests for component to SUSE package mapping

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/uninstall: use the zypper remove helper

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/uninstall: remove the ceph-common package

ceph-common can be installed individually via ceph-deploy install
--common parameter, so it should also be present in the uninstall
package list.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: only install requested components

Until now, the SUSE back-end has ignored requests for installation of
specific components and always installed the base ceph and ceph-radosgw
packages.
This change maps component specific installation requests to SUSE
package names using the previously added map_components() helper.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: map from component to pkg names

ceph-deploy uses ceph-osd, ceph-mds and ceph-mon component names. On
SUSE platforms, these are all provided by the base ceph-package.
ceph-radosgw and ceph-common are separate, so can be installed
independently.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: use zypper helpers for mirror_install

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: use distribution packages by default

SUSE and openSUSE are moving to ship Ceph with distribution media.
ceph-deploy should therefore default to using these packages, unless
directed otherwise via --repo-url.

This change is similar to a previous patch by Owen Synge.

Signed-off-by: David Disseldorp <ddiss@suse.de>

pkg_managers: add zypper refresh helper

Add "zypper refresh" alongside the existing installation and removal
helper functions.

Signed-off-by: David Disseldorp <ddiss@suse.de>

[RM-12147] Put repo mod flags in a mutex

--adjust-repos and --no-adjust-repos were not in a mutex group.
Fix that.

Also --repo will always install a new repo file, regardless of
--[no]-adjust-repos, so it might as well be in the same mutex
group.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12147] Set arg defaults in correct places

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12147] Take non version related switches out of version mutex

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12168] Don't use store_true and default=None

Not sure why this was ever seen as necessary.  With the store_true
action, it will be False if not present, True if passed on the CLI.

We just need to the boolean value, and there is no need to set
the flag to None instead of False when it is not present.

Fixes: #12168
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12171] Make pkg --install and --remove mutually exclusive

The code could not handle both being present, so make sure that we
don't allow that on the CLI.

Add unit tests for pkg.

Remove nargs=?. Using '?' doesn't make any sense unless a default
or const flag is also provided, which they aren't.  We want to make
sure there is one string provided, which is the default behavior.

Fixes: #12171
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #316 from trhoden/RM-12150

Enforce proper number of hosts on CLI

[RM-12150] Require at least one host for 'rgw create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mon destroy'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Don't create new list from mon_host when we already have one

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Enforce 1 host only for 'mon add' via argparse

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mds create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] update help entry for 'ceph-deploy config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #313 from trhoden/BZ-12151-subcommands

Use argparse subparsers when subcommands have their own subcommands

[RM-12151] Add description to ToggleRawTextHelpFormatter

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] args.fs_type is always set

It has a default value, no need to check 'if args.fs_type:'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Remove redundant check for allowed fstypes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable tests for disk subcommands

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move disk subcmds to subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable 'osd' tests related to subcommand options and help

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'osd' subcommands to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'rgw create' to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Redo mon sub command help text

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Add new 'ToggleRawTextHelpFormatter'

The existing use of argparse.RawDescriptionHelpFormatter seems to stem
from wanting to use newlines in argparse help output.  To use the raw
text formatter, you have to provide a static string that is always
output with --help.

The problem is that the defintion of this help string is pretty
disconnected from the rest of the code. You are documenting options many
lines away from where they are defined instead of normally being at the
same time.

To solve this, introduce a new ToggleRawTextHelpFormatter that allows
for the optional use of Raw text on any individual help item by
prefixing it with 'R|'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #311 from trhoden/RM-11742-test-cleanup

Add tests for argparse

[RM-11742] Remove more duplicate tests

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy calamari

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy config

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy admin

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy osd

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy disk

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for gatherkeys

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Remove duplicate tests from test_cli_mon

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for mon destroy

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for mon add

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #301 from trhoden/RM-11742-test-cleanup

Some test cleanup

Merge pull request #310 from tchaikov/throws-at-mons-in-mon_add

[BZ-1231203] throws if multiple mon are passed to "mon add"

doc: "mon destroy" accepts multiple nodes

Signed-off-by: Kefu Chai <kchai@redhat.com>

[BZ-1231203] throws if multiple mon are passed to "mon add"

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #307 from honkiko/for_mint

support for distro Mint which is based on ubuntu

support for distro Mint which is based on ubuntu

Signed-off-by: Hong Zhiguo <zhiguohong@tencent.com>

Merge pull request #306 from trhoden/RM-11572

[RM-11572] use http to get GPG key on Wheezy

[RM-11572] use http to get GPG key on Wheezy

Fixes: #11572
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #304 from alfredodeza/RM-11788

at runtime, display all flags and values

Fixes: #11788
Reviewed-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #305 from trhoden/RM-11406

Use git.ceph.com for GPG keys

[RM-11406] use gpg.url() for cephdeploy.conf template

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11788] create a bare class for testing strict attributes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11788] if the attribute is private do not log it

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11788] add tests for the new arg logger utility

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11406] use gpg.url() in SUSE too

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Support http or https for gpg url

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Get GPG key URL by function call

Everywhere but SUSE.  SUSE requires a bit more work to handle
http vs https.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Add function to get ceph.com GPG Key URL

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Point to git.ceph.com for GPG keys

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11788] nicely output the options and flags in use after overrides

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #303 from alfredodeza/BZ-1219310

allow to skip rpm imports with `cephdeploy.conf`

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

[BZ-1219310] add a doc section explaining sub-command overrides

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[BZ-1219310] when overriding, interpret truthy values before setting them

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[BZ-1219310] ensure that truthy values are interpreted correctly

Signed-off-by: Alfredo Deza <adeza@redhat.com>

1.5.25

[RM-11764] bump version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11764] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #302 from trhoden/BZ-1221830

[BZ-1221830] radosgw pkg is ceph-radosgw on RPM systems

[BZ-1221830] radosgw pkg is ceph-radosgw on RPM systems

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #300 from trhoden/RM-11694-admin-perms

Fix CVE-2015-4053 world-readable permissions on client.admin key

Reviewed-by: Dan Mick <dmick@redhat.com>
Reviewed-by: Sage Weil <sweil@redhat.com>