Merge pull request #336 from trhoden/RM-12477

Only install priorities plugin when using Yum

[RM-12477] kill install_priorities_plugin()

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] centos: more selective install of yum-plugin-priorities

Only install plugin if using Yum for repo_install and mirror_install.

This is needed because Fedora re-uses these methods

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] fedora: priorities plugin only on Yum

Fixes: #12477
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] Add 'name' attribute to pkg manager classes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #335 from trhoden/RM-12553

Add "ceph-deploy repo" command

[RM-12553] remote write_file - remove file first if it exists

This way a new file mode can be applied if it has changed.

Since we are always writing the whole file (mode 'w') rather than
appending, we aren't losing anything by doing this.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Apt repo file mode 0600 when URL has pw

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Allow a file mode when writing apt repo

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] repo: Allow URLs to be passed by env var

This is more secure if the repo URL contains a user:pass combo

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Clarify comments when writing repo files

These comments get printed to the console, and were a bit
misleading/ambiguous.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Add Apt package pinning after repo add

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Remove beginning newline from Yum repo template

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Call add_repo() to create repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] RPM: write out repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Add ability to delete a repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #332 from ceph/wip-systemd

systemd changes for F22

Reviewed-By: Travis Rhoden <trhoden@redhat.com>

Merge pull request #334 from trhoden/RM-12439

Use package manager classes for remaining distros

[RM-12439] suse: Use Zypper Class pkg manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] Add Zypper Class for pkg management

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] debian: use Apt Class pkg manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] Add Apt Class for pkg management

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] rhel: use Yum Class package manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] centos: use Yum Class package manager

Refs: #12439

Merge pull request #333 from trhoden/RM-12543

Only install requested packages for Debian, CentOS, Fedora

[RM-12543] suse: use common map_components()

Update the SUSE tests to use the right pieces as well.

Removed the "invalid" test because the common map_components()
does not have a whitelist of packages (though it could).  It
doesn't police what package names go through it, it just modifies
specific ones that you ask it to.

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] fedora: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] centos: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] debian: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] Add map_components() for sorting out split pkgs

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

rgw: fix systemd creation

Analogous changes to mds create.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: fix create on systemd

Signed-off-by: Sage Weil <sage@redhat.com>

fedora: use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

rgw: enable appropriate ceph-radosgw@ if systemd

Note that this still doesn't work quite right... perhaps the pass in init
is not systemd?

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #331 from trhoden/RM-12541

Drop explicit gdisk in debian/install

[RM-12541] Drop explicit gdisk in debian/install

gdisk has been a proper dependency in Ceph packages since before
Firefly.  There is no need to install it directly.

Fixes: #12541
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #330 from trhoden/RM-12083-argparse-cleanup

More help/argparse cleanup

Reviewed-By: Dan Mick <dmick@redhat.com>

mon: fix create on fedora to use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

[RM-12083] Remove unused code re: argparse "prog"

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12083] "Ceph" Should be capitalized in help output

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

1.5.26

[RM-12414] Bump version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12414] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #329 from trhoden/RM-12259-dnf

Class-based package managers to add DNF support for Fedora 22

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #328 from trhoden/RM-12374

[RM-12374] Pass mon host list from ceph.conf to mon_create

[RM-12374] Pass mon host list from ceph.conf to mon_create

When using mon_create_initial(), we already have list of initial mon
members from the config file.  Pass it to mon_create() in args.mon
so that mon_create() does not throw an exception when it finds that
args.mon does not exist.

This is actually an optimization as well. mon_create_initial() always
looked up mon_initial_members from the config file, but didn't pass that
to mon_create().  mon_create() would then see that args.mon was empty
and then look up mon_initial_members *again*.  Now we only need to open
and read the file once.

Fixes: #12374
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #327 from trhoden/BZ-1228842

[BZ-1228842] Echo RGW default port during rgw create

[BZ-1228842] Echo RGW default port during rgw create

Let the user know the default port has been used for RGW, as the
default port is probably not one people will guess.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use packager object for Fedora uninstall

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Pass full distro module to uninstall()

Not having the distro modules be objects shows it's limitations
here, as there is no easy way for a module to reference itself.
Technically you could reference itself by name (e.g. have the
fedora module use ceph_deploy.hosts.fedora.packager), but that
is pretty ugly and continues to rely on global vars.

For now, just pass the full distro module instead of distro.conn
so that we can easily access distro.* attributes.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Set packager to module top-level (Fedora only)

Put the logic of selecting the appropriate packager into the hosts.get(),
that way the packager is available to all module methods (like install()
and uninstall()) without having to figure it out each time.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Fedora: install priority plugin using packager class

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use DNF by default for Fedora >=22

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Add classes for Yum and DNF package managers

Introduce Yum and DNF classes that extend a base RPMManager class
that contains all the commonalities between Yum and DNF.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #314 from mbroz/master

Set owner of directory and keyrings according to owner of /var/lib/ceph.

Reviewed-by: Travis Rhoden <trhoden@redhat.com>
Reviewed-by: Boris Ranto <branto@redhat.com>
Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Owen Synge <osynge@suse.com>

Set owner of directory and keyrings according to owner of /var/lib/ceph.

If Ceph is running under a separate ceph user, it requires access
to various files under this user.
This patch tries to set owner of these files to the current owner
of base_dir (/var/lib/ceph).

If the ceph directory is owned by root, it expects old installation
and should work with old tools as well (avoids --setuser option).

Signed-off-by: Milan Broz <mbroz@redhat.com>

Merge pull request #325 from trhoden/RM-12330

[RM-12330] Pin mock version to work on Python 2.6

[RM-12330] Pin mock version to work on Python 2.6

Fixes: #12330
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #324 from ddiss/suse_install_bundled_v3

Install SUSE-built packages by default for SUSE distros

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #323 from trhoden/RM-12147

Fix mutex groups in ceph-deploy install

Merge pull request #322 from trhoden/RM-12168

[RM-12168] Don't use store_true and default=None

Merge pull request #321 from trhoden/RM-12171

[RM-12171] Make pkg --install and --remove mutually exclusive

Add tests for component to SUSE package mapping

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/uninstall: use the zypper remove helper

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/uninstall: remove the ceph-common package

ceph-common can be installed individually via ceph-deploy install
--common parameter, so it should also be present in the uninstall
package list.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: only install requested components

Until now, the SUSE back-end has ignored requests for installation of
specific components and always installed the base ceph and ceph-radosgw
packages.
This change maps component specific installation requests to SUSE
package names using the previously added map_components() helper.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: map from component to pkg names

ceph-deploy uses ceph-osd, ceph-mds and ceph-mon component names. On
SUSE platforms, these are all provided by the base ceph-package.
ceph-radosgw and ceph-common are separate, so can be installed
independently.

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: use zypper helpers for mirror_install

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: use distribution packages by default

SUSE and openSUSE are moving to ship Ceph with distribution media.
ceph-deploy should therefore default to using these packages, unless
directed otherwise via --repo-url.

This change is similar to a previous patch by Owen Synge.

Signed-off-by: David Disseldorp <ddiss@suse.de>

pkg_managers: add zypper refresh helper

Add "zypper refresh" alongside the existing installation and removal
helper functions.

Signed-off-by: David Disseldorp <ddiss@suse.de>

[RM-12147] Put repo mod flags in a mutex

--adjust-repos and --no-adjust-repos were not in a mutex group.
Fix that.

Also --repo will always install a new repo file, regardless of
--[no]-adjust-repos, so it might as well be in the same mutex
group.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12147] Set arg defaults in correct places

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12147] Take non version related switches out of version mutex

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12168] Don't use store_true and default=None

Not sure why this was ever seen as necessary.  With the store_true
action, it will be False if not present, True if passed on the CLI.

We just need to the boolean value, and there is no need to set
the flag to None instead of False when it is not present.

Fixes: #12168
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12171] Make pkg --install and --remove mutually exclusive

The code could not handle both being present, so make sure that we
don't allow that on the CLI.

Add unit tests for pkg.

Remove nargs=?. Using '?' doesn't make any sense unless a default
or const flag is also provided, which they aren't.  We want to make
sure there is one string provided, which is the default behavior.

Fixes: #12171
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #316 from trhoden/RM-12150

Enforce proper number of hosts on CLI

[RM-12150] Require at least one host for 'rgw create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mon destroy'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Don't create new list from mon_host when we already have one

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Enforce 1 host only for 'mon add' via argparse

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mds create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] update help entry for 'ceph-deploy config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #313 from trhoden/BZ-12151-subcommands

Use argparse subparsers when subcommands have their own subcommands

[RM-12151] Add description to ToggleRawTextHelpFormatter

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] args.fs_type is always set

It has a default value, no need to check 'if args.fs_type:'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Remove redundant check for allowed fstypes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable tests for disk subcommands

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move disk subcmds to subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable 'osd' tests related to subcommand options and help

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'osd' subcommands to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'rgw create' to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Redo mon sub command help text

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Add new 'ToggleRawTextHelpFormatter'

The existing use of argparse.RawDescriptionHelpFormatter seems to stem
from wanting to use newlines in argparse help output.  To use the raw
text formatter, you have to provide a static string that is always
output with --help.

The problem is that the defintion of this help string is pretty
disconnected from the rest of the code. You are documenting options many
lines away from where they are defined instead of normally being at the
same time.

To solve this, introduce a new ToggleRawTextHelpFormatter that allows
for the optional use of Raw text on any individual help item by
prefixing it with 'R|'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #311 from trhoden/RM-11742-test-cleanup

Add tests for argparse

[RM-11742] Remove more duplicate tests

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy calamari

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy config

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy admin

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy osd

Signed-off-by: Travis Rhoden <trhoden@redhat.com>