suse/install: use zypper helpers for mirror_install

Signed-off-by: David Disseldorp <ddiss@suse.de>

suse/install: use distribution packages by default

SUSE and openSUSE are moving to ship Ceph with distribution media.
ceph-deploy should therefore default to using these packages, unless
directed otherwise via --repo-url.

This change is similar to a previous patch by Owen Synge.

Signed-off-by: David Disseldorp <ddiss@suse.de>

pkg_managers: add zypper refresh helper

Add "zypper refresh" alongside the existing installation and removal
helper functions.

Signed-off-by: David Disseldorp <ddiss@suse.de>

Merge pull request #316 from trhoden/RM-12150

Enforce proper number of hosts on CLI

[RM-12150] Require at least one host for 'rgw create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mon destroy'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Don't create new list from mon_host when we already have one

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Enforce 1 host only for 'mon add' via argparse

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'mds create'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] Require at least one host for 'config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12150] update help entry for 'ceph-deploy config'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #313 from trhoden/BZ-12151-subcommands

Use argparse subparsers when subcommands have their own subcommands

[RM-12151] Add description to ToggleRawTextHelpFormatter

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] args.fs_type is always set

It has a default value, no need to check 'if args.fs_type:'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Remove redundant check for allowed fstypes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable tests for disk subcommands

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move disk subcmds to subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Enable 'osd' tests related to subcommand options and help

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'osd' subcommands to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Move 'rgw create' to a subparser

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Redo mon sub command help text

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12151] Add new 'ToggleRawTextHelpFormatter'

The existing use of argparse.RawDescriptionHelpFormatter seems to stem
from wanting to use newlines in argparse help output.  To use the raw
text formatter, you have to provide a static string that is always
output with --help.

The problem is that the defintion of this help string is pretty
disconnected from the rest of the code. You are documenting options many
lines away from where they are defined instead of normally being at the
same time.

To solve this, introduce a new ToggleRawTextHelpFormatter that allows
for the optional use of Raw text on any individual help item by
prefixing it with 'R|'.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #311 from trhoden/RM-11742-test-cleanup

Add tests for argparse

[RM-11742] Remove more duplicate tests

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy calamari

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy config

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy admin

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy osd

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for ceph-deploy disk

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for gatherkeys

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Remove duplicate tests from test_cli_mon

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for mon destroy

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add argparse tests for mon add

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #301 from trhoden/RM-11742-test-cleanup

Some test cleanup

Merge pull request #310 from tchaikov/throws-at-mons-in-mon_add

[BZ-1231203] throws if multiple mon are passed to "mon add"

doc: "mon destroy" accepts multiple nodes

Signed-off-by: Kefu Chai <kchai@redhat.com>

[BZ-1231203] throws if multiple mon are passed to "mon add"

Signed-off-by: Kefu Chai <kchai@redhat.com>

Merge pull request #307 from honkiko/for_mint

support for distro Mint which is based on ubuntu

support for distro Mint which is based on ubuntu

Signed-off-by: Hong Zhiguo <zhiguohong@tencent.com>

Merge pull request #306 from trhoden/RM-11572

[RM-11572] use http to get GPG key on Wheezy

[RM-11572] use http to get GPG key on Wheezy

Fixes: #11572
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #304 from alfredodeza/RM-11788

at runtime, display all flags and values

Fixes: #11788
Reviewed-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #305 from trhoden/RM-11406

Use git.ceph.com for GPG keys

[RM-11406] use gpg.url() for cephdeploy.conf template

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11788] create a bare class for testing strict attributes

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11788] if the attribute is private do not log it

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11788] add tests for the new arg logger utility

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11406] use gpg.url() in SUSE too

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Support http or https for gpg url

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Get GPG key URL by function call

Everywhere but SUSE.  SUSE requires a bit more work to handle
http vs https.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Add function to get ceph.com GPG Key URL

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11406] Point to git.ceph.com for GPG keys

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11788] nicely output the options and flags in use after overrides

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #303 from alfredodeza/BZ-1219310

allow to skip rpm imports with `cephdeploy.conf`

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

[BZ-1219310] add a doc section explaining sub-command overrides

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[BZ-1219310] when overriding, interpret truthy values before setting them

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[BZ-1219310] ensure that truthy values are interpreted correctly

Signed-off-by: Alfredo Deza <adeza@redhat.com>

1.5.25

[RM-11764] bump version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11764] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #302 from trhoden/BZ-1221830

[BZ-1221830] radosgw pkg is ceph-radosgw on RPM systems

[BZ-1221830] radosgw pkg is ceph-radosgw on RPM systems

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #300 from trhoden/RM-11694-admin-perms

Fix CVE-2015-4053 world-readable permissions on client.admin key

Reviewed-by: Dan Mick <dmick@redhat.com>
Reviewed-by: Sage Weil <sweil@redhat.com>

[RM-11742] Correct test name

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Remove unneeded creation of .conf file

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] add check for 'too few arguments'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] rename test to be accurate

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add test for missing host(s) to 'new' cmd

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Cleanup imports in test_cli_new

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Always write admin keyring with mode 0600

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Add file mode option to write_file()

You an now pass a file mode to write_file with "mode=" and
it will set the file mode that after writing the file.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Cleanup imports in test_cli_mon

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11742] Add test for CLI --version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Add test for admin key file permissions

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Add optional directory to write_file()

This is mostly for testing purposes.  The method has no way to
specify a directory independently from the file name, which it
makes it difficult to use with automated tests.  It will get
refactored more later, but for now add a new kwarg that pass
in a dir to write to.  Since a lot of callers are passing in
absolute paths (.e.g. "/etc/ceph/keyring"), we look for the
beginning slash and chop it off so that we can use os.path.join()
and write into something like /tmp/etc/ceph.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Remove extraneous line

No need to get to the shortname of the host -- it was never used
and was also overwriting the variable used in the loop.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Add CLI test for "ceph-deploy admin"

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11694] Require at least one host for 'admin'

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #295 from osynge/wip_zypper_refresh_should_happen

suse/install.py: SUSE zypper refresh

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

suse/install.py: SUSE zypper refresh

zypper may not pull in latest packages if the repository cache is not updated
so we should do a 'zypper ref' before installing packages.

Signed-off-by: Owen Synge <osynge@suse.com>

Merge pull request #296 from osynge/wip_suse_rgw_package_is_called_ceph_radosgw

suse.uninstall: ceph-deploy purge fails on SUSE.

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

suse.uninstall: ceph-deploy purge fails on SUSE.

This is because ceph-deploy tries to remove a package that does not exist.

To fix this we need to change package name to correct name ceph-radosgw
from the old name radosgw.

Signed-off-by: Owen Synge <osynge@suse.com>

1.5.24

Merge pull request #292 from trhoden/RM-11672-v1.5.24

Prepare for new release

[RM-11672] Update version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-11672] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #291 from trhoden/BZ-1222505_new_sysvinit_nocustom

Disallow custom cluster names with 'new' command and sysvinit hosts

[BZ-1222505] Disallow 'new' cmd with sysvinit and custom name

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[BZ-1222505] Add ClusterNameError exception

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #289 from alfredodeza/BZ-1218962

Warn that mds failures on RHEL may be expected

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

[BZ-1218962] add an entry to the changelog

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[BZ-1218962] log as error that we can't deploy MDS in RHEL yet

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #288 from goldwynr/mds-systemd-enable

mds: enable on create with systemd

Merge pull request #290 from trhoden/admin_cli_install

Add --cli/--common option to ceph-deploy install

RM-11642: Remove unused flag from test_install.py

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

RM-11642: Add install-common to install tests

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

RM-11642: Add install of ceph-common only

Add options --cli and --common, both of which allow a user
to install only the ceph-common package on a node.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

mds: enable on create with systemd

Enable MDS services for distros having systemd.

Signed-off-by: Goldwyn Rodrigues <rgoldwyn@suse.com>

Merge pull request #287 from alfredodeza/1219344

fix `calamari connect`

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

remove --release flag as it is not longer needed for custom repos

Signed-off-by: Alfredo Deza <adeza@redhat.com>