[RM-12699] Use hosts.get() in mon_create_initial()

That way we can pass callbacks

Fixes: #12699
Signed-off-by: Travis Rhoden <trhoden@redhat.com>
Reported-by: Bill Lubanovic <blubanovic@penguincomputing.com>

Merge pull request #345 from ceph/RM-11115

check if ceph is installed

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

[RM-11115] allow a list of callbacks when creating a connection

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] tests for the Ceph package module

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] prevent osd actions if ceph is not installed

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] check if ceph is installed before mon actions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] use the new class for normalized versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] make a class for normalized versions

Signed-off-by: Alfredo Deza <adeza@redhat.com>

[RM-11115] add a callback for checking if ceph is installed

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #341 from trhoden/RM-12649

mon add: start new mon without calling 'ceph mon add'

[RM-12649] No need to call "ceph mon add"

ceph mon add is not needed - merely starting the ceph-mon
daemon will cause it to join the cluster when all the other
steps have been done properly.

Calling "ceph mon add" as we were doing leads to hangs when
moving from 1 to 2 monitors.

Fixes: #12649
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #344 from mbroz/systemd

Detect and support both systemd and sysvinit on Fedora, RHEL and CentOS

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Travis Rhoden <trhoden@redhat.com>

[RM-11115] initial take on a Ceph package object

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #343 from trhoden/RM-12663

use 'rpm --import', not 'rpmkeys --import'

Detect and support both systemd and sysvinit on Fedora, RHEL and CentOS

To properly install systemd-enabled and old (sysvinit) Ceph packages
we need to properly detect when systemd target is used.

This cannot be done just by checking distro version, it depends
on Ceph package content (sysvinit can be used on systemd distro as well).

Let's check ceph.target existence and enable systemd only in this case.

Signed-off-by: Milan Broz <mbroz@redhat.com>

[RM-12663] use 'rpm --import', not 'rpmkeys --import'

for EL6 compatibility

Fixes: #12663
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #342 from trhoden/RM-12644

Remove duplicate package management code

[RM-12644] Kill duplicate pkg mgmt code

Ah, payoff!  Feels nice.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12644] Kill TestRPM

pkg_managers.rpm() is unused in the codebase.

There are places that *could* use it, but I'd rather roll that into
pkg_managers.RPMBaseManager at some point

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12644] Add tests for DNF package manager

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12644] Convert Yum/Apt/Zypper tests to use new classes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12644] Use distro.packager in 'calamari connect'

Refs: #12644

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12644] Use distro.packager for "ceph-deploy pkg"

Refs: #12644

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #339 from mbroz/systemd

Do not enable non-existing ceph service on systemd managed EL distros.

Reviewed-By: Travis Rhoden <trhoden@redhat.com>

Merge pull request #340 from ceph/RM-12631

[RM-12631] catch syntax errors in tox runs

Do not enable non-existing ceph service on systemd managed distros.

Once systemd integration is ready, "systemctl enable ceph" fails
because there is no longer such service (OSD units arte generated).
Enable ceph.target instead.

Signed-off-by: Milan Broz <mbroz@redhat.com>

[RM-12631] catch syntax errors in tox runs

Signed-off-by: Alfredo Deza <adeza@redhat.com>

1.5.27

Merge pull request #338 from trhoden/RM-12626

new release prep

[RM-12626] Bump version number

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12626] Add docs for repo command

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12626] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #337 from trhoden/RM-12480

Allow package upgrades with DNF

[RM-12480] debian: use extra_remove_flags instead of purge flag

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12480] Allow kwargs and extra_remove_flags for remove()

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12480] debian: Pass extra install args consistently

I should be using **kw more to handle these optional items.
Make Apt consistent with RPM now.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12480] Use "dnf install --best" so that upgrades happen

Fixes: #12480
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12480] Allow kwargs and extra_install_flags for install()

Refs: #12480

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12480] fedora: don't set repo priority twice

For dev mode installs, fedora install() calls centos.mirror_install(),
and both these methods were setting yum repo priorities.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #336 from trhoden/RM-12477

Only install priorities plugin when using Yum

[RM-12477] kill install_priorities_plugin()

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] centos: more selective install of yum-plugin-priorities

Only install plugin if using Yum for repo_install and mirror_install.

This is needed because Fedora re-uses these methods

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] fedora: priorities plugin only on Yum

Fixes: #12477
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12477] Add 'name' attribute to pkg manager classes

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #335 from trhoden/RM-12553

Add "ceph-deploy repo" command

[RM-12553] remote write_file - remove file first if it exists

This way a new file mode can be applied if it has changed.

Since we are always writing the whole file (mode 'w') rather than
appending, we aren't losing anything by doing this.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Apt repo file mode 0600 when URL has pw

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Allow a file mode when writing apt repo

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] repo: Allow URLs to be passed by env var

This is more secure if the repo URL contains a user:pass combo

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Clarify comments when writing repo files

These comments get printed to the console, and were a bit
misleading/ambiguous.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Add Apt package pinning after repo add

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Remove beginning newline from Yum repo template

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Call add_repo() to create repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] RPM: write out repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12553] Add ability to delete a repo file

Refs: #12553

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #332 from ceph/wip-systemd

systemd changes for F22

Reviewed-By: Travis Rhoden <trhoden@redhat.com>

Merge pull request #334 from trhoden/RM-12439

Use package manager classes for remaining distros

[RM-12439] suse: Use Zypper Class pkg manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] Add Zypper Class for pkg management

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] debian: use Apt Class pkg manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] Add Apt Class for pkg management

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] rhel: use Yum Class package manager

Refs: #12439

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12439] centos: use Yum Class package manager

Refs: #12439

Merge pull request #333 from trhoden/RM-12543

Only install requested packages for Debian, CentOS, Fedora

[RM-12543] suse: use common map_components()

Update the SUSE tests to use the right pieces as well.

Removed the "invalid" test because the common map_components()
does not have a whitelist of packages (though it could).  It
doesn't police what package names go through it, it just modifies
specific ones that you ask it to.

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] fedora: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] centos: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] debian: only install requested packages

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12543] Add map_components() for sorting out split pkgs

Refs: #12543

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

rgw: fix systemd creation

Analogous changes to mds create.

Signed-off-by: Sage Weil <sage@redhat.com>

mds: fix create on systemd

Signed-off-by: Sage Weil <sage@redhat.com>

fedora: use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

rgw: enable appropriate ceph-radosgw@ if systemd

Note that this still doesn't work quite right... perhaps the pass in init
is not systemd?

Signed-off-by: Sage Weil <sage@redhat.com>

Merge pull request #331 from trhoden/RM-12541

Drop explicit gdisk in debian/install

[RM-12541] Drop explicit gdisk in debian/install

gdisk has been a proper dependency in Ceph packages since before
Firefly.  There is no need to install it directly.

Fixes: #12541
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #330 from trhoden/RM-12083-argparse-cleanup

More help/argparse cleanup

Reviewed-By: Dan Mick <dmick@redhat.com>

mon: fix create on fedora to use systemd

Signed-off-by: Sage Weil <sage@redhat.com>

[RM-12083] Remove unused code re: argparse "prog"

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12083] "Ceph" Should be capitalized in help output

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

1.5.26

[RM-12414] Bump version

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12414] Update changelog

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #329 from trhoden/RM-12259-dnf

Class-based package managers to add DNF support for Fedora 22

Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Dan Mick <dmick@redhat.com>

Merge pull request #328 from trhoden/RM-12374

[RM-12374] Pass mon host list from ceph.conf to mon_create

[RM-12374] Pass mon host list from ceph.conf to mon_create

When using mon_create_initial(), we already have list of initial mon
members from the config file.  Pass it to mon_create() in args.mon
so that mon_create() does not throw an exception when it finds that
args.mon does not exist.

This is actually an optimization as well. mon_create_initial() always
looked up mon_initial_members from the config file, but didn't pass that
to mon_create().  mon_create() would then see that args.mon was empty
and then look up mon_initial_members *again*.  Now we only need to open
and read the file once.

Fixes: #12374
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #327 from trhoden/BZ-1228842

[BZ-1228842] Echo RGW default port during rgw create

[BZ-1228842] Echo RGW default port during rgw create

Let the user know the default port has been used for RGW, as the
default port is probably not one people will guess.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use packager object for Fedora uninstall

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Pass full distro module to uninstall()

Not having the distro modules be objects shows it's limitations
here, as there is no easy way for a module to reference itself.
Technically you could reference itself by name (e.g. have the
fedora module use ceph_deploy.hosts.fedora.packager), but that
is pretty ugly and continues to rely on global vars.

For now, just pass the full distro module instead of distro.conn
so that we can easily access distro.* attributes.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Set packager to module top-level (Fedora only)

Put the logic of selecting the appropriate packager into the hosts.get(),
that way the packager is available to all module methods (like install()
and uninstall()) without having to figure it out each time.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Fedora: install priority plugin using packager class

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Use DNF by default for Fedora >=22

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

[RM-12259] Add classes for Yum and DNF package managers

Introduce Yum and DNF classes that extend a base RPMManager class
that contains all the commonalities between Yum and DNF.

Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #314 from mbroz/master

Set owner of directory and keyrings according to owner of /var/lib/ceph.

Reviewed-by: Travis Rhoden <trhoden@redhat.com>
Reviewed-by: Boris Ranto <branto@redhat.com>
Reviewed-by: Alfredo Deza <adeza@redhat.com>
Reviewed-by: Owen Synge <osynge@suse.com>

Set owner of directory and keyrings according to owner of /var/lib/ceph.

If Ceph is running under a separate ceph user, it requires access
to various files under this user.
This patch tries to set owner of these files to the current owner
of base_dir (/var/lib/ceph).

If the ceph directory is owned by root, it expects old installation
and should work with old tools as well (avoids --setuser option).

Signed-off-by: Milan Broz <mbroz@redhat.com>

Merge pull request #325 from trhoden/RM-12330

[RM-12330] Pin mock version to work on Python 2.6

[RM-12330] Pin mock version to work on Python 2.6

Fixes: #12330
Signed-off-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #324 from ddiss/suse_install_bundled_v3

Install SUSE-built packages by default for SUSE distros

Reviewed-by: Travis Rhoden <trhoden@redhat.com>

Merge pull request #323 from trhoden/RM-12147

Fix mutex groups in ceph-deploy install

Merge pull request #322 from trhoden/RM-12168

[RM-12168] Don't use store_true and default=None