ceph-rgw-workload.json: Set editable=False

BZ1506132

Signed-off-by: Zack Cerza <zack@redhat.com>

osd-node-detail.json: Don't hardcode cluster name

BZ1506200

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #147 from ceph/wip-libsemanage-python

Require libsemanage-python on collector nodes

Reviewed-by: Boris Ranto <branto@redhat.com>

Require libsemanage-python on collector nodes

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #141 from ceph/wip-fix-none-osd-colld

collectors: No update on fetch osd_stats failure

Merge pull request #143 from ceph/wip-pyyaml

Ensure PyYAML is installed on the Grafana node

Reviewed-by: Boris Ranto <branto@redhat.com>

Ensure PyYAML is installed on the Grafana node

It's needed by dashUpdater.py. BZ1497198

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #142 from ceph/ui-bz-fixes

Ui bz fixes

Reviewed-by: Boris Ranto <branto@redhat.com>

osd-information: disk size summary timings and metrics updated

Update to the query interval needed on larger configurations to make sure
all samples are present and OSD size table units updated. BZ1496186

osd-node-detail: updated to correct disk units

All disk units now showing as decimal not binary values. In addition
help text updated on the raw capacity panel to better explain how the
value is derived. BZ1496186

ceph-pools : sort and selection fixes

sortByMaxima added to queries and filter (pool_name) added to the
recovery pool overview panel to work the same as the others. BZ1499734

at-a-glance: updates to address OSD UP state issues

OSD Hosts and RGW Hosts panel changed to vonage status panel to better
reflect UP states BZ1498504

Merge pull request #139 from ceph/wip-packaging

Finalize packaging changes

rpm: Move the rpm patch off the gitroot

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #140 from ceph/wip-vonage-color

Tweak Vonage panel color in newer versions

collectors: No update on fetch osd_stats failure

We currently do not check that we were able to successfully fetch the
osd_stas for a given osd_id which can result in collectors being down
for a while. We should check that we were able to fetch them before we
actually try to update them.

Signed-off-by: Boris Ranto <branto@redhat.com>

Tweak Vonage panel color in newer versions

The plugin recently added a system for configurable colors, breaking our
earlier hack. Add a new one.

See: https://github.com/Vonage/Grafana_Status_panel/commit/8633ba23bb2f336342ba3f7002a07be597b6e816

Signed-off-by: Zack Cerza <zack@redhat.com>

rpm: ipaddr ansible filter requires python-netaddr

Signed-off-by: Boris Ranto <branto@redhat.com>

ansible: Disable devel_mode

Signed-off-by: Boris Ranto <branto@redhat.com>

ansible: Fix merge_vars.yml

Currently, we override the variables in merge_vars. However, if we run
the script several times (e.g. a host is a grafana and a collectd node)
then vars[item] is defined but it can be that it is not a mapping. In
this case we redefine the value to empty string breaking the actual
values of the variables.

We redefine e.g. devel_mode or use_epel to empty string this way making
it false for the grafana server node that is both grafana and the
collectd node.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #138 from ceph/dboard-fixes

dashboard updates to address minor usability issues

Reviewed-by: Boris Ranto <branto@redhat.com>

Merge pull request #137 from ceph/wip-graphite-migrate

Fix graphite migration

dashboard updates to address minor usability issues

ceph-at-a-glance: Capacity util panel now links directly to the capacity
chart in the ceph-cluster dashboard BZ 1496198

ceph-osd-information: query timespan changed from the default 1hr to 1m
aligning to the OSDs panel query on the 'at-a-glance' dashboard
BZ 1498504

Use --fake-initial for migrations if necessary

Migrations won't work correctly if the db already exists. This manifests
in an error like:
django.db.utils.OperationalError: table "django_content_type" already exists

Signed-off-by: Zack Cerza <zack@redhat.com>

Use 'graphite-manage migrate' instead of 'syncdb'

syncdb is deprecated.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #136 from ceph/wip-db-wait

Add a note about waiting to collect data

Add a note about waiting to collect data

Users might initially be confused that immediately after deployment, the
dashboard looks broken. This is because it doesn't yet have the data it
needs to function.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #135 from ceph/wip-sanity

Check that all hosts are referred to by FQDN

Skip ansible-lint on 'systemctl show'

The linter complains about this, but ansible doesn't have the required
functionality here.

Signed-off-by: Zack Cerza <zack@redhat.com>

Check that all hosts are referred to by FQDN

Signed-off-by: Zack Cerza <zack@redhat.com>

Skip linting on sed call

lineinfile won't necessarily work well for this.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #132 from ceph/wip-rhsm

ansible: Do not enable rhsm repos

Reviewed-by: Ken Dreyer <kdreyer@redhat.com>

ansible: Do not enable rhsm repos

We are shipping as a regular product and as such, we cannot enable
additional repos via rhsm. The customers might even not have these repos
installed (especially the storage console repo might not be available to
them).

If we need any of the packages from these repos, we need to cross-ship
them in our product (as we already do downstream).

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #129 from ceph/wip-remove-refs-to-prod-repo

ansible: Remove references to old prod repo

Merge pull request #125 from ceph/wip-collectd-vars

Fix undefined collectd vars

Merge pull request #128 from ceph/wip-prod-repos

Add support for custom repos

Merge pull request #126 from ceph/selinux-fix

selinux policy update

selinux: Update the policy

This policy update should cover all the newly found avc denials.

Signed-off-by: Boris Ranto <branto@redhat.com>

ansible: Remove references to old prod repo

This fixes the build failure after the patch that removed the original
repo file.

Signed-off-by: Boris Ranto <branto@redhat.com>

Add support for custom repos

This is to enable testing packages built from non-master branches with
devel_mode=False

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #124 from ceph/wip-remove-prod-repo

ansible: Remove old production repo

Fix undefined collectd vars

We regressed by moving the definition of a couple of these vars. Set
them in a separate task file to avoid this in the future.

Signed-off-by: Zack Cerza <zack@redhat.com>

ansible: Remove old production repo

We no longer use download.ceph.com as a production repo. We should
be removing instead of installing it.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #121 from ceph/fix-rgw

rgw: update glob pattern used to detect rgw sockets (issue #115 )

rgw: update glob pattern used to detect rgw sockets

Merge pull request #120 from ceph/wip-poolname

Mon._get_df_stats(): Sanitize pool names

Mon._get_df_stats(): Sanitize pool names

_get_pool_stats() already replaces '.' with '_'; let's copy that
behavior

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #114 from ceph/wip-health-flap

alert-status: Use max() for health alert condition

Merge pull request #119 from ceph/db-changes

dashboard changes

at-a-glance: MDS and OSDS panel changes

the MDS panel has been changed to report more detail using the status-panel
plugin (replacing singlestat).

The OSDs panel queries have been changed to better calculate the out/down
values of OSDs

iscsi-overview: multiple panel fixes

Values were shown in correctly in environments where the iscsi config had
been dropped and recreated. This update addresses issues in the following
panels; path summary, unused LUNs, defined capacity. In addition the
client charts only show entries for clients with i/o or load > 0.

network/backend: dashboards updated to use the network interfaces by prefix

Before hand the network stats uses *, and therefore included metrics for
'lo' etc, which was observed to skew reporting in some environments.

Merge pull request #116 from ceph/wip-graphite-tz

Set timezone in Graphite's config

Merge pull request #117 from ceph/wip-tb

Tell collectd to log any Python tracebacks

Tell collectd to log any Python tracebacks

So that users can generate more useful bug reports.

Signed-off-by: Zack Cerza <zack@redhat.com>

Set timezone in Graphite's config

Oddly, graphite defaults to using a hardcoded timezone rather than the
system's. This throws off queries, so let's configure it.

Signed-off-by: Zack Cerza <zack@redhat.com>

alert-status: Use max() for health alert condition

last() appears to invite flapping.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #111 from ceph/wip-health-db

Don't forget to deploy the new health dashboard

Merge pull request #112 from ceph/wip-df-stats

Collect more pool stats, and display capacity in dashboard

Add pool capacity chart to ceph-cluster.json

This chart will be helpful if the user wants to inspect pool capacity
over time, as opposed to the current state.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add pool capacity to ceph-pools dashboard

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-grafana: Optionally update alert dashboard

Signed-off-by: Zack Cerza <zack@redhat.com>

dashUpdater.py: Allow updating alert dashboard

This may end up only being useful for testing, but it seems important to
have the option to update the alert dashboard.

Signed-off-by: Zack Cerza <zack@redhat.com>

Add alert for pool capacity

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-grafana: Add dashboards tag

Signed-off-by: Zack Cerza <zack@redhat.com>

mon: Add 'ceph df' pool stats

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #110 from ceph/wip-eventurl

Set EventURL in cephmetrics.conf

Don't forget to deploy the new health dashboard

Signed-off-by: Zack Cerza <zack@redhat.com>

Set EventURL in cephmetrics.conf

So that events get submitted to graphite

Signed-off-by: Zack Cerza <zack@redhat.com>

Move some defaults into a cephmetrics-common role

This is so that ceph-collectd and ceph-grafana can share some defaults

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #108 from ceph/support-svc-restarts

Support svc restarts

Merge pull request #109 from ceph/wip-pipelining

Use SSH pipelining

Use SSH pipelining

See http://docs.ansible.com/ansible/latest/become.html#becoming-an-unprivileged-user

Signed-off-by: Zack Cerza <zack@redhat.com>

mon: simplify the admin_socket read logic

The initial commit placed logic in each area that called the admin
socket. This patch separates the admin socket call out to a separate
method, so it gets checked in one place.

Some tidy up and comments added too.

rgw: add warning when >1 rgw admin socket is detected

rgw: look for the admin_socket on each call

The admin_socket name for rgw is not fixed, unlike mon/osds. Therefore
to account for svc restarts and name changes the socket name is
determined at each get_stats cycle. If the socket isn't there, the
collector just passes back the version of radosgw to the caller and
will send stats again once a socket is detected on the host

mon: account for null dict from _admin_socket

the _admin_socket method could return a null dict if the
socket is not there (i.e. ceph-mon is down). By checking for the
empty dict, the collector can remain active while ceph-mon is
stopped and restarted during normal maintenance processes on a
host.

iscsi: trigger stats only when iscsi is active

look for the iscsi dir in sysfs to determine when to
send the iscsi stats. If the iscsi base dir is not there
the collector will just send the version of gwcli

common: catch stderr output into the stdout pipe

Ensure stdout and stderr output is returned to the caller

cephmetrics: simplified the probe logic

probe logic changed in the base class, so the code here can
change to take advantage

base: detect ceph role based on installed binaries

In addition get_version simplified, and the _admin_socket method logic
tightened up to account for missing socket files.

Merge pull request #100 from ceph/event-info

Add bluestore performance metrics and enhanced ceph health information

Merge pull request #103 from ceph/wip-ubuntu-gweb

ansible: Use graphite-web instead of graphite-api on Ubuntu

minor fixes during PR review

ceph-cluster: fix queries for rgw and iscsi version tables

dashboard query update to filter out old OSDs

Old OSDs will still exist in the TSDB, and could show as out or down.
The update uses transformNull to pick out osds with null values and
filter them out of the results shown.

base: handle admin_socket connection failures gracefully

Connection errors are reported to the parent object and the cephmetrics
log file

rgw: handle the scenario where the socket doesn't respond

The perf dump to the socket could fail, so this change handles this
scenario by just reporting the issue avoiding connectionerror
problems

node-detail: minor fix to template for osd_ids

osd_id template had to be updated to avoid issues with the move of
num_osds and ceph_version metrics.

relationships diagram updated to reflect new ceph-health dashboard

ceph-pools: fix yaxis in pool iops chart

osd-information: fixes for null entries and time windows used on pie-charts

osd's that fail result in nulls in the data series, so queries updated to
account for this gaps. In addition, a time window if 2 mins used to
restrict the obs that have to be grabbed from graphite for the pie charts

ceph-cluster: health info removed, ceph version tables added

exploits the updates to the basecollector class which now provide ceph
version which is presented in table form, by role.

Merge pull request #97 from ceph/wip-branto

rpm: Fix spec file source versioning

rpm: Fix spec file source versioning

Signed-off-by: Boris Ranto <branto@redhat.com>

ansible: Use graphite-web instead of graphite-api on Ubuntu

Because of https://github.com/brutasse/graphite-api/issues/222

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #95 from ceph/iscsi-fix

iscsi.py: fix to defer the import of rtslib_fb

iscsi.py: fix to defer the import of rtslib_fb

the goal of the parent module cephmetrics is to be generic across the
different ceph roles. By deferring the import of rtslib to the instantiation
of the first (and only!) ISCSIGateway object cephmetrics can import this
iscsi module without a problem regardless of the runtime environment.

Merge pull request #92 from ceph/iscsi-support

Add iSCSI gateway support

iscsi.py: updates to address code review comments