Merge pull request #81 from zmc/wip-passwd

ansible: Support non-default Grafana password

Merge pull request #79 from ceph/wip-paulc

Latest updates covering feedback and RFE's

Update SELinux policy

The collectors need to be able to determine whether an OSD uses
filestore or bluestore

Signed-off-by: Zack Cerza <zack@redhat.com>

Restore SELinux context of OSD journals

So that our SELinux policy can properly allow collectors to detect
whether an OSD uses filestore or bluestore

Signed-off-by: Zack Cerza <zack@redhat.com>

alert-status dashboard : Enable default alerts

dashUpdater has been updated to automatically set up a cephmetrics
notifications channel (if it's not already there), and the alert-status
dashboard is loaded, which references the cephmetrics channel.

The ansible templates has been updated to reflect the introduction of the
alert-status dashboard

osd: fix determination of osd type

the presence of the type file was being relied upon across versions.
However, not all versions show this file (10.2.2 did, 10.2.7 didn't!), so
this fix looks for type and if it's there it uses it, if not it will
look for the presence of the journal link to determine if the osd
is filestore. It is assumed that bluestore will 'always' use the type
file..

Optionally use a different Grafana admin password

Signed-off-by: Zack Cerza <zack@redhat.com>

osd-node-detail: fix to templating which caused charts to show no data

templating had a reference to a test server hard coded - resulting in
failed queries. This fix replaces this with $domain

dashboard relationships updated to show the alert-status dashboard

ceph-rgw-workload: updates to metric calculations and spark line colors

Spark lines now blue matching the at-a-glance view for consistency

ceph-rados: added the cluster flags

Cluster flags/features shows as singlestat panels alongside the monitor
state. The flag states are 0 - enabled/inactive, 1 active and 2 disabled.

thresholds are used on this panels to indicate the above states

ceph-frontend: added recovery by pool - since this is the pool dashboard!

ceph-backend: fixed bug in osd-down table query

Query was showing osd's that have been removed from the system

Allow partial defaults overrides

With this change, it becomes possible to override certain keys in each configuration dict while accepting the default values for other keys.

Signed-off-by: Zack Cerza <zack@redhat.com>

Move Grafana configuration defaults

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #71 from ceph/wip-whisper

Make whisper retention settings configurable

Document whisper settings

Signed-off-by: Zack Cerza <zack@redhat.com>

Make whisper retention settings configurable

The first value must be '10s', still, for consistency with collectd

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #69 from ceph/wip-ubuntu

ansible: devel_mode deployment for Ubuntu

Mention Ubuntu support in ansible/README.md

Signed-off-by: Zack Cerza <zack@redhat.com>

Reload systemd later in the process

Since we're shipping a .service file for graphite-api

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-grafana: Use graphite-api for Ubuntu

They ship it already, and it's a bit less involved to set up.

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-grafana: Initial Ubuntu support

This commit lets us grab upstream Grafana packages in devel_mode

Signed-off-by: Zack Cerza <zack@redhat.com>

ceph-collectd: Support Ubuntu

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #64 from ceph/wip-fixes

dashUpdater now removes $domain references if domain is not provided

screenshot updated to show current state @ 2017-07-12 (used in wiki)

dashUpdater: remove $domain from dashboards, if domain is not configured

For environments that don't use dns, collectd will not provide a FQDN
on the metric name. In these circumstances, the dashboards are empty.

This fix looks for the domain setting, and if it's not supplied the
$domain reference in all queries is removed before the dashboard is loaded
into grafana.

Merge pull request #58 from ceph/wip-paulc

Dashboard improvements and addition of OSD latencies

common/osd: fixes to support intelcas and nvme OSD/journals

dashboard added to ansible template

Add new ceph-osd-latency dashboard to template file

osd: remove unused import (flatten_dict)

osd: add support for osd related stats, and support journal devices

OSD daemons are now asked for perf data, so latencies within ceph can be
loaded to graphite. In addition the journal device is detected. If it's
not collocated on the osd device, additional disk metrics under a journal
subtree are created within graphite

common: changes to the Disk class

Two main things;
1. Disk instances are now initialized here, instead of with the caller
devices simplying code in the osd class
2. get_real_dev function added to convert a device name of an OSD to the
name we'll use as a metric. this now provides initial support for nvme
and intelcas based osd

base: _admin_socket function updated to allow easier reuse of the base class

mon: added debug messages to aid in diagnostics

osd-node-detail: network chart updates for device names and visualisation

device names are whitelisted as en,eth,bond and the rates are now stacked
on the chart so you can see total throughput easier

dashboard.yml : new dashboard entry added

The entry is needed to ensure it gets updated by the dashUpdater.py
script

doc update : dashboard relationships diagram updated

new dashboard added, so the diagram now reflects where it fits in the
flow

Merge pull request #62 from ceph/wip-docs

Install enhancements and docs improvements

Ensure subscription-manager repos are enabled

We need these for dependencies of python-carbon and ceph-ansible

Signed-off-by: Zack Cerza <zack@redhat.com>

Install cephmetrics repo in production mode

Signed-off-by: Zack Cerza <zack@redhat.com>

Print dashboard URL at playbook end

Signed-off-by: Zack Cerza <zack@redhat.com>

Recommend running -playbook on ceph-ansible host

Signed-off-by: Zack Cerza <zack@redhat.com>

Correct URL in spec file

Signed-off-by: Zack Cerza <zack@redhat.com>

Install repo before package

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #57 from ceph/wip-docs

Mention enabling rhel-7-server-optional-rpms

Mention enabling rhel-7-server-optional-rpms

It's needed for pyserial, python-twisted-core and python-zope-interface,
which are dependencies of python-carbon

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #51 from ceph/wip-metrics-wusui

Non-developer installation instructions

Non-developer installation instructions

Signed-off-by: Warren Usui <wusui@magna002.ceph.redhat.com>

Merge pull request #53 from ceph/wip-paulc

Dashboard fixes for at-a-glance and rados

Merge pull request #54 from ceph/wip-branto

rpm: Support light theme better

rpm: Support light theme better

Signed-off-by: Boris Ranto <branto@redhat.com>

at-a-glance: fix for calcs on growth and forecast

at-a-glance: multiple fixes to mon/osd/growth and forecast panels

MON/OSD panel queries updated to address the interpolation
problem where floats were shown. OSD panel also now shows
total OSDs
Templating update for the disk_full_threshold (2->80)
Growth/Forecast panel queries updated to account for data coming
from multiple mon's
Health Panel updated to show as RED when the cluster is in an
ERROR state

ceph-rados : fixes to capacity and health history charts

- Capacity chart has been extended to cover 7 days
- health history fixed - was showing an entry for each mon!

Merge pull request #48 from ceph/wip-paulc

dashboard updates

Merge pull request #50 from ceph/wip-branto

ansible: Fix a typo in purge.yml

ansible: Fix a typo in purge.yml

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #49 from ceph/wip-branto

ansible: Implement purge playbook

Merge pull request #47 from ceph/develop

Set WHISPER_AUTOFLUSH to True

ansible: Implement purge playbook

This should be a good basis for purge playbook, it should support devel
as well as production modes.

Signed-off-by: Boris Ranto <branto@redhat.com>

screenshot changed for wiki

at-a-glance: pg status pie chart changes

a degraded state is now shown based on the diff of pg_active and
pg_active_clean. This intermediate metric has been added to the pie
chart so it shows; active+clean, degraded and peering.

dashUpdater : Set the default Org's theme to light

Most ceph UI's use a light theme, so this change aligns to that
trend.

network-usage: dashboard updated to track enX interface stats

graphite doesn't support blacklisting in queries, so interface names that
we're interested in have to be whitelisted. This fix now tracks enX, ethX and
bondX interface names.

ceph-rados: display fixes to a several charts

health history was a mess with the light theme. The chart now uses threshold lines
(amber and red), and plots health against those lines. In addition small fixes to the capacity
chart (it was stacking values!), and the monitor status table

backend-storage: cosmetic changes to heatmap and graphs

Heatmap 'spectrum' was not showing well in the light theme - this
make it more readable. In addition 'info' has been added to explain the
heatmap and what it represents.

frontend: layout of the pools is now by pool lining up iops/throughput charts across rows

at-a-glance : query and cosmetic changes

Multiple changes as follows;
- dashboard links (top) hover over was mis-aligned. fixed
- forecast value if negative now shows N/A
- forecast and growth queries updated
- disks near full set to 0, if there aren't any issues (instead of no value)
- added descriptions on various panels

status-panel: Update the bkgnd color to support the light theme

By default the panel just uses 'green', which with the light theme is too
dark, making the text on the panel difficult to read. This ansible step just
updates the color in the css to make the text more readable

Set WHISPER_AUTOFLUSH to True

Related to https://github.com/ceph/cephmetrics/issues/45

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #44 from ceph/wip-branto

rpm: Make devel_mode: false default in the ansible rpms

rpm: Make devel_mode: false default in the ansible rpms

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #41 from ceph/wip-prod

Add ansible-syntax job

Add ansible-syntax job

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #37 from ceph/wip-branto

selinux: Additional policy changes

Reviewed-by: Paul Cuzner <pcuzner@redhat.com>

selinux: Additional policy changes

This was required to access whoami files inside /var/lib/ceph/osd/
directory.

Signed-off-by: Boris Ranto <branto@redhat.com>

Merge pull request #34 from zmc/wip-selinux

ansible: Build and install SELinux module

Reviewed-by: Boris Ranto <branto@redhat.com>

Merge pull request #26 from zmc/wip-docs

ansible: Document variables

selinux: Allow collectd to write in /var/log/

Signed-off-by: Zack Cerza <zack@redhat.com>

ansible: Build and install SELinux module

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #24 from zmc/wip-firewalld

ansible: Default to using firewalld's public zone

Merge pull request #33 from zmc/wip-ansible-lint

Add ansible-lint job

Remove trailing whitespace

Signed-off-by: Zack Cerza <zack@redhat.com>

Name unnamed tasks

Signed-off-by: Zack Cerza <zack@redhat.com>

Add ansible-lint job

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #25 from zmc/wip-ansible-forks

ansible: Use up to 50 forks

Merge pull request #31 from zmc/wip-grafana-plugins

ansible: Add grafana-piechart-panel plugin

Merge pull request #35 from zmc/wip-dashboard-update

ansible: Replace dashboards by default when updating

Replace dashboards by default when updating

This behavior can be disabled by setting 'replace_dashboards' to False

Signed-off-by: Zack Cerza <zack@redhat.com>

Document variables

Signed-off-by: Zack Cerza <zack@redhat.com>

ansible: Use up to 50 forks

This speeds up deployment. Ansible will use this value or the number of
hosts - whichever is smaller.

Signed-off-by: Zack Cerza <zack@redhat.com>

Default to using firewalld's public zone

This will be appropriate for most users.

Signed-off-by: Zack Cerza <zack@redhat.com>

Install grafana-piechart-panel

Signed-off-by: Zack Cerza <zack@redhat.com>

Use grafana-cli to manage plugins

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #32 from zmc/wip-tests

Add tox.ini with flake8 job

Remove unused import

Signed-off-by: Zack Cerza <zack@redhat.com>

Add tox.ini with flake8 job

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #28 from ceph/wip-branto

Couple of cephmetric fixes

rpm: Add SELinux support

Signed-off-by: Boris Ranto <branto@redhat.com>