Ansible Role for deploying grafana-agent

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #739 from dmick/main

tools/checkcerts.py: add paddles.front to list of checked hosts

tools/checkcerts.py: add paddles.front to list of checked hosts

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #733 from ceph/tests

github: add syntax and lint checks

Merge pull request #738 from dmick/wip-cobbler-python-scl

cephlab_ansible.sh: use scl rh-python38 on CentOS 7

Merge pull request #737 from dmick/wip-centos-8.5

cobbler: Add CentOS 8.5, fix up obsolete get_url parameter

cephlab_ansible.sh: use scl rh-python38 on CentOS 7

cephlab_ansible.sh runs at the very end of the installation process
during a cobbler install for fog image capture, on first reboot of the
freshly-cobblered system.

Cobbler runs on a CentOS 7 installation today, but its python is too
old to support modern ansible.  The SCL for python 3.8 is installed
on cobbler.  Add code here to, if installed, enable the SCL (by setting
some paths in the trigger script that is executed on the cobbler server
after the installed host reboots; a curl fetch is placed at the end of
/etc/rc.local, and this script runs to finish up all the configuration
of the host for teuthology use.

Signed-off-by: Dan Mick <dmick@redhat.com>

Add CentOS-8.5 (to build centos8.stream on top of newer release)

centos8.stream is an odd build because of bugs; we don't use CentOS 8.5
directly anymore, but it's now the base of the stream image.

Signed-off-by: Dan Mick <dmick@redhat.com>

cobbler_profile download_iso.yml: use checksum parameter

sha256sum was deprecated, and disappeared by ansible-core 2.10.
checksum: "sha256:<sum>" is the same.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #731 from dmick/wip-remove-centos-mirrorlists

Remove local mirrorlist cache for Centos8 testhosts

Remove stream.yml from testnode role; leave repo files be

Signed-off-by: Dan Mick <dmick@redhat.com>

public_facing: skip no-tabs linter rule on single task

Instead of skipping ansible-lint's no-tabs rule globally, apply it on
this single task that uses a tab (\t) character.

Longer-term, we could replace this tab with a space because /etc/hosts
can use either whitespace character. I'm taking a cautious approach
today for simplicity.

use spaces around variables for ansible-lint

firmware: fix task imports for ansible-lint

ansible-lint cannot load tasks with these longer parent paths.

load-failure: [Errno 2] No such file or directory (filenotfounderror)

rook: remove duplicate YAML key "wait"

caught with ansible-lint

github: add syntax and lint checks

Run Ansible's syntax checks and ansible-lint on every PR and Git push.

Ignore some common ansible-lint errors so we can get to green quickly.
We can re-evaluate this list later and perhaps fix some of them down the
road.

Merge pull request #725 from dmick/main

tools/checkcerts.py: apparently SSLError is also possible, catch

Remove mirrorlists for CentOS 8

They were failing similarly to EPEL mirrorlists (old broken mirror
machines, out-of-date lists), so let's try going back to out-of-the-box
repo configurations.  Perhaps several years later they'll work better.

Signed-off-by: Dan Mick <dmick@redhat.com>

Remove "switch back from mirrorlist" code for CentOS

The plan is to use mirrorlist exclusively (as we've done for
EPEL) because the upstream infra is changing more rapidly than
our fixed list of mirrors, and hopefully it's more stable than
it was in the past when we were driven to this coping mechanism
of caching mirror lists.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #730 from ceph/rm-beta

common: remove RHEL beta handling

common: remove RHEL beta handling

Now that mainly care about containers and we test against CentOS Stream,
there's almost no value in testing Ceph with RHEL Beta content.

The rhel-entitlements.yml playbook is very complicated, and dropping
this feature will make it easier to simply and refactor further.

Merge pull request #729 from ceph/epel-major-version

common: use ansible_distribution_major_version in epel repos

common: use ansible_distribution_major_version in epel repos

RHEL systems use roles/common/tasks/rhel-entitlements.yml, and this sets
Yum's $releasever to a specific RHEL minor release (eg. 8.4 or 8.6). As
a result. Fedora's MirrorManager does not return any EPEL repositories
for these minor RHEL versions.

We set a static $releasever in rhel-entitlements.yml so that we pin to
old RHEL RPM content in our old RHEL nodes. We probably need to re-think
this strategy since our CentOS Stream nodes do not (cannot) do this, and
Red Hat does not really support pinning to old versions without an EUS
subscription.

Rather than untangling all that and removing our $releasever
manipulation altogether, this commit simply hard-codes
ansible_distribution_major_version ("8", "9", etc) into the EPEL .repo
files, ignoring $releasever for EPEL.

A longer-term fix would be to stop mangling $releasever on RHEL.

Merge pull request #726 from ceph/epel-metalink

common: use EPEL metalink

common: use EPEL metalink

Some mirrors are stale (https://pagure.io/fedora-infrastructure/issue/11233)

Use MirrorManager's metalink application so we always get up-to-date
mirrors.

MirrorManager will also return the list of mirror that carry each
architecture (x86_64, aarch64, etc) so we will not need to manage that
information ourselves here.

tools/checkcerts.py: apparently SSLError is also possible, catch

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #724 from dmick/wip-check-add-sentry

Add sentry.ceph.com to checkcerts.py

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #722 from ceph/paddles-fixes

paddles: Updates required for migration to new host

Merge pull request #723 from ceph/paddles-postgres-exporter

paddles: Deploy postgres-exporter

paddles: Deploy postgres-exporter

When in containerized mode.

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Tell postgres to trust the Docker network

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Tell postgres to listen on all interfaces

Signed-off-by: Zack Cerza <zack@redhat.com>

paddles: Correct paddles_docker_packages

python-docker doesn't exist on 20.04; python3-docker does, and also on
18.04, and requires python3-requests.

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #721 from dmick/wip-checkcerts

Add checkcerts, to use with cron to warn about expiring certs

Add checkcerts, to use with cron to warn about expiring certs

This originally lived on gitbuilder-archive, and I've moved it,
revamped it, added some args, added some hosts, modified some emails,
ported to Py3, stopped using external programs.  It's quick to run
in default mode where it just reports to the terminal; it'll also
be quiet and only send email about old certs.

The timezone processing is nonexistent on the reported expiry
date; Python timezone handling is a mess.  That could be improved but
not without a deep dive.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #715 from ceph/wip-gateway-network-scripts

Installing the network-scripts package as an alternative when disabli…

Installing the network-scripts package as an alternative when disabling NM

And removing the nagios packages since we are not using nagios anymore

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #720 from ceph/wip-centos-8stream

Changing centos9.stream image url to latest version for cobbler deployment

Changing centos9.stream image url to latest version for cobbler deployment

Fixes: https://tracker.ceph.com/issues/58492
Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #719 from rakshithakamath94/signalfx-conf

Signalfx agent node configuration

Signalfx agent node configuration

Merge pull request #718 from ceph/wip-fix-uuid

Forgot to add use_satellite = true in two places

Forgot to add use_satellite = true in two places

In continue to PR https://github.com/ceph/ceph-cm-ansible/pull/717

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #717 from ceph/wip-satellite-uuid

Regenerate random machine UUID before the subscribing to the satellite

Regenerate random machine UUID before the subscription to satellite

Fixes: The DMI UUID of this host (XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX) matches other registered hosts
Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #716 from ceph/wip-no-log-remove

Removed no_log to see the spacific errors

Removed no_log to see the spacific errors

https://pulpito.ceph.com/yuriw-2023-01-11_12:36:44-rbd-pacific_16.2.11_RC6-distro-default-smithi/7133168/

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #714 from dmick/main

auth-openvpn: port to python3 for new gw server, futures

auth-openvpn: port to python3 for new gw server, futures

I chose to keep everything in binary throughout.  One could also
choose string, but this seemed safer for international characters.

Signed-off-by: Dan Mick <dmick@redhat.com>

Merge pull request #713 from ceph/wip-cpan-fix

Installing cpanminus on apt systems

Installing cpanminus on apt systems

Fixes: http://pulpito.front.sepia.ceph.com/yuriw-2023-01-01_20:02:51-krbd-pacific_16.2.11_RC4-testing-default-smithi/7130439/
Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #712 from ceph/wip-cpanm

Using the cpanm ansible module

Using the cpanm ansible module

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #711 from wolaidajiangyou/main

testnode: fix umount condition match error

testnode: fix umount condition match error

Signed-off-by: Sun Junnan <sunjunnan_yewu@cmss.chinamobile.com>
Signed-off-by: Yang Honggang <yanghonggang_yewu@cmss.chinamobile.com>

Merge pull request #710 from ceph/named-acme-os

nameserver: Updates to enable ACME on OpenShift

nameserver: New zones don't need to be frozen

Signed-off-by: Zack Cerza <zack@redhat.com>

named.conf.j2: Make key algorithm configurable

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #708 from ceph/no-rh-register

cobbler: Do not use redhat_register snippet

Merge pull request #707 from ceph/rhel9-oops

cobbler: CentOS 9 packages on CentOS 9 only

cobbler: Do not use redhat_register snippet

We already run `subscription-manager` manually in kickstart so we don't need this snippet.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: CentOS 9 packages on CentOS 9 only

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #706 from ceph/cobbler-pw

cobbler-access: Update script to support Cobbler v3

cobbler-access: Update script to support Cobbler v3

See https://cobbler.readthedocs.io/en/v3.2.2/user-guide/web-interface.html#managing-users-digest

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #705 from ceph/c9-selinux

common: NRPE works on CentOS 9 now

common: NRPE works on CentOS 9 now

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #704 from ceph/jenkins-builder-disk

tools: Add jenkins-builder-disk

Merge pull request #703 from ceph/c9-hacks

More CentOS 9 hacks

tools: Add jenkins-builder-disk

Used to wipe the larger/faster non-root drive on Jenkins builders and mount the disk at /home/jenkins-build or /var/lib/libvirt/images (whichever is appropriate).

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Hacks for CentOS 9 on braggi disks

During anaconda/kickstart, the smaller root drive shows up as sdb but then helpfully becomes sda after the OS is installed.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Update packages for CentOS 9

Do not install subscription-manager because it's not RHEL...
Do install python3-pip so the container-host role can run during the post install trigger.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler_profile: kernel_options for CentOS 9 Stream

inst.stage2 is required and just `ks` doesn't work anymore and needs `inst.ks`.

This will probably need to be reverted when Sepia gets Cobbler 3 since it will automatically use `inst.*` parameters for CentOS/RHEL9.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler_profile: Use a newer CentOS9 ISO

Has a lot of fixes in it like actually leaves appstream and baseos repos on the server after install

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Do not do CentOS to Stream conversion hack on CentOS9

It's not necessary and breaks profile import.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Don't run repos tag on CentOS9 during trigger

No longer needed as latest CentOS9 ISO fixed this problem.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Revert "cobbler: Put CentOS9 Stream repos in place during kickstart"

This reverts commit 9d277d66e9e96bd2fe5d5490018536ebe0db8140.

This hack isn't needed with a newer CentOS 9 Stream ISO.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #702 from ceph/not-on-centos9

cobbler: Don't install NetworkManager-initscripts-updown on CentOS9

Merge pull request #701 from ceph/fix-c9-missing-repos

cobbler: Put CentOS9 Stream repos in place during kickstart

cobbler: Don't install NetworkManager-initscripts-updown on CentOS9

It's not available.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Put CentOS9 Stream repos in place during kickstart

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #700 from ceph/el9

testnode: RHEL9 ceph_dependency_packages_to_remove

testnode: Modify ceph_deps_pkgs_to_remove

Removing python-requests removed subscription-manager which understandably causes a massive problem.

This task/list of packages may not even be necessary anyway since it's a relic from the days we didn't reimage testnodes before every job.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #699 from ceph/cobbler-module

Fixes to support Cobbler 3

cobbler: Install ansible from epel on RHEL9

This used to be in pip_packages but the distro-provided one is new enough

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Fix conditional

Not always defined

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Define a ks_dir

Cobbler2: /var/lib/cobbler/kickstarts
Cobbler3: /var/lib/cobbler/templates

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Define autoinstall flag based on version

Cobbler2: --kickstart
Cobbler3: --autoinstall

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Define kernel options flag based on version

Cobbler2: --kopts
Cobbler3: --kernel-options

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Convert var to int

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Define settings file path based on version

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Support RHEL8 when importing tasks and vars

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Enable Cobbler 3 Stream on RHEL8

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #698 from ceph/wip-ifupdown

ifup and ifdown has been deprecated replaced by ip link set $device u…

Adding the NetworkManager-initscripts-updown package to rhel9

Signed-off-by: Adam Kraitman <akraitma@redhat.com>

Merge pull request #697 from ceph/el9

RHEL9 support

testnode: RHEL9 vars/templates

Signed-off-by: David Galloway <dgallowa@redhat.com>

common: No more lsb!

Signed-off-by: David Galloway <dgallowa@redhat.com>

common: vars for rhel9

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #696 from ceph/jammy-pdev

testnode: Move python-dev to distro-specific vars files