Merge pull request #392 from ceph/wip-dhcp-server

Add dhcp-server role

dhcp-server: Update set-next-server script to work with role

Signed-off-by: David Galloway <dgallowa@redhat.com>

Add dhcp-server role

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #389 from ceph/wip-console

Serial output fixes for testnodes

cobbler: Have rc.local output go to console

Usually if something goes wrong during the rc.local run, the machine
won't be reachable to debug over the network.  Additionally, since we
reimage every machine before each job now, it's impossible to debug why
rc.local failed given a particular job.  This outputs rc.local to the
tty specified in kernel_options so we can see the output in `$hostname_reimage` run logs.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Write exact /etc/default/grub

This fixes console output during Xenial and later.  Prior to this, the
Plymouth boot screen would get loaded and "[37mUbuntu 16.04[-1;-1f[33m.
[37m.  [37m.  [37m." would get repeated to the console until the login
prompt shows up.

Writing our own file instead of finding and replacing variables makes
sure the settings are exactly what we want.

This snippet is only used on Debian-based distros.  The default Cobbler
snippet is used on RPM-based distros.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #388 from ceph/wip-rc-chill

cobbler: Change method used to ping Cobbler host in rc.local

cobbler: Change method used to ping Cobbler host in rc.local

I've observed a *very* occasional race condition where dhclient
completes but the host can't ping Cobbler.  Instead of timing out
waiting for one ping packet to return, we'll try pinging X number of
times (based on $attempts number) and then give up.

I'll paste an example of the race condition observed in the PR notes.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #387 from ceph/wip-part-doc

testnode: Fix typo and clarify dict for drives_to_partition

testnode: Fix typo and clarify dict for drives_to_partition

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #385 from ceph/wip-ovpn-logs

gateway: Rotate every day.. not when size is 100MB

gateway: Rotate every day.. not when size is 100MB

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #384 from ceph/wip-ovpn-logrotate

gateway: Finally fix openvpn logging

gateway: Properly configure rotating logs

Signed-off-by: David Galloway <dgallowa@redhat.com>

gateway: Add some additional handlers for openvpn and rsyslog

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #382 from ceph/wip-relax

cobbler: Allow a little leeway in rc.local when pinging http_server

cobbler: Allow a little leeway in rc.local when pinging http_server

DHCP might not complete within that one second.  We'll relax the timeout
a bit.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #381 from ceph/wip-rhel-beta

common: Tolerate new subscription-manager behavior

common: Tolerate new subscription-manager behavior

subscription-manager throws an error now if there are no releases to list
for a subscribed Beta distro.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #380 from ceph/wip-satellite

Add support for Red Hat Satellite

tools: Clean up katello facts when prepping RHEL image capture

Signed-off-by: David Galloway <dgallowa@redhat.com>

pcp: Disable role for now

With the addition of RHEL to Sepia, teuthology will be running
cephlab.yml on unregistered RHEL testnodes.  Since the PCP playbook gets run
before the testnodes playbook, RHEL systems in Sepia won't be registered
to our Satellite yet and PCP installation fails.

We're not currently using PCP so we can disable the role and save some
time and headache.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Subscribe to satellite during RHEL kickstart if use_satellite

Signed-off-by: David Galloway <dgallowa@redhat.com>

common: Add support for registering with Red Hat Satellite

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #378 from ceph/wip-update-reboot

Fixes for https://tracker.ceph.com/issues/23052

cobbler: Update kernel on RPM distros and subscribe to CDN on RHEL
during kickstart

Fixes: https://tracker.ceph.com/issues/23052
Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: echo short hostname into /etc/hostname during rc.local

Fixes: https://tracker.ceph.com/issues/23052
Ceph should be able to handle the FQDN but whatever.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #377 from ceph/wip-set-iface

More rc.local NIC fixees

cobbler: Only write network config for our routable NIC

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Remove commented if statement

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #376 from ceph/wip-unsubscribe

tools: Unsubscribe RHEL machines during FOG image capture

tools: Unsubscribe RHEL machines during FOG image capture

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #375 from ceph/wip-ugh-ddns

nameserver: Let records tasks coexist with DDNS

nameserver: Let records tasks coexist with DDNS

It takes about 3 minutes for ansible to compile all the zone files.
That was causing nsupdate/DDNS to overwrite any new records we wanted to
add or change before named could be reloaded.

This PR:
  - Writes zone files to a temporary location
  - Dumps pending DDNS changes into zone files
  - Freezes DDNS zone files from updates
  - Moves temporary zone files into place all at once
  - Unfreezes DDNS zone files

This results in about a 3 second window where DDNS updates will be
refused which isn't great but we can at least update records while OVH
jobs are running now.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #374 from ceph/wip-fog-server

fog-server: Create role

Merge pull request #368 from ceph/wip-fw-update

firmware: flashrom syntax changed for Xenial

fog-server: Create role

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #373 from ceph/wip-ntp-server

ntp-server: Create NTP server role

ntp-server: Create NTP server role

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #372 from ceph/wip-eth0-mac

cobbler: Use MAC address specified in ansible inventory instead of eth0

cobbler: Use MAC address specified in ansible inventory instead of eth0

I concede.  Name it whatever you want, RHEL.

This will allow the OS to use the "predictable naming" during anaconda
and after firstboot preventing NIC names from switching like we're
seeing in http://tracker.ceph.com/issues/22732 and http://tracker.ceph.com/issues/22643

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #370 from ceph/wip-nvme-down

testnode: Check for and mark down systems with missing NVMe devices

Merge pull request #371 from ceph/wip-nvme-firmware

tools: Playbook to update Intel NVMe firmware

tools: Playbook to update Intel NVMe firmware

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnode: Check for and mark down systems with missing NVMe devices

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #369 from ceph/wip-rclocal-break

cobbler: Remove DHCP config for NICs if ifup fails in rc.local

cobbler: Remove DHCP config for NICs if ifup fails in rc.local

An issue was discovered where rc.local bails if a testnode has multiple
NICs cabled but each NIC doesn't have a DHCP reservation.  For example,
some of the magnas have a second NIC cabled but are cabled to a tagged
port on the switch so they can pass traffic via multiple VLANs.

Fixes: http://tracker.ceph.com/issues/22651
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #367 from ceph/wip-rhel75

cobbler: Profile for RHEL7.5

cobbler: Profile for RHEL7.5

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #365 from ceph/wip-import-tasks

all: Use import_tasks vs include_tasks so tags work again

Merge pull request #366 from ceph/wip-addl-nic

testnode: Support for configuring a second NIC

Merge pull request #364 from ceph/wip-no-break

cobbler: Don't break after first NIC is configured

cobbler: Don't break after first NIC is configured

In case the system has multiple NICs cabled (like Octo's bruuni and
pluto)

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnode: Support for configuring a second NIC

Signed-off-by: David Galloway <dgallowa@redhat.com>

all: Use import_tasks vs include_tasks so tags work again

See https://github.com/ansible/ansible/pull/33468

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #363 from ceph/wip-bmc-network

tools: Playbook for setting BMC settings

Merge pull request #358 from ceph/wip-include

all: s/include:/include_tasks:/g prepping for deprecation in v2.8

Merge pull request #362 from ceph/wip-easy-lvm

testnode: Add support to quickly create LVs

tools: Playbook for setting BMC settings

Signed-off-by: David Galloway <dgallowa@redhat.com>

testnode: Add support to quickly create LVs

Fixes: http://tracker.ceph.com/issues/22328
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #361 from ceph/wip-also-ram

testnode: Also stop zapping ram# devices

testnode: Also stop zapping ram# devices

Saw this on smithi while testing new LVM changes

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #360 from ceph/wip-zap-loop

testnode: Stop zapping loop devices

testnode: Stop zapping loop devices

Because it's a waste of time

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #359 from ceph/wip-kopts-post

cobbler_systems: Allow setting post install kernel options

cobbler_systems: Allow setting post install kernel options

If defined in group_vars, kernel_options_post will be used.  Otherwise,
it defaults to the kernel_options_post in defaults/main.yml.

This fixes serial output during firstboot in Xenial or later (instead of
the repeated "Ubuntu 16.04 [-1;-1f" garbage.

Running `cobbler system edit` with --kopts-post="" is fine.  It just
leaves that field blank if kernel_options_post is empty.

Signed-off-by: David Galloway <dgallowa@redhat.com>

all: s/include:/include_tasks:/g prepping for deprecation in v2.8

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #357 from ceph/wip-update-xenial

cobbler_profile: Replace 16.04 with 16.04.3 iso

cobbler_profile: Replace 16.04 with 16.04.3 iso

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #356 from ceph/wip-fog-csv

tools: Add ansible role to generate FOG host csv file

tools: Add ansible role to generate FOG host csv file

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #355 from ceph/wip-ethtool

cobbler: Install ethtool on reimage

cobbler: Install ethtool on reimage

ethtool is used in the new rc.local hackery

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #354 from ceph/wip-ubuntu-pkgs

Adjust Cobbler's Ubuntu preseed to work with Artful Aardvark and beyond

cobbler: Install grub to /dev/sda instead of whatever default is

Apparently on some machines (namely bruuni in Octo), the default disk
returns /dev/nvme0n1 which is not where the OS is installed.

Since we already define which disk the OS should be installed on earlier
in the preseed, it only makes sense to install grub on the same disk.

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Set package list for xenial and later instead of just xenial

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #346 from ceph/wip-set-hostname

cobbler: Add logic to rc.local for FOG-provisioned machines

Merge pull request #353 from ceph/wip-delete-hostkeys

tools: Delete ssh keys so FOG-imaged machines regenerate on firstboot

tools: Delete ssh keys so FOG-imaged machines regenerate on firstboot

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Regenerate SSH host keys on Ubuntu firstboot if necessary

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #352 from ceph/wip-prep-fog

Tools for FOG image prep

tools: Add script to modify next-server in DHCP

Signed-off-by: David Galloway <dgallowa@redhat.com>

tools: One-off playbook to prep a cobbler-imaged machine w/ FOG

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Configure testnode NIC on firstboot after FOG image

Signed-off-by: David Galloway <dgallowa@redhat.com>

cobbler: Set hostname using DHCP every boot on testnodes

This is for use with FOG.  When we create an OS image, the image
inherits the testnode's hostname that was used to create the image.

This rc.local snippet will make sure the testnode's hostname is set to
whatever the IP's PTR record is on every boot.

`rclocal_nameserver` should be set in the inventory groupvars.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #350 from ceph/wip-front-query

vmhost: Allow task to fail but ignore errors

vmhost: Allow task to fail but ignore errors

With a recent update to ansible, the changed task would never return a
'failed' result with `failed_when` set.  `ignore_errors` is what we want
so the task fails but the playbook proceeds.

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #349 from ceph/wip-xfs-fix

Omit XFS options on older OSes

Reviewed-by: Dan Mick <dmick@redhat.com>

Omit XFS options on older OSes

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #348 from ceph/wip-var-lib-nofail

testnode: Avoid an unmountable /var/lib/ceph

Reviewed-by: Dan Mick <dmick@redhat.com>

Don't write a version 5 XFS superblock

Signed-off-by: Zack Cerza <zack@redhat.com>

Boot even if /var/lib partition won't mount

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #347 from ceph/wip-add-apt-repo

testnode: Install software-properties-common

testnode: Install software-properties-common

... on Ubuntu, for add-apt-repository

Signed-off-by: Zack Cerza <zack@redhat.com>

Merge pull request #340 from ceph/wip-find-fail

testnode: Avoid job failure due to fs loop

testnode: Avoid job failure due to fs loop

Example:

failed: [smithi205.front.sepia.ceph.com] (item=/var/run/) => {"changed": false, "cmd": "find /var/run/ -name \"*ceph*\"", "delta": "0:00:00.004976", "end": "2017-09-29 18:42:23.050412", "failed": true, "failed_when_result": true, "item": "/var/run/", "rc": 1, "start": "2017-09-29 18:42:23.045436", "stderr": "find: File system loop detected; '/var/run/rpc_pipefs/gssd' is part of the same file system loop as '/var/run/rpc_pipefs'.", "stderr_lines": ["find: File system loop detected; '/var/run/rpc_pipefs/gssd' is part of the same file system loop as '/var/run/rpc_pipefs'."], "stdout": "", "stdout_lines": []}

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #345 from ceph/wip-21989

testnode: Be super aggressive with wiping LVM data

testnode: Be super aggressive with wiping LVM data

Fixes: http://tracker.ceph.com/issues/21989
Fixes: http://tracker.ceph.com/issues/21935 (hopefully)
Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #344 from ceph/wip-named-ddos

nameserver: Double max amount of concurrent connections

nameserver: Double max amount of concurrent connections

I observed an unintentional DoS on ns1.front last night right as most of
the nightly scheduled jobs started up.  Lots of "nf_conntrack: table
full, dropping packet" messages in the syslog.

Doubling it should be safe.

Signed-off-by: David Galloway <dgallowa@redhat.com>