teuthology/task/pexec.py: add logs to command executed

The current output by pexec is:
```
INFO:teuthology.run_tasks:Running task pexec...
INFO:teuthology.task.pexec:Executing custom commands...
INFO:teuthology.task.pexec:Running commands on host ubuntu@smithi012.front.sepia.ceph.com
DEBUG:teuthology.orchestra.run.smithi012:> TESTDIR=/home/ubuntu/cephtest bash -s
```

The output should include the acutal command executed, similar to
exec.py:

```
INFO:teuthology.run_tasks:Running task exec...
INFO:teuthology.task.exec:Executing custom commands...
INFO:teuthology.task.exec:Running commands on role client.0 host ubuntu@smithi168.front.sepia.ceph.com
DEBUG:teuthology.orchestra.run.smithi168:> sudo TESTDIR=/home/ubuntu/cephtest bash -c 'sudo ceph osd pool create low_tier 4'
```

Signed-off-by: Matan Breizman <mbreizma@redhat.com>

Fix dispatcher crash on gevent LoopExit exceptions
Handle gevent LoopExit exceptions gracefully to prevent dispatcher
crashes. Add exception handling in main loop and lock_machines() call,
with loop exit counter (max 10) to prevent infinite restarts. Isolate
child processes using start_new_session=True so job supervisors
continue running independently if dispatcher encounters exceptions.

Signed-off-by: deepssin <deepssin@redhat.com>

Add NTP security group rules for OpenStack instances

Add UDP port 123 ingress and egress rules for both server and worker
security groups to enable NTP time synchronization. Also refactor
add_rule() to accept direction parameter instead of hardcoding ingress.

Signed-off-by: deepssin <deepssin@redhat.com>

suite.run: Fix parent commit search

We were only looking in ceph.git; look in e.g. ceph-ci.git if that is the ceph
repo being tested.

Signed-off-by: Zack Cerza <zack@cerza.org>

suite: Filter YAML fragments for distro, version

The behavior of --distro{,-version} was never well-defined. With this change,
they can independently be used to provide a default for jobs which don't
otherwise specify a value; and more importantly, perform a post-merge filter
looking at each job's values, rejecting those which don't match. This behavior
should be more intuitive and more easy to understand.

Signed-off-by: Zack Cerza <zack@cerza.org>

supervisor.reimage: Change error message wording

Signed-off-by: Zack Cerza <zack@cerza.org>

lock.ops.lock_many: Unlock on reimage failure

Signed-off-by: Zack Cerza <zack@cerza.org>

task/install: don't attempt to handle strings for extra_system_packages

To the best of my knowledge, extra_system_packages has never accepted
a string as a value -- whether at the top level (i.e. on the install
task itself) or on a particular project (e.g. ceph).

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

task/install: extra_system_packages at the top level can be a list

Commit fc5a3197f22e ("task/install: allow both list and dicts for
extra_system_packages") introduced a regression for job definitions
where extra_system_packages at the top level (i.e. on the install
task itself) is a list.  For example

  overrides:
    install:
      ceph:
        flavor: default
        sha1: b7d57fefbec68934ae5e6e7d7c48ac09182397a5
      extra_system_packages:
      - pv

produces AssertionError on

  assert isinstance(b, dict)

in deep_merge() when it's called from _override_extra_system_packages().

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

orchestra/test: drop opensuse 42.2 from opsys

Signed-off-by: Kyrylo Shatskyy <kyrylo.shatskyy@gmail.com>

packaging: fix test for distro version

Signed-off-by: Kyrylo Shatskyy <kyrylo.shatskyy@clyso.com>

orchestra/opsys: update suse related versions

Signed-off-by: Kyrylo Shatskyy <kyrylo.shatskyy@clyso.com>

cargo-cult some packaging updates for rocky

Signed-off-by: Greg Farnum <gfarnum@redhat.com>

task/install/rpm: don't use builder when using custom repos

Signed-off-by: Kyr Shatskyy <kyrylo.shatskyy@clyso.com>

task/install/rpm: add/remove yum repos

Signed-off-by: Kyr Shatskyy <kyrylo.shatskyy@clyso.com>

orchestra/opsys: alma and rocky are rpm distro

Signed-off-by: Kyr Shatskyy <kyrylo.shatskyy@clyso.com>

task/install: allow both list and dicts for extra_system_packages

Fixes: https://tracker.ceph.com/issues/73527
Signed-off-by: Kyr Shatskyy <kyrylo.shatskyy@clyso.com>

Openstack: handle attached_volumes field when fetching volumes

Some clouds use attached_volumes instead of os-extended-volumes:volumes_attached

Signed-off-by: deepssin <deepssin@redhat.com>

orchestra/console.py: increase 'power status' timeout

in set_power() we check to see if the power operation worked by
examining ipmi power status.  Give longer than 1s for the
status command to complete.

Signed-off-by: Dan Mick <dan.mick@redhat.com>

lock.ops.unlock_one_safe: Invert run-match logic

When unlock_one_safe is called with run_name, the caller means to express
"unlock this node if it belongs to this run".
When it is called with run_name and job_id, it means "unlock this node if it
belongs to this job in this run".
We had inverted the logic, causing leaks on reimage failures.

Signed-off-by: Zack Cerza <zack@cerza.org>