Merge pull request #874 from ceph/defaultscenar

ceph-ansible-prs: add two default scenarios

ceph-ansible-prs: add two default scenarios

Adding update_cluster and docker_cluster to test by default on each new
PR.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #873 from ceph/collocation-ceph-ansible

ceph-ansible-prs: add collocation scenario

ceph-ansible-prs: add collocation scenario

Add collocation scenario for containers.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #872 from ceph/ceph-ansible-prs-update

ceph-ansible-prs: setting only-trigger-phrase with a var did not work

ceph-ansible-prs: trigger phrase is now a regex

You can trigger a job by using the individiual scenario name or by
commenting with 'jenkins test all' to run all the scenarios.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

ceph-ansible-prs: setting only-trigger-phrase with a var did not work

I tried setting the value of only-trigger-phrase as a variable on the
project so we didn't have to duplicate the job template but that didn't
seem to work. Duplicating the job template does allow us to create jobs
that do not auto start when PRs are created.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #871 from ceph/ceph-ansible-prs-update

ceph-ansible-prs: allow for tests to be auto started or only triggered

ceph-ansible-prs: allow for tests to be auto started or only triggered

This creates two different projects, one which lists scenarios that will
auto start on every PR and another which lists scenarios that will only
start if a comment is made on the PR with its trigger phrase.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #870 from ceph/fix_teardown_leftover

ceph-ansible-prs: fix leftover

ceph-ansible-prs: fix leftover

sometimes, it happens that the Jenkins Slave processes crashes before
teardown is executed (ie. `java.io.EOFException`), it means we keep
leftofver from previous build. This commit ensures before the test is
launched that no fetch directory from previous build is present.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #869 from ceph/ansible-lint

ceph-ansible-pr-syntax-check: use ansible-lint

ceph-ansible-pr-syntax-check: use ansible-lint

Enhance the ceph-ansible-pr-syntax-check job by running ansible-lint as
well.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #868 from ceph/skip-tests

ceph-ansible-prs: skip-build-phrase must be a regex

ceph-ansible-prs: skip-build-phrase must be a regex

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #867 from ceph/skip-tests

ceph-ansible-prs: adds skip-build-phrase

ceph-ansible-prs: adds skip-build-phrase

Adding the string 'no-tests' to either the PR title
or description will keep CI jobs from triggering on PR updates or
creation.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #866 from ceph/shrink-cont

ceph-ansible-prs: add shrink mon/osd for container

ceph-ansible-prs: add shrink mon/osd for container

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #865 from ceph/ansible-docs

ceph-ansible-docs: adds the stable-2.2 and stable-3.0 branches

ceph-ansible-docs: adds the stable-2.2 and stable-3.0 branches

The stable-3.0 branch has not been created yet, but putting this in
place now will ensure we get docs built when it is.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #864 from ceph/docker-tests

ceph-docker-nightly: update scenarios

ceph-docker-nightly: update scenarios

There is no ceph_ansible2.3 factor, we shouldn't need to test kraken
anymore and luminous needed to be added.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #863 from ceph/ansible-dev-tests

ceph-ansible-prs: only run lvm_osd tests on ceph@master

ceph-ansible-prs: only run lvm_osd tests on ceph@master

These lvm_osd tests won't pass until 12.2.1 is released, but if we have
them use ceph@master then they should pass. After 12.2.1 is out we can
move these back to be a 'luminous' test.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #788 from ceph/improve_teardown

ceph-ansible-prs: improve teardown

ceph-ansible-prs: improve teardown

Delete with force any `fetch/` directories that could have been left after a
build.

Signed-off-by: Guillaume Abrioux <gabrioux@redhat.com>

Merge pull request #862 from ceph/rm-bs-cluster

ceph-ansible-prs: remove bluestore_docker_cluster

ceph-ansible-prs: remove bluestore_docker_cluster

We don't need to bootstrap a full cluster to bootstrap bluestore. We
have individual scenarios for that.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #861 from ceph/wip-lab-cop-2

fix syntax error

fix syntax error

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #860 from ceph/wip-lab-cop-2

checkout teuthology

checkout teuthology

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #859 from ceph/wip-lab-cop-2

change this job to be manually triggered

change this job to be manually triggered

Signed-off-by: Gregory Meno <gmeno@redhat.com>

Merge pull request #858 from ceph/wip-kernel-xml-notags

kernel: use raw xml for configuring scm module

kernel: use raw xml for configuring scm module

kernel-trigger job needs to specify do-not-fetch-tags, otherwise
cloning fails, "No changes" is reported and nothing gets triggered (see
commit b34f8fa ("kernel: do not fetch git tags") for more details).
do-not-fetch-tags was added to jenkins-job-builder in commit
badab0264717 ("Add do-not-fetch-tags to CloneOption for Git"), which
isn't in any tag.  The version we get from pypi, 2.0.0.0b2, simply
ignores it, leaving us with no kernel builds.

Use raw xml generated with jenkins-job-builder's master to get
<noTags>true</noTags> up there after all.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #857 from ceph/wip-tcmu-runner

tcmu-runner: convert all dashes to period in revision

tcmu-runner: convert all dashes to period in revision

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #856 from ceph/wip-tcmu-runner

tcmu-runner: handle vX.Y.Z-rcX git tag formats

tcmu-runner: handle vX.Y.Z-rcX git tag formats

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #855 from ceph/wip-tcmu-runner

tcmu-runner: adjust build flags to match brew environment

tcmu-runner: adjust build flags to match brew environment

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #853 from ceph/wip-no-installer

Deprecate ceph-installer tests

Deprecate ceph-installer tests

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #850 from ceph/ansible-dev-tests

ceph-ansible-prs: adds the dev-ansible2.3-centos7_cluster scenario

ceph-ansible-prs: adds the dev-ansible2.3-centos7_cluster scenario

This test will install the latest master version of ceph from shaman.ceph.com
to verify that dev installs still work.

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #852 from ceph/wip-nightly-22

Only test using ansible 2.3

Only test using ansible 2.3

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #851 from ceph/shrink

ceph-ansible-prs: add shrink mon and osd scenario

ceph-ansible-prs: add shrink mon and osd scenario

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #849 from ceph/add-switch-to-containers

ceph-ansible-prs: add switch_to_containers scenario

ceph-ansible-prs: add switch_to_containers scenario

The CI will now test migration from non-containerized to containerized
scenario.

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #848 from ceph/wip-tcmu-runner

tcmu-runner: removed duplicate DIST axis

tcmu-runner: cleanup shaman.repo using bash trap

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

tcmu-runner: removed duplicate DIST axis

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #847 from ceph/wip-tcmu-runner

tcmu-runner: updated libtcmu package contents

tcmu-runner: updated libtcmu package contents

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #846 from ceph/wip-tcmu-runner

tcmu-runner: added missing distro release

tcmu-runner: added missing distro release

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #845 from ceph/wip-tcmu-runner

tcmu-runner: remove shaman repo file after build

tcmu-runner: remove shaman repo file after build

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #844 from ceph/wip-tcmu-runner

tcmu-runner: remove UAPI patch and add Ceph repo for build

tcmu-runner: remove UAPI patch and add Ceph repo for build

Signed-off-by: Jason Dillaman <dillaman@redhat.com>

Merge pull request #843 from ceph/wip-hudsonurl

ceph-docker: run flake8 and lint jobs on 2.jenkins

ceph-docker: just check if jenkins HUDSON_URL var is set

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #842 from ceph/disk-auto

ceph-ansible-prs: add disk autodiscovery scenario

ceph-ansible-prs: add disk autodiscovery scenario

Seconds https://github.com/ceph/ceph-ansible/pull/1803

Signed-off-by: Sébastien Han <seb@redhat.com>

Merge pull request #839 from ceph/wip-nfs-ganesha-stable

nfs-ganesha-stable: fixes to get build scripts working

Merge branch 'master' into wip-nfs-ganesha-stable

nfs-ganesha-stable: fixes to get build scripts working

-ntirpc scm wasn't applying properly
-clean up ntirpc directory
-various pbuilder related fixes
-directory ownership fix for creating local ntirpc repo

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #841 from ktdreyer/readme-test

README: more context for what "jenkins-jobs test" does

README: more context for what "jenkins-jobs test" does

Give developers a hint about what to look for in the output of
"jenkins-jobs test".

Merge pull request #840 from ceph/ansible-pr-scenarios

ceph-ansible-prs: adds the lvm_osds and purge_lvm_osds scenarios

ceph-ansible-prs: adds the lvm_osds and purge_lvm_osds scenarios

Signed-off-by: Andrew Schoen <aschoen@redhat.com>

Merge pull request #825 from ceph/wip-jenkins-refactor

Updates to ansible-jenkins role

ansible: Manage Jenkins service defaults w/ ansible

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Add README for ansible-jenkins role

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: jenkins-cli no longer deemed secure

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Add warning about restarting Jenkins to playbook

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Manage Jenkins auth with github-oauth

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Update Jenkins plugins tasks

 - Have to enable CLI to use jenkins-cli
 - Now compatible with ansible > v2

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Add ufw to jenkins masters

The jenkins-cli is used to initially configure the Jenkins service.  As
of recent versions, however, anonymous cli access isn't allowed unless
useSecurity is set to false in Jenkins' config.xml.  This opens Jenkins
to the world of course.

By creating some firewall rules, we can just disable nginx, turn of
auth, allow only localhost access to port 8080 and safely make changes using
jenkins-cli.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Force jenkins nginx symlink

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Add letsencrypt support for jenkins master role

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Update jenkins nginx reverse proxy config

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Remove SSL stuff.  We'll do this with letsencrypt

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Unnecessary config for ssh user

Role assumes the jenkins_master target has been configured with the
ceph-sepia-secrets ansible_managed and common roles.  These roles create
a cm user and already set up TTY-less sudo access.

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Rename ansible-reserved port var to jenkins_port

Signed-off-by: David Galloway <dgallowa@redhat.com>

ansible: Refactor jenkins master role

- Spacing/tabs/syntax/quoting
- Updated for compatibility with ansible > v2
- Only support Ubuntu Xenial for now

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #836 from ceph/wip-docs-override

Build ceph-ansible docs on jenkins.ceph.com

Build ceph-ansible docs on jenkins.ceph.com

Because docs.ceph.com is a slave of jenkins.ceph.com

Signed-off-by: David Galloway <dgallowa@redhat.com>

Merge pull request #838 from ceph/wip-kernel-no-tags

kernel: do not fetch git tags

kernel: do not fetch git tags

After a recent jenkins/plugins update, jenkins started listing tags and
attempting git rev-parse ^{commit} on them:

  Seen branch in repository origin/wip-tighter-types
  Seen 39 remote branches
  > git tag -l # timeout=10
  > git rev-parse refs/tags/v4.7-rc7^{commit} # timeout=10
  > git rev-parse refs/tags/v2.6.30-rc7^{commit} # timeout=10

On the Linux kernel repo, this eventually fails with:

  > git rev-parse refs/tags/v2.6.11^{commit} # timeout=10
  FATAL: Command "git rev-parse refs/tags/v2.6.11^{commit}" returned status code 128:
  stdout: refs/tags/v2.6.11^{commit}
  stderr: error: refs/tags/v2.6.11^{commit}: expected commit type, but
  the object dereferences to tree type

Only "trigger" jobs seem to be affected, but we don't really need tags,
so don't fetch them for both kernel-trigger and kernel.

Signed-off-by: Ilya Dryomov <idryomov@gmail.com>

Merge pull request #837 from ceph/pr-docs-cython

ceph-pr-docs: install cython, remove python-sphinx

ceph-pr-docs: install cython, remove python-sphinx

cython is needed for generating docs from pyx docstrings and
python-sphinx is not needed because it is installed in a virtualenv by
the admin/build-doc script

Signed-off-by: Alfredo Deza <adeza@redhat.com>

Merge pull request #812 from ceph/wip-nfs-ganesha-stable

nfs-ganesha-stable: add seperate libntirpc packages

nfs-ganesha-stable: debian builds using external ntirpc

- add option to switch nfs-ganesha-debian branch on
nfs-ganesha builds for shaman
- change build_debian to use an external ntirpc for
it's builds

Signed-off-by: Ali Maredia <amaredia@redhat.com>

Merge pull request #823 from ceph/wip-multimaster

Move ceph-ansible and ceph-docker builds to 2.jenkins.ceph.com

Move ceph-ansible and ceph-docker builds to 2.jenkins.ceph.com

Signed-off-by: David Galloway <dgallowa@redhat.com>