Check filesystem after log replay and abort test if errors found
Merge of master-melb:xfs-cmds:29730a by kenmcd.

  Check filesystem after log replay and abort test if errors found

Abort tests if a failure is encountered while creating/writing test files.
Merge of master-melb:xfs-cmds:29728a by kenmcd.

  Abort tests if a failure is encountered while creating/writing test files.

Don't delete test files if they are corrupt.
Merge of master-melb:xfs-cmds:29726a by kenmcd.

  Don't delete test files if they are corrupt.

test out xfs_inactive_attrs in log replay for iunlink processing.
Merge of master-melb:xfs-cmds:29701a by kenmcd.

  Update args to use command options for multi_open_unlink.
  Change a sleep to a wait as we were just sleeping to account
  for the death of a process - should really wait for its death.

change scratch fs to xfs_scratch
Merge of master-melb:xfs-cmds:29591a by kenmcd.

  change scratch fs to xfs_scratch

Use larger files in test - makes it easier to expose problem.
Merge of master-melb:xfs-cmds:29558a by kenmcd.

  Use larger files in test - makes it easier to expose problem.

Report errors for missing files and check for correct file sizes
Merge of master-melb:xfs-cmds:29557a by kenmcd.

  Report errors for missing files and check for correct file sizes

upddate rizzo1
Merge of master-melb:xfs-cmds:29536a by kenmcd.

  update rizzo1

changes gonzo1 variables
set scratch fs to 'scratch' from 'xfs_scratch'
Merge of master-melb:xfs-cmds:29527a by kenmcd.

  set scratch fs to 'scratch' from 'xfs_scratch'

Modify know hosts (kermit1, gonzo1).
Merge of master-melb:xfs-cmds:29523a by kenmcd.

  Modify know hosts (kermit1, gonzo1).

Fix the display of a variable.
Merge of master-melb:xfs-cmds:29446a by kenmcd.

  Display the variable after is being set.

Add the new tests and their golden outputs.
Merge of master-melb:xfs-cmds:29445a by kenmcd.

  New Test

Test that fsync/sync force file size changes to disk.
Merge of master-melb:xfs-cmds:29441a by kenmcd.

  Test that fsync forces file size changes to disk.

new common.punch file for exercising various hole punch functions,
_test_punch the main test function follows the procedure:
- mkfs & mount scratch
- optionally set files extent size hint
- truncate and optionally resvsp
- write or punch to file in specified order at given offsets & lengths
- display the file state (bmap) after each operation

All sizes, offsets and lengths are specified in FS blocks.
Problems may arise on non bash shells due to array usage.
Merge of master-melb:xfs-cmds:29434a by kenmcd.

Modify golden output to match different Maximum file blocks for 32 & 64 bit systems
Merge of master-melb:xfs-cmds:29391a by kenmcd.

  enhanced the filter function

make sure the test shows any garbage output.
Merge of master-melb:xfs-cmds:29378a by kenmcd.

  Add the modified filter that was removed from common.dmapi

Modify dassi QA scratch device
Merge of master-melb:xfs-cmds:29356a by kenmcd.

  Modify dassi QA scratch device

pv 968773, author Chris Pascoe <c.pascoe@itee.uq.edu.au>, rv vapo - minor fixes for XFS DMAPI tests
Merge of master-melb:xfs-cmds:29348a by kenmcd.

  pv 968773, author Chris Pascoe <c.pascoe@itee.uq.edu.au>, rv vapo - minor fixes for XFS DMAPI tests

pv 964111, rv lachlan - >       attrname[DM_ATTR_NAME_SIZE] = '\0';  /* terminate the string */
Merge of master-melb:xfs-cmds:29347a by kenmcd.

  pv 964111, rv lachlan - terminate attribute name string

modify galah machine configuration.
Merge of master-melb:xfs-cmds:29336a by kenmcd.

  add log devices.

add -r to killall in order kill fsstress & lt-fsstress
Merge of master-melb:xfs-cmds:29307a by kenmcd.

  add -r to killall

XFSQA 171 should be _notrun on irix
Merge of master-melb:xfs-cmds:29302a by kenmcd.

  remove irix as a supported os

Fix up mode bits
Merge of master-melb:xfs-cmds:29299a by kenmcd.

  Execute bits changed from --- to xxx
  Fix up mode xbits for test

Fix up QA for xfsprogs 2.9.x
Merge of master-melb:xfs-cmds:29298a by kenmcd.

  Golden output is slightly wrong for xfs_repair 2.9.2+

Create test 178 as described by bnaujok.
Merge of master-melb:xfs-cmds:29273a by kenmcd.

  New Test

Fix build failure.
Merge of master-melb:xfs-cmds:29235a by kenmcd.

  Fix build failure.

use dd and lmdd for proper direct/buffered IO on linux and irix
Merge of master-melb:xfs-cmds:29214a by kenmcd.

intigrate bulkstat_unlink_test into XFS-QA
Merge of master-melb:xfs-cmds:29213a by kenmcd.

  New XFSQA test

- OS common filestreams timeout change function
        - use xfs_io instead of dd (working direct io)
        - no filestreams directory flags, just use the mount option
Merge of master-melb:xfs-cmds:29185a by kenmcd.

Update QA tests for new lost+found behaviour
Merge of master-melb:xfs-cmds:29145a by kenmcd.

  Update QA tests for new lost+found behaviour

Inserting a small (2s) sleep after starting print_event.
Merge of master-melb:xfs-cmds:29094a by kenmcd.

remove .full file before running test
Merge of master-melb:xfs-cmds:29091a by kenmcd.

file size consistantcy test
Merge of master-melb:xfs-cmds:29085a by kenmcd.

A recent change to XFSQA to resolve mkfs option conflicts means mkfs can be run twice per _scratch_mkfs_xfs:

    $MKFS_XFS_PROG $SCRATCH_OPTIONS $MKFS_OPTIONS $extra_mkfs_options $SCRATCH_DEV
    local mkfs_status=$?

    # a mkfs failure may be caused by conflicts between
    # $MKFS_OPTIONS and $extra_mkfs_options

    if [ $mkfs_status -ne 0 -a ! -z "$extra_mkfs_options" ]; then
        echo "** mkfs failed with extra mkfs options added to \"$MKFS_OPTIONS\" by test $seq **" \
            >>$here/$seq.full
        echo "** attempting to mkfs using only test $seq options: $extra_mkfs_options **" \
            >>$here/$seq.full
        $MKFS_XFS_PROG $SCRATCH_OPTIONS $extra_mkfs_options $SCRATCH_DEV
        mkfs_status=$?
    fi

In the case of a failure caused by conflict between $MKFS_OPTIONS and $extra_mkfs_options,
the mkfs output is shown twice, first off is the failed mkfs output, secondly the resolved mkfs output.

This can cause QA failures for a number of tests, particularly those that filter the mkfs output.

This change shows only the applied (final) mkfs output from _scratch_mkfs_xfs.
Merge of master-melb:xfs-cmds:29041a by kenmcd.

For XFSQA test 018 081 082 095 the test specifies test wide mkfs options using MKFS_OPTIONS env var.
Further mkfs options are then appended by _mkfs_log at mkfs time with _scratch_mkfs_xfs.

Currently there are a few ways mkfs options are specified in XFSQA:
1) suite wide MKFS_OPTIONS are specified before tests are run
        e.g.
        vimes:/home/fsgqa/kali/xfsqa/xfstests # export MKFS_OPTIONS="-l size=100m"

2) test wide MKFS_OPTIONS are specified during a particular test
        e.g. 119
        export MKFS_OPTIONS="-l version=2,size=1200b,su=64k"

3) mkfs options are appended by a test at mkfs time
        e.g.  083
        _scratch_mkfs_xfs -dsize=$fsz,agcount=$ags  >>$seq.full

(4) Another form of appending is just appending to MKFS_OPTIONS directly
        e.g.    114:export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1"
                115:export MKFS_OPTIONS="$MKFS_OPTIONS -i paths=1"

e.g. Methods (2) *and* (3) for specifiying mkfs options are used in these tests.
This causes problems, because the mkfs options fallback code assumes the
_mkfs_log _scratch_mkfs_xfs appended options are the only test specified options.

This change causes tests using _mkfs_log to only use option (2).
~
~
Merge of master-melb:xfs-cmds:29031a by kenmcd.

Avoid mkfs options conflict, use minimal mkfs options to create loopfs.
Merge of master-melb:xfs-cmds:29028a by kenmcd.

Make sure we take into account newly reserved blocks as introduced
in 964468.
Merge of master-melb:xfs-cmds:29013a by kenmcd.

QA tests for filestreams
Merge of master-melb:xfs-cmds:29011a by kenmcd.

  QA tests for filestreams

change galah QA devs & scratch mount point
Merge of master-melb:xfs-cmds:29001a by kenmcd.

Make sure 167 completes and unmounts scratch correctly
Merge of master-melb:xfs-cmds:28942a by kenmcd.

  run a sync after killing all the fsstress processes to ensure
  they have all completed before trying to unmount scratch.

Clean up whitespace problems with 166.
Merge of master-melb:xfs-cmds:28941a by kenmcd.

  Don't leave trailing whitespace at EOL when filtering output.

add null files tests to auto group
Merge of master-melb:xfs-cmds:28940a by kenmcd.

  leave bad files around for post mortem on failure.

XFSQA 073 is still not correctly cleaning up $tmp,
this is because $tmp.source_dir is not an empty dir.

This change recursively deletes everything in $tmp.source_dir.
Not required for $tmp.loop as it is used as a loopback mountpoint.

the ignore external MKFS_OPTIONS change is no longer required,
as _scratch_mkfs_xfs now handles conflicting options.
Merge of master-melb:xfs-cmds:28863a by kenmcd.

  cleanup tmp and don't kill mkfs options

This test enables dmapi return_on_destroy and captures dmapi events
generated by two create/removes. One with file attibutes set, one without.

A dmapi destroy event should be generated in both cases, however PV960928
has shown that it may not be when attributes are not set.
Merge of master-melb:xfs-cmds:28771a by kenmcd.

  test

Make sure the repair tests dirty the filesystem before corrupting it.
Merge of master-melb:xfs-cmds:28770a by kenmcd.

  Make sure the repair tests dirty the filesystem before corrupting it.

QA test to exercise unwritten extent conversion for sync direct I/O
Merge of master-melb:xfs-cmds:28769a by kenmcd.

  QA test to exercise unwritten extent conversion for sync direct I/O.

Changed kermit xfsqa targets
Merge of master-melb:xfs-cmds:28706a by kenmcd.

  Changed kermit xfsqa targets

Adding devices for rizzo to do xfs-qa
Merge of master-melb:xfs-cmds:28644a by kenmcd.

  Adding devices for rizzo to do xfs-qa

test 121 creates unlinked and still referenced inodes, it doesn't clean up afterwards.
Merge of master-melb:xfs-cmds:28637a by kenmcd.

  do a mount after running test to trigger log recovery
  \.

check for mkfs/mount failure
Merge of master-melb:xfs-cmds:28623a by kenmcd.

Currently there are a few ways mkfs options are specified in XFSQA:
1) suite wide MKFS_OPTIONS are specified before tests are run
e.g.
vimes:/home/fsgqa/kali/xfsqa/xfstests # export MKFS_OPTIONS="-l size=100m"

2) test wide MKFS_OPTIONS are specified during a particular test
e.g. 119
export MKFS_OPTIONS="-l version=2,size=1200b,su=64k"

3) mkfs options are appended by a test at mkfs time
e.g.  083
_scratch_mkfs_xfs -dsize=$fsz,agcount=$ags  >>$seq.full

(4) Another form of appending is just appending to MKFS_OPTIONS directly
e.g.  114:export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1"
115:export MKFS_OPTIONS="$MKFS_OPTIONS -i paths=1"

Conflicts between mkfs options specified with method 1 & 3 are common.
960377  XFSQA 041, 042 - mkfs fails with large log size MKFS_OPTIONS.

This change means if a mkfs fails where mkfs options have been appended by a test (method 3),
The mkfs is retried using only those options defined by the test.

occurances of method 4 (in test 114 & 115) are also changed to use method 3.

$seq.full logs the fact that a mkfs options conflict has occured.
Merge of master-melb:xfs-cmds:28601a by kenmcd.

  append -i parent mkfs option using _scratch_mkfs_xfs -i parent...
  rather than export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1.
  this avoids mkfs option conflicts

fix group listing regexp
Merge of master-melb:xfs-cmds:28513a by kenmcd.

  add dmapi group

QA test to demonstrate unwritten extent/mmap write problem
Merge of master-melb:xfs-cmds:28456a by kenmcd.

  mmap vs unwritten extents test.

fix white space between comments
Merge of master-melb:xfs-cmds:28446a by kenmcd.

A bit of a cleanup of common.config and add new QA host.
Merge of master-melb:xfs-cmds:28444a by kenmcd.

Put _qmount_option into common.quota for other quota tests to use.
Merge of master-melb:xfs-cmds:28443a by kenmcd.

  Put _qmount_option into common.quota for other quota tests to use.

fixup xfstests Makefile sinch dmapi changes
Merge of master-melb:xfs-cmds:28442a by kenmcd.

  fixup xfstests Makefile sinch dmapi changes

Added rizzo1 to known host list
Merge of master-melb:xfs-cmds:28405a by kenmcd.

  Added rizzo1 to known host list

Output wasn't deterministic. Remove bmap output from stdout,
just have going to seq.full.
Merge of master-melb:xfs-cmds:28376a by kenmcd.

  Execute bits changed from --- to x--
  Fix up bmap output. Meant to remove the testfile on every
  test but forgot to. Also needed to truncate the files
  in the 2nd group of tests which used resvsp so that
  the length/eof was correct for the test.

Provide conditions to show up problem for dioread on IRIX and Linux
for pv#962005.
Merge of master-melb:xfs-cmds:28362a by kenmcd.

  Provide conditions to show up problem for dioread on IRIX and Linux
  for pv#962005.

Some experimentation for pv#962014 doing prealloc, direct write, buffered read etc...
Add more here if come up with other ideas.
Merge of master-melb:xfs-cmds:28351a by kenmcd.

  Some experimentation for pv#962014 doing prealloc, direct write, buffered read etc...
  Add more here if come up with other ideas.

common.config minor changes
Merge of master-melb:xfs-cmds:28337a by kenmcd.

  Modified partitions and host name for cxfsaltix2. Now kermit1.

inferno is now called gaspode
Merge of master-melb:xfs-cmds:28326a by kenmcd.

This change makes test 041 function correctly other blocks sizes, not just 4096.
The FS bsize is extracted from _filter_mkfs and then used to calculate growfs "destination" size.
Merge of master-melb:xfs-cmds:28222a by kenmcd.

  calculate one meg in blocks, then use that value to calculate grow-to values.

fsx was calling vfprintf twice without resetting the va_list argument
Merge of master-melb:xfs-cmds:28212a by kenmcd.

  fsx was calling vfprintf twice without resetting the va_list argument and
  this caused a segfault on the second call.  Now uses one call to vsnprintf
  to print to a buffer and uses that multiple times.

-
Merge of master-melb:xfs-cmds:28207a by kenmcd.

Added changed xfs test device to cxfsaltix2 config.
Merge of master-melb:xfs-cmds:28206a by kenmcd.

  -

Changed the test parametrs for cxfsaltix5.
Merge of master-melb:xfs-cmds:28158a by kenmcd.

XFSQA test 144 fails again on tot linux_xfs
Merge of master-melb:xfs-cmds:28113a by kenmcd.

  pv 961215, rv allanr - replacing fsync() with global sync()

Fix menu items order
Merge of master-melb:xfs-cmds:28083a by kenmcd.

  Fix menu items order

Put the output of fsx into seq.full and output all of seq.full on failure.
Just to give more context around the error if we get one.
Merge of master-melb:xfs-cmds:28068a by kenmcd.

  Put the output of fsx into seq.full and output all of seq.full on failure.
  Just to give more context around the error if we get one.

added flame, modified indentation
Merge of master-melb:xfs-cmds:28062a by kenmcd.

  added flame, modified indentation

Modified golden output to reflect NUM loop filter
Merge of master-melb:xfs-cmds:28052a by kenmcd.

  Modified golden output to reflect NUM loop filter

_check_sids previously grepped the entire output of dm_getall_sessions for sids, which is:
ret=dm_getall_sessions return value
rnelem=number of sessions
sids="sid1 sid2 ... sidn "

If the session id of a previously destroyed session matches the current number of sessions (rnelem),
then _check_sids() $PREV_DESTROYED_SID will _not_ flag ERROR: SID(s) not created.

This fix also makes _check_sids() not rely on sids being consecutive. DMF may be running on a FS in background.

Tested on Linux and Irix.
Merge of master-melb:xfs-cmds:28043a by kenmcd.

  change _check_sids to go through sids line 1 by 1 checking for matches

XFSQA 122 on machines with xfs_lazy_sb.patch have failed due to the addition of __be32 agf_btreeblks to xfs_agf_t.

This change causes 122 detect whether the patch is installed by greping for lazy count in mkfs output, the xfs_agf_t size is then filtered based on the patch status.
The original intention was to check /lib/modules/$(uname -r)/source/fs/xfs/xfs_ag.h for btreeblks and filter on this, however the kernel source is not a prereq for XFSQA.
Merge of master-melb:xfs-cmds:28014a by kenmcd.

  pipe get_structs.c output through _type_size_filter to filter out known changes to xfs type sizes

fix null string comparison in notrun case
Merge of master-melb:xfs-cmds:28004a by kenmcd.

-
Merge of master-melb:xfs-cmds:27993a by kenmcd.

  -

-
Merge of master-melb:xfs-cmds:27977a by kenmcd.

  -

change inferno, sheila and chapter11 configs to follow same test partition conventions
Merge of master-melb:xfs-cmds:27957a by kenmcd.

Changed specs for cxfsaltix2
Merge of master-melb:xfs-cmds:27929a by kenmcd.

  Changed specs for cxfsaltix2

Updated the config for cxfsaltix2
Merge of master-melb:xfs-cmds:27927a by kenmcd.

  Updated config for cxfsaltix2

Integrate dmapi suite 1 into xfsqa infrastructure
Merge of master-melb:xfs-cmds:27924a by kenmcd.

  added IRIX to _supported_os

Added cxfsaltix2 to the list of known hosts.
Merge of master-melb:xfs-cmds:27913a by kenmcd.

  Added cxfsaltix2 to the list of known hosts.

-.
Merge of master-melb:xfs-cmds:27905a by kenmcd.

  -.

-
Merge of master-melb:xfs-cmds:27903a by kenmcd.

  -.

Modified devices for cxfsaltix5
Merge of master-melb:xfs-cmds:27902a by kenmcd.

  Modified devices for cxfsaltix5

fixed dmapi mount filter to work on irix
Merge of master-melb:xfs-cmds:27901a by kenmcd.

  Execute bits changed from --- to xxx
  fixed dmapi mount filter to work on irix

Added cxfsaltix5 to list of known hosts
Merge of master-melb:xfs-cmds:27892a by kenmcd.

  Added cxfsaltix5 to list of known hosts

_dmapi_scratch_mount changes
Merge of master-melb:xfs-cmds:27847a by kenmcd.

  changed _dmapi_scratch_mount to determine dmapi support by attempting to mount the filesystem with the dmapi mount option and checking it succeeds

Dmapi build fix
Merge of master-melb:xfs-cmds:27826a by kenmcd.

  added default make option

fix not_run condition
Merge of master-melb:xfs-cmds:27812a by kenmcd.

  fix not_run condition

clone of test 031 using xfs_prepair instead of xfs_repair
Merge of master-melb:xfs-cmds:27794a by kenmcd.

  clone of test 031 using xfs_prepair instead of xfs_repair

use _filter_repair when running xfs_repair. This stops timestamp mismatches from causing test failures.
Merge of master-melb:xfs-cmds:27793a by kenmcd.

  pipe repair output through _filter_repair

golden output is the same for irix and linux, merge both
Merge of master-melb:xfs-cmds:27791a by kenmcd.

  don't link .out file

XFS: totally zeroed log warning should not be output in irix, a zeroed log is a normal condition
Merge of master-melb:xfs-cmds:27786a by kenmcd.

  remove XFS: totally zeroed log from golden output

Updated hammer's configuration
Merge of master-melb:xfs-cmds:27784a by kenmcd.

  Updated hammer's configuration

small changes required for 148 prepair tests
Merge of master-melb:xfs-cmds:27781a by kenmcd.

  export prepair and prepair64 binary paths

test 030 clone using xfs_prepair64
Merge of master-melb:xfs-cmds:27780a by kenmcd.

  test 030 clone using xfs_prepair64

fixed Makefile for building dmapi tests
Merge of master-melb:xfs-cmds:27778a by kenmcd.

  fixed Makefile for building dmapi tests

check for dmapi module before running dmapi tests
Merge of master-melb:xfs-cmds:27774a by kenmcd.

  check for dmapi module before running dmapi tests