Add QA test 183

(whitespace cleanups)

This test calls the new bulkstat_unlink_test with the -r switch

The patch contains the test, as well as the golden output.
SGI-Git-Id: a0d3341757e6013feaed7f630f3afc061f743059
SGI-Git-author: Niv Sardi-Altivanik  <xaiki@chook.melbourne.sgi.com>
SGI-Git-date: Wed, 24 Oct 2007 15:52:25 +1000
Merge of master-melb:xfs-cmds:29965a by kenmcd.

Add -r switch to src/bulkstat_unlink_test.c needed for QA test 183

(whitespace cleanups)

This patch adds a -r switch (using getopt as suggested by dchinner)
to src/bulkstat_unlink_test.c, that will implement the additional checks
described by vlad in PV 972128.

Basically we:
* Save the inode count in scount.
* Create nfiles new files (passed as argument).
* Open those nfiles.
* Unlink the files.
* Check that the inode count is greater than scount.
* close the files.
* Check that the inode count is the same as scount.

This patch also introduces more info on failure (Line number and file) before the exit()s, as well
as comments describing what we are doing.

This patch is to be used by QA test 183
SGI-Git-Id: 4ab8fa354f79070b4ba87cb09c4326d62da824fd
SGI-Git-author: Niv Sardi-Altivanik  <xaiki@chook.melbourne.sgi.com>
SGI-Git-date: Wed, 24 Oct 2007 13:24:27 +1000
Merge of master-melb:xfs-cmds:29964a by kenmcd.

XFSQA: add per host config files.

This commit adds the config files needed by the former commit.

SGI-Git-Id: f8cdf13f2744d3692639297404cb9d058c6c5665
SGI-Git-author: Niv Sardi-Altivanik  <xaiki@chook.melbourne.sgi.com>
SGI-Git-date: Thu, 25 Oct 2007 13:43:59 +1000
Merge of master-melb:xfs-cmds:29963a by kenmcd.

This patche adds a new file in ./configs for each host that was
in the monolithic (ugly) common.config file.

the files have been auto-generated and might contain some quircks.

The in-source documentation has been updated as well.
Merge of master-melb:xfs-cmds:29952a by kenmcd.

  487 +++---------------------------------------------

Add extra test cases for growfs
Merge of master-melb:xfs-cmds:29854a by kenmcd.

  Modify the loop back grow function to include a flag for checking the fs after growin and added few more growfs test cases that are less 16TB

Fix up attr include path for irix, like ddiss did for dmiperf.c.
Merge of master-melb:xfs-cmds:29830a by kenmcd.

  Fix up attr include path for irix, like ddiss did for dmiperf.c.

Modify existing test cases, and add a new one.
Merge of master-melb:xfs-cmds:29822a by kenmcd.

  reduce number of files on the existing test cases. Remounted the fs with dmapi enabled and a call for a new test case.

Test to expose log replay bug.
Merge of master-melb:xfs-cmds:29801a by kenmcd.

  Test to expose log replay bug.

-
Merge of master-melb:xfs-cmds:29795a by kenmcd.

  -

-
Merge of master-melb:xfs-cmds:29793a by kenmcd.

  -

added description for ha fs resource
Merge of master-melb:xfs-cmds:29792a by kenmcd.

Make the -l option default for check.
Use -xdiff for graphical version.
Merge of master-melb:xfs-cmds:29761a by kenmcd.

  Make the -l option default for check.
  Use -xdiff for graphical version.

Fix unexpected 32 bit sign extension for linux time. It was fine for Irix.
Merge of master-melb:xfs-cmds:29738a by kenmcd.

  pv 964111, rv lacklan - Fix unexpected 32 bit sign extension for linux time. It was fine for Irix.

Add test system 'mallet'.
Merge of master-melb:xfs-cmds:29732a by kenmcd.

  Add test system 'mallet'.

Check filesystem after log replay and abort test if errors found
Merge of master-melb:xfs-cmds:29730a by kenmcd.

  Check filesystem after log replay and abort test if errors found

Abort tests if a failure is encountered while creating/writing test files.
Merge of master-melb:xfs-cmds:29728a by kenmcd.

  Abort tests if a failure is encountered while creating/writing test files.

Don't delete test files if they are corrupt.
Merge of master-melb:xfs-cmds:29726a by kenmcd.

  Don't delete test files if they are corrupt.

test out xfs_inactive_attrs in log replay for iunlink processing.
Merge of master-melb:xfs-cmds:29701a by kenmcd.

  Update args to use command options for multi_open_unlink.
  Change a sleep to a wait as we were just sleeping to account
  for the death of a process - should really wait for its death.

change scratch fs to xfs_scratch
Merge of master-melb:xfs-cmds:29591a by kenmcd.

  change scratch fs to xfs_scratch

Use larger files in test - makes it easier to expose problem.
Merge of master-melb:xfs-cmds:29558a by kenmcd.

  Use larger files in test - makes it easier to expose problem.

Report errors for missing files and check for correct file sizes
Merge of master-melb:xfs-cmds:29557a by kenmcd.

  Report errors for missing files and check for correct file sizes

upddate rizzo1
Merge of master-melb:xfs-cmds:29536a by kenmcd.

  update rizzo1

changes gonzo1 variables
set scratch fs to 'scratch' from 'xfs_scratch'
Merge of master-melb:xfs-cmds:29527a by kenmcd.

  set scratch fs to 'scratch' from 'xfs_scratch'

Modify know hosts (kermit1, gonzo1).
Merge of master-melb:xfs-cmds:29523a by kenmcd.

  Modify know hosts (kermit1, gonzo1).

Fix the display of a variable.
Merge of master-melb:xfs-cmds:29446a by kenmcd.

  Display the variable after is being set.

Add the new tests and their golden outputs.
Merge of master-melb:xfs-cmds:29445a by kenmcd.

  New Test

Test that fsync/sync force file size changes to disk.
Merge of master-melb:xfs-cmds:29441a by kenmcd.

  Test that fsync forces file size changes to disk.

new common.punch file for exercising various hole punch functions,
_test_punch the main test function follows the procedure:
- mkfs & mount scratch
- optionally set files extent size hint
- truncate and optionally resvsp
- write or punch to file in specified order at given offsets & lengths
- display the file state (bmap) after each operation

All sizes, offsets and lengths are specified in FS blocks.
Problems may arise on non bash shells due to array usage.
Merge of master-melb:xfs-cmds:29434a by kenmcd.

Modify golden output to match different Maximum file blocks for 32 & 64 bit systems
Merge of master-melb:xfs-cmds:29391a by kenmcd.

  enhanced the filter function

make sure the test shows any garbage output.
Merge of master-melb:xfs-cmds:29378a by kenmcd.

  Add the modified filter that was removed from common.dmapi

Modify dassi QA scratch device
Merge of master-melb:xfs-cmds:29356a by kenmcd.

  Modify dassi QA scratch device

pv 968773, author Chris Pascoe <c.pascoe@itee.uq.edu.au>, rv vapo - minor fixes for XFS DMAPI tests
Merge of master-melb:xfs-cmds:29348a by kenmcd.

  pv 968773, author Chris Pascoe <c.pascoe@itee.uq.edu.au>, rv vapo - minor fixes for XFS DMAPI tests

pv 964111, rv lachlan - >       attrname[DM_ATTR_NAME_SIZE] = '\0';  /* terminate the string */
Merge of master-melb:xfs-cmds:29347a by kenmcd.

  pv 964111, rv lachlan - terminate attribute name string

modify galah machine configuration.
Merge of master-melb:xfs-cmds:29336a by kenmcd.

  add log devices.

add -r to killall in order kill fsstress & lt-fsstress
Merge of master-melb:xfs-cmds:29307a by kenmcd.

  add -r to killall

XFSQA 171 should be _notrun on irix
Merge of master-melb:xfs-cmds:29302a by kenmcd.

  remove irix as a supported os

Fix up mode bits
Merge of master-melb:xfs-cmds:29299a by kenmcd.

  Execute bits changed from --- to xxx
  Fix up mode xbits for test

Fix up QA for xfsprogs 2.9.x
Merge of master-melb:xfs-cmds:29298a by kenmcd.

  Golden output is slightly wrong for xfs_repair 2.9.2+

Create test 178 as described by bnaujok.
Merge of master-melb:xfs-cmds:29273a by kenmcd.

  New Test

Fix build failure.
Merge of master-melb:xfs-cmds:29235a by kenmcd.

  Fix build failure.

use dd and lmdd for proper direct/buffered IO on linux and irix
Merge of master-melb:xfs-cmds:29214a by kenmcd.

intigrate bulkstat_unlink_test into XFS-QA
Merge of master-melb:xfs-cmds:29213a by kenmcd.

  New XFSQA test

- OS common filestreams timeout change function
        - use xfs_io instead of dd (working direct io)
        - no filestreams directory flags, just use the mount option
Merge of master-melb:xfs-cmds:29185a by kenmcd.

Update QA tests for new lost+found behaviour
Merge of master-melb:xfs-cmds:29145a by kenmcd.

  Update QA tests for new lost+found behaviour

Inserting a small (2s) sleep after starting print_event.
Merge of master-melb:xfs-cmds:29094a by kenmcd.

remove .full file before running test
Merge of master-melb:xfs-cmds:29091a by kenmcd.

file size consistantcy test
Merge of master-melb:xfs-cmds:29085a by kenmcd.

A recent change to XFSQA to resolve mkfs option conflicts means mkfs can be run twice per _scratch_mkfs_xfs:

    $MKFS_XFS_PROG $SCRATCH_OPTIONS $MKFS_OPTIONS $extra_mkfs_options $SCRATCH_DEV
    local mkfs_status=$?

    # a mkfs failure may be caused by conflicts between
    # $MKFS_OPTIONS and $extra_mkfs_options

    if [ $mkfs_status -ne 0 -a ! -z "$extra_mkfs_options" ]; then
        echo "** mkfs failed with extra mkfs options added to \"$MKFS_OPTIONS\" by test $seq **" \
            >>$here/$seq.full
        echo "** attempting to mkfs using only test $seq options: $extra_mkfs_options **" \
            >>$here/$seq.full
        $MKFS_XFS_PROG $SCRATCH_OPTIONS $extra_mkfs_options $SCRATCH_DEV
        mkfs_status=$?
    fi

In the case of a failure caused by conflict between $MKFS_OPTIONS and $extra_mkfs_options,
the mkfs output is shown twice, first off is the failed mkfs output, secondly the resolved mkfs output.

This can cause QA failures for a number of tests, particularly those that filter the mkfs output.

This change shows only the applied (final) mkfs output from _scratch_mkfs_xfs.
Merge of master-melb:xfs-cmds:29041a by kenmcd.

For XFSQA test 018 081 082 095 the test specifies test wide mkfs options using MKFS_OPTIONS env var.
Further mkfs options are then appended by _mkfs_log at mkfs time with _scratch_mkfs_xfs.

Currently there are a few ways mkfs options are specified in XFSQA:
1) suite wide MKFS_OPTIONS are specified before tests are run
        e.g.
        vimes:/home/fsgqa/kali/xfsqa/xfstests # export MKFS_OPTIONS="-l size=100m"

2) test wide MKFS_OPTIONS are specified during a particular test
        e.g. 119
        export MKFS_OPTIONS="-l version=2,size=1200b,su=64k"

3) mkfs options are appended by a test at mkfs time
        e.g.  083
        _scratch_mkfs_xfs -dsize=$fsz,agcount=$ags  >>$seq.full

(4) Another form of appending is just appending to MKFS_OPTIONS directly
        e.g.    114:export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1"
                115:export MKFS_OPTIONS="$MKFS_OPTIONS -i paths=1"

e.g. Methods (2) *and* (3) for specifiying mkfs options are used in these tests.
This causes problems, because the mkfs options fallback code assumes the
_mkfs_log _scratch_mkfs_xfs appended options are the only test specified options.

This change causes tests using _mkfs_log to only use option (2).
~
~
Merge of master-melb:xfs-cmds:29031a by kenmcd.

Avoid mkfs options conflict, use minimal mkfs options to create loopfs.
Merge of master-melb:xfs-cmds:29028a by kenmcd.

Make sure we take into account newly reserved blocks as introduced
in 964468.
Merge of master-melb:xfs-cmds:29013a by kenmcd.

QA tests for filestreams
Merge of master-melb:xfs-cmds:29011a by kenmcd.

  QA tests for filestreams

change galah QA devs & scratch mount point
Merge of master-melb:xfs-cmds:29001a by kenmcd.

Make sure 167 completes and unmounts scratch correctly
Merge of master-melb:xfs-cmds:28942a by kenmcd.

  run a sync after killing all the fsstress processes to ensure
  they have all completed before trying to unmount scratch.

Clean up whitespace problems with 166.
Merge of master-melb:xfs-cmds:28941a by kenmcd.

  Don't leave trailing whitespace at EOL when filtering output.

add null files tests to auto group
Merge of master-melb:xfs-cmds:28940a by kenmcd.

  leave bad files around for post mortem on failure.

XFSQA 073 is still not correctly cleaning up $tmp,
this is because $tmp.source_dir is not an empty dir.

This change recursively deletes everything in $tmp.source_dir.
Not required for $tmp.loop as it is used as a loopback mountpoint.

the ignore external MKFS_OPTIONS change is no longer required,
as _scratch_mkfs_xfs now handles conflicting options.
Merge of master-melb:xfs-cmds:28863a by kenmcd.

  cleanup tmp and don't kill mkfs options

This test enables dmapi return_on_destroy and captures dmapi events
generated by two create/removes. One with file attibutes set, one without.

A dmapi destroy event should be generated in both cases, however PV960928
has shown that it may not be when attributes are not set.
Merge of master-melb:xfs-cmds:28771a by kenmcd.

  test

Make sure the repair tests dirty the filesystem before corrupting it.
Merge of master-melb:xfs-cmds:28770a by kenmcd.

  Make sure the repair tests dirty the filesystem before corrupting it.

QA test to exercise unwritten extent conversion for sync direct I/O
Merge of master-melb:xfs-cmds:28769a by kenmcd.

  QA test to exercise unwritten extent conversion for sync direct I/O.

Changed kermit xfsqa targets
Merge of master-melb:xfs-cmds:28706a by kenmcd.

  Changed kermit xfsqa targets

Adding devices for rizzo to do xfs-qa
Merge of master-melb:xfs-cmds:28644a by kenmcd.

  Adding devices for rizzo to do xfs-qa

test 121 creates unlinked and still referenced inodes, it doesn't clean up afterwards.
Merge of master-melb:xfs-cmds:28637a by kenmcd.

  do a mount after running test to trigger log recovery
  \.

check for mkfs/mount failure
Merge of master-melb:xfs-cmds:28623a by kenmcd.

Currently there are a few ways mkfs options are specified in XFSQA:
1) suite wide MKFS_OPTIONS are specified before tests are run
e.g.
vimes:/home/fsgqa/kali/xfsqa/xfstests # export MKFS_OPTIONS="-l size=100m"

2) test wide MKFS_OPTIONS are specified during a particular test
e.g. 119
export MKFS_OPTIONS="-l version=2,size=1200b,su=64k"

3) mkfs options are appended by a test at mkfs time
e.g.  083
_scratch_mkfs_xfs -dsize=$fsz,agcount=$ags  >>$seq.full

(4) Another form of appending is just appending to MKFS_OPTIONS directly
e.g.  114:export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1"
115:export MKFS_OPTIONS="$MKFS_OPTIONS -i paths=1"

Conflicts between mkfs options specified with method 1 & 3 are common.
960377  XFSQA 041, 042 - mkfs fails with large log size MKFS_OPTIONS.

This change means if a mkfs fails where mkfs options have been appended by a test (method 3),
The mkfs is retried using only those options defined by the test.

occurances of method 4 (in test 114 & 115) are also changed to use method 3.

$seq.full logs the fact that a mkfs options conflict has occured.
Merge of master-melb:xfs-cmds:28601a by kenmcd.

  append -i parent mkfs option using _scratch_mkfs_xfs -i parent...
  rather than export MKFS_OPTIONS="$MKFS_OPTIONS -i parent=1.
  this avoids mkfs option conflicts

fix group listing regexp
Merge of master-melb:xfs-cmds:28513a by kenmcd.

  add dmapi group

QA test to demonstrate unwritten extent/mmap write problem
Merge of master-melb:xfs-cmds:28456a by kenmcd.

  mmap vs unwritten extents test.

fix white space between comments
Merge of master-melb:xfs-cmds:28446a by kenmcd.

A bit of a cleanup of common.config and add new QA host.
Merge of master-melb:xfs-cmds:28444a by kenmcd.

Put _qmount_option into common.quota for other quota tests to use.
Merge of master-melb:xfs-cmds:28443a by kenmcd.

  Put _qmount_option into common.quota for other quota tests to use.

fixup xfstests Makefile sinch dmapi changes
Merge of master-melb:xfs-cmds:28442a by kenmcd.

  fixup xfstests Makefile sinch dmapi changes

Added rizzo1 to known host list
Merge of master-melb:xfs-cmds:28405a by kenmcd.

  Added rizzo1 to known host list

Output wasn't deterministic. Remove bmap output from stdout,
just have going to seq.full.
Merge of master-melb:xfs-cmds:28376a by kenmcd.

  Execute bits changed from --- to x--
  Fix up bmap output. Meant to remove the testfile on every
  test but forgot to. Also needed to truncate the files
  in the 2nd group of tests which used resvsp so that
  the length/eof was correct for the test.

Provide conditions to show up problem for dioread on IRIX and Linux
for pv#962005.
Merge of master-melb:xfs-cmds:28362a by kenmcd.

  Provide conditions to show up problem for dioread on IRIX and Linux
  for pv#962005.

Some experimentation for pv#962014 doing prealloc, direct write, buffered read etc...
Add more here if come up with other ideas.
Merge of master-melb:xfs-cmds:28351a by kenmcd.

  Some experimentation for pv#962014 doing prealloc, direct write, buffered read etc...
  Add more here if come up with other ideas.

common.config minor changes
Merge of master-melb:xfs-cmds:28337a by kenmcd.

  Modified partitions and host name for cxfsaltix2. Now kermit1.

inferno is now called gaspode
Merge of master-melb:xfs-cmds:28326a by kenmcd.

This change makes test 041 function correctly other blocks sizes, not just 4096.
The FS bsize is extracted from _filter_mkfs and then used to calculate growfs "destination" size.
Merge of master-melb:xfs-cmds:28222a by kenmcd.

  calculate one meg in blocks, then use that value to calculate grow-to values.

fsx was calling vfprintf twice without resetting the va_list argument
Merge of master-melb:xfs-cmds:28212a by kenmcd.

  fsx was calling vfprintf twice without resetting the va_list argument and
  this caused a segfault on the second call.  Now uses one call to vsnprintf
  to print to a buffer and uses that multiple times.

-
Merge of master-melb:xfs-cmds:28207a by kenmcd.

Added changed xfs test device to cxfsaltix2 config.
Merge of master-melb:xfs-cmds:28206a by kenmcd.

  -

Changed the test parametrs for cxfsaltix5.
Merge of master-melb:xfs-cmds:28158a by kenmcd.

XFSQA test 144 fails again on tot linux_xfs
Merge of master-melb:xfs-cmds:28113a by kenmcd.

  pv 961215, rv allanr - replacing fsync() with global sync()

Fix menu items order
Merge of master-melb:xfs-cmds:28083a by kenmcd.

  Fix menu items order

Put the output of fsx into seq.full and output all of seq.full on failure.
Just to give more context around the error if we get one.
Merge of master-melb:xfs-cmds:28068a by kenmcd.

  Put the output of fsx into seq.full and output all of seq.full on failure.
  Just to give more context around the error if we get one.

added flame, modified indentation
Merge of master-melb:xfs-cmds:28062a by kenmcd.

  added flame, modified indentation

Modified golden output to reflect NUM loop filter
Merge of master-melb:xfs-cmds:28052a by kenmcd.

  Modified golden output to reflect NUM loop filter

_check_sids previously grepped the entire output of dm_getall_sessions for sids, which is:
ret=dm_getall_sessions return value
rnelem=number of sessions
sids="sid1 sid2 ... sidn "

If the session id of a previously destroyed session matches the current number of sessions (rnelem),
then _check_sids() $PREV_DESTROYED_SID will _not_ flag ERROR: SID(s) not created.

This fix also makes _check_sids() not rely on sids being consecutive. DMF may be running on a FS in background.

Tested on Linux and Irix.
Merge of master-melb:xfs-cmds:28043a by kenmcd.

  change _check_sids to go through sids line 1 by 1 checking for matches

XFSQA 122 on machines with xfs_lazy_sb.patch have failed due to the addition of __be32 agf_btreeblks to xfs_agf_t.

This change causes 122 detect whether the patch is installed by greping for lazy count in mkfs output, the xfs_agf_t size is then filtered based on the patch status.
The original intention was to check /lib/modules/$(uname -r)/source/fs/xfs/xfs_ag.h for btreeblks and filter on this, however the kernel source is not a prereq for XFSQA.
Merge of master-melb:xfs-cmds:28014a by kenmcd.

  pipe get_structs.c output through _type_size_filter to filter out known changes to xfs type sizes

fix null string comparison in notrun case
Merge of master-melb:xfs-cmds:28004a by kenmcd.

-
Merge of master-melb:xfs-cmds:27993a by kenmcd.

  -

-
Merge of master-melb:xfs-cmds:27977a by kenmcd.

  -

change inferno, sheila and chapter11 configs to follow same test partition conventions
Merge of master-melb:xfs-cmds:27957a by kenmcd.

Changed specs for cxfsaltix2
Merge of master-melb:xfs-cmds:27929a by kenmcd.

  Changed specs for cxfsaltix2

Updated the config for cxfsaltix2
Merge of master-melb:xfs-cmds:27927a by kenmcd.

  Updated config for cxfsaltix2

Integrate dmapi suite 1 into xfsqa infrastructure
Merge of master-melb:xfs-cmds:27924a by kenmcd.

  added IRIX to _supported_os

Added cxfsaltix2 to the list of known hosts.
Merge of master-melb:xfs-cmds:27913a by kenmcd.

  Added cxfsaltix2 to the list of known hosts.

-.
Merge of master-melb:xfs-cmds:27905a by kenmcd.

  -.

-
Merge of master-melb:xfs-cmds:27903a by kenmcd.

  -.

Modified devices for cxfsaltix5
Merge of master-melb:xfs-cmds:27902a by kenmcd.

  Modified devices for cxfsaltix5