fstests: add fio perf results support
[xfstests-dev.git] / src / perf / FioResultDecoder.py
1 import json
2
3 class FioResultDecoder(json.JSONDecoder):
4     """Decoder for decoding fio result json to an object for our database
5
6     This decodes the json output from fio into an object that can be directly
7     inserted into our database.  This just strips out the fields we don't care
8     about and collapses the read/write/trim classes into a flat value structure
9     inside of the jobs object.
10
11     For example
12         "write" : {
13             "io_bytes" : 313360384,
14             "bw" : 1016,
15         }
16
17     Get's collapsed to
18
19         "write_io_bytes" : 313360384,
20         "write_bw": 1016,
21
22     Currently any dict under 'jobs' get's dropped, with the exception of 'read',
23     'write', and 'trim'.  For those sub sections we drop any dict's under those.
24
25     Attempt to keep this as generic as possible, we don't want to break every
26     time fio changes it's json output format.
27     """
28     _ignore_types = ['dict', 'list']
29     _override_keys = ['lat_ns', 'lat']
30     _io_ops = ['read', 'write', 'trim']
31
32     _transform_keys = { 'lat': 'lat_ns' }
33
34     def decode(self, json_string):
35         """This does the dirty work of converting everything"""
36         default_obj = super(FioResultDecoder, self).decode(json_string)
37         obj = {}
38         obj['global'] = {}
39         obj['global']['time'] = default_obj['time']
40         obj['jobs'] = []
41         for job in default_obj['jobs']:
42             new_job = {}
43             for key,value in job.iteritems():
44                 if key not in self._io_ops:
45                     if value.__class__.__name__ in self._ignore_types:
46                         continue
47                     new_job[key] = value
48                     continue
49                 for k,v in value.iteritems():
50                     if k in self._override_keys:
51                         if k in self._transform_keys:
52                             k = self._transform_keys[k]
53                         for subk,subv in v.iteritems():
54                             collapsed_key = "{}_{}_{}".format(key, k, subk)
55                             new_job[collapsed_key] = subv
56                         continue
57                     if v.__class__.__name__ in self._ignore_types:
58                         continue
59                     collapsed_key = "{}_{}".format(key, k)
60                     new_job[collapsed_key] = v
61             obj['jobs'].append(new_job)
62         return obj