lustre-iokit/stats-collect/README.lstats.sh

   1 Overview
   2 --------
   3 These script will be used to collect profile info of lustre client and server.
   4 It will be run on a single(control) node, and collect all the profile info and
   5 create a tarball on the control node.
   6
   7 lstat.sh : The stat script for single node, which will be run on each profile
   8            node.
   9 gather_stats_everywhere.sh : collect stats script.
  10 config.sh : the config for gather_stats_everywhere.sh.
  11
  12 Requirements
  13 -------
  14 1) Lustre is installed and setup on your profiling cluster.
  15 2) ssh/scp to these node names works without requiring a password.
  16
  17 Configuration
  18 ------
  19 Configuration is very simple for this script, all of the profiling config VARs are
  20 in config.sh
  21
  22 XXXX_INTERVAL: the profiling interval
  23 where value of interval means:
  24    0 - gather stats at start and stop only
  25    N - gather stats every N seconds
  26 if some XXX_INTERVAL isn't specified, related stats won't be collected
  27 XXXX can be: VMSTAT, SERVICE, BRW, SDIO, MBALLOC, IO, JBD, CLIENT
  28
  29 As for ior-collect-stat.sh, you can modify the various IOR and MPI
  30 parameters inside ior-collect-stat.sh
  31
  32 Running
  33 --------
  34 1) The gather_stats_everywhere.sh will be run in three mode
  35
  36    a)sh gather_stats_everywhere.sh config.sh start
  37      It will start collect stats on each node provided in config.sh
  38
  39    b)sh gather_stats_everywhere.sh config.sh stop <log_name>
  40      It will stop collect stats on each node. If <log_name> is provided,
  41      it will create a profile tarball /tmp/<log_name>.tar.gz.
  42
  43    c)sh gather_stats_everywhere.sh config.sh analyse log_tarball.tar.gz csv
  44      It will analyse the log_tarball and create a csv tarball for this
  45      profiling tarball.
  46
  47 2) The ior-collect-stat.sh will be run as
  48         sh ior-collect-stat.sh start <profile>
  49    It will create a ior result csv file. If <profile> is provided,
  50    the detail profile info tarball will be created under /tmp.
  51
  52 Example
  53 -------
  54 When you want collect your profile info, you should
  55    1)sh gather_stats_everywhere.sh config.sh start
  56          #start the collect profile daemon on each node.
  57
  58    2)run your test.
  59
  60    3)sh gather_stats_everywhere.sh config.sh stop log_tarball
  61      #stop the collect profile daemon on each node, cleanup
  62       the tmp file and create a profiling tarball.
  63
  64    4)sh gather_stats_everywhere.sh config.sh analyse log_tarball.tar.gz csv
  65      #create a csv file according to the profile.
  66
  67 TBD
  68 ------
  69 Add liblustre profiling support and add more options for analyse.
  70
  71
  72
  73
  74
  75