Whamcloud - gitweb
e6eb7384e175ef46a50e478896f1f2e04e38678b
[fs/lustre-release.git] / lustre / obdclass / lprocfs_jobstats.c
1 /* GPL HEADER START
2  *
3  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License version 2 only,
7  * as published by the Free Software Foundation.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License version 2 for more details (a copy is included
13  * in the LICENSE file that accompanied this code).
14  *
15  * You should have received a copy of the GNU General Public License
16  * version 2 along with this program; If not, see
17  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
18  *
19  * GPL HEADER END
20  */
21 /*
22  * Copyright (c) 2012, 2013, Intel Corporation.
23  * Use is subject to license terms.
24  *
25  * Author: Niu Yawei <niu@whamcloud.com>
26  */
27 /*
28  * lustre/obdclass/lprocfs_jobstats.c
29  */
30
31 #ifndef EXPORT_SYMTAB
32 # define EXPORT_SYMTAB
33 #endif
34 #define DEBUG_SUBSYSTEM S_CLASS
35
36 #ifndef __KERNEL__
37 # include <liblustre.h>
38 #endif
39
40 #include <obd_class.h>
41 #include <lprocfs_status.h>
42 #include <lustre/lustre_idl.h>
43
44 #if defined(LPROCFS)
45
46 /*
47  * JobID formats & JobID environment variable names for supported
48  * job schedulers:
49  *
50  * SLURM:
51  *   JobID format:  32 bit integer.
52  *   JobID env var: SLURM_JOB_ID.
53  * SGE:
54  *   JobID format:  Decimal integer range to 99999.
55  *   JobID env var: JOB_ID.
56  * LSF:
57  *   JobID format:  6 digit integer by default (up to 999999), can be
58  *                increased to 10 digit (up to 2147483646).
59  *   JobID env var: LSB_JOBID.
60  * Loadleveler:
61  *   JobID format:  String of machine_name.cluster_id.process_id, for
62  *                example: fr2n02.32.0
63  *   JobID env var: LOADL_STEP_ID.
64  * PBS:
65  *   JobID format:  String of sequence_number[.server_name][@server].
66  *   JobID env var: PBS_JOBID.
67  * Maui/MOAB:
68  *   JobID format:  Same as PBS.
69  *   JobID env var: Same as PBS.
70  */
71
72 struct job_stat {
73         cfs_hlist_node_t      js_hash;
74         cfs_list_t            js_list;
75         cfs_atomic_t          js_refcount;
76         char                  js_jobid[JOBSTATS_JOBID_SIZE];
77         time_t                js_timestamp; /* seconds */
78         struct lprocfs_stats *js_stats;
79         struct obd_job_stats *js_jobstats;
80 };
81
82 static unsigned job_stat_hash(cfs_hash_t *hs, const void *key, unsigned mask)
83 {
84         return cfs_hash_djb2_hash(key, strlen(key), mask);
85 }
86
87 static void *job_stat_key(cfs_hlist_node_t *hnode)
88 {
89         struct job_stat *job;
90         job = cfs_hlist_entry(hnode, struct job_stat, js_hash);
91         return job->js_jobid;
92 }
93
94 static int job_stat_keycmp(const void *key, cfs_hlist_node_t *hnode)
95 {
96         struct job_stat *job;
97         job = cfs_hlist_entry(hnode, struct job_stat, js_hash);
98         return (strlen(job->js_jobid) == strlen(key)) &&
99                !strncmp(job->js_jobid, key, strlen(key));
100 }
101
102 static void *job_stat_object(cfs_hlist_node_t *hnode)
103 {
104         return cfs_hlist_entry(hnode, struct job_stat, js_hash);
105 }
106
107 static void job_stat_get(cfs_hash_t *hs, cfs_hlist_node_t *hnode)
108 {
109         struct job_stat *job;
110         job = cfs_hlist_entry(hnode, struct job_stat, js_hash);
111         cfs_atomic_inc(&job->js_refcount);
112 }
113
114 static void job_free(struct job_stat *job)
115 {
116         LASSERT(atomic_read(&job->js_refcount) == 0);
117         LASSERT(job->js_jobstats);
118
119         write_lock(&job->js_jobstats->ojs_lock);
120         cfs_list_del_init(&job->js_list);
121         write_unlock(&job->js_jobstats->ojs_lock);
122
123         lprocfs_free_stats(&job->js_stats);
124         OBD_FREE_PTR(job);
125 }
126
127 static void job_putref(struct job_stat *job)
128 {
129         LASSERT(atomic_read(&job->js_refcount) > 0);
130         if (atomic_dec_and_test(&job->js_refcount))
131                 job_free(job);
132 }
133
134 static void job_stat_put_locked(cfs_hash_t *hs, cfs_hlist_node_t *hnode)
135 {
136         struct job_stat *job;
137         job = cfs_hlist_entry(hnode, struct job_stat, js_hash);
138         job_putref(job);
139 }
140
141 static void job_stat_exit(cfs_hash_t *hs, cfs_hlist_node_t *hnode)
142 {
143         CERROR("Should not have any items!");
144 }
145
146 static cfs_hash_ops_t job_stats_hash_ops = {
147         .hs_hash       = job_stat_hash,
148         .hs_key        = job_stat_key,
149         .hs_keycmp     = job_stat_keycmp,
150         .hs_object     = job_stat_object,
151         .hs_get        = job_stat_get,
152         .hs_put_locked = job_stat_put_locked,
153         .hs_exit       = job_stat_exit,
154 };
155
156 static int job_iter_callback(cfs_hash_t *hs, cfs_hash_bd_t *bd,
157                              cfs_hlist_node_t *hnode, void *data)
158 {
159         time_t oldest = *((time_t *)data);
160         struct job_stat *job;
161
162         job = cfs_hlist_entry(hnode, struct job_stat, js_hash);
163         if (!oldest || job->js_timestamp < oldest)
164                 cfs_hash_bd_del_locked(hs, bd, hnode);
165
166         return 0;
167 }
168
169 static void lprocfs_job_cleanup(struct obd_job_stats *stats, bool force)
170 {
171         time_t oldest, now;
172
173         if (stats->ojs_cleanup_interval == 0)
174                 return;
175
176         now = cfs_time_current_sec();
177         if (!force && now < stats->ojs_last_cleanup +
178                             stats->ojs_cleanup_interval)
179                 return;
180
181         oldest = now - stats->ojs_cleanup_interval;
182         cfs_hash_for_each_safe(stats->ojs_hash, job_iter_callback,
183                                &oldest);
184         stats->ojs_last_cleanup = cfs_time_current_sec();
185 }
186
187 static struct job_stat *job_alloc(char *jobid, struct obd_job_stats *jobs)
188 {
189         struct job_stat *job;
190
191         LASSERT(jobs->ojs_cntr_num && jobs->ojs_cntr_init_fn);
192
193         OBD_ALLOC_PTR(job);
194         if (job == NULL)
195                 return NULL;
196
197         job->js_stats = lprocfs_alloc_stats(jobs->ojs_cntr_num, 0);
198         if (job->js_stats == NULL) {
199                 OBD_FREE_PTR(job);
200                 return NULL;
201         }
202
203         jobs->ojs_cntr_init_fn(job->js_stats);
204
205         memcpy(job->js_jobid, jobid, JOBSTATS_JOBID_SIZE);
206         job->js_timestamp = cfs_time_current_sec();
207         job->js_jobstats = jobs;
208         CFS_INIT_HLIST_NODE(&job->js_hash);
209         CFS_INIT_LIST_HEAD(&job->js_list);
210         cfs_atomic_set(&job->js_refcount, 1);
211
212         return job;
213 }
214
215 int lprocfs_job_stats_log(struct obd_device *obd, char *jobid,
216                           int event, long amount)
217 {
218         struct obd_job_stats *stats = &obd->u.obt.obt_jobstats;
219         struct job_stat *job, *job2;
220         ENTRY;
221
222         LASSERT(stats && stats->ojs_hash);
223
224         lprocfs_job_cleanup(stats, false);
225
226         if (!jobid || !strlen(jobid))
227                 RETURN(-EINVAL);
228
229         if (strlen(jobid) >= JOBSTATS_JOBID_SIZE) {
230                 CERROR("Invalid jobid size (%lu), expect(%d)\n",
231                        (unsigned long)strlen(jobid) + 1, JOBSTATS_JOBID_SIZE);
232                 RETURN(-EINVAL);
233         }
234
235         job = cfs_hash_lookup(stats->ojs_hash, jobid);
236         if (job)
237                 goto found;
238
239         job = job_alloc(jobid, stats);
240         if (job == NULL)
241                 RETURN(-ENOMEM);
242
243         job2 = cfs_hash_findadd_unique(stats->ojs_hash, job->js_jobid,
244                                        &job->js_hash);
245         if (job2 != job) {
246                 job_putref(job);
247                 job = job2;
248                 /* We cannot LASSERT(!cfs_list_empty(&job->js_list)) here,
249                  * since we just lost the race for inserting "job" into the
250                  * ojs_list, and some other thread is doing it _right_now_.
251                  * Instead, be content the other thread is doing this, since
252                  * "job2" was initialized in job_alloc() already. LU-2163 */
253         } else {
254                 LASSERT(cfs_list_empty(&job->js_list));
255                 write_lock(&stats->ojs_lock);
256                 cfs_list_add_tail(&job->js_list, &stats->ojs_list);
257                 write_unlock(&stats->ojs_lock);
258         }
259
260 found:
261         LASSERT(stats == job->js_jobstats);
262         LASSERT(stats->ojs_cntr_num > event);
263         job->js_timestamp = cfs_time_current_sec();
264         lprocfs_counter_add(job->js_stats, event, amount);
265
266         job_putref(job);
267         RETURN(0);
268 }
269 EXPORT_SYMBOL(lprocfs_job_stats_log);
270
271 void lprocfs_job_stats_fini(struct obd_device *obd)
272 {
273         struct obd_job_stats *stats = &obd->u.obt.obt_jobstats;
274         time_t oldest = 0;
275
276         if (stats->ojs_hash == NULL)
277                 return;
278         cfs_hash_for_each_safe(stats->ojs_hash, job_iter_callback, &oldest);
279         cfs_hash_putref(stats->ojs_hash);
280         stats->ojs_hash = NULL;
281         LASSERT(cfs_list_empty(&stats->ojs_list));
282 }
283 EXPORT_SYMBOL(lprocfs_job_stats_fini);
284
285 static void *lprocfs_jobstats_seq_start(struct seq_file *p, loff_t *pos)
286 {
287         struct obd_job_stats *stats = p->private;
288         loff_t off = *pos;
289         struct job_stat *job;
290
291         read_lock(&stats->ojs_lock);
292         if (off == 0)
293                 return SEQ_START_TOKEN;
294         off--;
295         cfs_list_for_each_entry(job, &stats->ojs_list, js_list) {
296                 if (!off--)
297                         return job;
298         }
299         return NULL;
300 }
301
302 static void lprocfs_jobstats_seq_stop(struct seq_file *p, void *v)
303 {
304         struct obd_job_stats *stats = p->private;
305
306         read_unlock(&stats->ojs_lock);
307 }
308
309 static void *lprocfs_jobstats_seq_next(struct seq_file *p, void *v, loff_t *pos)
310 {
311         struct obd_job_stats *stats = p->private;
312         struct job_stat *job;
313         cfs_list_t *next;
314
315         ++*pos;
316         if (v == SEQ_START_TOKEN) {
317                 next = stats->ojs_list.next;
318         } else {
319                 job = (struct job_stat *)v;
320                 next = job->js_list.next;
321         }
322
323         return next == &stats->ojs_list ? NULL :
324                 cfs_list_entry(next, struct job_stat, js_list);
325 }
326
327 /*
328  * Example of output on MDT:
329  *
330  * job_stats:
331  * - job_id:        test_id.222.25844
332  *   snapshot_time: 1322494486
333  *   open:          { samples:         3, unit: reqs }
334  *   close:         { samples:         3, unit: reqs }
335  *   mknod:         { samples:         0, unit: reqs }
336  *   link:          { samples:         0, unit: reqs }
337  *   unlink:        { samples:         0, unit: reqs }
338  *   mkdir:         { samples:         0, unit: reqs }
339  *   rmdir:         { samples:         0, unit: reqs }
340  *   rename:        { samples:         1, unit: reqs }
341  *   getattr:       { samples:         7, unit: reqs }
342  *   setattr:       { samples:         0, unit: reqs }
343  *   getxattr:      { samples:         0, unit: reqs }
344  *   setxattr:      { samples:         0, unit: reqs }
345  *   statfs:        { samples:         0, unit: reqs }
346  *   sync:          { samples:         0, unit: reqs }
347  *
348  * Example of output on OST:
349  *
350  * job_stats:
351  * - job_id         4854
352  *   snapshot_time: 1322494602
353  *   read:          { samples:  0, unit: bytes, min:  0, max:  0, sum:  0 }
354  *   write:         { samples:  1, unit: bytes, min: 10, max: 10, sum: 10 }
355  *   setattr:       { samples:  0, unit: reqs }
356  *   punch:         { samples:  0, unit: reqs }
357  *   sync:          { samples:  0, unit: reqs }
358  */
359
360 static const char spaces[] = "                    ";
361
362 static int inline width(const char *str, int len)
363 {
364         return len - min((int)strlen(str), 15);
365 }
366
367 static int lprocfs_jobstats_seq_show(struct seq_file *p, void *v)
368 {
369         struct job_stat                 *job = v;
370         struct lprocfs_stats            *s;
371         struct lprocfs_counter          ret;
372         struct lprocfs_counter          *cntr;
373         struct lprocfs_counter_header   *cntr_header;
374         int                             i;
375
376         if (v == SEQ_START_TOKEN) {
377                 seq_printf(p, "job_stats:\n");
378                 return 0;
379         }
380
381         seq_printf(p, "- %-16s %s\n", "job_id:", job->js_jobid);
382         seq_printf(p, "  %-16s %ld\n", "snapshot_time:", job->js_timestamp);
383
384         s = job->js_stats;
385         for (i = 0; i < s->ls_num; i++) {
386                 cntr = lprocfs_stats_counter_get(s, 0, i);
387                 cntr_header = &s->ls_cnt_header[i];
388                 lprocfs_stats_collect(s, i, &ret);
389
390                 seq_printf(p, "  %s:%.*s { samples: %11"LPF64"u",
391                            cntr_header->lc_name,
392                            width(cntr_header->lc_name, 15), spaces,
393                            ret.lc_count);
394                 if (cntr_header->lc_units[0] != '\0')
395                         seq_printf(p, ", unit: %5s", cntr_header->lc_units);
396
397                 if (cntr_header->lc_config & LPROCFS_CNTR_AVGMINMAX) {
398                         seq_printf(p, ", min:%8"LPF64"u, max:%8"LPF64"u,"
399                                    " sum:%16"LPF64"u",
400                                    ret.lc_count ? ret.lc_min : 0,
401                                    ret.lc_count ? ret.lc_max : 0,
402                                    ret.lc_count ? ret.lc_sum : 0);
403                 }
404                 if (cntr_header->lc_config & LPROCFS_CNTR_STDDEV) {
405                         seq_printf(p, ", sumsq: %18"LPF64"u",
406                                    ret.lc_count ? ret.lc_sumsquare : 0);
407                 }
408
409                 seq_printf(p, " }\n");
410
411         }
412         return 0;
413 }
414
415 struct seq_operations lprocfs_jobstats_seq_sops = {
416         start: lprocfs_jobstats_seq_start,
417         stop:  lprocfs_jobstats_seq_stop,
418         next:  lprocfs_jobstats_seq_next,
419         show:  lprocfs_jobstats_seq_show,
420 };
421
422 static int lprocfs_jobstats_seq_open(struct inode *inode, struct file *file)
423 {
424         struct proc_dir_entry *dp = PDE(inode);
425         struct seq_file *seq;
426         int rc;
427
428         if (LPROCFS_ENTRY_AND_CHECK(dp))
429                 return -ENOENT;
430
431         rc = seq_open(file, &lprocfs_jobstats_seq_sops);
432         if (rc) {
433                 LPROCFS_EXIT();
434                 return rc;
435         }
436         seq = file->private_data;
437         seq->private = dp->data;
438         return 0;
439 }
440
441 static ssize_t lprocfs_jobstats_seq_write(struct file *file, const char *buf,
442                                           size_t len, loff_t *off)
443 {
444         struct seq_file *seq = file->private_data;
445         struct obd_job_stats *stats = seq->private;
446         char jobid[JOBSTATS_JOBID_SIZE];
447         int all = 0;
448         struct job_stat *job;
449
450         if (!memcmp(buf, "clear", strlen("clear"))) {
451                 all = 1;
452         } else if (len < JOBSTATS_JOBID_SIZE) {
453                 memset(jobid, 0, JOBSTATS_JOBID_SIZE);
454                 /* Trim '\n' if any */
455                 if (buf[len - 1] == '\n')
456                         memcpy(jobid, buf, len - 1);
457                 else
458                         memcpy(jobid, buf, len);
459         } else {
460                 return -EINVAL;
461         }
462
463         LASSERT(stats->ojs_hash);
464         if (all) {
465                 time_t oldest = 0;
466                 cfs_hash_for_each_safe(stats->ojs_hash, job_iter_callback,
467                                        &oldest);
468                 return len;
469         }
470
471         if (!strlen(jobid))
472                 return -EINVAL;
473
474         job = cfs_hash_lookup(stats->ojs_hash, jobid);
475         if (!job)
476                 return -EINVAL;
477
478         cfs_hash_del_key(stats->ojs_hash, jobid);
479
480         job_putref(job);
481         return len;
482 }
483
484 struct file_operations lprocfs_jobstats_seq_fops = {
485         .owner   = THIS_MODULE,
486         .open    = lprocfs_jobstats_seq_open,
487         .read    = seq_read,
488         .write   = lprocfs_jobstats_seq_write,
489         .llseek  = seq_lseek,
490         .release = lprocfs_seq_release,
491 };
492
493 int lprocfs_job_stats_init(struct obd_device *obd, int cntr_num,
494                            cntr_init_callback init_fn)
495 {
496         struct proc_dir_entry *entry;
497         struct obd_job_stats *stats;
498         ENTRY;
499
500         LASSERT(obd->obd_proc_entry != NULL);
501         LASSERT(obd->obd_type->typ_name);
502
503         if (strcmp(obd->obd_type->typ_name, LUSTRE_MDT_NAME) &&
504             strcmp(obd->obd_type->typ_name, LUSTRE_OST_NAME)) {
505                 CERROR("Invalid obd device type.\n");
506                 RETURN(-EINVAL);
507         }
508         stats = &obd->u.obt.obt_jobstats;
509
510         LASSERT(stats->ojs_hash == NULL);
511         stats->ojs_hash = cfs_hash_create("JOB_STATS",
512                                           HASH_JOB_STATS_CUR_BITS,
513                                           HASH_JOB_STATS_MAX_BITS,
514                                           HASH_JOB_STATS_BKT_BITS, 0,
515                                           CFS_HASH_MIN_THETA,
516                                           CFS_HASH_MAX_THETA,
517                                           &job_stats_hash_ops,
518                                           CFS_HASH_DEFAULT);
519         if (stats->ojs_hash == NULL)
520                 RETURN(-ENOMEM);
521
522         CFS_INIT_LIST_HEAD(&stats->ojs_list);
523         rwlock_init(&stats->ojs_lock);
524         stats->ojs_cntr_num = cntr_num;
525         stats->ojs_cntr_init_fn = init_fn;
526         stats->ojs_cleanup_interval = 600; /* 10 mins by default */
527         stats->ojs_last_cleanup = cfs_time_current_sec();
528
529         LPROCFS_WRITE_ENTRY();
530         entry = create_proc_entry("job_stats", 0644, obd->obd_proc_entry);
531         LPROCFS_WRITE_EXIT();
532         if (entry) {
533                 entry->proc_fops = &lprocfs_jobstats_seq_fops;
534                 entry->data = stats;
535                 RETURN(0);
536         } else {
537                 lprocfs_job_stats_fini(obd);
538                 RETURN(-ENOMEM);
539         }
540 }
541 EXPORT_SYMBOL(lprocfs_job_stats_init);
542
543 int lprocfs_rd_job_interval(char *page, char **start, off_t off,
544                             int count, int *eof, void *data)
545 {
546         struct obd_device *obd = (struct obd_device *)data;
547         struct obd_job_stats *stats;
548
549         LASSERT(obd != NULL);
550         stats = &obd->u.obt.obt_jobstats;
551         *eof = 1;
552         return snprintf(page, count, "%d\n", stats->ojs_cleanup_interval);
553 }
554 EXPORT_SYMBOL(lprocfs_rd_job_interval);
555
556 int lprocfs_wr_job_interval(struct file *file, const char *buffer,
557                             unsigned long count, void *data)
558 {
559         struct obd_device *obd = (struct obd_device *)data;
560         struct obd_job_stats *stats;
561         int val, rc;
562
563         LASSERT(obd != NULL);
564         stats = &obd->u.obt.obt_jobstats;
565
566         rc = lprocfs_write_helper(buffer, count, &val);
567         if (rc)
568                 return rc;
569
570         stats->ojs_cleanup_interval = val;
571         lprocfs_job_cleanup(stats, true);
572
573         return count;
574
575 }
576 EXPORT_SYMBOL(lprocfs_wr_job_interval);
577
578 #endif /* LPROCFS*/