Whamcloud - gitweb
LU-9791 obd: always call lprocfs_obd_setup
[fs/lustre-release.git] / lustre / obdclass / lprocfs_status.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2002, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2016, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  *
32  * lustre/obdclass/lprocfs_status.c
33  *
34  * Author: Hariharan Thantry <thantry@users.sourceforge.net>
35  */
36
37 #define DEBUG_SUBSYSTEM S_CLASS
38
39 #include <obd_class.h>
40 #include <lprocfs_status.h>
41
42 #ifdef CONFIG_PROC_FS
43
44 static int lprocfs_no_percpu_stats = 0;
45 module_param(lprocfs_no_percpu_stats, int, 0644);
46 MODULE_PARM_DESC(lprocfs_no_percpu_stats, "Do not alloc percpu data for lprocfs stats");
47
48 #define MAX_STRING_SIZE 128
49
50 int lprocfs_single_release(struct inode *inode, struct file *file)
51 {
52         return single_release(inode, file);
53 }
54 EXPORT_SYMBOL(lprocfs_single_release);
55
56 int lprocfs_seq_release(struct inode *inode, struct file *file)
57 {
58         return seq_release(inode, file);
59 }
60 EXPORT_SYMBOL(lprocfs_seq_release);
61
62 struct proc_dir_entry *
63 lprocfs_add_simple(struct proc_dir_entry *root, char *name,
64                    void *data, const struct file_operations *fops)
65 {
66         struct proc_dir_entry *proc;
67         mode_t mode = 0;
68
69         if (root == NULL || name == NULL || fops == NULL)
70                 return ERR_PTR(-EINVAL);
71
72         if (fops->read)
73                 mode = 0444;
74         if (fops->write)
75                 mode |= 0200;
76         proc = proc_create_data(name, mode, root, fops, data);
77         if (!proc) {
78                 CERROR("LprocFS: No memory to create /proc entry %s\n",
79                        name);
80                 return ERR_PTR(-ENOMEM);
81         }
82         return proc;
83 }
84 EXPORT_SYMBOL(lprocfs_add_simple);
85
86 struct proc_dir_entry *lprocfs_add_symlink(const char *name,
87                         struct proc_dir_entry *parent, const char *format, ...)
88 {
89         struct proc_dir_entry *entry;
90         char *dest;
91         va_list ap;
92
93         if (parent == NULL || format == NULL)
94                 return NULL;
95
96         OBD_ALLOC_WAIT(dest, MAX_STRING_SIZE + 1);
97         if (dest == NULL)
98                 return NULL;
99
100         va_start(ap, format);
101         vsnprintf(dest, MAX_STRING_SIZE, format, ap);
102         va_end(ap);
103
104         entry = proc_symlink(name, parent, dest);
105         if (entry == NULL)
106                 CERROR("LprocFS: Could not create symbolic link from "
107                        "%s to %s\n", name, dest);
108
109         OBD_FREE(dest, MAX_STRING_SIZE + 1);
110         return entry;
111 }
112 EXPORT_SYMBOL(lprocfs_add_symlink);
113
114 static const struct file_operations lprocfs_generic_fops = { };
115
116 int ldebugfs_add_vars(struct dentry *parent, struct lprocfs_vars *list,
117                       void *data)
118 {
119         if (IS_ERR_OR_NULL(parent) || IS_ERR_OR_NULL(list))
120                 return -EINVAL;
121
122         while (list->name) {
123                 struct dentry *entry;
124                 umode_t mode = 0;
125
126                 if (list->proc_mode != 0000) {
127                         mode = list->proc_mode;
128                 } else if (list->fops) {
129                         if (list->fops->read)
130                                 mode = 0444;
131                         if (list->fops->write)
132                                 mode |= 0200;
133                 }
134                 entry = debugfs_create_file(list->name, mode, parent,
135                                             list->data ? : data,
136                                             list->fops ? : &lprocfs_generic_fops);
137                 if (IS_ERR_OR_NULL(entry))
138                         return entry ? PTR_ERR(entry) : -ENOMEM;
139                 list++;
140         }
141         return 0;
142 }
143 EXPORT_SYMBOL_GPL(ldebugfs_add_vars);
144
145 /**
146  * Add /proc entries.
147  *
148  * \param root [in]  The parent proc entry on which new entry will be added.
149  * \param list [in]  Array of proc entries to be added.
150  * \param data [in]  The argument to be passed when entries read/write routines
151  *                   are called through /proc file.
152  *
153  * \retval 0   on success
154  *         < 0 on error
155  */
156 int
157 lprocfs_add_vars(struct proc_dir_entry *root, struct lprocfs_vars *list,
158                  void *data)
159 {
160         if (root == NULL || list == NULL)
161                 return -EINVAL;
162
163         while (list->name != NULL) {
164                 struct proc_dir_entry *proc;
165                 mode_t mode = 0;
166
167                 if (list->proc_mode != 0000) {
168                         mode = list->proc_mode;
169                 } else if (list->fops) {
170                         if (list->fops->read)
171                                 mode = 0444;
172                         if (list->fops->write)
173                                 mode |= 0200;
174                 }
175                 proc = proc_create_data(list->name, mode, root,
176                                         list->fops ?: &lprocfs_generic_fops,
177                                         list->data ?: data);
178                 if (proc == NULL)
179                         return -ENOMEM;
180                 list++;
181         }
182         return 0;
183 }
184 EXPORT_SYMBOL(lprocfs_add_vars);
185
186 void ldebugfs_remove(struct dentry **entryp)
187 {
188         debugfs_remove(*entryp);
189         *entryp = NULL;
190 }
191 EXPORT_SYMBOL_GPL(ldebugfs_remove);
192
193 #ifndef HAVE_REMOVE_PROC_SUBTREE
194 /* for b=10866, global variable */
195 DECLARE_RWSEM(_lprocfs_lock);
196 EXPORT_SYMBOL(_lprocfs_lock);
197
198 static void lprocfs_remove_nolock(struct proc_dir_entry **proot)
199 {
200         struct proc_dir_entry *root = *proot;
201         struct proc_dir_entry *temp = root;
202         struct proc_dir_entry *rm_entry;
203         struct proc_dir_entry *parent;
204
205         *proot = NULL;
206         if (root == NULL || IS_ERR(root))
207                 return;
208
209         parent = root->parent;
210         LASSERT(parent != NULL);
211
212         while (1) {
213                 while (temp->subdir != NULL)
214                         temp = temp->subdir;
215
216                 rm_entry = temp;
217                 temp = temp->parent;
218
219                 /* Memory corruption once caused this to fail, and
220                    without this LASSERT we would loop here forever. */
221                 LASSERTF(strlen(rm_entry->name) == rm_entry->namelen,
222                          "0x%p  %s/%s len %d\n", rm_entry, temp->name,
223                          rm_entry->name, (int)strlen(rm_entry->name));
224
225                 remove_proc_entry(rm_entry->name, temp);
226                 if (temp == parent)
227                         break;
228         }
229 }
230
231 int remove_proc_subtree(const char *name, struct proc_dir_entry *parent)
232 {
233         struct proc_dir_entry    *t = NULL;
234         struct proc_dir_entry   **p;
235         int                       len, busy = 0;
236
237         LASSERT(parent != NULL);
238         len = strlen(name);
239
240         down_write(&_lprocfs_lock);
241         /* lookup target name */
242         for (p = &parent->subdir; *p; p = &(*p)->next) {
243                 if ((*p)->namelen != len)
244                         continue;
245                 if (memcmp(name, (*p)->name, len))
246                         continue;
247                 t = *p;
248                 break;
249         }
250
251         if (t) {
252                 /* verify it's empty: do not count "num_refs" */
253                 for (p = &t->subdir; *p; p = &(*p)->next) {
254                         if ((*p)->namelen != strlen("num_refs")) {
255                                 busy = 1;
256                                 break;
257                         }
258                         if (memcmp("num_refs", (*p)->name,
259                                    strlen("num_refs"))) {
260                                 busy = 1;
261                                 break;
262                         }
263                 }
264         }
265
266         if (busy == 0)
267                 lprocfs_remove_nolock(&t);
268
269         up_write(&_lprocfs_lock);
270         return 0;
271 }
272 #endif /* !HAVE_REMOVE_PROC_SUBTREE */
273
274 #ifndef HAVE_PROC_REMOVE
275 void proc_remove(struct proc_dir_entry *de)
276 {
277 #ifndef HAVE_REMOVE_PROC_SUBTREE
278         down_write(&_lprocfs_lock); /* search vs remove race */
279         lprocfs_remove_nolock(&de);
280         up_write(&_lprocfs_lock);
281 #else
282         if (de)
283                 remove_proc_subtree(de->name, de->parent);
284 #endif
285 }
286 #endif
287
288 void lprocfs_remove(struct proc_dir_entry **rooth)
289 {
290         proc_remove(*rooth);
291         *rooth = NULL;
292 }
293 EXPORT_SYMBOL(lprocfs_remove);
294
295 void lprocfs_remove_proc_entry(const char *name, struct proc_dir_entry *parent)
296 {
297         LASSERT(parent != NULL);
298         remove_proc_entry(name, parent);
299 }
300 EXPORT_SYMBOL(lprocfs_remove_proc_entry);
301
302 struct dentry *ldebugfs_register(const char *name, struct dentry *parent,
303                                  struct lprocfs_vars *list, void *data)
304 {
305         struct dentry *entry;
306
307         entry = debugfs_create_dir(name, parent);
308         if (IS_ERR_OR_NULL(entry)) {
309                 entry = entry ?: ERR_PTR(-ENOMEM);
310                 goto out;
311         }
312
313         if (!IS_ERR_OR_NULL(list)) {
314                 int rc;
315
316                 rc = ldebugfs_add_vars(entry, list, data);
317                 if (rc) {
318                         debugfs_remove(entry);
319                         entry = ERR_PTR(rc);
320                 }
321         }
322 out:
323         return entry;
324 }
325 EXPORT_SYMBOL_GPL(ldebugfs_register);
326
327 struct proc_dir_entry *
328 lprocfs_register(const char *name, struct proc_dir_entry *parent,
329                  struct lprocfs_vars *list, void *data)
330 {
331         struct proc_dir_entry *newchild;
332
333         newchild = proc_mkdir(name, parent);
334         if (newchild == NULL)
335                 return ERR_PTR(-ENOMEM);
336
337         if (list != NULL) {
338                 int rc = lprocfs_add_vars(newchild, list, data);
339                 if (rc) {
340                         lprocfs_remove(&newchild);
341                         return ERR_PTR(rc);
342                 }
343         }
344         return newchild;
345 }
346 EXPORT_SYMBOL(lprocfs_register);
347
348 /* Generic callbacks */
349 int lprocfs_uint_seq_show(struct seq_file *m, void *data)
350 {
351         seq_printf(m, "%u\n", *(unsigned int *)data);
352         return 0;
353 }
354 EXPORT_SYMBOL(lprocfs_uint_seq_show);
355
356 int lprocfs_wr_uint(struct file *file, const char __user *buffer,
357                     unsigned long count, void *data)
358 {
359         unsigned        *p = data;
360         char             dummy[MAX_STRING_SIZE + 1];
361         char            *end;
362         unsigned long    tmp;
363
364         if (count >= sizeof(dummy))
365                 return -EINVAL;
366
367         if (count == 0)
368                 return 0;
369
370         if (copy_from_user(dummy, buffer, count))
371                 return -EFAULT;
372
373         dummy[count] = 0;
374
375         tmp = simple_strtoul(dummy, &end, 0);
376         if (dummy == end)
377                 return -EINVAL;
378
379         *p = (unsigned int)tmp;
380         return count;
381 }
382 EXPORT_SYMBOL(lprocfs_wr_uint);
383
384 ssize_t lprocfs_uint_seq_write(struct file *file, const char __user *buffer,
385                                size_t count, loff_t *off)
386 {
387         int *data = ((struct seq_file *)file->private_data)->private;
388         int rc;
389         __s64 val = 0;
390
391         rc = lprocfs_str_to_s64(buffer, count, &val);
392         if (rc < 0)
393                 return rc;
394
395         return lprocfs_wr_uint(file, buffer, count, data);
396 }
397 EXPORT_SYMBOL(lprocfs_uint_seq_write);
398
399 int lprocfs_u64_seq_show(struct seq_file *m, void *data)
400 {
401         LASSERT(data != NULL);
402         seq_printf(m, "%llu\n", *(__u64 *)data);
403         return 0;
404 }
405 EXPORT_SYMBOL(lprocfs_u64_seq_show);
406
407 int lprocfs_atomic_seq_show(struct seq_file *m, void *data)
408 {
409         atomic_t *atom = data;
410         LASSERT(atom != NULL);
411         seq_printf(m, "%d\n", atomic_read(atom));
412         return 0;
413 }
414 EXPORT_SYMBOL(lprocfs_atomic_seq_show);
415
416 ssize_t
417 lprocfs_atomic_seq_write(struct file *file, const char __user *buffer,
418                         size_t count, loff_t *off)
419 {
420         atomic_t *atm = ((struct seq_file *)file->private_data)->private;
421         __s64 val = 0;
422         int rc;
423
424         rc = lprocfs_str_to_s64(buffer, count, &val);
425         if (rc < 0)
426                 return rc;
427
428         if (val <= 0 || val > INT_MAX)
429                 return -ERANGE;
430
431         atomic_set(atm, val);
432         return count;
433 }
434 EXPORT_SYMBOL(lprocfs_atomic_seq_write);
435
436 int lprocfs_uuid_seq_show(struct seq_file *m, void *data)
437 {
438         struct obd_device *obd = data;
439
440         LASSERT(obd != NULL);
441         seq_printf(m, "%s\n", obd->obd_uuid.uuid);
442         return 0;
443 }
444 EXPORT_SYMBOL(lprocfs_uuid_seq_show);
445
446 static ssize_t uuid_show(struct kobject *kobj, struct attribute *attr,
447                          char *buf)
448 {
449         struct obd_device *obd = container_of(kobj, struct obd_device,
450                                               obd_kobj);
451
452         return sprintf(buf, "%s\n", obd->obd_uuid.uuid);
453 }
454 LUSTRE_RO_ATTR(uuid);
455
456 int lprocfs_name_seq_show(struct seq_file *m, void *data)
457 {
458         struct obd_device *dev = data;
459
460         LASSERT(dev != NULL);
461         seq_printf(m, "%s\n", dev->obd_name);
462         return 0;
463 }
464 EXPORT_SYMBOL(lprocfs_name_seq_show);
465
466 static ssize_t blocksize_show(struct kobject *kobj, struct attribute *attr,
467                               char *buf)
468 {
469         struct obd_device *obd = container_of(kobj, struct obd_device,
470                                               obd_kobj);
471         struct obd_statfs osfs;
472         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
473                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
474                             OBD_STATFS_NODELAY);
475         if (!rc)
476                 return sprintf(buf, "%u\n", osfs.os_bsize);
477
478         return rc;
479 }
480 LUSTRE_RO_ATTR(blocksize);
481
482 static ssize_t kbytestotal_show(struct kobject *kobj, struct attribute *attr,
483                                 char *buf)
484 {
485         struct obd_device *obd = container_of(kobj, struct obd_device,
486                                               obd_kobj);
487         struct obd_statfs osfs;
488         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
489                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
490                             OBD_STATFS_NODELAY);
491         if (!rc) {
492                 u32 blk_size = osfs.os_bsize >> 10;
493                 u64 result = osfs.os_blocks;
494
495                 while (blk_size >>= 1)
496                         result <<= 1;
497
498                 return sprintf(buf, "%llu\n", result);
499         }
500
501         return rc;
502 }
503 LUSTRE_RO_ATTR(kbytestotal);
504
505 static ssize_t kbytesfree_show(struct kobject *kobj, struct attribute *attr,
506                                char *buf)
507 {
508         struct obd_device *obd = container_of(kobj, struct obd_device,
509                                               obd_kobj);
510         struct obd_statfs osfs;
511         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
512                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
513                             OBD_STATFS_NODELAY);
514         if (!rc) {
515                 u32 blk_size = osfs.os_bsize >> 10;
516                 u64 result = osfs.os_bfree;
517
518                 while (blk_size >>= 1)
519                         result <<= 1;
520
521                 return sprintf(buf, "%llu\n", result);
522         }
523
524         return rc;
525 }
526 LUSTRE_RO_ATTR(kbytesfree);
527
528 static ssize_t kbytesavail_show(struct kobject *kobj, struct attribute *attr,
529                                 char *buf)
530 {
531         struct obd_device *obd = container_of(kobj, struct obd_device,
532                                               obd_kobj);
533         struct obd_statfs osfs;
534         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
535                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
536                             OBD_STATFS_NODELAY);
537         if (!rc) {
538                 u32 blk_size = osfs.os_bsize >> 10;
539                 u64 result = osfs.os_bavail;
540
541                 while (blk_size >>= 1)
542                         result <<= 1;
543
544                 return sprintf(buf, "%llu\n", result);
545         }
546
547         return rc;
548 }
549 LUSTRE_RO_ATTR(kbytesavail);
550
551 static ssize_t filestotal_show(struct kobject *kobj, struct attribute *attr,
552                                char *buf)
553 {
554         struct obd_device *obd = container_of(kobj, struct obd_device,
555                                               obd_kobj);
556         struct obd_statfs osfs;
557         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
558                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
559                             OBD_STATFS_NODELAY);
560         if (!rc)
561                 return sprintf(buf, "%llu\n", osfs.os_files);
562
563         return rc;
564 }
565 LUSTRE_RO_ATTR(filestotal);
566
567 static ssize_t filesfree_show(struct kobject *kobj, struct attribute *attr,
568                               char *buf)
569 {
570         struct obd_device *obd = container_of(kobj, struct obd_device,
571                                               obd_kobj);
572         struct obd_statfs osfs;
573         int rc = obd_statfs(NULL, obd->obd_self_export, &osfs,
574                             cfs_time_shift_64(-OBD_STATFS_CACHE_SECONDS),
575                             OBD_STATFS_NODELAY);
576         if (!rc)
577                 return sprintf(buf, "%llu\n", osfs.os_ffree);
578
579         return rc;
580 }
581 LUSTRE_RO_ATTR(filesfree);
582
583 int lprocfs_server_uuid_seq_show(struct seq_file *m, void *data)
584 {
585         struct obd_device *obd = data;
586         struct obd_import *imp;
587         char *imp_state_name = NULL;
588         int rc = 0;
589
590         LASSERT(obd != NULL);
591         LPROCFS_CLIMP_CHECK(obd);
592         imp = obd->u.cli.cl_import;
593         imp_state_name = ptlrpc_import_state_name(imp->imp_state);
594         seq_printf(m, "%s\t%s%s\n", obd2cli_tgt(obd), imp_state_name,
595                    imp->imp_deactive ? "\tDEACTIVATED" : "");
596
597         LPROCFS_CLIMP_EXIT(obd);
598         return rc;
599 }
600 EXPORT_SYMBOL(lprocfs_server_uuid_seq_show);
601
602 int lprocfs_conn_uuid_seq_show(struct seq_file *m, void *data)
603 {
604         struct obd_device *obd = data;
605         struct ptlrpc_connection *conn;
606         int rc = 0;
607
608         LASSERT(obd != NULL);
609
610         LPROCFS_CLIMP_CHECK(obd);
611         conn = obd->u.cli.cl_import->imp_connection;
612         if (conn && obd->u.cli.cl_import)
613                 seq_printf(m, "%s\n", conn->c_remote_uuid.uuid);
614         else
615                 seq_printf(m, "%s\n", "<none>");
616
617         LPROCFS_CLIMP_EXIT(obd);
618         return rc;
619 }
620 EXPORT_SYMBOL(lprocfs_conn_uuid_seq_show);
621
622 /** add up per-cpu counters */
623
624 /**
625  * Lock statistics structure for access, possibly only on this CPU.
626  *
627  * The statistics struct may be allocated with per-CPU structures for
628  * efficient concurrent update (usually only on server-wide stats), or
629  * as a single global struct (e.g. for per-client or per-job statistics),
630  * so the required locking depends on the type of structure allocated.
631  *
632  * For per-CPU statistics, pin the thread to the current cpuid so that
633  * will only access the statistics for that CPU.  If the stats structure
634  * for the current CPU has not been allocated (or previously freed),
635  * allocate it now.  The per-CPU statistics do not need locking since
636  * the thread is pinned to the CPU during update.
637  *
638  * For global statistics, lock the stats structure to prevent concurrent update.
639  *
640  * \param[in] stats     statistics structure to lock
641  * \param[in] opc       type of operation:
642  *                      LPROCFS_GET_SMP_ID: "lock" and return current CPU index
643  *                              for incrementing statistics for that CPU
644  *                      LPROCFS_GET_NUM_CPU: "lock" and return number of used
645  *                              CPU indices to iterate over all indices
646  * \param[out] flags    CPU interrupt saved state for IRQ-safe locking
647  *
648  * \retval cpuid of current thread or number of allocated structs
649  * \retval negative on error (only for opc LPROCFS_GET_SMP_ID + per-CPU stats)
650  */
651 int lprocfs_stats_lock(struct lprocfs_stats *stats,
652                        enum lprocfs_stats_lock_ops opc,
653                        unsigned long *flags)
654 {
655         if (stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU) {
656                 if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE)
657                         spin_lock_irqsave(&stats->ls_lock, *flags);
658                 else
659                         spin_lock(&stats->ls_lock);
660                 return opc == LPROCFS_GET_NUM_CPU ? 1 : 0;
661         }
662
663         switch (opc) {
664         case LPROCFS_GET_SMP_ID: {
665                 unsigned int cpuid = get_cpu();
666
667                 if (unlikely(!stats->ls_percpu[cpuid])) {
668                         int rc = lprocfs_stats_alloc_one(stats, cpuid);
669
670                         if (rc < 0) {
671                                 put_cpu();
672                                 return rc;
673                         }
674                 }
675                 return cpuid;
676         }
677         case LPROCFS_GET_NUM_CPU:
678                 return stats->ls_biggest_alloc_num;
679         default:
680                 LBUG();
681         }
682 }
683
684 /**
685  * Unlock statistics structure after access.
686  *
687  * Unlock the lock acquired via lprocfs_stats_lock() for global statistics,
688  * or unpin this thread from the current cpuid for per-CPU statistics.
689  *
690  * This function must be called using the same arguments as used when calling
691  * lprocfs_stats_lock() so that the correct operation can be performed.
692  *
693  * \param[in] stats     statistics structure to unlock
694  * \param[in] opc       type of operation (current cpuid or number of structs)
695  * \param[in] flags     CPU interrupt saved state for IRQ-safe locking
696  */
697 void lprocfs_stats_unlock(struct lprocfs_stats *stats,
698                           enum lprocfs_stats_lock_ops opc,
699                           unsigned long *flags)
700 {
701         if (stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU) {
702                 if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE)
703                         spin_unlock_irqrestore(&stats->ls_lock, *flags);
704                 else
705                         spin_unlock(&stats->ls_lock);
706         } else if (opc == LPROCFS_GET_SMP_ID) {
707                 put_cpu();
708         }
709 }
710
711 /** add up per-cpu counters */
712 void lprocfs_stats_collect(struct lprocfs_stats *stats, int idx,
713                            struct lprocfs_counter *cnt)
714 {
715         unsigned int                    num_entry;
716         struct lprocfs_counter          *percpu_cntr;
717         int                             i;
718         unsigned long                   flags = 0;
719
720         memset(cnt, 0, sizeof(*cnt));
721
722         if (stats == NULL) {
723                 /* set count to 1 to avoid divide-by-zero errs in callers */
724                 cnt->lc_count = 1;
725                 return;
726         }
727
728         cnt->lc_min = LC_MIN_INIT;
729
730         num_entry = lprocfs_stats_lock(stats, LPROCFS_GET_NUM_CPU, &flags);
731
732         for (i = 0; i < num_entry; i++) {
733                 if (stats->ls_percpu[i] == NULL)
734                         continue;
735                 percpu_cntr = lprocfs_stats_counter_get(stats, i, idx);
736
737                 cnt->lc_count += percpu_cntr->lc_count;
738                 cnt->lc_sum += percpu_cntr->lc_sum;
739                 if (percpu_cntr->lc_min < cnt->lc_min)
740                         cnt->lc_min = percpu_cntr->lc_min;
741                 if (percpu_cntr->lc_max > cnt->lc_max)
742                         cnt->lc_max = percpu_cntr->lc_max;
743                 cnt->lc_sumsquare += percpu_cntr->lc_sumsquare;
744         }
745
746         lprocfs_stats_unlock(stats, LPROCFS_GET_NUM_CPU, &flags);
747 }
748
749 /**
750  * Append a space separated list of current set flags to str.
751  */
752 #define flag2str(flag)                                          \
753         do {                                                            \
754                 if (imp->imp_##flag) {                                  \
755                         seq_printf(m, "%s" #flag, first ? "" : ", ");   \
756                         first = false;                                  \
757                 }                                                       \
758         } while (0)
759 static void obd_import_flags2str(struct obd_import *imp, struct seq_file *m)
760 {
761         bool first = true;
762
763         if (imp->imp_obd->obd_no_recov) {
764                 seq_printf(m, "no_recov");
765                 first = false;
766         }
767
768         flag2str(invalid);
769         flag2str(deactive);
770         flag2str(replayable);
771         flag2str(delayed_recovery);
772         flag2str(no_lock_replay);
773         flag2str(vbr_failed);
774         flag2str(pingable);
775         flag2str(resend_replay);
776         flag2str(no_pinger_recover);
777         flag2str(need_mne_swab);
778         flag2str(connect_tried);
779 }
780 #undef flag2str
781
782 static const char *obd_connect_names[] = {
783         /* flags names  */
784         "read_only",
785         "lov_index",
786         "connect_from_mds",
787         "write_grant",
788         "server_lock",
789         "version",
790         "request_portal",
791         "acl",
792         "xattr",
793         "create_on_write",
794         "truncate_lock",
795         "initial_transno",
796         "inode_bit_locks",
797         "barrier",
798         "getattr_by_fid",
799         "no_oh_for_devices",
800         "remote_client",
801         "remote_client_by_force",
802         "max_byte_per_rpc",
803         "64bit_qdata",
804         "mds_capability",
805         "oss_capability",
806         "early_lock_cancel",
807         "som",
808         "adaptive_timeouts",
809         "lru_resize",
810         "mds_mds_connection",
811         "real_conn",
812         "change_qunit_size",
813         "alt_checksum_algorithm",
814         "fid_is_enabled",
815         "version_recovery",
816         "pools",
817         "grant_shrink",
818         "skip_orphan",
819         "large_ea",
820         "full20",
821         "layout_lock",
822         "64bithash",
823         "object_max_bytes",
824         "imp_recov",
825         "jobstats",
826         "umask",
827         "einprogress",
828         "grant_param",
829         "flock_owner",
830         "lvb_type",
831         "nanoseconds_times",
832         "lightweight_conn",
833         "short_io",
834         "pingless",
835         "flock_deadlock",
836         "disp_stripe",
837         "open_by_fid",
838         "lfsck",
839         "unknown",
840         "unlink_close",
841         "multi_mod_rpcs",
842         "dir_stripe",
843         "subtree",
844         "lock_ahead",
845         "bulk_mbits",
846         "compact_obdo",
847         "second_flags",
848         /* flags2 names */
849         "file_secctx",
850         NULL
851 };
852
853 static void obd_connect_seq_flags2str(struct seq_file *m, __u64 flags,
854                                       __u64 flags2, const char *sep)
855 {
856         bool first = true;
857         __u64 mask;
858         int i;
859
860         for (i = 0, mask = 1; i < 64; i++, mask <<= 1) {
861                 if (flags & mask) {
862                         seq_printf(m, "%s%s",
863                                    first ? "" : sep, obd_connect_names[i]);
864                         first = false;
865                 }
866         }
867
868         if (flags & ~(mask - 1)) {
869                 seq_printf(m, "%sunknown_%#llx",
870                            first ? "" : sep, flags & ~(mask - 1));
871                 first = false;
872         }
873
874         if (!(flags & OBD_CONNECT_FLAGS2) || flags2 == 0)
875                 return;
876
877         for (i = 64, mask = 1; obd_connect_names[i] != NULL; i++, mask <<= 1) {
878                 if (flags2 & mask) {
879                         seq_printf(m, "%s%s",
880                                    first ? "" : sep, obd_connect_names[i]);
881                         first = false;
882                 }
883         }
884
885         if (flags2 & ~(mask - 1)) {
886                 seq_printf(m, "%sunknown2_%#llx",
887                            first ? "" : sep, flags2 & ~(mask - 1));
888                 first = false;
889         }
890 }
891
892 int obd_connect_flags2str(char *page, int count, __u64 flags, __u64 flags2,
893                           const char *sep)
894 {
895         __u64 mask;
896         int i, ret = 0;
897
898         for (i = 0, mask = 1; i < 64; i++, mask <<= 1) {
899                 if (flags & mask)
900                         ret += snprintf(page + ret, count - ret, "%s%s",
901                                         ret ? sep : "", obd_connect_names[i]);
902         }
903
904         if (flags & ~(mask - 1))
905                 ret += snprintf(page + ret, count - ret,
906                                 "%sunknown_%#llx",
907                                 ret ? sep : "", flags & ~(mask - 1));
908
909         if (!(flags & OBD_CONNECT_FLAGS2) || flags2 == 0)
910                 return ret;
911
912         for (i = 64, mask = 1; obd_connect_names[i] != NULL; i++, mask <<= 1) {
913                 if (flags2 & mask)
914                         ret += snprintf(page + ret, count - ret, "%s%s",
915                                         ret ? sep : "", obd_connect_names[i]);
916         }
917
918         if (flags2 & ~(mask - 1))
919                 ret += snprintf(page + ret, count - ret,
920                                 "%sunknown2_%#llx",
921                                 ret ? sep : "", flags2 & ~(mask - 1));
922
923         return ret;
924 }
925 EXPORT_SYMBOL(obd_connect_flags2str);
926
927 static void obd_connect_data_seqprint(struct seq_file *m,
928                                       struct obd_connect_data *ocd)
929 {
930         __u64 flags;
931
932         LASSERT(ocd != NULL);
933         flags = ocd->ocd_connect_flags;
934
935         seq_printf(m, "    connect_data:\n"
936                    "       flags: %#llx\n"
937                    "       instance: %u\n",
938                    ocd->ocd_connect_flags,
939                    ocd->ocd_instance);
940         if (flags & OBD_CONNECT_VERSION)
941                 seq_printf(m, "       target_version: %u.%u.%u.%u\n",
942                            OBD_OCD_VERSION_MAJOR(ocd->ocd_version),
943                            OBD_OCD_VERSION_MINOR(ocd->ocd_version),
944                            OBD_OCD_VERSION_PATCH(ocd->ocd_version),
945                            OBD_OCD_VERSION_FIX(ocd->ocd_version));
946         if (flags & OBD_CONNECT_MDS)
947                 seq_printf(m, "       mdt_index: %d\n", ocd->ocd_group);
948         if (flags & OBD_CONNECT_GRANT)
949                 seq_printf(m, "       initial_grant: %d\n", ocd->ocd_grant);
950         if (flags & OBD_CONNECT_INDEX)
951                 seq_printf(m, "       target_index: %u\n", ocd->ocd_index);
952         if (flags & OBD_CONNECT_BRW_SIZE)
953                 seq_printf(m, "       max_brw_size: %d\n", ocd->ocd_brw_size);
954         if (flags & OBD_CONNECT_IBITS)
955                 seq_printf(m, "       ibits_known: %#llx\n",
956                            ocd->ocd_ibits_known);
957         if (flags & OBD_CONNECT_GRANT_PARAM)
958                 seq_printf(m, "       grant_block_size: %d\n"
959                            "       grant_inode_size: %d\n"
960                            "       grant_max_extent_size: %d\n"
961                            "       grant_extent_tax: %d\n",
962                            1 << ocd->ocd_grant_blkbits,
963                            1 << ocd->ocd_grant_inobits,
964                            ocd->ocd_grant_max_blks << ocd->ocd_grant_blkbits,
965                            ocd->ocd_grant_tax_kb << 10);
966         if (flags & OBD_CONNECT_TRANSNO)
967                 seq_printf(m, "       first_transno: %#llx\n",
968                            ocd->ocd_transno);
969         if (flags & OBD_CONNECT_CKSUM)
970                 seq_printf(m, "       cksum_types: %#x\n",
971                            ocd->ocd_cksum_types);
972         if (flags & OBD_CONNECT_MAX_EASIZE)
973                 seq_printf(m, "       max_easize: %d\n", ocd->ocd_max_easize);
974         if (flags & OBD_CONNECT_MAXBYTES)
975                 seq_printf(m, "       max_object_bytes: %llu\n",
976                            ocd->ocd_maxbytes);
977         if (flags & OBD_CONNECT_MULTIMODRPCS)
978                 seq_printf(m, "       max_mod_rpcs: %hu\n",
979                            ocd->ocd_maxmodrpcs);
980 }
981
982 int lprocfs_import_seq_show(struct seq_file *m, void *data)
983 {
984         char                            nidstr[LNET_NIDSTR_SIZE];
985         struct lprocfs_counter          ret;
986         struct lprocfs_counter_header   *header;
987         struct obd_device               *obd    = (struct obd_device *)data;
988         struct obd_import               *imp;
989         struct obd_import_conn          *conn;
990         struct obd_connect_data         *ocd;
991         int                             j;
992         int                             k;
993         int                             rw      = 0;
994
995         LASSERT(obd != NULL);
996         LPROCFS_CLIMP_CHECK(obd);
997         imp = obd->u.cli.cl_import;
998         ocd = &imp->imp_connect_data;
999
1000         seq_printf(m, "import:\n"
1001                    "    name: %s\n"
1002                    "    target: %s\n"
1003                    "    state: %s\n"
1004                    "    connect_flags: [ ",
1005                    obd->obd_name,
1006                    obd2cli_tgt(obd),
1007                    ptlrpc_import_state_name(imp->imp_state));
1008         obd_connect_seq_flags2str(m, imp->imp_connect_data.ocd_connect_flags,
1009                                   imp->imp_connect_data.ocd_connect_flags2,
1010                                   ", ");
1011         seq_printf(m, " ]\n");
1012         obd_connect_data_seqprint(m, ocd);
1013         seq_printf(m, "    import_flags: [ ");
1014         obd_import_flags2str(imp, m);
1015
1016         seq_printf(m, " ]\n"
1017                    "    connection:\n"
1018                    "       failover_nids: [ ");
1019         spin_lock(&imp->imp_lock);
1020         j = 0;
1021         list_for_each_entry(conn, &imp->imp_conn_list, oic_item) {
1022                 libcfs_nid2str_r(conn->oic_conn->c_peer.nid,
1023                                  nidstr, sizeof(nidstr));
1024                 seq_printf(m, "%s%s", j ? ", " : "", nidstr);
1025                 j++;
1026         }
1027         if (imp->imp_connection != NULL)
1028                 libcfs_nid2str_r(imp->imp_connection->c_peer.nid,
1029                                  nidstr, sizeof(nidstr));
1030         else
1031                 strncpy(nidstr, "<none>", sizeof(nidstr));
1032         seq_printf(m, " ]\n"
1033                    "       current_connection: %s\n"
1034                    "       connection_attempts: %u\n"
1035                    "       generation: %u\n"
1036                    "       in-progress_invalidations: %u\n",
1037                    nidstr,
1038                    imp->imp_conn_cnt,
1039                    imp->imp_generation,
1040                    atomic_read(&imp->imp_inval_count));
1041         spin_unlock(&imp->imp_lock);
1042
1043         if (obd->obd_svc_stats == NULL)
1044                 goto out_climp;
1045
1046         header = &obd->obd_svc_stats->ls_cnt_header[PTLRPC_REQWAIT_CNTR];
1047         lprocfs_stats_collect(obd->obd_svc_stats, PTLRPC_REQWAIT_CNTR, &ret);
1048         if (ret.lc_count != 0) {
1049                 /* first argument to do_div MUST be __u64 */
1050                 __u64 sum = ret.lc_sum;
1051                 do_div(sum, ret.lc_count);
1052                 ret.lc_sum = sum;
1053         } else
1054                 ret.lc_sum = 0;
1055         seq_printf(m, "    rpcs:\n"
1056                    "       inflight: %u\n"
1057                    "       unregistering: %u\n"
1058                    "       timeouts: %u\n"
1059                    "       avg_waittime: %llu %s\n",
1060                    atomic_read(&imp->imp_inflight),
1061                    atomic_read(&imp->imp_unregistering),
1062                    atomic_read(&imp->imp_timeouts),
1063                    ret.lc_sum, header->lc_units);
1064
1065         k = 0;
1066         for(j = 0; j < IMP_AT_MAX_PORTALS; j++) {
1067                 if (imp->imp_at.iat_portal[j] == 0)
1068                         break;
1069                 k = max_t(unsigned int, k,
1070                           at_get(&imp->imp_at.iat_service_estimate[j]));
1071         }
1072         seq_printf(m, "    service_estimates:\n"
1073                    "       services: %u sec\n"
1074                    "       network: %u sec\n",
1075                    k,
1076                    at_get(&imp->imp_at.iat_net_latency));
1077
1078         seq_printf(m, "    transactions:\n"
1079                    "       last_replay: %llu\n"
1080                    "       peer_committed: %llu\n"
1081                    "       last_checked: %llu\n",
1082                    imp->imp_last_replay_transno,
1083                    imp->imp_peer_committed_transno,
1084                    imp->imp_last_transno_checked);
1085
1086         /* avg data rates */
1087         for (rw = 0; rw <= 1; rw++) {
1088                 lprocfs_stats_collect(obd->obd_svc_stats,
1089                                       PTLRPC_LAST_CNTR + BRW_READ_BYTES + rw,
1090                                       &ret);
1091                 if (ret.lc_sum > 0 && ret.lc_count > 0) {
1092                         /* first argument to do_div MUST be __u64 */
1093                         __u64 sum = ret.lc_sum;
1094                         do_div(sum, ret.lc_count);
1095                         ret.lc_sum = sum;
1096                         seq_printf(m, "    %s_data_averages:\n"
1097                                    "       bytes_per_rpc: %llu\n",
1098                                    rw ? "write" : "read",
1099                                    ret.lc_sum);
1100                 }
1101                 k = (int)ret.lc_sum;
1102                 j = opcode_offset(OST_READ + rw) + EXTRA_MAX_OPCODES;
1103                 header = &obd->obd_svc_stats->ls_cnt_header[j];
1104                 lprocfs_stats_collect(obd->obd_svc_stats, j, &ret);
1105                 if (ret.lc_sum > 0 && ret.lc_count != 0) {
1106                         /* first argument to do_div MUST be __u64 */
1107                         __u64 sum = ret.lc_sum;
1108                         do_div(sum, ret.lc_count);
1109                         ret.lc_sum = sum;
1110                         seq_printf(m, "       %s_per_rpc: %llu\n",
1111                                    header->lc_units, ret.lc_sum);
1112                         j = (int)ret.lc_sum;
1113                         if (j > 0)
1114                                 seq_printf(m, "       MB_per_sec: %u.%.02u\n",
1115                                            k / j, (100 * k / j) % 100);
1116                 }
1117         }
1118
1119 out_climp:
1120         LPROCFS_CLIMP_EXIT(obd);
1121         return 0;
1122 }
1123 EXPORT_SYMBOL(lprocfs_import_seq_show);
1124
1125 int lprocfs_state_seq_show(struct seq_file *m, void *data)
1126 {
1127         struct obd_device *obd = (struct obd_device *)data;
1128         struct obd_import *imp;
1129         int j, k;
1130
1131         LASSERT(obd != NULL);
1132         LPROCFS_CLIMP_CHECK(obd);
1133         imp = obd->u.cli.cl_import;
1134
1135         seq_printf(m, "current_state: %s\n",
1136                    ptlrpc_import_state_name(imp->imp_state));
1137         seq_printf(m, "state_history:\n");
1138         k = imp->imp_state_hist_idx;
1139         for (j = 0; j < IMP_STATE_HIST_LEN; j++) {
1140                 struct import_state_hist *ish =
1141                         &imp->imp_state_hist[(k + j) % IMP_STATE_HIST_LEN];
1142                 if (ish->ish_state == 0)
1143                         continue;
1144                 seq_printf(m, " - [ %lld, %s ]\n", (s64)ish->ish_time,
1145                            ptlrpc_import_state_name(ish->ish_state));
1146         }
1147
1148         LPROCFS_CLIMP_EXIT(obd);
1149         return 0;
1150 }
1151 EXPORT_SYMBOL(lprocfs_state_seq_show);
1152
1153 int lprocfs_at_hist_helper(struct seq_file *m, struct adaptive_timeout *at)
1154 {
1155         int i;
1156         for (i = 0; i < AT_BINS; i++)
1157                 seq_printf(m, "%3u ", at->at_hist[i]);
1158         seq_printf(m, "\n");
1159         return 0;
1160 }
1161 EXPORT_SYMBOL(lprocfs_at_hist_helper);
1162
1163 /* See also ptlrpc_lprocfs_timeouts_show_seq */
1164 int lprocfs_timeouts_seq_show(struct seq_file *m, void *data)
1165 {
1166         struct obd_device *obd = (struct obd_device *)data;
1167         struct obd_import *imp;
1168         unsigned int cur, worst;
1169         time64_t now, worstt;
1170         int i;
1171
1172         LASSERT(obd != NULL);
1173         LPROCFS_CLIMP_CHECK(obd);
1174         imp = obd->u.cli.cl_import;
1175
1176         now = ktime_get_real_seconds();
1177
1178         /* Some network health info for kicks */
1179         seq_printf(m, "%-10s : %lld, %llds ago\n",
1180                    "last reply", (s64)imp->imp_last_reply_time,
1181                    (s64)(now - imp->imp_last_reply_time));
1182
1183         cur = at_get(&imp->imp_at.iat_net_latency);
1184         worst = imp->imp_at.iat_net_latency.at_worst_ever;
1185         worstt = imp->imp_at.iat_net_latency.at_worst_time;
1186         seq_printf(m, "%-10s : cur %3u  worst %3u (at %lld, %llds ago) ",
1187                    "network", cur, worst, (s64)worstt, (s64)(now - worstt));
1188         lprocfs_at_hist_helper(m, &imp->imp_at.iat_net_latency);
1189
1190         for(i = 0; i < IMP_AT_MAX_PORTALS; i++) {
1191                 if (imp->imp_at.iat_portal[i] == 0)
1192                         break;
1193                 cur = at_get(&imp->imp_at.iat_service_estimate[i]);
1194                 worst = imp->imp_at.iat_service_estimate[i].at_worst_ever;
1195                 worstt = imp->imp_at.iat_service_estimate[i].at_worst_time;
1196                 seq_printf(m, "portal %-2d  : cur %3u  worst %3u (at %lld, %llds ago) ",
1197                            imp->imp_at.iat_portal[i], cur, worst, (s64)worstt,
1198                            (s64)(now - worstt));
1199                 lprocfs_at_hist_helper(m, &imp->imp_at.iat_service_estimate[i]);
1200         }
1201
1202         LPROCFS_CLIMP_EXIT(obd);
1203         return 0;
1204 }
1205 EXPORT_SYMBOL(lprocfs_timeouts_seq_show);
1206
1207 int lprocfs_connect_flags_seq_show(struct seq_file *m, void *data)
1208 {
1209         struct obd_device *obd = data;
1210         __u64 flags;
1211         __u64 flags2;
1212
1213         LPROCFS_CLIMP_CHECK(obd);
1214         flags = obd->u.cli.cl_import->imp_connect_data.ocd_connect_flags;
1215         flags2 = obd->u.cli.cl_import->imp_connect_data.ocd_connect_flags2;
1216         seq_printf(m, "flags=%#llx\n", flags);
1217         seq_printf(m, "flags2=%#llx\n", flags2);
1218         obd_connect_seq_flags2str(m, flags, flags2, "\n");
1219         seq_printf(m, "\n");
1220         LPROCFS_CLIMP_EXIT(obd);
1221         return 0;
1222 }
1223 EXPORT_SYMBOL(lprocfs_connect_flags_seq_show);
1224
1225 static struct attribute *obd_def_uuid_attrs[] = {
1226         &lustre_attr_uuid.attr,
1227         NULL,
1228 };
1229
1230 static struct attribute *obd_def_attrs[] = {
1231         &lustre_attr_blocksize.attr,
1232         &lustre_attr_kbytestotal.attr,
1233         &lustre_attr_kbytesfree.attr,
1234         &lustre_attr_kbytesavail.attr,
1235         &lustre_attr_filestotal.attr,
1236         &lustre_attr_filesfree.attr,
1237         &lustre_attr_uuid.attr,
1238         NULL,
1239 };
1240
1241 static void obd_sysfs_release(struct kobject *kobj)
1242 {
1243         struct obd_device *obd = container_of(kobj, struct obd_device,
1244                                               obd_kobj);
1245
1246         complete(&obd->obd_kobj_unregister);
1247 }
1248
1249 static struct kobj_type obd_ktype = {
1250         .sysfs_ops      = &lustre_sysfs_ops,
1251         .release        = obd_sysfs_release,
1252 };
1253
1254 int
1255 lprocfs_obd_setup(struct obd_device *obd, bool uuid_only)
1256 {
1257         int rc = 0;
1258
1259         LASSERT(obd != NULL);
1260         LASSERT(obd->obd_magic == OBD_DEVICE_MAGIC);
1261
1262         if (uuid_only)
1263                 obd_ktype.default_attrs = obd_def_uuid_attrs;
1264         else
1265                 obd_ktype.default_attrs = obd_def_attrs;
1266
1267         init_completion(&obd->obd_kobj_unregister);
1268         rc = kobject_init_and_add(&obd->obd_kobj, &obd_ktype,
1269                                   obd->obd_type->typ_kobj,
1270                                   "%s", obd->obd_name);
1271         if (rc)
1272                 return rc;
1273
1274         if (obd->obd_attrs) {
1275                 rc = sysfs_create_group(&obd->obd_kobj, obd->obd_attrs);
1276                 if (rc) {
1277                         kobject_put(&obd->obd_kobj);
1278                         return rc;
1279                 }
1280         }
1281
1282         if (obd->obd_proc_entry)
1283                 GOTO(already_registered, rc);
1284
1285         LASSERT(obd->obd_type->typ_procroot != NULL);
1286
1287         obd->obd_proc_entry = lprocfs_register(obd->obd_name,
1288                                                obd->obd_type->typ_procroot,
1289                                                obd->obd_vars, obd);
1290         if (IS_ERR(obd->obd_proc_entry)) {
1291                 kobject_put(&obd->obd_kobj);
1292                 rc = PTR_ERR(obd->obd_proc_entry);
1293                 CERROR("error %d setting up lprocfs for %s\n",rc,obd->obd_name);
1294                 obd->obd_proc_entry = NULL;
1295         }
1296 already_registered:
1297         return rc;
1298 }
1299 EXPORT_SYMBOL(lprocfs_obd_setup);
1300
1301 int lprocfs_obd_cleanup(struct obd_device *obd)
1302 {
1303         if (!obd)
1304                 return -EINVAL;
1305
1306         if (obd->obd_proc_exports_entry) {
1307                 /* Should be no exports left */
1308                 lprocfs_remove(&obd->obd_proc_exports_entry);
1309                 obd->obd_proc_exports_entry = NULL;
1310         }
1311
1312         if (obd->obd_proc_entry) {
1313                 lprocfs_remove(&obd->obd_proc_entry);
1314                 obd->obd_proc_entry = NULL;
1315         }
1316
1317         kobject_put(&obd->obd_kobj);
1318         wait_for_completion(&obd->obd_kobj_unregister);
1319         return 0;
1320 }
1321 EXPORT_SYMBOL(lprocfs_obd_cleanup);
1322
1323 int lprocfs_stats_alloc_one(struct lprocfs_stats *stats, unsigned int cpuid)
1324 {
1325         struct lprocfs_counter  *cntr;
1326         unsigned int            percpusize;
1327         int                     rc = -ENOMEM;
1328         unsigned long           flags = 0;
1329         int                     i;
1330
1331         LASSERT(stats->ls_percpu[cpuid] == NULL);
1332         LASSERT((stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU) == 0);
1333
1334         percpusize = lprocfs_stats_counter_size(stats);
1335         LIBCFS_ALLOC_ATOMIC(stats->ls_percpu[cpuid], percpusize);
1336         if (stats->ls_percpu[cpuid] != NULL) {
1337                 rc = 0;
1338                 if (unlikely(stats->ls_biggest_alloc_num <= cpuid)) {
1339                         if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE)
1340                                 spin_lock_irqsave(&stats->ls_lock, flags);
1341                         else
1342                                 spin_lock(&stats->ls_lock);
1343                         if (stats->ls_biggest_alloc_num <= cpuid)
1344                                 stats->ls_biggest_alloc_num = cpuid + 1;
1345                         if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE) {
1346                                 spin_unlock_irqrestore(&stats->ls_lock, flags);
1347                         } else {
1348                                 spin_unlock(&stats->ls_lock);
1349                         }
1350                 }
1351                 /* initialize the ls_percpu[cpuid] non-zero counter */
1352                 for (i = 0; i < stats->ls_num; ++i) {
1353                         cntr = lprocfs_stats_counter_get(stats, cpuid, i);
1354                         cntr->lc_min = LC_MIN_INIT;
1355                 }
1356         }
1357         return rc;
1358 }
1359
1360 struct lprocfs_stats *lprocfs_alloc_stats(unsigned int num,
1361                                           enum lprocfs_stats_flags flags)
1362 {
1363         struct lprocfs_stats    *stats;
1364         unsigned int            num_entry;
1365         unsigned int            percpusize = 0;
1366         int                     i;
1367
1368         if (num == 0)
1369                 return NULL;
1370
1371         if (lprocfs_no_percpu_stats != 0)
1372                 flags |= LPROCFS_STATS_FLAG_NOPERCPU;
1373
1374         if (flags & LPROCFS_STATS_FLAG_NOPERCPU)
1375                 num_entry = 1;
1376         else
1377                 num_entry = num_possible_cpus();
1378
1379         /* alloc percpu pointers for all possible cpu slots */
1380         LIBCFS_ALLOC(stats, offsetof(typeof(*stats), ls_percpu[num_entry]));
1381         if (stats == NULL)
1382                 return NULL;
1383
1384         stats->ls_num = num;
1385         stats->ls_flags = flags;
1386         spin_lock_init(&stats->ls_lock);
1387
1388         /* alloc num of counter headers */
1389         LIBCFS_ALLOC(stats->ls_cnt_header,
1390                      stats->ls_num * sizeof(struct lprocfs_counter_header));
1391         if (stats->ls_cnt_header == NULL)
1392                 goto fail;
1393
1394         if ((flags & LPROCFS_STATS_FLAG_NOPERCPU) != 0) {
1395                 /* contains only one set counters */
1396                 percpusize = lprocfs_stats_counter_size(stats);
1397                 LIBCFS_ALLOC_ATOMIC(stats->ls_percpu[0], percpusize);
1398                 if (stats->ls_percpu[0] == NULL)
1399                         goto fail;
1400                 stats->ls_biggest_alloc_num = 1;
1401         } else if ((flags & LPROCFS_STATS_FLAG_IRQ_SAFE) != 0) {
1402                 /* alloc all percpu data, currently only obd_memory use this */
1403                 for (i = 0; i < num_entry; ++i)
1404                         if (lprocfs_stats_alloc_one(stats, i) < 0)
1405                                 goto fail;
1406         }
1407
1408         return stats;
1409
1410 fail:
1411         lprocfs_free_stats(&stats);
1412         return NULL;
1413 }
1414 EXPORT_SYMBOL(lprocfs_alloc_stats);
1415
1416 void lprocfs_free_stats(struct lprocfs_stats **statsh)
1417 {
1418         struct lprocfs_stats *stats = *statsh;
1419         unsigned int num_entry;
1420         unsigned int percpusize;
1421         unsigned int i;
1422
1423         if (stats == NULL || stats->ls_num == 0)
1424                 return;
1425         *statsh = NULL;
1426
1427         if (stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU)
1428                 num_entry = 1;
1429         else
1430                 num_entry = num_possible_cpus();
1431
1432         percpusize = lprocfs_stats_counter_size(stats);
1433         for (i = 0; i < num_entry; i++)
1434                 if (stats->ls_percpu[i] != NULL)
1435                         LIBCFS_FREE(stats->ls_percpu[i], percpusize);
1436         if (stats->ls_cnt_header != NULL)
1437                 LIBCFS_FREE(stats->ls_cnt_header, stats->ls_num *
1438                                         sizeof(struct lprocfs_counter_header));
1439         LIBCFS_FREE(stats, offsetof(typeof(*stats), ls_percpu[num_entry]));
1440 }
1441 EXPORT_SYMBOL(lprocfs_free_stats);
1442
1443 u64 lprocfs_stats_collector(struct lprocfs_stats *stats, int idx,
1444                             enum lprocfs_fields_flags field)
1445 {
1446         unsigned long flags = 0;
1447         unsigned int num_cpu;
1448         unsigned int i;
1449         u64 ret = 0;
1450
1451         LASSERT(stats);
1452
1453         num_cpu = lprocfs_stats_lock(stats, LPROCFS_GET_NUM_CPU, &flags);
1454         for (i = 0; i < num_cpu; i++) {
1455                 struct lprocfs_counter *cntr;
1456
1457                 if (!stats->ls_percpu[i])
1458                         continue;
1459
1460                 cntr = lprocfs_stats_counter_get(stats, i, idx);
1461                 ret += lprocfs_read_helper(cntr, &stats->ls_cnt_header[idx],
1462                                            stats->ls_flags, field);
1463         }
1464         lprocfs_stats_unlock(stats, LPROCFS_GET_NUM_CPU, &flags);
1465         return ret;
1466 }
1467 EXPORT_SYMBOL(lprocfs_stats_collector);
1468
1469 void lprocfs_clear_stats(struct lprocfs_stats *stats)
1470 {
1471         struct lprocfs_counter          *percpu_cntr;
1472         int                             i;
1473         int                             j;
1474         unsigned int                    num_entry;
1475         unsigned long                   flags = 0;
1476
1477         num_entry = lprocfs_stats_lock(stats, LPROCFS_GET_NUM_CPU, &flags);
1478
1479         for (i = 0; i < num_entry; i++) {
1480                 if (stats->ls_percpu[i] == NULL)
1481                         continue;
1482                 for (j = 0; j < stats->ls_num; j++) {
1483                         percpu_cntr = lprocfs_stats_counter_get(stats, i, j);
1484                         percpu_cntr->lc_count           = 0;
1485                         percpu_cntr->lc_min             = LC_MIN_INIT;
1486                         percpu_cntr->lc_max             = 0;
1487                         percpu_cntr->lc_sumsquare       = 0;
1488                         percpu_cntr->lc_sum             = 0;
1489                         if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE)
1490                                 percpu_cntr->lc_sum_irq = 0;
1491                 }
1492         }
1493
1494         lprocfs_stats_unlock(stats, LPROCFS_GET_NUM_CPU, &flags);
1495 }
1496 EXPORT_SYMBOL(lprocfs_clear_stats);
1497
1498 static ssize_t lprocfs_stats_seq_write(struct file *file,
1499                                        const char __user *buf,
1500                                        size_t len, loff_t *off)
1501 {
1502         struct seq_file *seq = file->private_data;
1503         struct lprocfs_stats *stats = seq->private;
1504
1505         lprocfs_clear_stats(stats);
1506
1507         return len;
1508 }
1509
1510 static void *lprocfs_stats_seq_start(struct seq_file *p, loff_t *pos)
1511 {
1512         struct lprocfs_stats *stats = p->private;
1513
1514         return (*pos < stats->ls_num) ? pos : NULL;
1515 }
1516
1517 static void lprocfs_stats_seq_stop(struct seq_file *p, void *v)
1518 {
1519 }
1520
1521 static void *lprocfs_stats_seq_next(struct seq_file *p, void *v, loff_t *pos)
1522 {
1523         (*pos)++;
1524
1525         return lprocfs_stats_seq_start(p, pos);
1526 }
1527
1528 /* seq file export of one lprocfs counter */
1529 static int lprocfs_stats_seq_show(struct seq_file *p, void *v)
1530 {
1531         struct lprocfs_stats            *stats  = p->private;
1532         struct lprocfs_counter_header   *hdr;
1533         struct lprocfs_counter           ctr;
1534         int                              idx    = *(loff_t *)v;
1535
1536         if (idx == 0) {
1537                 struct timespec64 now;
1538
1539                 ktime_get_real_ts64(&now);
1540                 seq_printf(p, "%-25s %llu.%09lu secs.nsecs\n",
1541                            "snapshot_time", (s64)now.tv_sec, now.tv_nsec);
1542         }
1543
1544         hdr = &stats->ls_cnt_header[idx];
1545         lprocfs_stats_collect(stats, idx, &ctr);
1546
1547         if (ctr.lc_count == 0)
1548                 return 0;
1549
1550         seq_printf(p, "%-25s %lld samples [%s]", hdr->lc_name,
1551                    ctr.lc_count, hdr->lc_units);
1552
1553         if ((hdr->lc_config & LPROCFS_CNTR_AVGMINMAX) && ctr.lc_count > 0) {
1554                 seq_printf(p, " %lld %lld %lld",
1555                            ctr.lc_min, ctr.lc_max, ctr.lc_sum);
1556                 if (hdr->lc_config & LPROCFS_CNTR_STDDEV)
1557                         seq_printf(p, " %llu", ctr.lc_sumsquare);
1558         }
1559         seq_putc(p, '\n');
1560         return 0;
1561 }
1562
1563 static const struct seq_operations lprocfs_stats_seq_sops = {
1564         .start  = lprocfs_stats_seq_start,
1565         .stop   = lprocfs_stats_seq_stop,
1566         .next   = lprocfs_stats_seq_next,
1567         .show   = lprocfs_stats_seq_show,
1568 };
1569
1570 static int lprocfs_stats_seq_open(struct inode *inode, struct file *file)
1571 {
1572         struct seq_file *seq;
1573         int rc;
1574
1575         rc = LPROCFS_ENTRY_CHECK(inode);
1576         if (rc < 0)
1577                 return rc;
1578
1579         rc = seq_open(file, &lprocfs_stats_seq_sops);
1580         if (rc)
1581                 return rc;
1582         seq = file->private_data;
1583         seq->private = inode->i_private ? : PDE_DATA(inode);
1584         return 0;
1585 }
1586
1587 static const struct file_operations lprocfs_stats_seq_fops = {
1588         .owner   = THIS_MODULE,
1589         .open    = lprocfs_stats_seq_open,
1590         .read    = seq_read,
1591         .write   = lprocfs_stats_seq_write,
1592         .llseek  = seq_lseek,
1593         .release = lprocfs_seq_release,
1594 };
1595
1596 int ldebugfs_register_stats(struct dentry *parent, const char *name,
1597                             struct lprocfs_stats *stats)
1598 {
1599         struct dentry *entry;
1600
1601         LASSERT(!IS_ERR_OR_NULL(parent));
1602
1603         entry = debugfs_create_file(name, 0644, parent, stats,
1604                                     &lprocfs_stats_seq_fops);
1605         if (IS_ERR_OR_NULL(entry))
1606                 return entry ? PTR_ERR(entry) : -ENOMEM;
1607
1608         return 0;
1609 }
1610 EXPORT_SYMBOL_GPL(ldebugfs_register_stats);
1611
1612 int lprocfs_register_stats(struct proc_dir_entry *root, const char *name,
1613                            struct lprocfs_stats *stats)
1614 {
1615         struct proc_dir_entry *entry;
1616         LASSERT(root != NULL);
1617
1618         entry = proc_create_data(name, 0644, root,
1619                                  &lprocfs_stats_seq_fops, stats);
1620         if (entry == NULL)
1621                 return -ENOMEM;
1622         return 0;
1623 }
1624 EXPORT_SYMBOL(lprocfs_register_stats);
1625
1626 void lprocfs_counter_init(struct lprocfs_stats *stats, int index,
1627                           unsigned conf, const char *name, const char *units)
1628 {
1629         struct lprocfs_counter_header   *header;
1630         struct lprocfs_counter          *percpu_cntr;
1631         unsigned long                   flags = 0;
1632         unsigned int                    i;
1633         unsigned int                    num_cpu;
1634
1635         LASSERT(stats != NULL);
1636
1637         header = &stats->ls_cnt_header[index];
1638         LASSERTF(header != NULL, "Failed to allocate stats header:[%d]%s/%s\n",
1639                  index, name, units);
1640
1641         header->lc_config = conf;
1642         header->lc_name   = name;
1643         header->lc_units  = units;
1644
1645         num_cpu = lprocfs_stats_lock(stats, LPROCFS_GET_NUM_CPU, &flags);
1646         for (i = 0; i < num_cpu; ++i) {
1647                 if (stats->ls_percpu[i] == NULL)
1648                         continue;
1649                 percpu_cntr = lprocfs_stats_counter_get(stats, i, index);
1650                 percpu_cntr->lc_count           = 0;
1651                 percpu_cntr->lc_min             = LC_MIN_INIT;
1652                 percpu_cntr->lc_max             = 0;
1653                 percpu_cntr->lc_sumsquare       = 0;
1654                 percpu_cntr->lc_sum             = 0;
1655                 if ((stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE) != 0)
1656                         percpu_cntr->lc_sum_irq = 0;
1657         }
1658         lprocfs_stats_unlock(stats, LPROCFS_GET_NUM_CPU, &flags);
1659 }
1660 EXPORT_SYMBOL(lprocfs_counter_init);
1661
1662 /* Note that we only init md counters for ops whose offset is less
1663  * than NUM_MD_STATS. This is explained in a comment in the definition
1664  * of struct md_ops. */
1665 #define LPROCFS_MD_OP_INIT(base, stats, op)                                    \
1666         do {                                                                   \
1667                 unsigned int _idx = base + MD_COUNTER_OFFSET(op);              \
1668                                                                                \
1669                 if (MD_COUNTER_OFFSET(op) < NUM_MD_STATS) {                    \
1670                         LASSERT(_idx < stats->ls_num);                         \
1671                         lprocfs_counter_init(stats, _idx, 0, #op, "reqs");     \
1672                 }                                                              \
1673         } while (0)
1674
1675 void lprocfs_init_mps_stats(int num_private_stats, struct lprocfs_stats *stats)
1676 {
1677         LPROCFS_MD_OP_INIT(num_private_stats, stats, get_root);
1678         LPROCFS_MD_OP_INIT(num_private_stats, stats, null_inode);
1679         LPROCFS_MD_OP_INIT(num_private_stats, stats, close);
1680         LPROCFS_MD_OP_INIT(num_private_stats, stats, create);
1681         LPROCFS_MD_OP_INIT(num_private_stats, stats, enqueue);
1682         LPROCFS_MD_OP_INIT(num_private_stats, stats, getattr);
1683         LPROCFS_MD_OP_INIT(num_private_stats, stats, getattr_name);
1684         LPROCFS_MD_OP_INIT(num_private_stats, stats, intent_lock);
1685         LPROCFS_MD_OP_INIT(num_private_stats, stats, link);
1686         LPROCFS_MD_OP_INIT(num_private_stats, stats, rename);
1687         LPROCFS_MD_OP_INIT(num_private_stats, stats, setattr);
1688         LPROCFS_MD_OP_INIT(num_private_stats, stats, fsync);
1689         LPROCFS_MD_OP_INIT(num_private_stats, stats, read_page);
1690         LPROCFS_MD_OP_INIT(num_private_stats, stats, unlink);
1691         LPROCFS_MD_OP_INIT(num_private_stats, stats, setxattr);
1692         LPROCFS_MD_OP_INIT(num_private_stats, stats, getxattr);
1693         LPROCFS_MD_OP_INIT(num_private_stats, stats, init_ea_size);
1694         LPROCFS_MD_OP_INIT(num_private_stats, stats, get_lustre_md);
1695         LPROCFS_MD_OP_INIT(num_private_stats, stats, free_lustre_md);
1696         LPROCFS_MD_OP_INIT(num_private_stats, stats, merge_attr);
1697         LPROCFS_MD_OP_INIT(num_private_stats, stats, set_open_replay_data);
1698         LPROCFS_MD_OP_INIT(num_private_stats, stats, clear_open_replay_data);
1699         LPROCFS_MD_OP_INIT(num_private_stats, stats, set_lock_data);
1700         LPROCFS_MD_OP_INIT(num_private_stats, stats, lock_match);
1701         LPROCFS_MD_OP_INIT(num_private_stats, stats, cancel_unused);
1702         LPROCFS_MD_OP_INIT(num_private_stats, stats, intent_getattr_async);
1703         LPROCFS_MD_OP_INIT(num_private_stats, stats, revalidate_lock);
1704 }
1705
1706 int lprocfs_alloc_md_stats(struct obd_device *obd,
1707                            unsigned int num_private_stats)
1708 {
1709         struct lprocfs_stats *stats;
1710         unsigned int num_stats;
1711         int rc, i;
1712
1713         CLASSERT(offsetof(struct md_ops, MD_STATS_FIRST_OP) == 0);
1714         CLASSERT(_MD_COUNTER_OFFSET(MD_STATS_FIRST_OP) == 0);
1715         CLASSERT(_MD_COUNTER_OFFSET(MD_STATS_LAST_OP) > 0);
1716
1717         /* TODO Ensure that this function is only used where
1718          * appropriate by adding an assertion to the effect that
1719          * obd->obd_type->typ_md_ops is not NULL. We can't do this now
1720          * because mdt_procfs_init() uses this function to allocate
1721          * the stats backing /proc/fs/lustre/mdt/.../md_stats but the
1722          * mdt layer does not use the md_ops interface. This is
1723          * confusing and a waste of memory. See LU-2484.
1724          */
1725         LASSERT(obd->obd_proc_entry != NULL);
1726         LASSERT(obd->obd_md_stats == NULL);
1727         LASSERT(obd->obd_md_cntr_base == 0);
1728
1729         num_stats = NUM_MD_STATS + num_private_stats;
1730         stats = lprocfs_alloc_stats(num_stats, 0);
1731         if (stats == NULL)
1732                 return -ENOMEM;
1733
1734         lprocfs_init_mps_stats(num_private_stats, stats);
1735
1736         for (i = num_private_stats; i < num_stats; i++) {
1737                 if (stats->ls_cnt_header[i].lc_name == NULL) {
1738                         CERROR("Missing md_stat initializer md_op "
1739                                "operation at offset %d. Aborting.\n",
1740                                i - num_private_stats);
1741                         LBUG();
1742                 }
1743         }
1744
1745         rc = lprocfs_register_stats(obd->obd_proc_entry, "md_stats", stats);
1746         if (rc < 0) {
1747                 lprocfs_free_stats(&stats);
1748         } else {
1749                 obd->obd_md_stats = stats;
1750                 obd->obd_md_cntr_base = num_private_stats;
1751         }
1752
1753         return rc;
1754 }
1755 EXPORT_SYMBOL(lprocfs_alloc_md_stats);
1756
1757 void lprocfs_free_md_stats(struct obd_device *obd)
1758 {
1759         struct lprocfs_stats *stats = obd->obd_md_stats;
1760
1761         if (stats != NULL) {
1762                 obd->obd_md_stats = NULL;
1763                 obd->obd_md_cntr_base = 0;
1764                 lprocfs_free_stats(&stats);
1765         }
1766 }
1767 EXPORT_SYMBOL(lprocfs_free_md_stats);
1768
1769 void lprocfs_init_ldlm_stats(struct lprocfs_stats *ldlm_stats)
1770 {
1771         lprocfs_counter_init(ldlm_stats,
1772                              LDLM_ENQUEUE - LDLM_FIRST_OPC,
1773                              0, "ldlm_enqueue", "reqs");
1774         lprocfs_counter_init(ldlm_stats,
1775                              LDLM_CONVERT - LDLM_FIRST_OPC,
1776                              0, "ldlm_convert", "reqs");
1777         lprocfs_counter_init(ldlm_stats,
1778                              LDLM_CANCEL - LDLM_FIRST_OPC,
1779                              0, "ldlm_cancel", "reqs");
1780         lprocfs_counter_init(ldlm_stats,
1781                              LDLM_BL_CALLBACK - LDLM_FIRST_OPC,
1782                              0, "ldlm_bl_callback", "reqs");
1783         lprocfs_counter_init(ldlm_stats,
1784                              LDLM_CP_CALLBACK - LDLM_FIRST_OPC,
1785                              0, "ldlm_cp_callback", "reqs");
1786         lprocfs_counter_init(ldlm_stats,
1787                              LDLM_GL_CALLBACK - LDLM_FIRST_OPC,
1788                              0, "ldlm_gl_callback", "reqs");
1789 }
1790 EXPORT_SYMBOL(lprocfs_init_ldlm_stats);
1791
1792 __s64 lprocfs_read_helper(struct lprocfs_counter *lc,
1793                           struct lprocfs_counter_header *header,
1794                           enum lprocfs_stats_flags flags,
1795                           enum lprocfs_fields_flags field)
1796 {
1797         __s64 ret = 0;
1798
1799         if (lc == NULL || header == NULL)
1800                 RETURN(0);
1801
1802         switch (field) {
1803                 case LPROCFS_FIELDS_FLAGS_CONFIG:
1804                         ret = header->lc_config;
1805                         break;
1806                 case LPROCFS_FIELDS_FLAGS_SUM:
1807                         ret = lc->lc_sum;
1808                         if ((flags & LPROCFS_STATS_FLAG_IRQ_SAFE) != 0)
1809                                 ret += lc->lc_sum_irq;
1810                         break;
1811                 case LPROCFS_FIELDS_FLAGS_MIN:
1812                         ret = lc->lc_min;
1813                         break;
1814                 case LPROCFS_FIELDS_FLAGS_MAX:
1815                         ret = lc->lc_max;
1816                         break;
1817                 case LPROCFS_FIELDS_FLAGS_AVG:
1818                         ret = (lc->lc_max - lc->lc_min) / 2;
1819                         break;
1820                 case LPROCFS_FIELDS_FLAGS_SUMSQUARE:
1821                         ret = lc->lc_sumsquare;
1822                         break;
1823                 case LPROCFS_FIELDS_FLAGS_COUNT:
1824                         ret = lc->lc_count;
1825                         break;
1826                 default:
1827                         break;
1828         };
1829         RETURN(ret);
1830 }
1831 EXPORT_SYMBOL(lprocfs_read_helper);
1832
1833 int lprocfs_read_frac_helper(char *buffer, unsigned long count, long val,
1834                              int mult)
1835 {
1836         long decimal_val, frac_val;
1837         int prtn;
1838
1839         if (count < 10)
1840                 return -EINVAL;
1841
1842         decimal_val = val / mult;
1843         prtn = snprintf(buffer, count, "%ld", decimal_val);
1844         frac_val = val % mult;
1845
1846         if (prtn < (count - 4) && frac_val > 0) {
1847                 long temp_frac;
1848                 int i, temp_mult = 1, frac_bits = 0;
1849
1850                 temp_frac = frac_val * 10;
1851                 buffer[prtn++] = '.';
1852                 while (frac_bits < 2 && (temp_frac / mult) < 1 ) {
1853                         /* only reserved 2 bits fraction */
1854                         buffer[prtn++] ='0';
1855                         temp_frac *= 10;
1856                         frac_bits++;
1857                 }
1858                 /*
1859                  * Need to think these cases :
1860                  *      1. #echo x.00 > /proc/xxx       output result : x
1861                  *      2. #echo x.0x > /proc/xxx       output result : x.0x
1862                  *      3. #echo x.x0 > /proc/xxx       output result : x.x
1863                  *      4. #echo x.xx > /proc/xxx       output result : x.xx
1864                  *      Only reserved 2 bits fraction.
1865                  */
1866                 for (i = 0; i < (5 - prtn); i++)
1867                         temp_mult *= 10;
1868
1869                 frac_bits = min((int)count - prtn, 3 - frac_bits);
1870                 prtn += snprintf(buffer + prtn, frac_bits, "%ld",
1871                                  frac_val * temp_mult / mult);
1872
1873                 prtn--;
1874                 while(buffer[prtn] < '1' || buffer[prtn] > '9') {
1875                         prtn--;
1876                         if (buffer[prtn] == '.') {
1877                                 prtn--;
1878                                 break;
1879                         }
1880                 }
1881                 prtn++;
1882         }
1883         buffer[prtn++] ='\n';
1884         return prtn;
1885 }
1886 EXPORT_SYMBOL(lprocfs_read_frac_helper);
1887
1888 int lprocfs_seq_read_frac_helper(struct seq_file *m, long val, int mult)
1889 {
1890         long decimal_val, frac_val;
1891
1892         decimal_val = val / mult;
1893         seq_printf(m, "%ld", decimal_val);
1894         frac_val = val % mult;
1895
1896         if (frac_val > 0) {
1897                 frac_val *= 100;
1898                 frac_val /= mult;
1899         }
1900         if (frac_val > 0) {
1901                 /* Three cases: x0, xx, 0x */
1902                 if ((frac_val % 10) != 0)
1903                         seq_printf(m, ".%ld", frac_val);
1904                 else
1905                         seq_printf(m, ".%ld", frac_val / 10);
1906         }
1907
1908         seq_printf(m, "\n");
1909         return 0;
1910 }
1911 EXPORT_SYMBOL(lprocfs_seq_read_frac_helper);
1912
1913 /* Obtains the conversion factor for the unit specified */
1914 static int get_mult(char unit, __u64 *mult)
1915 {
1916         __u64 units = 1;
1917
1918         switch (unit) {
1919         /* peta, tera, giga, mega, and kilo */
1920         case 'p':
1921         case 'P':
1922                 units <<= 10;
1923         case 't':
1924         case 'T':
1925                 units <<= 10;
1926         case 'g':
1927         case 'G':
1928                 units <<= 10;
1929         case 'm':
1930         case 'M':
1931                 units <<= 10;
1932         case 'k':
1933         case 'K':
1934                 units <<= 10;
1935                 break;
1936         /* some tests expect % to be accepted */
1937         case '%':
1938                 units = 1;
1939                 break;
1940         default:
1941                 return -EINVAL;
1942         }
1943
1944         *mult = units;
1945
1946         return 0;
1947 }
1948
1949 /*
1950  * Ensures the numeric string is valid. The function provides the final
1951  * multiplier in the case a unit exists at the end of the string. It also
1952  * locates the start of the whole and fractional parts (if any). This
1953  * function modifies the string so kstrtoull can be used to parse both
1954  * the whole and fraction portions. This function also figures out
1955  * the base of the number.
1956  */
1957 static int preprocess_numeric_str(char *buffer, __u64 *mult, __u64 def_mult,
1958                                   bool allow_units, char **whole, char **frac,
1959                                   unsigned int *base)
1960 {
1961         bool hit_decimal = false;
1962         bool hit_unit = false;
1963         int rc = 0;
1964         char *start;
1965         *mult = def_mult;
1966         *whole = NULL;
1967         *frac = NULL;
1968         *base = 10;
1969
1970         /* a hex string if it starts with "0x" */
1971         if (buffer[0] == '0' && tolower(buffer[1]) == 'x') {
1972                 *base = 16;
1973                 buffer += 2;
1974         }
1975
1976         start = buffer;
1977
1978         while (*buffer) {
1979                 /* allow for a single new line before the null terminator */
1980                 if (*buffer == '\n') {
1981                         *buffer = '\0';
1982                         buffer++;
1983
1984                         if (*buffer)
1985                                 return -EINVAL;
1986
1987                         break;
1988                 }
1989
1990                 /* any chars after our unit indicates a malformed string */
1991                 if (hit_unit)
1992                         return -EINVAL;
1993
1994                 /* ensure we only hit one decimal */
1995                 if (*buffer == '.') {
1996                         if (hit_decimal)
1997                                 return -EINVAL;
1998
1999                         /* if past start, there's a whole part */
2000                         if (start != buffer)
2001                                 *whole = start;
2002
2003                         *buffer = '\0';
2004                         start = buffer + 1;
2005                         hit_decimal = true;
2006                 } else if (!isdigit(*buffer) &&
2007                            !(*base == 16 && isxdigit(*buffer))) {
2008                         if (allow_units) {
2009                                 /* if we allow units, attempt to get mult */
2010                                 hit_unit = true;
2011                                 rc = get_mult(*buffer, mult);
2012                                 if (rc)
2013                                         return rc;
2014
2015                                 /* string stops here, but keep processing */
2016                                 *buffer = '\0';
2017                         } else {
2018                                 /* bad string */
2019                                 return -EINVAL;
2020                         }
2021                 }
2022
2023                 buffer++;
2024         }
2025
2026         if (hit_decimal) {
2027                 /* hit a decimal, make sure there's a fractional part */
2028                 if (!*start)
2029                         return -EINVAL;
2030
2031                 *frac = start;
2032         } else {
2033                 /* didn't hit a decimal, but may have a whole part */
2034                 if (start != buffer && *start)
2035                         *whole = start;
2036         }
2037
2038         /* malformed string if we didn't get anything */
2039         if (!*frac && !*whole)
2040                 return -EINVAL;
2041
2042         return 0;
2043 }
2044
2045 /*
2046  * Parses a numeric string which can contain a whole and fraction portion
2047  * into a __u64. Accepts a multiplier to apply to the value parsed. Also
2048  * allows the string to have a unit at the end. The function handles
2049  * wrapping of the final unsigned value.
2050  */
2051 static int str_to_u64_parse(char *buffer, unsigned long count,
2052                             __u64 *val, __u64 def_mult, bool allow_units)
2053 {
2054         __u64 whole = 0;
2055         __u64 frac = 0;
2056         unsigned int frac_d = 1;
2057         __u64 wrap_indicator = ULLONG_MAX;
2058         int rc = 0;
2059         __u64 mult;
2060         char *strwhole;
2061         char *strfrac;
2062         unsigned int base = 10;
2063
2064         rc = preprocess_numeric_str(buffer, &mult, def_mult, allow_units,
2065                                     &strwhole, &strfrac, &base);
2066
2067         if (rc)
2068                 return rc;
2069
2070         if (mult == 0) {
2071                 *val = 0;
2072                 return 0;
2073         }
2074
2075         /* the multiplier limits how large the value can be */
2076         wrap_indicator /=  mult;
2077
2078         if (strwhole) {
2079                 rc = kstrtoull(strwhole, base, &whole);
2080                 if (rc)
2081                         return rc;
2082
2083                 if (whole > wrap_indicator)
2084                         return -ERANGE;
2085
2086                 whole *= mult;
2087         }
2088
2089         if (strfrac) {
2090                 if (strlen(strfrac) > 10)
2091                         strfrac[10] = '\0';
2092
2093                 rc = kstrtoull(strfrac, base, &frac);
2094                 if (rc)
2095                         return rc;
2096
2097                 /* determine power of fractional portion */
2098                 while (*strfrac) {
2099                         frac_d *= base;
2100                         strfrac++;
2101                 }
2102
2103                 /* fractional portion is too large to perform calculation */
2104                 if (frac > wrap_indicator)
2105                         return -ERANGE;
2106
2107                 frac *= mult;
2108                 do_div(frac, frac_d);
2109         }
2110
2111         /* check that the sum of whole and fraction fits in u64 */
2112         if (whole > (ULLONG_MAX - frac))
2113                 return -ERANGE;
2114
2115         *val = whole + frac;
2116
2117         return 0;
2118 }
2119
2120 /*
2121  * This function parses numeric/hex strings into __s64. It accepts a multiplier
2122  * which will apply to the value parsed. It also can allow the string to
2123  * have a unit as the last character. The function handles overflow/underflow
2124  * of the signed integer.
2125  */
2126 static int str_to_s64_internal(const char __user *buffer, unsigned long count,
2127                                __s64 *val, __u64 def_mult, bool allow_units)
2128 {
2129         char kernbuf[22];
2130         __u64 tmp;
2131         unsigned int offset = 0;
2132         int signed sign = 1;
2133         __u64 max = LLONG_MAX;
2134         int rc = 0;
2135
2136         if (count > (sizeof(kernbuf) - 1))
2137                 return -EINVAL;
2138
2139         if (copy_from_user(kernbuf, buffer, count))
2140                 return -EFAULT;
2141
2142         kernbuf[count] = '\0';
2143
2144         /* keep track of our sign */
2145         if (*kernbuf == '-') {
2146                 sign = -1;
2147                 offset++;
2148                 /* equivalent to max = -LLONG_MIN, avoids overflow */
2149                 max++;
2150         }
2151
2152         rc = str_to_u64_parse(kernbuf + offset, count - offset,
2153                               &tmp, def_mult, allow_units);
2154         if (rc)
2155                 return rc;
2156
2157         /* check for overflow/underflow */
2158         if (max < tmp)
2159                 return -ERANGE;
2160
2161         *val = (__s64)tmp * sign;
2162
2163         return 0;
2164 }
2165
2166 /**
2167  * Convert a user string into a signed 64 bit number. This function produces
2168  * an error when the value parsed from the string underflows or
2169  * overflows. This function accepts strings which contain digits and
2170  * optionally a decimal or hex strings which are prefixed with "0x".
2171  *
2172  * \param[in] buffer    string consisting of numbers and optionally a decimal
2173  * \param[in] count     buffer length
2174  * \param[in] val       if successful, the value represented by the string
2175  *
2176  * \retval              0 on success
2177  * \retval              negative number on error
2178  */
2179 int lprocfs_str_to_s64(const char __user *buffer, unsigned long count,
2180                        __s64 *val)
2181 {
2182         return str_to_s64_internal(buffer, count, val, 1, false);
2183 }
2184 EXPORT_SYMBOL(lprocfs_str_to_s64);
2185
2186 /**
2187  * Convert a user string into a signed 64 bit number. This function produces
2188  * an error when the value parsed from the string times multiplier underflows or
2189  * overflows. This function only accepts strings that contains digits, an
2190  * optional decimal, and a char representing a unit at the end. If a unit is
2191  * specified in the string, the multiplier provided by the caller is ignored.
2192  * This function can also accept hexadecimal strings which are prefixed with
2193  * "0x".
2194  *
2195  * \param[in] buffer    string consisting of numbers, a decimal, and a unit
2196  * \param[in] count     buffer length
2197  * \param[in] val       if successful, the value represented by the string
2198  * \param[in] defunit   default unit if string doesn't contain one
2199  *
2200  * \retval              0 on success
2201  * \retval              negative number on error
2202  */
2203 int lprocfs_str_with_units_to_s64(const char __user *buffer,
2204                                   unsigned long count, __s64 *val, char defunit)
2205 {
2206         __u64 mult = 1;
2207         int rc;
2208
2209         if (defunit != '1') {
2210                 rc = get_mult(defunit, &mult);
2211                 if (rc)
2212                         return rc;
2213         }
2214
2215         return str_to_s64_internal(buffer, count, val, mult, true);
2216 }
2217 EXPORT_SYMBOL(lprocfs_str_with_units_to_s64);
2218
2219 static char *lprocfs_strnstr(const char *s1, const char *s2, size_t len)
2220 {
2221         size_t l2;
2222
2223         l2 = strlen(s2);
2224         if (!l2)
2225                 return (char *)s1;
2226         while (len >= l2) {
2227                 len--;
2228                 if (!memcmp(s1, s2, l2))
2229                         return (char *)s1;
2230                 s1++;
2231         }
2232         return NULL;
2233 }
2234
2235 /**
2236  * Find the string \a name in the input \a buffer, and return a pointer to the
2237  * value immediately following \a name, reducing \a count appropriately.
2238  * If \a name is not found the original \a buffer is returned.
2239  */
2240 char *lprocfs_find_named_value(const char *buffer, const char *name,
2241                                 size_t *count)
2242 {
2243         char *val;
2244         size_t buflen = *count;
2245
2246         /* there is no strnstr() in rhel5 and ubuntu kernels */
2247         val = lprocfs_strnstr(buffer, name, buflen);
2248         if (val == NULL)
2249                 return (char *)buffer;
2250
2251         val += strlen(name);                             /* skip prefix */
2252         while (val < buffer + buflen && isspace(*val)) /* skip separator */
2253                 val++;
2254
2255         *count = 0;
2256         while (val < buffer + buflen && isalnum(*val)) {
2257                 ++*count;
2258                 ++val;
2259         }
2260
2261         return val - *count;
2262 }
2263 EXPORT_SYMBOL(lprocfs_find_named_value);
2264
2265 int ldebugfs_seq_create(struct dentry *parent, const char *name, umode_t mode,
2266                         const struct file_operations *seq_fops, void *data)
2267 {
2268         struct dentry *entry;
2269
2270         /* Disallow secretly (un)writable entries. */
2271         LASSERT((!seq_fops->write) == (!(mode & 0222)));
2272
2273         entry = debugfs_create_file(name, mode, parent, data, seq_fops);
2274         if (IS_ERR_OR_NULL(entry))
2275                 return entry ? PTR_ERR(entry) : -ENOMEM;
2276
2277         return 0;
2278 }
2279 EXPORT_SYMBOL_GPL(ldebugfs_seq_create);
2280
2281 int lprocfs_seq_create(struct proc_dir_entry *parent,
2282                        const char *name,
2283                        mode_t mode,
2284                        const struct file_operations *seq_fops,
2285                        void *data)
2286 {
2287         struct proc_dir_entry *entry;
2288         ENTRY;
2289
2290         /* Disallow secretly (un)writable entries. */
2291         LASSERT((seq_fops->write == NULL) == ((mode & 0222) == 0));
2292
2293         entry = proc_create_data(name, mode, parent, seq_fops, data);
2294
2295         if (entry == NULL)
2296                 RETURN(-ENOMEM);
2297
2298         RETURN(0);
2299 }
2300 EXPORT_SYMBOL(lprocfs_seq_create);
2301
2302 int lprocfs_obd_seq_create(struct obd_device *dev,
2303                            const char *name,
2304                            mode_t mode,
2305                            const struct file_operations *seq_fops,
2306                            void *data)
2307 {
2308         return (lprocfs_seq_create(dev->obd_proc_entry, name,
2309                                    mode, seq_fops, data));
2310 }
2311 EXPORT_SYMBOL(lprocfs_obd_seq_create);
2312
2313 void lprocfs_oh_tally(struct obd_histogram *oh, unsigned int value)
2314 {
2315         if (value >= OBD_HIST_MAX)
2316                 value = OBD_HIST_MAX - 1;
2317
2318         spin_lock(&oh->oh_lock);
2319         oh->oh_buckets[value]++;
2320         spin_unlock(&oh->oh_lock);
2321 }
2322 EXPORT_SYMBOL(lprocfs_oh_tally);
2323
2324 void lprocfs_oh_tally_log2(struct obd_histogram *oh, unsigned int value)
2325 {
2326         unsigned int val = 0;
2327
2328         if (likely(value != 0))
2329                 val = min(fls(value - 1), OBD_HIST_MAX);
2330
2331         lprocfs_oh_tally(oh, val);
2332 }
2333 EXPORT_SYMBOL(lprocfs_oh_tally_log2);
2334
2335 unsigned long lprocfs_oh_sum(struct obd_histogram *oh)
2336 {
2337         unsigned long ret = 0;
2338         int i;
2339
2340         for (i = 0; i < OBD_HIST_MAX; i++)
2341                 ret +=  oh->oh_buckets[i];
2342         return ret;
2343 }
2344 EXPORT_SYMBOL(lprocfs_oh_sum);
2345
2346 void lprocfs_oh_clear(struct obd_histogram *oh)
2347 {
2348         spin_lock(&oh->oh_lock);
2349         memset(oh->oh_buckets, 0, sizeof(oh->oh_buckets));
2350         spin_unlock(&oh->oh_lock);
2351 }
2352 EXPORT_SYMBOL(lprocfs_oh_clear);
2353
2354 ssize_t lustre_attr_show(struct kobject *kobj,
2355                          struct attribute *attr, char *buf)
2356 {
2357         struct lustre_attr *a = container_of(attr, struct lustre_attr, attr);
2358
2359         return a->show ? a->show(kobj, attr, buf) : 0;
2360 }
2361 EXPORT_SYMBOL_GPL(lustre_attr_show);
2362
2363 ssize_t lustre_attr_store(struct kobject *kobj, struct attribute *attr,
2364                           const char *buf, size_t len)
2365 {
2366         struct lustre_attr *a = container_of(attr, struct lustre_attr, attr);
2367
2368         return a->store ? a->store(kobj, attr, buf, len) : len;
2369 }
2370 EXPORT_SYMBOL_GPL(lustre_attr_store);
2371
2372 const struct sysfs_ops lustre_sysfs_ops = {
2373         .show  = lustre_attr_show,
2374         .store = lustre_attr_store,
2375 };
2376 EXPORT_SYMBOL_GPL(lustre_sysfs_ops);
2377
2378 int lprocfs_obd_max_pages_per_rpc_seq_show(struct seq_file *m, void *data)
2379 {
2380         struct obd_device *dev = data;
2381         struct client_obd *cli = &dev->u.cli;
2382
2383         spin_lock(&cli->cl_loi_list_lock);
2384         seq_printf(m, "%d\n", cli->cl_max_pages_per_rpc);
2385         spin_unlock(&cli->cl_loi_list_lock);
2386         return 0;
2387 }
2388 EXPORT_SYMBOL(lprocfs_obd_max_pages_per_rpc_seq_show);
2389
2390 ssize_t lprocfs_obd_max_pages_per_rpc_seq_write(struct file *file,
2391                                                 const char __user *buffer,
2392                                                 size_t count, loff_t *off)
2393 {
2394         struct obd_device *dev =
2395                 ((struct seq_file *)file->private_data)->private;
2396         struct client_obd *cli = &dev->u.cli;
2397         struct obd_connect_data *ocd = &cli->cl_import->imp_connect_data;
2398         int chunk_mask, rc;
2399         __s64 val;
2400
2401         rc = lprocfs_str_with_units_to_s64(buffer, count, &val, '1');
2402         if (rc)
2403                 return rc;
2404         if (val < 0)
2405                 return -ERANGE;
2406
2407         /* if the max_pages is specified in bytes, convert to pages */
2408         if (val >= ONE_MB_BRW_SIZE)
2409                 val >>= PAGE_SHIFT;
2410
2411         LPROCFS_CLIMP_CHECK(dev);
2412
2413         chunk_mask = ~((1 << (cli->cl_chunkbits - PAGE_SHIFT)) - 1);
2414         /* max_pages_per_rpc must be chunk aligned */
2415         val = (val + ~chunk_mask) & chunk_mask;
2416         if (val == 0 || (ocd->ocd_brw_size != 0 &&
2417                          val > ocd->ocd_brw_size >> PAGE_SHIFT)) {
2418                 LPROCFS_CLIMP_EXIT(dev);
2419                 return -ERANGE;
2420         }
2421         spin_lock(&cli->cl_loi_list_lock);
2422         cli->cl_max_pages_per_rpc = val;
2423         client_adjust_max_dirty(cli);
2424         spin_unlock(&cli->cl_loi_list_lock);
2425
2426         LPROCFS_CLIMP_EXIT(dev);
2427         return count;
2428 }
2429 EXPORT_SYMBOL(lprocfs_obd_max_pages_per_rpc_seq_write);
2430
2431 int lprocfs_wr_root_squash(const char __user *buffer, unsigned long count,
2432                            struct root_squash_info *squash, char *name)
2433 {
2434         int rc;
2435         char kernbuf[64], *tmp, *errmsg;
2436         unsigned long uid, gid;
2437         ENTRY;
2438
2439         if (count >= sizeof(kernbuf)) {
2440                 errmsg = "string too long";
2441                 GOTO(failed_noprint, rc = -EINVAL);
2442         }
2443         if (copy_from_user(kernbuf, buffer, count)) {
2444                 errmsg = "bad address";
2445                 GOTO(failed_noprint, rc = -EFAULT);
2446         }
2447         kernbuf[count] = '\0';
2448
2449         /* look for uid gid separator */
2450         tmp = strchr(kernbuf, ':');
2451         if (tmp == NULL) {
2452                 errmsg = "needs uid:gid format";
2453                 GOTO(failed, rc = -EINVAL);
2454         }
2455         *tmp = '\0';
2456         tmp++;
2457
2458         /* parse uid */
2459         if (kstrtoul(kernbuf, 0, &uid) != 0) {
2460                 errmsg = "bad uid";
2461                 GOTO(failed, rc = -EINVAL);
2462         }
2463
2464         /* parse gid */
2465         if (kstrtoul(tmp, 0, &gid) != 0) {
2466                 errmsg = "bad gid";
2467                 GOTO(failed, rc = -EINVAL);
2468         }
2469
2470         squash->rsi_uid = uid;
2471         squash->rsi_gid = gid;
2472
2473         LCONSOLE_INFO("%s: root_squash is set to %u:%u\n",
2474                       name, squash->rsi_uid, squash->rsi_gid);
2475         RETURN(count);
2476
2477 failed:
2478         if (tmp != NULL) {
2479                 tmp--;
2480                 *tmp = ':';
2481         }
2482         CWARN("%s: failed to set root_squash to \"%s\", %s, rc = %d\n",
2483               name, kernbuf, errmsg, rc);
2484         RETURN(rc);
2485 failed_noprint:
2486         CWARN("%s: failed to set root_squash due to %s, rc = %d\n",
2487               name, errmsg, rc);
2488         RETURN(rc);
2489 }
2490 EXPORT_SYMBOL(lprocfs_wr_root_squash);
2491
2492
2493 int lprocfs_wr_nosquash_nids(const char __user *buffer, unsigned long count,
2494                              struct root_squash_info *squash, char *name)
2495 {
2496         int rc;
2497         char *kernbuf = NULL;
2498         char *errmsg;
2499         struct list_head tmp;
2500         int len = count;
2501         ENTRY;
2502
2503         if (count > 4096) {
2504                 errmsg = "string too long";
2505                 GOTO(failed, rc = -EINVAL);
2506         }
2507
2508         OBD_ALLOC(kernbuf, count + 1);
2509         if (kernbuf == NULL) {
2510                 errmsg = "no memory";
2511                 GOTO(failed, rc = -ENOMEM);
2512         }
2513         if (copy_from_user(kernbuf, buffer, count)) {
2514                 errmsg = "bad address";
2515                 GOTO(failed, rc = -EFAULT);
2516         }
2517         kernbuf[count] = '\0';
2518
2519         if (count > 0 && kernbuf[count - 1] == '\n')
2520                 len = count - 1;
2521
2522         if ((len == 4 && strncmp(kernbuf, "NONE", len) == 0) ||
2523             (len == 5 && strncmp(kernbuf, "clear", len) == 0)) {
2524                 /* empty string is special case */
2525                 down_write(&squash->rsi_sem);
2526                 if (!list_empty(&squash->rsi_nosquash_nids))
2527                         cfs_free_nidlist(&squash->rsi_nosquash_nids);
2528                 up_write(&squash->rsi_sem);
2529                 LCONSOLE_INFO("%s: nosquash_nids is cleared\n", name);
2530                 OBD_FREE(kernbuf, count + 1);
2531                 RETURN(count);
2532         }
2533
2534         INIT_LIST_HEAD(&tmp);
2535         if (cfs_parse_nidlist(kernbuf, count, &tmp) <= 0) {
2536                 errmsg = "can't parse";
2537                 GOTO(failed, rc = -EINVAL);
2538         }
2539         LCONSOLE_INFO("%s: nosquash_nids set to %s\n",
2540                       name, kernbuf);
2541         OBD_FREE(kernbuf, count + 1);
2542         kernbuf = NULL;
2543
2544         down_write(&squash->rsi_sem);
2545         if (!list_empty(&squash->rsi_nosquash_nids))
2546                 cfs_free_nidlist(&squash->rsi_nosquash_nids);
2547         list_splice(&tmp, &squash->rsi_nosquash_nids);
2548         up_write(&squash->rsi_sem);
2549
2550         RETURN(count);
2551
2552 failed:
2553         if (kernbuf) {
2554                 CWARN("%s: failed to set nosquash_nids to \"%s\", %s rc = %d\n",
2555                       name, kernbuf, errmsg, rc);
2556                 OBD_FREE(kernbuf, count + 1);
2557         } else {
2558                 CWARN("%s: failed to set nosquash_nids due to %s rc = %d\n",
2559                       name, errmsg, rc);
2560         }
2561         RETURN(rc);
2562 }
2563 EXPORT_SYMBOL(lprocfs_wr_nosquash_nids);
2564
2565 #endif /* CONFIG_PROC_FS*/