lustre/lvfs/lvfs_lib.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  19  *
  20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  21  * CA 95054 USA or visit www.sun.com if you need additional information or
  22  * have any questions.
  23  *
  24  * GPL HEADER END
  25  */
  26 /*
  27  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  28  * Use is subject to license terms.
  29  */
  30 /*
  31  * This file is part of Lustre, http://www.lustre.org/
  32  * Lustre is a trademark of Sun Microsystems, Inc.
  33  *
  34  * lustre/lvfs/lvfs_lib.c
  35  *
  36  * Lustre filesystem abstraction routines
  37  *
  38  * Author: Andreas Dilger <adilger@clusterfs.com>
  39  */
  40 #ifdef __KERNEL__
  41 #include <linux/module.h>
  42 #else
  43 #include <liblustre.h>
  44 #endif
  45 #include <lustre_lib.h>
  46 #include <lprocfs_status.h>
  47
  48 unsigned int obd_alloc_fail_rate = 0;
  49
  50 int obd_alloc_fail(const void *ptr, const char *name, const char *type,
  51                    size_t size, const char *file, int line)
  52 {
  53         if (ptr == NULL ||
  54             (cfs_rand() & OBD_ALLOC_FAIL_MASK) < obd_alloc_fail_rate) {
  55                 CERROR("%s%salloc of %s ("LPU64" bytes) failed at %s:%d\n",
  56                        ptr ? "force " :"", type, name, (__u64)size, file,
  57                        line);
  58                 CERROR(LPU64" total bytes and "LPU64" total pages "
  59                        "("LPU64" bytes) allocated by Lustre, "
  60                        "%d total bytes by LNET\n",
  61                        obd_memory_sum(),
  62                        obd_pages_sum() << CFS_PAGE_SHIFT,
  63                        obd_pages_sum(),
  64                        cfs_atomic_read(&libcfs_kmemory));
  65                 return 1;
  66         }
  67         return 0;
  68 }
  69 EXPORT_SYMBOL(obd_alloc_fail);
  70
  71 #ifdef LPROCFS
  72 void lprocfs_counter_add(struct lprocfs_stats *stats, int idx,
  73                                        long amount)
  74 {
  75         struct lprocfs_counter *percpu_cntr;
  76         int                     smp_id;
  77         unsigned long           flags = 0;
  78
  79         if (stats == NULL)
  80                 return;
  81
  82         /* With per-client stats, statistics are allocated only for
  83          * single CPU area, so the smp_id should be 0 always. */
  84         smp_id = lprocfs_stats_lock(stats, LPROCFS_GET_SMP_ID, &flags);
  85         if (smp_id < 0)
  86                 return;
  87
  88         percpu_cntr = &(stats->ls_percpu[smp_id]->lp_cntr[idx]);
  89         if (!(stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU))
  90                 cfs_atomic_inc(&percpu_cntr->lc_cntl.la_entry);
  91         percpu_cntr->lc_count++;
  92
  93         if (percpu_cntr->lc_config & LPROCFS_CNTR_AVGMINMAX) {
  94                 /*
  95                  * lprocfs_counter_add() can be called in interrupt context,
  96                  * as memory allocation could trigger memory shrinker call
  97                  * ldlm_pool_shrink(), which calls lprocfs_counter_add().
  98                  * LU-1727.
  99                  */
 100                 if (cfs_in_interrupt())
 101                         percpu_cntr->lc_sum_irq += amount;
 102                 else
 103                         percpu_cntr->lc_sum += amount;
 104                 if (percpu_cntr->lc_config & LPROCFS_CNTR_STDDEV)
 105                         percpu_cntr->lc_sumsquare += (__s64)amount * amount;
 106                 if (amount < percpu_cntr->lc_min)
 107                         percpu_cntr->lc_min = amount;
 108                 if (amount > percpu_cntr->lc_max)
 109                         percpu_cntr->lc_max = amount;
 110         }
 111         if (!(stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU))
 112                 cfs_atomic_inc(&percpu_cntr->lc_cntl.la_exit);
 113         lprocfs_stats_unlock(stats, LPROCFS_GET_SMP_ID, &flags);
 114 }
 115 EXPORT_SYMBOL(lprocfs_counter_add);
 116
 117 void lprocfs_counter_sub(struct lprocfs_stats *stats, int idx, long amount)
 118 {
 119         struct lprocfs_counter *percpu_cntr;
 120         int                     smp_id;
 121         unsigned long           flags = 0;
 122
 123         if (stats == NULL)
 124                 return;
 125
 126         /* With per-client stats, statistics are allocated only for
 127          * single CPU area, so the smp_id should be 0 always. */
 128         smp_id = lprocfs_stats_lock(stats, LPROCFS_GET_SMP_ID, &flags);
 129         if (smp_id < 0)
 130                 return;
 131
 132         percpu_cntr = &(stats->ls_percpu[smp_id]->lp_cntr[idx]);
 133         if (!(stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU))
 134                 cfs_atomic_inc(&percpu_cntr->lc_cntl.la_entry);
 135         if (percpu_cntr->lc_config & LPROCFS_CNTR_AVGMINMAX) {
 136                 /*
 137                  * Sometimes we use RCU callbacks to free memory which calls
 138                  * lprocfs_counter_sub(), and RCU callbacks may execute in
 139                  * softirq context - right now that's the only case we're in
 140                  * softirq context here, use separate counter for that.
 141                  * bz20650.
 142                  */
 143                 if (cfs_in_interrupt())
 144                         percpu_cntr->lc_sum_irq -= amount;
 145                 else
 146                         percpu_cntr->lc_sum -= amount;
 147         }
 148         if (!(stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU))
 149                 cfs_atomic_inc(&percpu_cntr->lc_cntl.la_exit);
 150         lprocfs_stats_unlock(stats, LPROCFS_GET_SMP_ID, &flags);
 151 }
 152 EXPORT_SYMBOL(lprocfs_counter_sub);
 153
 154 int lprocfs_stats_alloc_one(struct lprocfs_stats *stats, unsigned int idx)
 155 {
 156         unsigned int    percpusize;
 157         int             rc      = -ENOMEM;
 158         unsigned long   flags   = 0;
 159
 160         /* the 1st percpu entry was statically allocated in
 161          * lprocfs_alloc_stats() */
 162         LASSERT(idx != 0 && stats->ls_percpu[0] != NULL);
 163         LASSERT(stats->ls_percpu[idx] == NULL);
 164         LASSERT((stats->ls_flags & LPROCFS_STATS_FLAG_NOPERCPU) == 0);
 165
 166         percpusize = CFS_L1_CACHE_ALIGN(offsetof(struct lprocfs_percpu,
 167                                                  lp_cntr[stats->ls_num]));
 168         OBD_ALLOC_GFP(stats->ls_percpu[idx], percpusize, CFS_ALLOC_ATOMIC);
 169         if (stats->ls_percpu[idx] != NULL) {
 170                 rc = 0;
 171                 if (unlikely(stats->ls_biggest_alloc_num <= idx)) {
 172                         if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE)
 173                                 spin_lock_irqsave(&stats->ls_lock, flags);
 174                         else
 175                                 spin_lock(&stats->ls_lock);
 176                         if (stats->ls_biggest_alloc_num <= idx)
 177                                 stats->ls_biggest_alloc_num = idx + 1;
 178                         if (stats->ls_flags & LPROCFS_STATS_FLAG_IRQ_SAFE) {
 179                                 spin_unlock_irqrestore(&stats->ls_lock, flags);
 180                         } else {
 181                                 spin_unlock(&stats->ls_lock);
 182                         }
 183                 }
 184
 185                 /* initialize the ls_percpu[idx] by copying the 0th template
 186                  * entry */
 187                 memcpy(stats->ls_percpu[idx], stats->ls_percpu[0],
 188                        percpusize);
 189         }
 190
 191         return rc;
 192 }
 193 EXPORT_SYMBOL(lprocfs_stats_alloc_one);
 194 #endif  /* LPROCFS */
 195
 196 EXPORT_SYMBOL(obd_alloc_fail_rate);