libcfs/include/libcfs/linux/linux-mem.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2008, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2014, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  *
  32  * libcfs/include/libcfs/linux/linux-mem.h
  33  *
  34  * Basic library routines.
  35  */
  36
  37 #ifndef __LIBCFS_LINUX_CFS_MEM_H__
  38 #define __LIBCFS_LINUX_CFS_MEM_H__
  39
  40 #include <linux/mm.h>
  41 #include <linux/vmalloc.h>
  42 #include <linux/pagemap.h>
  43 #include <linux/slab.h>
  44 #ifdef HAVE_MM_INLINE
  45 # include <linux/mm_inline.h>
  46 #endif
  47 #include <linux/sched.h>
  48 #ifdef HAVE_SCHED_HEADERS
  49 #include <linux/sched/mm.h>
  50 #endif
  51
  52 #ifdef HAVE_TOTALRAM_PAGES_AS_FUNC
  53  #ifndef cfs_totalram_pages
  54   #define cfs_totalram_pages() totalram_pages()
  55  #endif
  56 #else
  57  #ifndef cfs_totalram_pages
  58   #define cfs_totalram_pages() totalram_pages
  59  #endif
  60 #endif
  61
  62 #ifndef HAVE_MEMALLOC_RECLAIM
  63 static inline unsigned int memalloc_noreclaim_save(void)
  64 {
  65         unsigned int flags = current->flags & PF_MEMALLOC;
  66
  67         current->flags |= PF_MEMALLOC;
  68         return flags;
  69 }
  70
  71 static inline void memalloc_noreclaim_restore(unsigned int flags)
  72 {
  73         current->flags = (current->flags & ~PF_MEMALLOC) | flags;
  74 }
  75 #endif /* !HAVE_MEMALLOC_RECLAIM */
  76
  77 #ifndef HAVE_BITMAP_ALLOC
  78 static inline unsigned long *bitmap_alloc(unsigned int nbits, gfp_t flags)
  79 {
  80         return kmalloc_array(BITS_TO_LONGS(nbits), sizeof(unsigned long),
  81                              flags);
  82 }
  83
  84 static inline unsigned long *bitmap_zalloc(unsigned int nbits, gfp_t flags)
  85 {
  86         return bitmap_alloc(nbits, flags | __GFP_ZERO);
  87 }
  88
  89 static inline void bitmap_free(const unsigned long *bitmap)
  90 {
  91         kfree(bitmap);
  92 }
  93 #endif /* !HAVE_BITMAP_ALLOC */
  94
  95 /*
  96  * Shrinker
  97  */
  98 # define SHRINKER_ARGS(sc, nr_to_scan, gfp_mask)  \
  99                        struct shrinker *shrinker, \
 100                        struct shrink_control *sc
 101 # define shrink_param(sc, var) ((sc)->var)
 102
 103 #ifdef HAVE_SHRINKER_COUNT
 104 struct shrinker_var {
 105         unsigned long (*count)(struct shrinker *,
 106                                struct shrink_control *sc);
 107         unsigned long (*scan)(struct shrinker *,
 108                               struct shrink_control *sc);
 109 };
 110 # define DEF_SHRINKER_VAR(name, shrink, count_obj, scan_obj) \
 111             struct shrinker_var name = { .count = count_obj, .scan = scan_obj }
 112 #else
 113 struct shrinker_var {
 114         int (*shrink)(SHRINKER_ARGS(sc, nr_to_scan, gfp_mask));
 115 };
 116 # define DEF_SHRINKER_VAR(name, shrinker, count, scan) \
 117             struct shrinker_var name = { .shrink = shrinker }
 118 # define SHRINK_STOP (~0UL)
 119 #endif
 120
 121 static inline
 122 struct shrinker *set_shrinker(int seek, struct shrinker_var *var)
 123 {
 124         struct shrinker *s;
 125
 126         s = kzalloc(sizeof(*s), GFP_KERNEL);
 127         if (s == NULL)
 128                 return (NULL);
 129
 130 #ifdef HAVE_SHRINKER_COUNT
 131         s->count_objects = var->count;
 132         s->scan_objects = var->scan;
 133 #else
 134         s->shrink = var->shrink;
 135 #endif
 136         s->seeks = seek;
 137
 138         register_shrinker(s);
 139
 140         return s;
 141 }
 142
 143 static inline
 144 void remove_shrinker(struct shrinker *shrinker)
 145 {
 146         if (shrinker == NULL)
 147                 return;
 148
 149         unregister_shrinker(shrinker);
 150         kfree(shrinker);
 151 }
 152
 153 #ifndef HAVE_MMAP_LOCK
 154 static inline void mmap_write_lock(struct mm_struct *mm)
 155 {
 156         down_write(&mm->mmap_sem);
 157 }
 158
 159 static inline bool mmap_write_trylock(struct mm_struct *mm)
 160 {
 161         return down_write_trylock(&mm->mmap_sem) != 0;
 162 }
 163
 164 static inline void mmap_write_unlock(struct mm_struct *mm)
 165 {
 166         up_write(&mm->mmap_sem);
 167 }
 168
 169 static inline void mmap_read_lock(struct mm_struct *mm)
 170 {
 171         down_read(&mm->mmap_sem);
 172 }
 173
 174 static inline bool mmap_read_trylock(struct mm_struct *mm)
 175 {
 176         return down_read_trylock(&mm->mmap_sem) != 0;
 177 }
 178
 179 static inline void mmap_read_unlock(struct mm_struct *mm)
 180 {
 181         up_read(&mm->mmap_sem);
 182 }
 183 #endif
 184
 185 #endif /* __LINUX_CFS_MEM_H__ */