lustre/obdclass/lu_qos.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * This file is part of Lustre, http://www.lustre.org/
  24  *
  25  * lustre/obdclass/lu_qos.c
  26  *
  27  * Lustre QoS.
  28  * These are the only exported functions, they provide some generic
  29  * infrastructure for object allocation QoS
  30  *
  31  */
  32
  33 #define DEBUG_SUBSYSTEM S_CLASS
  34
  35 #include <linux/module.h>
  36 #include <linux/list.h>
  37 #include <linux/random.h>
  38 #include <libcfs/libcfs.h>
  39 #include <libcfs/libcfs_hash.h> /* hash_long() */
  40 #include <libcfs/linux/linux-mem.h>
  41 #include <obd_class.h>
  42 #include <obd_support.h>
  43 #include <lustre_disk.h>
  44 #include <lustre_fid.h>
  45 #include <lu_object.h>
  46
  47 void lu_qos_rr_init(struct lu_qos_rr *lqr)
  48 {
  49         spin_lock_init(&lqr->lqr_alloc);
  50         lqr->lqr_dirty = 1;
  51 }
  52 EXPORT_SYMBOL(lu_qos_rr_init);
  53
  54 /**
  55  * Add a new target to Quality of Service (QoS) target table.
  56  *
  57  * Add a new MDT/OST target to the structure representing an OSS. Resort the
  58  * list of known MDSs/OSSs by the number of MDTs/OSTs attached to each MDS/OSS.
  59  * The MDS/OSS list is protected internally and no external locking is required.
  60  *
  61  * \param[in] qos               lu_qos data
  62  * \param[in] ltd               target description
  63  *
  64  * \retval 0                    on success
  65  * \retval -ENOMEM              on error
  66  */
  67 int lqos_add_tgt(struct lu_qos *qos, struct lu_tgt_desc *ltd)
  68 {
  69         struct lu_svr_qos *svr = NULL;
  70         struct lu_svr_qos *tempsvr;
  71         struct obd_export *exp = ltd->ltd_exp;
  72         int found = 0;
  73         __u32 id = 0;
  74         int rc = 0;
  75
  76         ENTRY;
  77
  78         down_write(&qos->lq_rw_sem);
  79         /*
  80          * a bit hacky approach to learn NID of corresponding connection
  81          * but there is no official API to access information like this
  82          * with OSD API.
  83          */
  84         list_for_each_entry(svr, &qos->lq_svr_list, lsq_svr_list) {
  85                 if (obd_uuid_equals(&svr->lsq_uuid,
  86                                     &exp->exp_connection->c_remote_uuid)) {
  87                         found++;
  88                         break;
  89                 }
  90                 if (svr->lsq_id > id)
  91                         id = svr->lsq_id;
  92         }
  93
  94         if (!found) {
  95                 OBD_ALLOC_PTR(svr);
  96                 if (!svr)
  97                         GOTO(out, rc = -ENOMEM);
  98                 memcpy(&svr->lsq_uuid, &exp->exp_connection->c_remote_uuid,
  99                        sizeof(svr->lsq_uuid));
 100                 ++id;
 101                 svr->lsq_id = id;
 102         } else {
 103                 /* Assume we have to move this one */
 104                 list_del(&svr->lsq_svr_list);
 105         }
 106
 107         svr->lsq_tgt_count++;
 108         ltd->ltd_qos.ltq_svr = svr;
 109
 110         CDEBUG(D_OTHER, "add tgt %s to server %s (%d targets)\n",
 111                obd_uuid2str(&ltd->ltd_uuid), obd_uuid2str(&svr->lsq_uuid),
 112                svr->lsq_tgt_count);
 113
 114         /*
 115          * Add sorted by # of tgts.  Find the first entry that we're
 116          * bigger than...
 117          */
 118         list_for_each_entry(tempsvr, &qos->lq_svr_list, lsq_svr_list) {
 119                 if (svr->lsq_tgt_count > tempsvr->lsq_tgt_count)
 120                         break;
 121         }
 122         /*
 123          * ...and add before it.  If we're the first or smallest, tempsvr
 124          * points to the list head, and we add to the end.
 125          */
 126         list_add_tail(&svr->lsq_svr_list, &tempsvr->lsq_svr_list);
 127
 128         qos->lq_dirty = 1;
 129         qos->lq_rr.lqr_dirty = 1;
 130
 131 out:
 132         up_write(&qos->lq_rw_sem);
 133         RETURN(rc);
 134 }
 135 EXPORT_SYMBOL(lqos_add_tgt);
 136
 137 /**
 138  * Remove MDT/OST target from QoS table.
 139  *
 140  * Removes given MDT/OST target from QoS table and releases related
 141  * MDS/OSS structure if no target remain on the MDS/OSS.
 142  *
 143  * \param[in] qos               lu_qos data
 144  * \param[in] ltd               target description
 145  *
 146  * \retval 0                    on success
 147  * \retval -ENOENT              if no server was found
 148  */
 149 int lqos_del_tgt(struct lu_qos *qos, struct lu_tgt_desc *ltd)
 150 {
 151         struct lu_svr_qos *svr;
 152         int rc = 0;
 153
 154         ENTRY;
 155
 156         down_write(&qos->lq_rw_sem);
 157         svr = ltd->ltd_qos.ltq_svr;
 158         if (!svr)
 159                 GOTO(out, rc = -ENOENT);
 160
 161         svr->lsq_tgt_count--;
 162         if (svr->lsq_tgt_count == 0) {
 163                 CDEBUG(D_OTHER, "removing server %s\n",
 164                        obd_uuid2str(&svr->lsq_uuid));
 165                 list_del(&svr->lsq_svr_list);
 166                 ltd->ltd_qos.ltq_svr = NULL;
 167                 OBD_FREE_PTR(svr);
 168         }
 169
 170         qos->lq_dirty = 1;
 171         qos->lq_rr.lqr_dirty = 1;
 172 out:
 173         up_write(&qos->lq_rw_sem);
 174         RETURN(rc);
 175 }
 176 EXPORT_SYMBOL(lqos_del_tgt);
 177
 178 /**
 179  * lu_prandom_u64_max - returns a pseudo-random u64 number in interval
 180  * [0, ep_ro)
 181  *
 182  * \param[in] ep_ro     right open interval endpoint
 183  *
 184  * \retval a pseudo-random 64-bit number that is in interval [0, ep_ro).
 185  */
 186 u64 lu_prandom_u64_max(u64 ep_ro)
 187 {
 188         u64 rand = 0;
 189
 190         if (ep_ro) {
 191 #if BITS_PER_LONG == 32
 192                 /*
 193                  * If ep_ro > 32-bit, first generate the high
 194                  * 32 bits of the random number, then add in the low
 195                  * 32 bits (truncated to the upper limit, if needed)
 196                  */
 197                 if (ep_ro > 0xffffffffULL)
 198                         rand = prandom_u32_max((u32)(ep_ro >> 32)) << 32;
 199
 200                 if (rand == (ep_ro & 0xffffffff00000000ULL))
 201                         rand |= prandom_u32_max((u32)ep_ro);
 202                 else
 203                         rand |= prandom_u32();
 204 #else
 205                 rand = ((u64)prandom_u32() << 32 | prandom_u32()) % ep_ro;
 206 #endif
 207         }
 208
 209         return rand;
 210 }
 211 EXPORT_SYMBOL(lu_prandom_u64_max);