lustre/mds/mds_lmv.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  linux/mds/mds_lov.c
   5  *  Lustre Metadata Server (mds) handling of striped file data
   6  *
   7  *  Copyright (C) 2001-2003 Cluster File Systems, Inc.
   8  *
   9  *   This file is part of Lustre, http://www.lustre.org.
  10  *
  11  *   Lustre is free software; you can redistribute it and/or
  12  *   modify it under the terms of version 2 of the GNU General Public
  13  *   License as published by the Free Software Foundation.
  14  *
  15  *   Lustre is distributed in the hope that it will be useful,
  16  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  *   GNU General Public License for more details.
  19  *
  20  *   You should have received a copy of the GNU General Public License
  21  *   along with Lustre; if not, write to the Free Software
  22  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  23  */
  24
  25 #ifndef EXPORT_SYMTAB
  26 # define EXPORT_SYMTAB
  27 #endif
  28 #define DEBUG_SUBSYSTEM S_MDS
  29
  30 #include <linux/module.h>
  31 #include <linux/lustre_mds.h>
  32 #include <linux/lustre_idl.h>
  33 #include <linux/obd_class.h>
  34 #include <linux/obd_lov.h>
  35 #include <linux/lustre_lib.h>
  36 #include <linux/lustre_fsfilt.h>
  37
  38 #include "mds_internal.h"
  39
  40
  41 /*
  42  * TODO:
  43  *   - magic in mea struct
  44  *   - error handling is totally missed
  45  */
  46
  47 int mds_lmv_connect(struct obd_device *obd, char *lmv_name)
  48 {
  49         struct mds_obd *mds = &obd->u.mds;
  50         struct lustre_handle conn = {0};
  51         int rc, valsize, value;
  52         ENTRY;
  53
  54         if (IS_ERR(mds->mds_lmv_obd))
  55                 RETURN(PTR_ERR(mds->mds_lmv_obd));
  56
  57         if (mds->mds_lmv_connected)
  58                 RETURN(0);
  59
  60         down(&mds->mds_lmv_sem);
  61         if (mds->mds_lmv_connected) {
  62                 up(&mds->mds_lmv_sem);
  63                 RETURN(0);
  64         }
  65
  66         mds->mds_lmv_obd = class_name2obd(lmv_name);
  67         if (!mds->mds_lmv_obd) {
  68                 CERROR("MDS cannot locate LMV %s\n",
  69                        lmv_name);
  70                 mds->mds_lmv_obd = ERR_PTR(-ENOTCONN);
  71                 GOTO(err_last, rc = -ENOTCONN);
  72         }
  73
  74         rc = obd_connect(&conn, mds->mds_lmv_obd,
  75                          &obd->obd_uuid, OBD_OPT_MDS_CONNECTION);
  76         if (rc) {
  77                 CERROR("MDS cannot connect to LMV %s (%d)\n",
  78                        lmv_name, rc);
  79                 mds->mds_lmv_obd = ERR_PTR(rc);
  80                 GOTO(err_last, rc);
  81         }
  82         mds->mds_lmv_exp = class_conn2export(&conn);
  83         if (mds->mds_lmv_exp == NULL)
  84                 CERROR("can't get export!\n");
  85
  86         rc = obd_register_observer(mds->mds_lmv_obd, obd);
  87         if (rc) {
  88                 CERROR("MDS cannot register as observer of LMV %s, "
  89                        "rc = %d\n", lmv_name, rc);
  90                 GOTO(err_discon, rc);
  91         }
  92
  93         /* retrieve size of EA */
  94         rc = obd_get_info(mds->mds_lmv_exp, strlen("mdsize"),
  95                           "mdsize", &valsize, &value);
  96         if (rc)
  97                 GOTO(err_reg, rc);
  98
  99         if (value > mds->mds_max_mdsize)
 100                 mds->mds_max_mdsize = value;
 101
 102         /* find our number in LMV cluster */
 103         rc = obd_get_info(mds->mds_lmv_exp, strlen("mdsnum"),
 104                           "mdsnum", &valsize, &value);
 105         if (rc)
 106                 GOTO(err_reg, rc);
 107
 108         mds->mds_num = value;
 109
 110         rc = obd_set_info(mds->mds_lmv_exp, strlen("inter_mds"),
 111                           "inter_mds", 0, NULL);
 112         if (rc)
 113                 GOTO(err_reg, rc);
 114
 115         mds->mds_lmv_connected = 1;
 116         up(&mds->mds_lmv_sem);
 117         RETURN(0);
 118
 119 err_reg:
 120         obd_register_observer(mds->mds_lmv_obd, NULL);
 121 err_discon:
 122         obd_disconnect(mds->mds_lmv_exp, 0);
 123         mds->mds_lmv_exp = NULL;
 124         mds->mds_lmv_obd = ERR_PTR(rc);
 125 err_last:
 126         up(&mds->mds_lmv_sem);
 127         RETURN(rc);
 128 }
 129
 130 int mds_lmv_postsetup(struct obd_device *obd)
 131 {
 132         struct mds_obd *mds = &obd->u.mds;
 133         int rc = 0;
 134         ENTRY;
 135
 136         if (mds->mds_lmv_exp) {
 137                 rc = obd_init_ea_size(mds->mds_lmv_exp,
 138                                       mds->mds_max_mdsize,
 139                                       mds->mds_max_cookiesize);
 140         }
 141
 142         RETURN(rc);
 143 }
 144
 145 int mds_lmv_disconnect(struct obd_device *obd, int flags)
 146 {
 147         struct mds_obd *mds = &obd->u.mds;
 148         int rc = 0;
 149         ENTRY;
 150
 151         if (!mds->mds_lmv_connected)
 152                 RETURN(0);
 153
 154         down(&mds->mds_lmv_sem);
 155         if (!IS_ERR(mds->mds_lmv_obd) && mds->mds_lmv_exp != NULL) {
 156                 LASSERT(mds->mds_lmv_connected);
 157
 158                 obd_register_observer(mds->mds_lmv_obd, NULL);
 159
 160                 if (flags & OBD_OPT_FORCE) {
 161                         struct obd_device *lmv_obd;
 162                         struct obd_ioctl_data ioc_data = { 0 };
 163
 164                         lmv_obd = class_exp2obd(mds->mds_lmv_exp);
 165                         if (lmv_obd == NULL)
 166                                 GOTO(out, rc = 0);
 167
 168                         /*
 169                          * making disconnecting lmv stuff do not send anything
 170                          * to all remote MDSs from LMV. This is needed to
 171                          * prevent possible hanging with endless recovery, when
 172                          * MDS sends disconnect to already disconnected
 173                          * target. Probably this is wrong, but client does the
 174                          * same in --force mode and I do not see why can't we do
 175                          * it here. --umka.
 176                          */
 177                         lmv_obd->obd_no_recov = 1;
 178                         obd_iocontrol(IOC_OSC_SET_ACTIVE, mds->mds_lmv_exp,
 179                                       sizeof(ioc_data), &ioc_data, NULL);
 180                 }
 181
 182                 /*
 183                  * if obd_disconnect() fails (probably because the export was
 184                  * disconnected by class_disconnect_exports()) then we just need
 185                  * to drop our ref.
 186                  */
 187                 mds->mds_lmv_connected = 0;
 188                 rc = obd_disconnect(mds->mds_lmv_exp, flags);
 189                 if (rc)
 190                         class_export_put(mds->mds_lmv_exp);
 191
 192         out:
 193                 mds->mds_lmv_exp = NULL;
 194                 mds->mds_lmv_obd = NULL;
 195         }
 196         up(&mds->mds_lmv_sem);
 197         RETURN(rc);
 198 }
 199
 200 int mds_get_lmv_attr(struct obd_device *obd, struct inode *inode,
 201                      struct mea **mea, int *mea_size)
 202 {
 203         struct mds_obd *mds = &obd->u.mds;
 204         int rc;
 205         ENTRY;
 206
 207         if (!mds->mds_lmv_obd)
 208                 RETURN(0);
 209         if (!S_ISDIR(inode->i_mode))
 210                 RETURN(0);
 211
 212         /* first calculate mea size */
 213         *mea_size = obd_alloc_diskmd(mds->mds_lmv_exp,
 214                                      (struct lov_mds_md **)mea);
 215         if (*mea_size < 0 || *mea == NULL)
 216                 return *mea_size < 0 ? *mea_size : -EINVAL;
 217
 218         rc = mds_get_md(obd, inode, *mea, mea_size, 1);
 219
 220         if (rc <= 0) {
 221                 OBD_FREE(*mea, *mea_size);
 222                 *mea = NULL;
 223         } else
 224                 rc = 0;
 225
 226         RETURN(rc);
 227 }
 228
 229 struct dir_entry {
 230         __u16   namelen;
 231         __u16   mds;
 232         __u32   ino;
 233         __u32   generation;
 234         __u32   fid;
 235         char    name[0];
 236 };
 237
 238 #define DIR_PAD                 4
 239 #define DIR_ROUND               (DIR_PAD - 1)
 240 #define DIR_REC_LEN(name_len)   (((name_len) + 16 + DIR_ROUND) & ~DIR_ROUND)
 241
 242 /* this struct holds dir entries for particular MDS to be flushed */
 243 struct dir_cache {
 244         struct list_head list;
 245         void *cur;
 246         int free;
 247         int cached;
 248         struct obdo oa;
 249         struct brw_page brwc;
 250 };
 251
 252 struct dirsplit_control {
 253         struct obd_device *obd;
 254         struct inode *dir;
 255         struct dentry *dentry;
 256         struct mea *mea;
 257         struct dir_cache *cache;
 258 };
 259
 260 static int dc_new_page_to_cache(struct dir_cache * dirc)
 261 {
 262         struct page *page;
 263
 264         if (!list_empty(&dirc->list) && dirc->free > sizeof(__u16)) {
 265                 /* current page became full, mark the end */
 266                 struct dir_entry *de = dirc->cur;
 267                 de->namelen = 0;
 268         }
 269
 270         page = alloc_page(GFP_KERNEL);
 271         if (page == NULL)
 272                 return -ENOMEM;
 273         list_add_tail(&page->lru, &dirc->list);
 274         dirc->cur = page_address(page);
 275         dirc->free = PAGE_SIZE;
 276         return 0;
 277 }
 278
 279 static int retrieve_generation_numbers(struct dirsplit_control *dc, void *buf)
 280 {
 281         struct mds_obd *mds = &dc->obd->u.mds;
 282         struct dir_entry *de;
 283         struct dentry *dentry;
 284         char *end;
 285
 286         end = buf + PAGE_SIZE;
 287         de = (struct dir_entry *) buf;
 288         while ((char *) de < end && de->namelen) {
 289                 /* lookup an inode */
 290                 LASSERT(de->namelen <= 255);
 291                 dentry = ll_lookup_one_len(de->name, dc->dentry,
 292                                            de->namelen);
 293                 if (IS_ERR(dentry)) {
 294                         CERROR("can't lookup %*s: %d\n", de->namelen,
 295                                de->name, (int) PTR_ERR(dentry));
 296                         goto next;
 297                 }
 298                 if (dentry->d_inode != NULL) {
 299                         int rc;
 300                         struct lustre_id sid;
 301
 302                         down(&dentry->d_inode->i_sem);
 303                         rc = mds_read_inode_sid(dc->obd,
 304                                                 dentry->d_inode, &sid);
 305                         up(&dentry->d_inode->i_sem);
 306                         if (rc) {
 307                                 CERROR("Can't read inode self id, "
 308                                        "inode %lu, rc %d\n",
 309                                        dentry->d_inode->i_ino, rc);
 310                                 goto next;
 311                         }
 312
 313                         de->fid = id_fid(&sid);
 314                         de->mds = mds->mds_num;
 315                         de->ino = dentry->d_inode->i_ino;
 316                         de->generation = dentry->d_inode->i_generation;
 317                 } else if (dentry->d_flags & DCACHE_CROSS_REF) {
 318                         de->fid = dentry->d_fid;
 319                         de->ino = dentry->d_inum;
 320                         de->mds = dentry->d_mdsnum;
 321                         de->generation = dentry->d_generation;
 322                 } else {
 323                         CERROR("can't lookup %*s\n", de->namelen, de->name);
 324                         goto next;
 325                 }
 326                 l_dput(dentry);
 327
 328 next:
 329                 de = (struct dir_entry *)
 330                         ((char *) de + DIR_REC_LEN(de->namelen));
 331         }
 332         return 0;
 333 }
 334
 335 static int flush_buffer_onto_mds(struct dirsplit_control *dc, int mdsnum)
 336 {
 337         struct mds_obd *mds = &dc->obd->u.mds;
 338         struct list_head *cur, *tmp;
 339         struct dir_cache *ca;
 340         int rc;
 341         ENTRY;
 342         ca = dc->cache + mdsnum;
 343
 344         if (ca->free > sizeof(__u16)) {
 345                 /* current page became full, mark the end */
 346                 struct dir_entry *de = ca->cur;
 347                 de->namelen = 0;
 348         }
 349
 350         list_for_each_safe(cur, tmp, &ca->list) {
 351                 struct page *page;
 352
 353                 page = list_entry(cur, struct page, lru);
 354                 LASSERT(page != NULL);
 355
 356                 retrieve_generation_numbers(dc, page_address(page));
 357
 358                 ca->brwc.pg = page;
 359                 ca->brwc.disk_offset = ca->brwc.page_offset = 0;
 360                 ca->brwc.count = PAGE_SIZE;
 361                 ca->brwc.flag = 0;
 362                 ca->oa.o_mds = mdsnum;
 363                 rc = obd_brw(OBD_BRW_WRITE, mds->mds_lmv_exp, &ca->oa,
 364                              (struct lov_stripe_md *) dc->mea,
 365                              1, &ca->brwc, NULL);
 366                 if (rc)
 367                         RETURN(rc);
 368
 369         }
 370         RETURN(0);
 371 }
 372
 373 static int remove_entries_from_orig_dir(struct dirsplit_control *dc, int mdsnum)
 374 {
 375         struct list_head *cur, *tmp;
 376         struct dentry *dentry;
 377         struct dir_cache *ca;
 378         struct dir_entry *de;
 379         struct page *page;
 380         char *buf, *end;
 381         int rc;
 382         ENTRY;
 383
 384         ca = dc->cache + mdsnum;
 385         list_for_each_safe(cur, tmp, &ca->list) {
 386                 page = list_entry(cur, struct page, lru);
 387                 buf = page_address(page);
 388                 end = buf + PAGE_SIZE;
 389
 390                 de = (struct dir_entry *) buf;
 391                 while ((char *) de < end && de->namelen) {
 392                         /* lookup an inode */
 393                         LASSERT(de->namelen <= 255);
 394
 395                         dentry = ll_lookup_one_len(de->name, dc->dentry,
 396                                                    de->namelen);
 397                         if (IS_ERR(dentry)) {
 398                                 CERROR("can't lookup %*s: %d\n", de->namelen,
 399                                        de->name, (int) PTR_ERR(dentry));
 400                                 goto next;
 401                         }
 402                         rc = fsfilt_del_dir_entry(dc->obd, dentry);
 403                         l_dput(dentry);
 404 next:
 405                         de = (struct dir_entry *)
 406                                 ((char *) de + DIR_REC_LEN(de->namelen));
 407                 }
 408         }
 409         RETURN(0);
 410 }
 411
 412 static int filldir(void * __buf, const char * name, int namlen,
 413                    loff_t offset, ino_t ino, unsigned int d_type)
 414 {
 415         struct dirsplit_control *dc = __buf;
 416         struct mds_obd *mds = &dc->obd->u.mds;
 417         struct dir_cache *ca;
 418         struct dir_entry *de;
 419         int newmds;
 420         char *n;
 421         ENTRY;
 422
 423         if (name[0] == '.' &&
 424             (namlen == 1 || (namlen == 2 && name[1] == '.'))) {
 425                 /* skip special entries */
 426                 RETURN(0);
 427         }
 428
 429         LASSERT(dc != NULL);
 430         newmds = mea_name2idx(dc->mea, (char *) name, namlen);
 431
 432         if (newmds == mds->mds_num) {
 433                 /* this entry remains on the current MDS, skip moving */
 434                 RETURN(0);
 435         }
 436
 437         OBD_ALLOC(n, namlen + 1);
 438         memcpy(n, name, namlen);
 439         n[namlen] = (char) 0;
 440
 441         OBD_FREE(n, namlen + 1);
 442
 443         /* check for space in buffer for new entry */
 444         ca = dc->cache + newmds;
 445         if (DIR_REC_LEN(namlen) > ca->free) {
 446                 int err = dc_new_page_to_cache(ca);
 447                 LASSERT(err == 0);
 448         }
 449
 450         /* insert found entry into buffer to be flushed later */
 451         /* NOTE: we'll fill generations number later, because we
 452          * it's stored in inode, thus we need to lookup an entry,
 453          * but directory is locked for readdir(), so we delay this */
 454         de = ca->cur;
 455         de->ino = ino;
 456         de->mds = d_type;
 457         de->namelen = namlen;
 458         memcpy(de->name, name, namlen);
 459         ca->cur += DIR_REC_LEN(namlen);
 460         ca->free -= DIR_REC_LEN(namlen);
 461         ca->cached++;
 462
 463         RETURN(0);
 464 }
 465
 466 int scan_and_distribute(struct obd_device *obd, struct dentry *dentry,
 467                         struct mea *mea)
 468 {
 469         struct inode *dir = dentry->d_inode;
 470         struct dirsplit_control dc;
 471         struct file * file;
 472         int err, i, nlen;
 473         char *file_name;
 474
 475         nlen = strlen("__iopen__/") + 10 + 1;
 476         OBD_ALLOC(file_name, nlen);
 477         if (!file_name)
 478                 RETURN(-ENOMEM);
 479
 480         i = sprintf(file_name, "__iopen__/0x%lx",
 481                     dentry->d_inode->i_ino);
 482
 483         file = filp_open(file_name, O_RDONLY, 0);
 484         if (IS_ERR(file)) {
 485                 CERROR("can't open directory %s: %d\n",
 486                                 file_name, (int) PTR_ERR(file));
 487                 OBD_FREE(file_name, nlen);
 488                 RETURN(PTR_ERR(file));
 489         }
 490
 491         memset(&dc, 0, sizeof(dc));
 492         dc.obd = obd;
 493         dc.dir = dir;
 494         dc.dentry = dentry;
 495         dc.mea = mea;
 496         OBD_ALLOC(dc.cache, sizeof(struct dir_cache) * mea->mea_count);
 497         LASSERT(dc.cache != NULL);
 498         for (i = 0; i < mea->mea_count; i++) {
 499                 INIT_LIST_HEAD(&dc.cache[i].list);
 500                 dc.cache[i].free = 0;
 501                 dc.cache[i].cached = 0;
 502         }
 503
 504         err = vfs_readdir(file, filldir, &dc);
 505         filp_close(file, 0);
 506         if (err)
 507                 GOTO(cleanup, err);
 508
 509         for (i = 0; i < mea->mea_count; i++) {
 510                 if (!dc.cache[i].cached)
 511                         continue;
 512                 err = flush_buffer_onto_mds(&dc, i);
 513                 if (err)
 514                         GOTO(cleanup, err);
 515         }
 516
 517         for (i = 0; i < mea->mea_count; i++) {
 518                 if (!dc.cache[i].cached)
 519                         continue;
 520                 err = remove_entries_from_orig_dir(&dc, i);
 521                 if (err)
 522                         GOTO(cleanup, err);
 523         }
 524
 525 cleanup:
 526         for (i = 0; i < mea->mea_count; i++) {
 527                 struct list_head *cur, *tmp;
 528                 if (!dc.cache[i].cached)
 529                         continue;
 530                 list_for_each_safe(cur, tmp, &dc.cache[i].list) {
 531                         struct page *page;
 532                         page = list_entry(cur, struct page, lru);
 533                         list_del(&page->lru);
 534                         __free_page(page);
 535                 }
 536         }
 537         OBD_FREE(dc.cache, sizeof(struct dir_cache) * mea->mea_count);
 538         OBD_FREE(file_name, nlen);
 539
 540         RETURN(err);
 541 }
 542
 543 #define MAX_DIR_SIZE      (64 * 1024)
 544 #define I_NON_SPLITTABLE  (256)
 545
 546 int mds_splitting_expected(struct obd_device *obd, struct dentry *dentry)
 547 {
 548         struct mds_obd *mds = &obd->u.mds;
 549         struct mea *mea = NULL;
 550         int rc, size;
 551
 552         /* clustered MD ? */
 553         if (!mds->mds_lmv_obd)
 554                 return MDS_NO_SPLITTABLE;
 555
 556         /* inode exist? */
 557         if (dentry->d_inode == NULL)
 558                 return MDS_NO_SPLITTABLE;
 559
 560         /* a dir can be splitted only */
 561         if (!S_ISDIR(dentry->d_inode->i_mode))
 562                 return MDS_NO_SPLITTABLE;
 563
 564         /* already splittied or slave directory (part of splitted dir) */
 565         if (dentry->d_inode->i_flags & I_NON_SPLITTABLE)
 566                 return MDS_NO_SPLITTABLE;
 567
 568         /* don't split root directory */
 569         if (dentry->d_inode->i_ino == id_ino(&mds->mds_rootid))
 570                 return MDS_NO_SPLITTABLE;
 571
 572         /* large enough to be splitted? */
 573         if (dentry->d_inode->i_size < MAX_DIR_SIZE)
 574                 return MDS_NO_SPLIT_EXPECTED;
 575
 576         mds_get_lmv_attr(obd, dentry->d_inode, &mea, &size);
 577         if (mea) {
 578                 /* already splitted or slave object: shouldn't be splitted */
 579                 rc = MDS_NO_SPLITTABLE;
 580                 /* mark to skip subsequent checks */
 581                 dentry->d_inode->i_flags |= I_NON_SPLITTABLE;
 582                 OBD_FREE(mea, size);
 583         } else {
 584                 /* may be splitted */
 585                 rc = MDS_EXPECT_SPLIT;
 586         }
 587
 588         return rc;
 589 }
 590
 591 /*
 592  * must not be called on already splitted directories.
 593  */
 594 int mds_try_to_split_dir(struct obd_device *obd, struct dentry *dentry,
 595                          struct mea **mea, int nstripes, int update_mode)
 596 {
 597         struct inode *dir = dentry->d_inode;
 598         struct mds_obd *mds = &obd->u.mds;
 599         struct mea *tmea = NULL;
 600         struct obdo *oa = NULL;
 601         int rc, mea_size = 0;
 602         struct lustre_id id;
 603         void *handle;
 604         ENTRY;
 605
 606         if (update_mode != LCK_EX)
 607                 return 0;
 608
 609         /* TODO: optimization possible - we already may have mea here */
 610         rc = mds_splitting_expected(obd, dentry);
 611         if (rc == MDS_NO_SPLITTABLE)
 612                 return 0;
 613         if (rc == MDS_NO_SPLIT_EXPECTED && nstripes == 0)
 614                 return 0;
 615         if (nstripes && nstripes == 1)
 616                 return 0;
 617
 618         LASSERT(mea == NULL || *mea == NULL);
 619
 620         CDEBUG(D_OTHER, "%s: split directory %u/%lu/%lu\n",
 621                obd->obd_name, mds->mds_num, dir->i_ino,
 622                (unsigned long) dir->i_generation);
 623
 624         if (mea == NULL)
 625                 mea = &tmea;
 626         mea_size = obd_size_diskmd(mds->mds_lmv_exp, NULL);
 627
 628         /* FIXME: Actually we may only want to allocate enough space for
 629          * necessary amount of stripes, but on the other hand with this
 630          * approach of allocating maximal possible amount of MDS slots,
 631          * it would be easier to split the dir over more MDSes */
 632         rc = obd_alloc_diskmd(mds->mds_lmv_exp, (void *)mea);
 633         if (rc < 0) {
 634                 CERROR("obd_alloc_diskmd() failed, error %d.\n", rc);
 635                 RETURN(rc);
 636         }
 637         if (*mea == NULL)
 638                 RETURN(-ENOMEM);
 639
 640         (*mea)->mea_count = nstripes;
 641
 642         /* 1) create directory objects on slave MDS'es */
 643         /* FIXME: should this be OBD method? */
 644         oa = obdo_alloc();
 645         if (!oa)
 646                 RETURN(-ENOMEM);
 647
 648         oa->o_generation = dir->i_generation;
 649
 650         obdo_from_inode(oa, dir, OBD_MD_FLTYPE | OBD_MD_FLATIME |
 651                         OBD_MD_FLMTIME | OBD_MD_FLCTIME |
 652                         OBD_MD_FLUID | OBD_MD_FLGID);
 653
 654         oa->o_gr = FILTER_GROUP_FIRST_MDS + mds->mds_num;
 655         oa->o_valid |= OBD_MD_FLID | OBD_MD_FLFLAGS | OBD_MD_FLGROUP;
 656         oa->o_mode = dir->i_mode;
 657
 658         /*
 659          * until lmv_obd_create() properly rewritten, it is important to have
 660          * here oa->o_id = dir->i_ino, as otherwise master object will have
 661          * invalid store cookie (zero inode num), what will lead to -ESTALE in
 662          * mds_open() or somewhere else.
 663          */
 664         oa->o_id = dir->i_ino;
 665
 666         down(&dir->i_sem);
 667         rc = mds_read_inode_sid(obd, dir, &id);
 668         up(&dir->i_sem);
 669         if (rc) {
 670                 CERROR("Can't read inode self id, inode %lu, "
 671                        "rc %d.\n", dir->i_ino, rc);
 672                 GOTO(err_oa, rc);
 673         }
 674         oa->o_fid = id_fid(&id);
 675
 676         CDEBUG(D_OTHER, "%s: create subdirs with mode %o, uid %u, gid %u\n",
 677                obd->obd_name, dir->i_mode, dir->i_uid, dir->i_gid);
 678
 679         rc = obd_create(mds->mds_lmv_exp, oa,
 680                         (struct lov_stripe_md **)mea, NULL);
 681         if (rc) {
 682                 CERROR("Can't create remote inode, rc = %d\n", rc);
 683                 GOTO(err_oa, rc);
 684         }
 685
 686         LASSERT(id_fid(&(*mea)->mea_ids[0]));
 687         CDEBUG(D_OTHER, "%d dirobjects created\n", (int)(*mea)->mea_count);
 688
 689         /* 2) update dir attribute */
 690         down(&dir->i_sem);
 691
 692         handle = fsfilt_start(obd, dir, FSFILT_OP_SETATTR, NULL);
 693         if (IS_ERR(handle)) {
 694                 up(&dir->i_sem);
 695                 CERROR("fsfilt_start() failed: %d\n", (int) PTR_ERR(handle));
 696                 GOTO(err_oa, rc = PTR_ERR(handle));
 697         }
 698
 699         rc = fsfilt_set_md(obd, dir, handle, *mea, mea_size);
 700         if (rc) {
 701                 up(&dir->i_sem);
 702                 CERROR("fsfilt_set_md() failed, error %d.\n", rc);
 703                 GOTO(err_oa, rc);
 704         }
 705
 706         rc = fsfilt_commit(obd, mds->mds_sb, dir, handle, 0);
 707         if (rc) {
 708                 up(&dir->i_sem);
 709                 CERROR("fsfilt_commit() failed, error %d.\n", rc);
 710                 GOTO(err_oa, rc);
 711         }
 712
 713         up(&dir->i_sem);
 714         obdo_free(oa);
 715
 716         /* 3) read through the dir and distribute it over objects */
 717         rc = scan_and_distribute(obd, dentry, *mea);
 718         if (mea == &tmea)
 719                 obd_free_diskmd(mds->mds_lmv_exp, (struct lov_mds_md **)mea);
 720         if (rc) {
 721                 CERROR("scan_and_distribute() failed, error %d.\n", rc);
 722                 RETURN(rc);
 723         }
 724
 725         RETURN(1);
 726
 727 err_oa:
 728         obdo_free(oa);
 729         RETURN(rc);
 730 }
 731
 732 static int filter_start_page_write(struct inode *inode,
 733                                    struct niobuf_local *lnb)
 734 {
 735         struct page *page = alloc_pages(GFP_HIGHUSER, 0);
 736         if (page == NULL) {
 737                 CERROR("no memory for a temp page\n");
 738                 RETURN(lnb->rc = -ENOMEM);
 739         }
 740         POISON_PAGE(page, 0xf1);
 741         page->index = lnb->offset >> PAGE_SHIFT;
 742         lnb->page = page;
 743
 744         return 0;
 745 }
 746
 747 struct dentry *filter_id2dentry(struct obd_device *obd,
 748                                 struct dentry *dir_dentry,
 749                                 obd_gr group, obd_id id);
 750
 751 int mds_preprw(int cmd, struct obd_export *exp, struct obdo *oa,
 752                 int objcount, struct obd_ioobj *obj,
 753                 int niocount, struct niobuf_remote *nb,
 754                 struct niobuf_local *res,
 755                 struct obd_trans_info *oti)
 756 {
 757         struct niobuf_remote *rnb;
 758         struct niobuf_local *lnb = NULL;
 759         int rc = 0, i, tot_bytes = 0;
 760         unsigned long now = jiffies;
 761         struct dentry *dentry;
 762         struct lustre_id id;
 763         ENTRY;
 764         LASSERT(objcount == 1);
 765         LASSERT(obj->ioo_bufcnt > 0);
 766
 767         memset(res, 0, niocount * sizeof(*res));
 768
 769         id_fid(&id) = 0;
 770         id_group(&id) = 0;
 771         id_ino(&id) = obj->ioo_id;
 772         id_gen(&id) = obj->ioo_gr;
 773
 774         dentry = mds_id2dentry(exp->exp_obd, &id, NULL);
 775         if (IS_ERR(dentry)) {
 776                 CERROR("can't get dentry for "LPU64"/%u: %d\n",
 777                        id.li_stc.u.e3s.l3s_ino, id.li_stc.u.e3s.l3s_gen,
 778                        (int)PTR_ERR(dentry));
 779                 GOTO(cleanup, rc = (int) PTR_ERR(dentry));
 780         }
 781
 782         if (dentry->d_inode == NULL) {
 783                 CERROR("trying to BRW to non-existent file "LPU64"\n",
 784                        obj->ioo_id);
 785                 l_dput(dentry);
 786                 GOTO(cleanup, rc = -ENOENT);
 787         }
 788
 789         if (time_after(jiffies, now + 15 * HZ))
 790                 CERROR("slow preprw_write setup %lus\n", (jiffies - now) / HZ);
 791         else
 792                 CDEBUG(D_INFO, "preprw_write setup: %lu jiffies\n",
 793                        (jiffies - now));
 794
 795         for (i = 0, rnb = nb, lnb = res; i < obj->ioo_bufcnt;
 796              i++, lnb++, rnb++) {
 797                 lnb->dentry = dentry;
 798                 lnb->offset = rnb->offset;
 799                 lnb->len    = rnb->len;
 800                 lnb->flags  = rnb->flags;
 801
 802                 rc = filter_start_page_write(dentry->d_inode, lnb);
 803                 if (rc) {
 804                         CDEBUG(rc == -ENOSPC ? D_INODE : D_ERROR, "page err %u@"
 805                                LPU64" %u/%u %p: rc %d\n", lnb->len, lnb->offset,
 806                                i, obj->ioo_bufcnt, dentry, rc);
 807                         while (lnb-- > res)
 808                                 __free_pages(lnb->page, 0);
 809                         l_dput(dentry);
 810                         GOTO(cleanup, rc);
 811                 }
 812                 tot_bytes += lnb->len;
 813         }
 814
 815         if (time_after(jiffies, now + 15 * HZ))
 816                 CERROR("slow start_page_write %lus\n", (jiffies - now) / HZ);
 817         else
 818                 CDEBUG(D_INFO, "start_page_write: %lu jiffies\n",
 819                        (jiffies - now));
 820
 821         EXIT;
 822 cleanup:
 823         return rc;
 824 }
 825
 826 int mds_commitrw(int cmd, struct obd_export *exp, struct obdo *oa,
 827                  int objcount, struct obd_ioobj *obj, int niocount,
 828                  struct niobuf_local *res, struct obd_trans_info *oti,
 829                  int retcode)
 830 {
 831         struct obd_device *obd = exp->exp_obd;
 832         struct niobuf_local *lnb;
 833         struct inode *inode = NULL;
 834         int rc = 0, i, cleanup_phase = 0, err, entries = 0;
 835         ENTRY;
 836
 837         LASSERT(objcount == 1);
 838         LASSERT(current->journal_info == NULL);
 839
 840         cleanup_phase = 1;
 841         inode = res->dentry->d_inode;
 842
 843         for (i = 0, lnb = res; i < obj->ioo_bufcnt; i++, lnb++) {
 844                 char *end, *buf;
 845                 struct dir_entry *de;
 846
 847                 buf = kmap(lnb->page);
 848                 LASSERT(buf != NULL);
 849                 end = buf + lnb->len;
 850                 de = (struct dir_entry *) buf;
 851                 while ((char *) de < end && de->namelen) {
 852                         err = fsfilt_add_dir_entry(obd, res->dentry, de->name,
 853                                                    de->namelen, de->ino,
 854                                                    de->generation, de->mds,
 855                                                    de->fid);
 856                         if (err) {
 857                                 CERROR("can't add dir entry %*s->%u/%u/%u"
 858                                        " to %lu/%u: %d\n", de->namelen,
 859                                        de->name, de->mds, (unsigned)de->ino,
 860                                        (unsigned) de->generation,
 861                                        res->dentry->d_inode->i_ino,
 862                                        res->dentry->d_inode->i_generation,
 863                                        err);
 864                                 rc = err;
 865                                 break;
 866                         }
 867                         LASSERT(err == 0);
 868                         de = (struct dir_entry *)
 869                                 ((char *) de + DIR_REC_LEN(de->namelen));
 870                         entries++;
 871                 }
 872                 kunmap(lnb->page);
 873         }
 874
 875         for (i = 0, lnb = res; i < obj->ioo_bufcnt; i++, lnb++)
 876                 __free_page(lnb->page);
 877         l_dput(res->dentry);
 878
 879         RETURN(rc);
 880 }
 881
 882 int mds_choose_mdsnum(struct obd_device *obd, const char *name, int len, int flags)
 883 {
 884         struct lmv_obd *lmv;
 885         struct mds_obd *mds = &obd->u.mds;
 886         int i = mds->mds_num;
 887
 888         if (flags & REC_REINT_CREATE) {
 889                 i = mds->mds_num;
 890         } else if (mds->mds_lmv_exp) {
 891                 lmv = &mds->mds_lmv_exp->exp_obd->u.lmv;
 892                 i = raw_name2idx(MEA_MAGIC_LAST_CHAR, lmv->desc.ld_tgt_count, name, len);
 893         }
 894         RETURN(i);
 895 }
 896
 897 int mds_lock_slave_objs(struct obd_device *obd, struct dentry *dentry,
 898                         struct lustre_handle **rlockh)
 899 {
 900         struct mds_obd *mds = &obd->u.mds;
 901         struct mdc_op_data op_data;
 902         struct lookup_intent it;
 903         struct mea *mea = NULL;
 904         int mea_size, rc;
 905         int handle_size;
 906         ENTRY;
 907
 908         LASSERT(rlockh != NULL);
 909         LASSERT(dentry != NULL);
 910         LASSERT(dentry->d_inode != NULL);
 911
 912         /* clustered MD ? */
 913         if (!mds->mds_lmv_obd)
 914                 RETURN(0);
 915
 916         /* a dir can be splitted only */
 917         if (!S_ISDIR(dentry->d_inode->i_mode))
 918                 RETURN(0);
 919
 920         rc = mds_get_lmv_attr(obd, dentry->d_inode,
 921                               &mea, &mea_size);
 922         if (rc)
 923                 RETURN(rc);
 924
 925         if (mea == NULL)
 926                 RETURN(0);
 927
 928         if (mea->mea_count == 0)
 929                 /* this is slave object */
 930                 GOTO(cleanup, rc = 0);
 931
 932         CDEBUG(D_OTHER, "%s: lock slaves for %lu/%lu\n",
 933                obd->obd_name, (unsigned long)dentry->d_inode->i_ino,
 934                (unsigned long)dentry->d_inode->i_generation);
 935
 936         handle_size = sizeof(struct lustre_handle) *
 937                 mea->mea_count;
 938
 939         OBD_ALLOC(*rlockh, handle_size);
 940         if (*rlockh == NULL)
 941                 GOTO(cleanup, rc = -ENOMEM);
 942
 943         memset(*rlockh, 0, handle_size);
 944         memset(&op_data, 0, sizeof(op_data));
 945
 946         op_data.mea1 = mea;
 947         it.it_op = IT_UNLINK;
 948
 949         rc = md_enqueue(mds->mds_lmv_exp, LDLM_IBITS, &it, LCK_EX,
 950                         &op_data, *rlockh, NULL, 0, ldlm_completion_ast,
 951                         mds_blocking_ast, NULL);
 952 cleanup:
 953         OBD_FREE(mea, mea_size);
 954         RETURN(rc);
 955 }
 956
 957 void mds_unlock_slave_objs(struct obd_device *obd, struct dentry *dentry,
 958                         struct lustre_handle *lockh)
 959 {
 960         struct mds_obd *mds = &obd->u.mds;
 961         struct mea *mea = NULL;
 962         int mea_size, rc, i;
 963
 964         if (lockh == NULL)
 965                 return;
 966
 967         LASSERT(mds->mds_lmv_obd != NULL);
 968         LASSERT(S_ISDIR(dentry->d_inode->i_mode));
 969
 970         rc = mds_get_lmv_attr(obd, dentry->d_inode, &mea, &mea_size);
 971         if (rc) {
 972                 CERROR("locks are leaked\n");
 973                 return;
 974         }
 975         LASSERT(mea_size != 0);
 976         LASSERT(mea != NULL);
 977         LASSERT(mea->mea_count != 0);
 978
 979         CDEBUG(D_OTHER, "%s: unlock slaves for %lu/%lu\n", obd->obd_name,
 980                (unsigned long) dentry->d_inode->i_ino,
 981                (unsigned long) dentry->d_inode->i_generation);
 982
 983         for (i = 0; i < mea->mea_count; i++) {
 984                 if (lockh[i].cookie != 0)
 985                         ldlm_lock_decref(lockh + i, LCK_EX);
 986         }
 987
 988         OBD_FREE(lockh, sizeof(struct lustre_handle) * mea->mea_count);
 989         OBD_FREE(mea, mea_size);
 990         return;
 991 }
 992
 993 int mds_unlink_slave_objs(struct obd_device *obd, struct dentry *dentry)
 994 {
 995         struct mds_obd *mds = &obd->u.mds;
 996         struct ptlrpc_request *req = NULL;
 997         struct mdc_op_data op_data;
 998         struct mea *mea = NULL;
 999         int mea_size, rc;
1000
1001         /* clustered MD ? */
1002         if (!mds->mds_lmv_obd)
1003                 return 0;
1004
1005         /* a dir can be splitted only */
1006         if (!S_ISDIR(dentry->d_inode->i_mode))
1007                 RETURN(0);
1008
1009         rc = mds_get_lmv_attr(obd, dentry->d_inode, &mea, &mea_size);
1010         if (rc)
1011                 RETURN(rc);
1012
1013         if (mea == NULL)
1014                 return 0;
1015         if (mea->mea_count == 0)
1016                 GOTO(cleanup, rc = 0);
1017
1018         CDEBUG(D_OTHER, "%s: unlink slaves for %lu/%lu\n", obd->obd_name,
1019                (unsigned long) dentry->d_inode->i_ino,
1020                (unsigned long) dentry->d_inode->i_generation);
1021
1022         memset(&op_data, 0, sizeof(op_data));
1023         op_data.mea1 = mea;
1024         rc = md_unlink(mds->mds_lmv_exp, &op_data, &req);
1025         LASSERT(req == NULL);
1026 cleanup:
1027         OBD_FREE(mea, mea_size);
1028         RETURN(rc);
1029 }
1030
1031 struct ide_tracking {
1032         int entries;
1033         int empty;
1034 };
1035
1036 int mds_ide_filldir(void *__buf, const char *name, int namelen,
1037                     loff_t offset, ino_t ino, unsigned int d_type)
1038 {
1039         struct ide_tracking *it = __buf;
1040
1041         if (ino == 0)
1042                 return 0;
1043
1044         it->entries++;
1045         if (it->entries > 2)
1046                 goto noempty;
1047         if (namelen > 2)
1048                 goto noempty;
1049         if (name[0] == '.' && namelen == 1)
1050                 return 0;
1051         if (name[0] == '.' && name[1] == '.' && namelen == 2)
1052                 return 0;
1053 noempty:
1054         it->empty = 0;
1055         return -ENOTEMPTY;
1056 }
1057
1058 /* checks if passed dentry points to empty dir. */
1059 int mds_is_dir_empty(struct obd_device *obd, struct dentry *dentry)
1060 {
1061         struct ide_tracking it;
1062         struct file * file;
1063         char *file_name;
1064         int nlen, i, rc;
1065
1066         it.entries = 0;
1067         it.empty = 1;
1068
1069         nlen = strlen("__iopen__/") + 10 + 1;
1070         OBD_ALLOC(file_name, nlen);
1071         if (!file_name)
1072                 RETURN(-ENOMEM);
1073
1074         LASSERT(dentry->d_inode != NULL);
1075         i = sprintf(file_name, "__iopen__/0x%lx",
1076                     dentry->d_inode->i_ino);
1077
1078         file = filp_open(file_name, O_RDONLY, 0);
1079         if (IS_ERR(file)) {
1080                 CERROR("can't open directory %s: %d\n",
1081                        file_name, (int) PTR_ERR(file));
1082                 GOTO(cleanup, rc = PTR_ERR(file));
1083         }
1084
1085         rc = vfs_readdir(file, mds_ide_filldir, &it);
1086         filp_close(file, 0);
1087
1088         if (it.empty && rc == 0)
1089                 rc = 1;
1090         else
1091                 rc = 0;
1092
1093 cleanup:
1094         OBD_FREE(file_name, nlen);
1095         return rc;
1096 }
1097
1098 int mds_lock_and_check_slave(int offset, struct ptlrpc_request *req,
1099                              struct lustre_handle *lockh)
1100 {
1101         struct obd_device *obd = req->rq_export->exp_obd;
1102         struct dentry *dentry = NULL;
1103         struct lvfs_run_ctxt saved;
1104         int cleanup_phase = 0;
1105         struct mds_req_sec_desc *rsd;
1106         struct mds_body *body;
1107         struct lvfs_ucred uc;
1108         int rc, update_mode;
1109         ENTRY;
1110
1111         rsd = lustre_swab_mds_secdesc(req, MDS_REQ_SECDESC_OFF);
1112         if (!rsd) {
1113                 CERROR("Can't unpack security desc\n");
1114                 GOTO(cleanup, rc = -EFAULT);
1115         }
1116         mds_squash_root(&obd->u.mds, rsd, &req->rq_peer.peer_id.nid);
1117
1118         body = lustre_swab_reqbuf(req, offset, sizeof(*body),
1119                                   lustre_swab_mds_body);
1120         if (body == NULL) {
1121                 CERROR("Can't swab mds_body\n");
1122                 GOTO(cleanup, rc = -EFAULT);
1123         }
1124         CDEBUG(D_OTHER, "%s: check slave "DLID4"\n", obd->obd_name,
1125                OLID4(&body->id1));
1126
1127         dentry = mds_id2locked_dentry(obd, &body->id1, NULL, LCK_EX,
1128                                       lockh, &update_mode, NULL, 0,
1129                                       MDS_INODELOCK_UPDATE);
1130         if (IS_ERR(dentry)) {
1131                 CERROR("can't find inode: %d\n", (int) PTR_ERR(dentry));
1132                 GOTO(cleanup, rc = PTR_ERR(dentry));
1133         }
1134         cleanup_phase = 1;
1135
1136         LASSERT(S_ISDIR(dentry->d_inode->i_mode));
1137
1138         rc = mds_init_ucred(&uc, rsd);
1139         if (rc) {
1140                 CERROR("can't init ucred\n");
1141                 GOTO(cleanup, rc);
1142         }
1143
1144         push_ctxt(&saved, &obd->obd_lvfs_ctxt, &uc);
1145
1146         rc = 0;
1147         if (!mds_is_dir_empty(obd, dentry))
1148                 rc = -ENOTEMPTY;
1149
1150 cleanup:
1151         switch(cleanup_phase) {
1152         case 1:
1153                 if (rc)
1154                         ldlm_lock_decref(lockh, LCK_EX);
1155                 l_dput(dentry);
1156                 pop_ctxt(&saved, &obd->obd_lvfs_ctxt, &uc);
1157                 mds_exit_ucred(&uc);
1158         default:
1159                 break;
1160         }
1161         RETURN(rc);
1162 }
1163
1164 int mds_convert_mea_ea(struct obd_device *obd, struct inode *inode,
1165                        struct lov_mds_md *lmm, int lmmsize)
1166 {
1167         int i, rc, err, size;
1168         struct mea_old *old;
1169         struct mea *mea;
1170         struct mea *new;
1171         void *handle;
1172         ENTRY;
1173
1174         mea = (struct mea *) lmm;
1175         if (mea->mea_magic == MEA_MAGIC_LAST_CHAR ||
1176                 mea->mea_magic == MEA_MAGIC_ALL_CHARS)
1177                 RETURN(0);
1178
1179         old = (struct mea_old *) lmm;
1180
1181         rc = sizeof(struct lustre_id) * old->mea_count +
1182                 sizeof(struct mea_old);
1183
1184         if (old->mea_count > 256 || old->mea_master > 256 || lmmsize < rc
1185                         || old->mea_master > old->mea_count) {
1186                 CWARN("unknown MEA format, dont convert it\n");
1187                 CWARN("  count %u, master %u, size %u\n",
1188                       old->mea_count, old->mea_master, rc);
1189                 RETURN(0);
1190         }
1191
1192         CWARN("converting MEA EA on %lu/%u from V0 to V1 (%u/%u)\n",
1193               inode->i_ino, inode->i_generation, old->mea_count,
1194               old->mea_master);
1195
1196         size = sizeof(struct lustre_id) * old->mea_count +
1197                 sizeof(struct mea);
1198
1199         OBD_ALLOC(new, size);
1200         if (new == NULL)
1201                 RETURN(-ENOMEM);
1202
1203         new->mea_magic = MEA_MAGIC_LAST_CHAR;
1204         new->mea_count = old->mea_count;
1205         new->mea_master = old->mea_master;
1206         for (i = 0; i < new->mea_count; i++)
1207                 new->mea_ids[i] = old->mea_ids[i];
1208
1209         handle = fsfilt_start(obd, inode, FSFILT_OP_SETATTR, NULL);
1210         if (IS_ERR(handle)) {
1211                 rc = PTR_ERR(handle);
1212                 GOTO(conv_free, rc);
1213         }
1214
1215         rc = fsfilt_set_md(obd, inode, handle, (struct lov_mds_md *) new, size);
1216         if (rc > lmmsize)
1217                 size = lmmsize;
1218         memcpy(lmm, new, size);
1219
1220         err = fsfilt_commit(obd, obd->u.mds.mds_sb, inode, handle, 0);
1221         if (!rc)
1222                 rc = err ? err : size;
1223         GOTO(conv_free, rc);
1224 conv_free:
1225         OBD_FREE(new, size);
1226         return rc;
1227 }
1228