lustre/utils/obd.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (C) 2002 Cluster File Systems, Inc.
   5  *   Author: Peter J. Braam <braam@clusterfs.com>
   6  *   Author: Phil Schwan <phil@clusterfs.com>
   7  *   Author: Andreas Dilger <adilger@clusterfs.com>
   8  *   Author: Robert Read <rread@clusterfs.com>
   9  *
  10  *   This file is part of Lustre, http://www.lustre.org.
  11  *
  12  *   Lustre is free software; you can redistribute it and/or
  13  *   modify it under the terms of version 2 of the GNU General Public
  14  *   License as published by the Free Software Foundation.
  15  *
  16  *   Lustre is distributed in the hope that it will be useful,
  17  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19  *   GNU General Public License for more details.
  20  *
  21  *   You should have received a copy of the GNU General Public License
  22  *   along with Lustre; if not, write to the Free Software
  23  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  24  *
  25  */
  26
  27
  28 #include <stdlib.h>
  29 #include <sys/ioctl.h>
  30 #include <fcntl.h>
  31 #include <sys/socket.h>
  32 #include <sys/types.h>
  33 #include <sys/wait.h>
  34 #include <sys/stat.h>
  35 #include <stdio.h>
  36 #include <stdarg.h>
  37 #include <signal.h>
  38 #define printk printf
  39
  40 #include <linux/lustre_lib.h>
  41 #include <linux/lustre_idl.h>
  42 #include <linux/lustre_dlm.h>
  43
  44 #include <unistd.h>
  45 #include <sys/un.h>
  46 #include <time.h>
  47 #include <sys/time.h>
  48 #include <netinet/in.h>
  49 #include <errno.h>
  50 #include <string.h>
  51
  52 #include <asm/page.h>           /* needed for PAGE_SIZE - rread */
  53
  54 #define __KERNEL__
  55 #include <linux/list.h>
  56 #undef __KERNEL__
  57
  58 #include "obdctl.h"
  59 #include "parser.h"
  60 #include <stdio.h>
  61
  62 #define SHMEM_STATS 1
  63 #if SHMEM_STATS
  64 # include <sys/ipc.h>
  65 # include <sys/shm.h>
  66
  67 # define MAX_SHMEM_COUNT 1024
  68 static long long *shared_counters;
  69 static long long counter_snapshot[2][MAX_SHMEM_COUNT];
  70 struct timeval prev_time;
  71 #endif
  72
  73 int fd = -1;
  74 uint64_t conn_addr = -1;
  75 uint64_t conn_cookie;
  76 char rawbuf[8192];
  77 char *buf = rawbuf;
  78 int max = 8192;
  79
  80 static int thread;
  81
  82 static int getfd(char *func);
  83 static char *cmdname(char *func);
  84
  85 #define IOCINIT(data)                                                   \
  86 do {                                                                    \
  87         memset(&data, 0, sizeof(data));                                 \
  88         data.ioc_version = OBD_IOCTL_VERSION;                           \
  89         data.ioc_addr = conn_addr;                                      \
  90         data.ioc_cookie = conn_cookie;                                  \
  91         data.ioc_len = sizeof(data);                                    \
  92         if (fd < 0) {                                                   \
  93                 fprintf(stderr, "No device open, use device\n");        \
  94                 return 1;                                               \
  95         }                                                               \
  96 } while (0)
  97
  98 char *obdo_print(struct obdo *obd)
  99 {
 100         char buf[1024];
 101
 102         sprintf(buf, "id: %Ld\ngrp: %Ld\natime: %Ld\nmtime: %Ld\nctime: %Ld\n"
 103                 "size: %Ld\nblocks: %Ld\nblksize: %d\nmode: %o\nuid: %d\n"
 104                 "gid: %d\nflags: %x\nobdflags: %x\nnlink: %d,\nvalid %x\n",
 105                 obd->o_id,
 106                 obd->o_gr,
 107                 obd->o_atime,
 108                 obd->o_mtime,
 109                 obd->o_ctime,
 110                 obd->o_size,
 111                 obd->o_blocks,
 112                 obd->o_blksize,
 113                 obd->o_mode,
 114                 obd->o_uid,
 115                 obd->o_gid,
 116                 obd->o_flags, obd->o_obdflags, obd->o_nlink, obd->o_valid);
 117         return strdup(buf);
 118 }
 119
 120
 121 #define BAD_VERBOSE (-999999999)
 122
 123 #define N2D_OFF 0x100      /* So we can tell between error codes and devices */
 124
 125 static int do_name2dev(char *func, char *name)
 126 {
 127         struct obd_ioctl_data data;
 128         int rc;
 129
 130         if (getfd(func))
 131                 return -1;
 132
 133         IOCINIT(data);
 134
 135         data.ioc_inllen1 = strlen(name) + 1;
 136         data.ioc_inlbuf1 = name;
 137
 138         if (obd_ioctl_pack(&data, &buf, max)) {
 139                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(func));
 140                 return -2;
 141         }
 142         rc = ioctl(fd, OBD_IOC_NAME2DEV, buf);
 143         if (rc < 0) {
 144                 fprintf(stderr, "error: %s: %s - %s\n", cmdname(func),
 145                         name, strerror(rc = errno));
 146                 return rc;
 147         }
 148
 149         memcpy((char *)(&data), buf, sizeof(data));
 150
 151         return data.ioc_dev + N2D_OFF;
 152 }
 153
 154 /*
 155  * resolve a device name to a device number.
 156  * supports a number or name.
 157  * FIXME: support UUID
 158  */
 159 static int parse_devname(char *func, char *name)
 160 {
 161         int rc;
 162         int ret = -1;
 163
 164         if (!name)
 165                 return ret;
 166         if (name[0] == '$') {
 167                 rc = do_name2dev(func, name + 1);
 168                 if (rc >= N2D_OFF) {
 169                         ret = rc - N2D_OFF;
 170                         printf("%s is device %d\n", name, ret);
 171                 } else {
 172                         fprintf(stderr, "error: %s: %s: %s\n", cmdname(func),
 173                                 name, "device not found");
 174                 }
 175         } else
 176                 ret = strtoul(name, NULL, 0);
 177
 178         return ret;
 179 }
 180
 181 static char *cmdname(char *func)
 182 {
 183         static char buf[512];
 184
 185         if (thread) {
 186                 sprintf(buf, "%s-%d", func, thread);
 187                 return buf;
 188         }
 189
 190         return func;
 191 }
 192
 193 static int getfd(char *func)
 194 {
 195         if (fd == -1)
 196                 fd = open("/dev/obd", O_RDWR);
 197         if (fd == -1) {
 198                 fprintf(stderr, "error: %s: opening /dev/obd: %s\n"
 199                         "hint: lustre kernel modules may not be loaded.\n",
 200                         cmdname(func), strerror(errno));
 201                 return -1;
 202         }
 203         return 0;
 204 }
 205
 206 #define difftime(a, b)                                          \
 207         ((double)(a)->tv_sec - (b)->tv_sec +                    \
 208          ((double)((a)->tv_usec - (b)->tv_usec) / 1000000))
 209
 210 static int be_verbose(int verbose, struct timeval *next_time,
 211                       __u64 num, __u64 *next_num, int num_total)
 212 {
 213         struct timeval now;
 214
 215         if (!verbose)
 216                 return 0;
 217
 218         if (next_time != NULL)
 219                 gettimeofday(&now, NULL);
 220
 221         /* A positive verbosity means to print every X iterations */
 222         if (verbose > 0 &&
 223             (next_num == NULL || num >= *next_num || num >= num_total)) {
 224                 *next_num += verbose;
 225                 if (next_time) {
 226                         next_time->tv_sec = now.tv_sec - verbose;
 227                         next_time->tv_usec = now.tv_usec;
 228                 }
 229                 return 1;
 230         }
 231
 232         /* A negative verbosity means to print at most each X seconds */
 233         if (verbose < 0 && next_time != NULL && difftime(&now, next_time) >= 0){
 234                 next_time->tv_sec = now.tv_sec - verbose;
 235                 next_time->tv_usec = now.tv_usec;
 236                 if (next_num)
 237                         *next_num = num;
 238                 return 1;
 239         }
 240
 241         return 0;
 242 }
 243
 244 static int get_verbose(char *func, const char *arg)
 245 {
 246         int verbose;
 247         char *end;
 248
 249         if (!arg || arg[0] == 'v')
 250                 verbose = 1;
 251         else if (arg[0] == 's' || arg[0] == 'q')
 252                 verbose = 0;
 253         else {
 254                 verbose = (int)strtoul(arg, &end, 0);
 255                 if (*end) {
 256                         fprintf(stderr, "error: %s: bad verbose option '%s'\n",
 257                                 cmdname(func), arg);
 258                         return BAD_VERBOSE;
 259                 }
 260         }
 261
 262         if (verbose < 0)
 263                 printf("Print status every %d seconds\n", -verbose);
 264         else if (verbose == 1)
 265                 printf("Print status every operation\n");
 266         else if (verbose > 1)
 267                 printf("Print status every %d operations\n", verbose);
 268
 269         return verbose;
 270 }
 271
 272 int do_disconnect(char *func, int verbose)
 273 {
 274         int rc;
 275         struct obd_ioctl_data data;
 276
 277         if (conn_addr == -1)
 278                 return 0;
 279
 280         IOCINIT(data);
 281
 282         rc = ioctl(fd, OBD_IOC_DISCONNECT, &data);
 283         if (rc < 0) {
 284                 fprintf(stderr, "error: %s: %x %s\n", cmdname(func),
 285                         OBD_IOC_DISCONNECT, strerror(errno));
 286         } else {
 287                 if (verbose)
 288                         printf("%s: disconnected conn %Lx\n", cmdname(func),
 289                                conn_addr);
 290                 conn_addr = -1;
 291         }
 292
 293         return rc;
 294 }
 295
 296 #if SHMEM_STATS
 297 static void shmem_setup(void)
 298 {
 299         int shmid = shmget(IPC_PRIVATE, sizeof(counter_snapshot[0]), 0600);
 300
 301         if (shmid == -1) {
 302                 fprintf(stderr, "Can't create shared memory counters: %s\n",
 303                         strerror(errno));
 304                 return;
 305         }
 306
 307         shared_counters = (long long *)shmat(shmid, NULL, 0);
 308
 309         if (shared_counters == (long long *)(-1)) {
 310                 fprintf(stderr, "Can't attach shared memory counters: %s\n",
 311                         strerror(errno));
 312                 shared_counters = NULL;
 313                 return;
 314         }
 315 }
 316
 317 static inline void shmem_reset(void)
 318 {
 319         if (shared_counters == NULL)
 320                 return;
 321
 322         memset(shared_counters, 0, sizeof(counter_snapshot[0]));
 323         memset(counter_snapshot, 0, sizeof(counter_snapshot));
 324         gettimeofday(&prev_time, NULL);
 325 }
 326
 327 static inline void shmem_bump(void)
 328 {
 329         if (shared_counters == NULL || thread <= 0 || thread > MAX_SHMEM_COUNT)
 330                 return;
 331
 332         shared_counters[thread - 1]++;
 333 }
 334
 335 static void shmem_snap(int n)
 336 {
 337         struct timeval this_time;
 338         int non_zero = 0;
 339         long long total = 0;
 340         double secs;
 341         int i;
 342
 343         if (shared_counters == NULL || n > MAX_SHMEM_COUNT)
 344                 return;
 345
 346         memcpy(counter_snapshot[1], counter_snapshot[0],
 347                n * sizeof(counter_snapshot[0][0]));
 348         memcpy(counter_snapshot[0], shared_counters,
 349                n * sizeof(counter_snapshot[0][0]));
 350         gettimeofday(&this_time, NULL);
 351
 352         for (i = 0; i < n; i++) {
 353                 long long this_count =
 354                         counter_snapshot[0][i] - counter_snapshot[1][i];
 355
 356                 if (this_count != 0) {
 357                         non_zero++;
 358                         total += this_count;
 359                 }
 360         }
 361
 362         secs = (this_time.tv_sec + this_time.tv_usec / 1000000.0) -
 363                 (prev_time.tv_sec + prev_time.tv_usec / 1000000.0);
 364
 365         printf("%d/%d Total: %f/second\n", non_zero, n, total / secs);
 366
 367         prev_time = this_time;
 368 }
 369
 370 #define SHMEM_SETUP()   shmem_setup()
 371 #define SHMEM_RESET()   shmem_reset()
 372 #define SHMEM_BUMP()    shmem_bump()
 373 #define SHMEM_SNAP(n)   shmem_snap(n)
 374 #else
 375 #define SHMEM_SETUP()
 376 #define SHMEM_RESET()
 377 #define SHMEM_BUMP()
 378 #define SHMEM_SNAP(n)
 379 #endif
 380
 381 extern command_t cmdlist[];
 382
 383 static int do_device(char *func, int dev)
 384 {
 385         struct obd_ioctl_data data;
 386
 387         memset(&data, 0, sizeof(data));
 388
 389         data.ioc_dev = dev;
 390
 391         if (getfd(func))
 392                 return -1;
 393
 394         if (obd_ioctl_pack(&data, &buf, max)) {
 395                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(func));
 396                 return -2;
 397         }
 398
 399         return ioctl(fd, OBD_IOC_DEVICE, buf);
 400 }
 401
 402 int jt_obd_device(int argc, char **argv)
 403 {
 404         int rc, dev;
 405         do_disconnect(argv[0], 1);
 406
 407         if (argc != 2)
 408                 return CMD_HELP;
 409
 410         dev = parse_devname(argv[0], argv[1]);
 411         if (dev < 0)
 412                 return -1;
 413
 414         rc = do_device(argv[0], dev);
 415         if (rc < 0)
 416                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 417                         strerror(rc = errno));
 418
 419         return rc;
 420 }
 421
 422 int jt_obd_connect(int argc, char **argv)
 423 {
 424         struct obd_ioctl_data data;
 425         int rc;
 426
 427         IOCINIT(data);
 428
 429         do_disconnect(argv[0], 1);
 430
 431 #warning TODO: implement timeout per lctl usage for probe
 432         if (argc != 1)
 433                 return CMD_HELP;
 434
 435         rc = ioctl(fd, OBD_IOC_CONNECT, &data);
 436         if (rc < 0)
 437                 fprintf(stderr, "error: %s: %x %s\n", cmdname(argv[0]),
 438                         OBD_IOC_CONNECT, strerror(rc = errno));
 439         else {
 440                 conn_addr = data.ioc_addr;
 441                 conn_cookie = data.ioc_cookie;
 442         }
 443         return rc;
 444 }
 445
 446 int jt_obd_disconnect(int argc, char **argv)
 447 {
 448         if (argc != 1)
 449                 return CMD_HELP;
 450
 451         if (conn_addr == -1)
 452                 return 0;
 453
 454         return do_disconnect(argv[0], 0);
 455 }
 456
 457 int jt_opt_device(int argc, char **argv)
 458 {
 459         char *arg2[3];
 460         int ret;
 461         int rc;
 462
 463         if (argc < 3)
 464                 return CMD_HELP;
 465
 466         rc = do_device("device", parse_devname(argv[0], argv[1]));
 467
 468         if (!rc) {
 469                 arg2[0] = "connect";
 470                 arg2[1] = NULL;
 471                 rc = jt_obd_connect(1, arg2);
 472         }
 473
 474         if (!rc)
 475                 rc = Parser_execarg(argc - 2, argv + 2, cmdlist);
 476
 477         ret = do_disconnect(argv[0], 0);
 478         if (!rc)
 479                 rc = ret;
 480
 481         return rc;
 482 }
 483
 484 int jt_opt_threads(int argc, char **argv)
 485 {
 486         __u64 threads, next_thread;
 487         int verbose;
 488         int rc = 0;
 489         char *end;
 490         int i;
 491
 492         if (argc < 5)
 493                 return CMD_HELP;
 494
 495         threads = strtoull(argv[1], &end, 0);
 496         if (*end) {
 497                 fprintf(stderr, "error: %s: invalid page count '%s'\n",
 498                         cmdname(argv[0]), argv[1]);
 499                 return CMD_HELP;
 500         }
 501
 502         verbose = get_verbose(argv[0], argv[2]);
 503         if (verbose == BAD_VERBOSE)
 504                 return CMD_HELP;
 505
 506         if (verbose != 0)
 507                 printf("%s: starting "LPD64" threads on device %s running %s\n",
 508                        argv[0], threads, argv[3], argv[4]);
 509
 510         SHMEM_RESET();
 511
 512         for (i = 1, next_thread = verbose; i <= threads; i++) {
 513                 rc = fork();
 514                 if (rc < 0) {
 515                         fprintf(stderr, "error: %s: #%d - %s\n", argv[0], i,
 516                                 strerror(rc = errno));
 517                         break;
 518                 } else if (rc == 0) {
 519                         thread = i;
 520                         argv[2] = "--device";
 521                         return jt_opt_device(argc - 2, argv + 2);
 522                 } else if (be_verbose(verbose, NULL, i, &next_thread, threads))
 523                         printf("%s: thread #%d (PID %d) started\n",
 524                                argv[0], i, rc);
 525                 rc = 0;
 526         }
 527
 528         if (!thread) {          /* parent process */
 529                 int live_threads = threads;
 530
 531                 while (live_threads > 0) {
 532                         int status;
 533                         pid_t ret;
 534
 535                         ret = waitpid(0, &status, verbose < 0 ? WNOHANG : 0);
 536                         if (ret == 0) {
 537                                 if (verbose >= 0)
 538                                         abort();
 539
 540                                 sleep(-verbose);
 541                                 SHMEM_SNAP(threads);
 542                                 continue;
 543                         }
 544
 545                         if (ret < 0) {
 546                                 fprintf(stderr, "error: %s: wait - %s\n",
 547                                         argv[0], strerror(errno));
 548                                 if (!rc)
 549                                         rc = errno;
 550                         } else {
 551                                 /*
 552                                  * This is a hack.  We _should_ be able to use
 553                                  * WIFEXITED(status) to see if there was an
 554                                  * error, but it appears to be broken and it
 555                                  * always returns 1 (OK).  See wait(2).
 556                                  */
 557                                 int err = WEXITSTATUS(status);
 558                                 if (err || WIFSIGNALED(status))
 559                                         fprintf(stderr,
 560                                                 "%s: PID %d had rc=%d\n",
 561                                                 argv[0], ret, err);
 562                                 if (!rc)
 563                                         rc = err;
 564
 565                                 live_threads--;
 566                         }
 567                 }
 568         }
 569
 570         return rc;
 571 }
 572
 573 int jt_obd_detach(int argc, char **argv)
 574 {
 575         struct obd_ioctl_data data;
 576         int rc;
 577
 578         IOCINIT(data);
 579
 580         if (argc != 1)
 581                 return CMD_HELP;
 582
 583         if (obd_ioctl_pack(&data, &buf, max)) {
 584                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
 585                 return -2;
 586         }
 587
 588         rc = ioctl(fd, OBD_IOC_DETACH, buf);
 589         if (rc < 0)
 590                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 591                         strerror(rc = errno));
 592
 593         return rc;
 594 }
 595
 596 int jt_obd_cleanup(int argc, char **argv)
 597 {
 598         struct obd_ioctl_data data;
 599         int rc;
 600
 601         IOCINIT(data);
 602
 603         if (argc != 1)
 604                 return CMD_HELP;
 605
 606         rc = ioctl(fd, OBD_IOC_CLEANUP, &data);
 607         if (rc < 0)
 608                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 609                         strerror(rc = errno));
 610
 611         return rc;
 612 }
 613
 614 int jt_obd_newdev(int argc, char **argv)
 615 {
 616         int rc;
 617         struct obd_ioctl_data data;
 618
 619         if (getfd(argv[0]))
 620                 return -1;
 621
 622         IOCINIT(data);
 623
 624         if (argc != 1)
 625                 return CMD_HELP;
 626
 627         rc = ioctl(fd, OBD_IOC_NEWDEV, &data);
 628         if (rc < 0)
 629                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 630                         strerror(rc = errno));
 631         else {
 632                 printf("Current device set to %d\n", data.ioc_dev);
 633         }
 634
 635         return rc;
 636 }
 637
 638 int jt_obd_list(int argc, char **argv)
 639 {
 640         int rc;
 641         char buf[8192];
 642         struct obd_ioctl_data *data = (struct obd_ioctl_data *)buf;
 643
 644         if (getfd(argv[0]))
 645                 return -1;
 646
 647         memset(buf, 0, sizeof(buf));
 648         data->ioc_version = OBD_IOCTL_VERSION;
 649         data->ioc_addr = conn_addr;
 650         data->ioc_cookie = conn_addr;
 651         data->ioc_len = sizeof(buf);
 652         data->ioc_inllen1 = sizeof(buf) - size_round(sizeof(*data));
 653
 654         if (argc != 1)
 655                 return CMD_HELP;
 656
 657         rc = ioctl(fd, OBD_IOC_LIST, data);
 658         if (rc < 0)
 659                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 660                         strerror(rc = errno));
 661         else {
 662                 printf("%s", data->ioc_bulk);
 663         }
 664
 665         return rc;
 666 }
 667
 668 int jt_obd_attach(int argc, char **argv)
 669 {
 670         struct obd_ioctl_data data;
 671         int rc;
 672
 673         IOCINIT(data);
 674
 675         if (argc != 2 && argc != 3 && argc != 4)
 676                 return CMD_HELP;
 677
 678         data.ioc_inllen1 = strlen(argv[1]) + 1;
 679         data.ioc_inlbuf1 = argv[1];
 680         if (argc >= 3) {
 681                 data.ioc_inllen2 = strlen(argv[2]) + 1;
 682                 data.ioc_inlbuf2 = argv[2];
 683         }
 684
 685         if (argc == 4) {
 686                 data.ioc_inllen3 = strlen(argv[3]) + 1;
 687                 data.ioc_inlbuf3 = argv[3];
 688         }
 689
 690         if (obd_ioctl_pack(&data, &buf, max)) {
 691                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
 692                 return -2;
 693         }
 694
 695         rc = ioctl(fd, OBD_IOC_ATTACH, buf);
 696         if (rc < 0)
 697                 fprintf(stderr, "error: %s: %x %s\n", cmdname(argv[0]),
 698                         OBD_IOC_ATTACH, strerror(rc = errno));
 699         else if (argc == 3) {
 700                 char name[1024];
 701                 if (strlen(argv[2]) > 128) {
 702                         printf("Name too long to set environment\n");
 703                         return -EINVAL;
 704                 }
 705                 snprintf(name, 512, "LUSTRE_DEV_%s", argv[2]);
 706                 rc = setenv(name, argv[1], 1);
 707                 if (rc) {
 708                         printf("error setting env variable %s\n", name);
 709                 }
 710         }
 711
 712         return rc;
 713 }
 714
 715 int jt_obd_name2dev(int argc, char **argv)
 716 {
 717         int rc;
 718
 719         if (argc != 2)
 720                 return CMD_HELP;
 721
 722         rc = do_name2dev(argv[0], argv[1]);
 723         if (rc >= N2D_OFF) {
 724                 int dev = rc - N2D_OFF;
 725                 rc = do_device(argv[0], dev);
 726                 if (rc == 0)
 727                         printf("%d\n", dev);
 728         }
 729         return rc;
 730 }
 731
 732 int jt_obd_setup(int argc, char **argv)
 733 {
 734         struct obd_ioctl_data data;
 735         int rc;
 736
 737         IOCINIT(data);
 738
 739         if (argc > 3)
 740                 return CMD_HELP;
 741
 742         data.ioc_dev = -1;
 743         if (argc > 1) {
 744                 data.ioc_dev = parse_devname(argv[0], argv[1]);
 745                 if (data.ioc_dev < 0)
 746                         return -1;
 747                 data.ioc_inllen1 = strlen(argv[1]) + 1;
 748                 data.ioc_inlbuf1 = argv[1];
 749         }
 750         if (argc == 3) {
 751                 data.ioc_inllen2 = strlen(argv[2]) + 1;
 752                 data.ioc_inlbuf2 = argv[2];
 753         }
 754
 755         if (obd_ioctl_pack(&data, &buf, max)) {
 756                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
 757                 return -2;
 758         }
 759         rc = ioctl(fd, OBD_IOC_SETUP, buf);
 760         if (rc < 0)
 761                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 762                         strerror(rc = errno));
 763
 764         return rc;
 765 }
 766
 767
 768 int jt_obd_create(int argc, char **argv)
 769 {
 770         struct obd_ioctl_data data;
 771         struct timeval next_time;
 772         __u64 count = 1, next_count;
 773         int verbose = 1;
 774         int mode = 0100644;
 775         int rc = 0, i;
 776         char *end;
 777
 778         IOCINIT(data);
 779         if (argc < 2 || argc > 4)
 780                 return CMD_HELP;
 781
 782         count = strtoull(argv[1], &end, 0);
 783         if (*end) {
 784                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
 785                         cmdname(argv[0]), argv[1]);
 786                 return CMD_HELP;
 787         }
 788
 789         if (argc > 2) {
 790                 mode = strtoul(argv[2], &end, 0);
 791                 if (*end) {
 792                         fprintf(stderr, "error: %s: invalid mode '%s'\n",
 793                                 cmdname(argv[0]), argv[2]);
 794                         return CMD_HELP;
 795                 }
 796         }
 797
 798         if (argc > 3) {
 799                 verbose = get_verbose(argv[0], argv[3]);
 800                 if (verbose == BAD_VERBOSE)
 801                         return CMD_HELP;
 802         }
 803
 804         printf("%s: "LPD64" objects\n", cmdname(argv[0]), count);
 805         gettimeofday(&next_time, NULL);
 806         next_time.tv_sec -= verbose;
 807
 808         for (i = 1, next_count = verbose; i <= count; i++) {
 809                 data.ioc_obdo1.o_mode = mode;
 810                 data.ioc_obdo1.o_id = i;
 811                 data.ioc_obdo1.o_valid = OBD_MD_FLMODE | OBD_MD_FLID;
 812
 813                 rc = ioctl(fd, OBD_IOC_CREATE, &data);
 814                 SHMEM_BUMP();
 815                 if (rc < 0) {
 816                         fprintf(stderr, "error: %s: #%d - %s\n",
 817                                 cmdname(argv[0]), i, strerror(rc = errno));
 818                         break;
 819                 }
 820                 if (!(data.ioc_obdo1.o_valid & OBD_MD_FLID)) {
 821                         fprintf(stderr, "error: %s: objid not valid #%d:%08x\n",
 822                                 cmdname(argv[0]), i, data.ioc_obdo1.o_valid);
 823                         rc = EINVAL;
 824                         break;
 825                 }
 826
 827                 if (be_verbose(verbose, &next_time, i, &next_count, count))
 828                         printf("%s: #%d is object id 0x%Lx\n", cmdname(argv[0]),
 829                                i, (long long)data.ioc_obdo1.o_id);
 830         }
 831         return rc;
 832 }
 833
 834 int jt_obd_setattr(int argc, char **argv)
 835 {
 836         struct obd_ioctl_data data;
 837         char *end;
 838         int rc;
 839
 840         IOCINIT(data);
 841         if (argc != 2)
 842                 return CMD_HELP;
 843
 844         data.ioc_obdo1.o_id = strtoull(argv[1], &end, 0);
 845         if (*end) {
 846                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
 847                         cmdname(argv[0]), argv[1]);
 848                 return CMD_HELP;
 849         }
 850         data.ioc_obdo1.o_mode = S_IFREG | strtoul(argv[2], &end, 0);
 851         if (*end) {
 852                 fprintf(stderr, "error: %s: invalid mode '%s'\n",
 853                         cmdname(argv[0]), argv[2]);
 854                 return CMD_HELP;
 855         }
 856         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLMODE;
 857
 858         rc = ioctl(fd, OBD_IOC_SETATTR, &data);
 859         if (rc < 0)
 860                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 861                         strerror(rc = errno));
 862
 863         return rc;
 864 }
 865
 866 int jt_obd_destroy(int argc, char **argv)
 867 {
 868         struct obd_ioctl_data data;
 869         char *end;
 870         int rc;
 871
 872         IOCINIT(data);
 873         if (argc != 2)
 874                 return CMD_HELP;
 875
 876         data.ioc_obdo1.o_id = strtoull(argv[1], &end, 0);
 877         if (*end) {
 878                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
 879                         cmdname(argv[0]), argv[1]);
 880                 return CMD_HELP;
 881         }
 882         data.ioc_obdo1.o_mode = S_IFREG | 0644;
 883
 884         rc = ioctl(fd, OBD_IOC_DESTROY, &data);
 885         if (rc < 0)
 886                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 887                         strerror(rc = errno));
 888
 889         return rc;
 890 }
 891
 892 int jt_obd_getattr(int argc, char **argv)
 893 {
 894         struct obd_ioctl_data data;
 895         char *end;
 896         int rc;
 897
 898         if (argc != 2)
 899                 return CMD_HELP;
 900
 901         IOCINIT(data);
 902         data.ioc_obdo1.o_id = strtoull(argv[1], &end, 0);
 903         if (*end) {
 904                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
 905                         cmdname(argv[0]), argv[1]);
 906                 return CMD_HELP;
 907         }
 908         /* to help obd filter */
 909         data.ioc_obdo1.o_mode = 0100644;
 910         data.ioc_obdo1.o_valid = 0xffffffff;
 911         printf("%s: object id %Ld\n", cmdname(argv[0]), data.ioc_obdo1.o_id);
 912
 913         rc = ioctl(fd, OBD_IOC_GETATTR, &data);
 914         if (rc) {
 915                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
 916                         strerror(rc = errno));
 917         } else {
 918                 printf("%s: object id %Ld, mode %o\n", cmdname(argv[0]),
 919                        data.ioc_obdo1.o_id, data.ioc_obdo1.o_mode);
 920         }
 921         return rc;
 922 }
 923
 924 int jt_obd_test_getattr(int argc, char **argv)
 925 {
 926         struct obd_ioctl_data data;
 927         struct timeval start, next_time;
 928         __u64 i, count, next_count;
 929         int verbose = 1;
 930         obd_id objid = 3;
 931         char *end;
 932         int rc = 0;
 933
 934         if (argc < 2 && argc > 4)
 935                 return CMD_HELP;
 936
 937         IOCINIT(data);
 938         count = strtoull(argv[1], &end, 0);
 939         if (*end) {
 940                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
 941                         cmdname(argv[0]), argv[1]);
 942                 return CMD_HELP;
 943         }
 944
 945         if (argc >= 3) {
 946                 verbose = get_verbose(argv[0], argv[2]);
 947                 if (verbose == BAD_VERBOSE)
 948                         return CMD_HELP;
 949         }
 950
 951         if (argc >= 4) {
 952                 if (argv[3][0] == 't')
 953                         objid = strtoull(argv[3] + 1, &end, 0) + thread - 1;
 954                 else
 955                         objid = strtoull(argv[3], &end, 0);
 956                 if (*end) {
 957                         fprintf(stderr, "error: %s: invalid objid '%s'\n",
 958                                 cmdname(argv[0]), argv[3]);
 959                         return CMD_HELP;
 960                 }
 961         }
 962
 963         gettimeofday(&start, NULL);
 964         next_time.tv_sec = start.tv_sec - verbose;
 965         next_time.tv_usec = start.tv_usec;
 966         if (verbose != 0)
 967                 printf("%s: getting "LPD64" attrs (objid "LPX64"): %s",
 968                        cmdname(argv[0]), count, objid, ctime(&start.tv_sec));
 969
 970         for (i = 1, next_count = verbose; i <= count; i++) {
 971                 data.ioc_obdo1.o_id = objid;
 972                 data.ioc_obdo1.o_valid = 0xffffffff;
 973                 rc = ioctl(fd, OBD_IOC_GETATTR, &data);
 974                 SHMEM_BUMP();
 975                 if (rc < 0) {
 976                         fprintf(stderr, "error: %s: #"LPD64" - %s\n",
 977                                 cmdname(argv[0]), i, strerror(rc = errno));
 978                         break;
 979                 } else {
 980                         if (be_verbose
 981                             (verbose, &next_time, i, &next_count, count))
 982                                 printf("%s: got attr #"LPD64"\n",
 983                                        cmdname(argv[0]), i);
 984                 }
 985         }
 986
 987         if (!rc) {
 988                 struct timeval end;
 989                 double diff;
 990
 991                 gettimeofday(&end, NULL);
 992
 993                 diff = difftime(&end, &start);
 994
 995                 --i;
 996                 if (verbose != 0)
 997                         printf("%s: "LPD64" attrs in %.4gs (%.4g attr/s): %s",
 998                                cmdname(argv[0]), i, diff, (double)i / diff,
 999                                ctime(&end.tv_sec));
1000         }
1001         return rc;
1002 }
1003
1004 int jt_obd_test_brw(int argc, char **argv)
1005 {
1006         struct obd_ioctl_data data;
1007         struct timeval start, next_time;
1008         int pages = 1;
1009         __u64 count, next_count;
1010         __u64 objid = 3;
1011         int verbose = 1, write = 0, rw;
1012         char *end;
1013         int thr_offset = 0;
1014         int i;
1015         int len;
1016         int rc = 0;
1017
1018         if (argc < 2 || argc > 6) {
1019                 fprintf(stderr, "error: %s: bad number of arguments: %d\n",
1020                         cmdname(argv[0]), argc);
1021                 return CMD_HELP;
1022         }
1023
1024         /* make each thread write to a different offset */
1025         if (argv[1][0] == 't') {
1026                 thr_offset = thread - 1;
1027                 count = strtoull(argv[1] + 1, &end, 0);
1028         } else
1029                 count = strtoull(argv[1], &end, 0);
1030
1031         if (*end) {
1032                 fprintf(stderr, "error: %s: bad iteration count '%s'\n",
1033                         cmdname(argv[0]), argv[1]);
1034                 return CMD_HELP;
1035         }
1036
1037         if (argc >= 3) {
1038                 if (argv[2][0] == 'w' || argv[2][0] == '1')
1039                         write = 1;
1040                 else if (argv[2][0] == 'r' || argv[2][0] == '0')
1041                         write = 0;
1042         }
1043
1044         if (argc >= 4) {
1045                 verbose = get_verbose(argv[0], argv[3]);
1046                 if (verbose == BAD_VERBOSE)
1047                         return CMD_HELP;
1048         }
1049
1050         if (argc >= 5) {
1051                 pages = strtoul(argv[4], &end, 0);
1052                 if (*end) {
1053                         fprintf(stderr, "error: %s: bad page count '%s'\n",
1054                                 cmdname(argv[0]), argv[4]);
1055                         return CMD_HELP;
1056                 }
1057         }
1058         if (argc >= 6) {
1059                 if (argv[5][0] == 't')
1060                         objid = strtoull(argv[5] + 1, &end, 0) + thread - 1;
1061                 else
1062                         objid = strtoull(argv[5], &end, 0);
1063                 if (*end) {
1064                         fprintf(stderr, "error: %s: bad objid '%s'\n",
1065                                 cmdname(argv[0]), argv[5]);
1066                         return CMD_HELP;
1067                 }
1068         }
1069
1070         len = pages * PAGE_SIZE;
1071
1072         IOCINIT(data);
1073         data.ioc_obdo1.o_id = objid;
1074         data.ioc_obdo1.o_mode = S_IFREG;
1075         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLMODE;
1076         data.ioc_count = len;
1077         data.ioc_offset = thr_offset * len * count;
1078
1079         gettimeofday(&start, NULL);
1080         next_time.tv_sec = start.tv_sec - verbose;
1081         next_time.tv_usec = start.tv_usec;
1082
1083         if (verbose != 0)
1084                 printf("%s: %s "LPU64"x%d pages (obj "LPX64", off "LPU64"): %s",
1085                        cmdname(argv[0]), write ? "writing" : "reading", count,
1086                        pages, objid, data.ioc_offset, ctime(&start.tv_sec));
1087
1088         rc = ioctl(fd, OBD_IOC_OPEN, &data);
1089         if (rc) {
1090                 fprintf(stderr, "error: brw_open: %s\n", strerror(rc = errno));
1091                 return rc;
1092         }
1093
1094         rw = write ? OBD_IOC_BRW_WRITE : OBD_IOC_BRW_READ;
1095         for (i = 1, next_count = verbose; i <= count; i++) {
1096                 rc = ioctl(fd, rw, &data);
1097                 SHMEM_BUMP();
1098                 if (rc) {
1099                         fprintf(stderr, "error: %s: #%d - %s on %s\n",
1100                                 cmdname(argv[0]), i, strerror(rc = errno),
1101                                 write ? "write" : "read");
1102                         break;
1103                 } else if (be_verbose
1104                            (verbose, &next_time, i, &next_count, count))
1105                         printf("%s: %s number %dx%d\n", cmdname(argv[0]),
1106                                write ? "write" : "read", i, pages);
1107
1108                 data.ioc_offset += len;
1109         }
1110
1111         if (!rc) {
1112                 struct timeval end;
1113                 double diff;
1114
1115                 gettimeofday(&end, NULL);
1116
1117                 diff = difftime(&end, &start);
1118
1119                 --i;
1120                 if (verbose != 0)
1121                         printf("%s: %s %dx%d pages in %.4gs (%.4g pg/s): %s",
1122                                cmdname(argv[0]), write ? "wrote" : "read",
1123                                i, pages, diff, (double)i * pages / diff,
1124                                ctime(&end.tv_sec));
1125         }
1126         rw = ioctl(fd, OBD_IOC_CLOSE, &data);
1127         if (rw) {
1128                 fprintf(stderr, "error: brw_close: %s\n", strerror(rw = errno));
1129                 if (!rc)
1130                         rc = rw;
1131         }
1132
1133         return rc;
1134 }
1135
1136 int jt_obd_lov_config(int argc, char **argv)
1137 {
1138         struct obd_ioctl_data data;
1139         struct lov_desc desc;
1140         obd_uuid_t *uuidarray;
1141         int rc, size, i;
1142         char *end;
1143
1144         IOCINIT(data);
1145
1146         if (argc <= 6)
1147                 return CMD_HELP;
1148
1149         if (strlen(argv[1]) > sizeof(*uuidarray) - 1) {
1150                 fprintf(stderr, "error: %s: no %dB memory for uuid's\n",
1151                         cmdname(argv[0]), strlen(argv[1]));
1152                 return -ENOMEM;
1153         }
1154
1155         memset(&desc, 0, sizeof(desc));
1156         strncpy(desc.ld_uuid, argv[1], sizeof(*uuidarray) - 1);
1157         desc.ld_tgt_count = argc - 6;
1158         desc.ld_default_stripe_count = strtoul(argv[2], &end, 0);
1159         if (*end) {
1160                 fprintf(stderr, "error: %s: bad default stripe count '%s'\n",
1161                         cmdname(argv[0]), argv[2]);
1162                 return CMD_HELP;
1163         }
1164         if (desc.ld_default_stripe_count > desc.ld_tgt_count) {
1165                 fprintf(stderr,
1166                         "error: %s: stripe count %d more than OST count %d\n",
1167                         cmdname(argv[0]), desc.ld_default_stripe_count,
1168                         desc.ld_tgt_count);
1169                 return -EINVAL;
1170         }
1171         if (desc.ld_default_stripe_count == 0) {
1172                 fprintf(stderr, "error: %s: stripe count is zero\n",
1173                         cmdname(argv[0]));
1174                 return -EINVAL;
1175         }
1176         desc.ld_default_stripe_size = strtoul(argv[3], &end, 0);
1177         if (*end) {
1178                 fprintf(stderr, "error: %s: bad default stripe size '%s'\n",
1179                         cmdname(argv[0]), argv[3]);
1180                 return CMD_HELP;
1181         }
1182         if (desc.ld_default_stripe_size < 4096) {
1183                 fprintf(stderr, "error: %s: stripe size %ld too small\n",
1184                         cmdname(argv[0]), (long)desc.ld_default_stripe_size);
1185                 return -EINVAL;
1186         }
1187         desc.ld_default_stripe_offset = (__u64) strtoul(argv[4], &end, 0);
1188         if (*end) {
1189                 fprintf(stderr, "error: %s: bad default stripe offset '%s'\n",
1190                         cmdname(argv[0]), argv[4]);
1191                 return CMD_HELP;
1192         }
1193         desc.ld_pattern = strtoul(argv[5], &end, 0);
1194         if (*end) {
1195                 fprintf(stderr, "error: %s: bad stripe pattern '%s'\n",
1196                         cmdname(argv[0]), argv[5]);
1197                 return CMD_HELP;
1198         }
1199
1200         size = desc.ld_tgt_count * sizeof(*uuidarray);
1201         uuidarray = malloc(size);
1202         if (!uuidarray) {
1203                 fprintf(stderr, "error: %s: no %dB memory for uuid's\n",
1204                         cmdname(argv[0]), size);
1205                 return -ENOMEM;
1206         }
1207         memset(uuidarray, 0, size);
1208         for (i = 6; i < argc; i++) {
1209                 char *buf = (char *)(uuidarray + i - 6);
1210                 if (strlen(argv[i]) >= sizeof(*uuidarray)) {
1211                         fprintf(stderr, "error: %s: arg %d (%s) too long\n",
1212                                 cmdname(argv[0]), i, argv[i]);
1213                         free(uuidarray);
1214                         return -EINVAL;
1215                 }
1216                 strcpy(buf, argv[i]);
1217         }
1218
1219         data.ioc_inllen1 = sizeof(desc);
1220         data.ioc_inlbuf1 = (char *)&desc;
1221         data.ioc_inllen2 = size;
1222         data.ioc_inlbuf2 = (char *)uuidarray;
1223
1224         if (obd_ioctl_pack(&data, &buf, max)) {
1225                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
1226                 return -EINVAL;
1227         }
1228
1229         rc = ioctl(fd, OBD_IOC_LOV_CONFIG, buf);
1230         if (rc)
1231                 fprintf(stderr, "lov_config: error: %s: %s\n",
1232                         cmdname(argv[0]), strerror(rc = errno));
1233         free(uuidarray);
1234         return rc;
1235 }
1236
1237 int jt_obd_test_ldlm(int argc, char **argv)
1238 {
1239         struct obd_ioctl_data data;
1240         int rc;
1241
1242         IOCINIT(data);
1243         if (argc != 1)
1244                 return CMD_HELP;
1245
1246         rc = ioctl(fd, IOC_LDLM_TEST, &data);
1247         if (rc)
1248                 fprintf(stderr, "error: %s: test failed: %s\n",
1249                         cmdname(argv[0]), strerror(rc = errno));
1250         return rc;
1251 }
1252
1253 int jt_obd_dump_ldlm(int argc, char **argv)
1254 {
1255         struct obd_ioctl_data data;
1256         int rc;
1257
1258         IOCINIT(data);
1259         if (argc != 1)
1260                 return CMD_HELP;
1261
1262         rc = ioctl(fd, IOC_LDLM_DUMP, &data);
1263         if (rc)
1264                 fprintf(stderr, "error: %s failed: %s\n",
1265                         cmdname(argv[0]), strerror(rc = errno));
1266         return rc;
1267 }
1268
1269 int jt_obd_ldlm_regress_start(int argc, char **argv)
1270 {
1271         int rc;
1272         struct obd_ioctl_data data;
1273         char argstring[200];
1274         int i, count = sizeof(argstring) - 1;
1275
1276         IOCINIT(data);
1277         if (argc > 5)
1278                 return CMD_HELP;
1279
1280         argstring[0] = '\0';
1281         for (i = 1; i < argc; i++) {
1282                 strncat(argstring, " ", count);
1283                 count--;
1284                 strncat(argstring, argv[i], count);
1285                 count -= strlen(argv[i]);
1286         }
1287
1288         if (strlen(argstring)) {
1289                 data.ioc_inlbuf1 = argstring;
1290                 data.ioc_inllen1 = strlen(argstring) + 1;
1291         }
1292
1293         if (obd_ioctl_pack(&data, &buf, max)) {
1294                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
1295                 return -2;
1296         }
1297
1298         rc = ioctl(fd, IOC_LDLM_REGRESS_START, buf);
1299
1300         if (rc)
1301                 fprintf(stderr, "error: %s: test failed: %s\n",
1302                         cmdname(argv[0]), strerror(rc = errno));
1303
1304         return rc;
1305 }
1306
1307 int jt_obd_ldlm_regress_stop(int argc, char **argv)
1308 {
1309         int rc;
1310         struct obd_ioctl_data data;
1311         IOCINIT(data);
1312
1313         if (argc != 1)
1314                 return CMD_HELP;
1315
1316         rc = ioctl(fd, IOC_LDLM_REGRESS_STOP, &data);
1317
1318         if (rc)
1319                 fprintf(stderr, "error: %s: test failed: %s\n",
1320                         cmdname(argv[0]), strerror(rc = errno));
1321         return rc;
1322 }
1323
1324 int jt_obd_newconn(int argc, char **argv)
1325 {
1326         int rc;
1327         struct obd_ioctl_data data;
1328
1329         IOCINIT(data);
1330         if (argc < 2 || argc > 3)
1331                 return CMD_HELP;
1332
1333         data.ioc_inllen1 = strlen(argv[1]) + 1;
1334         data.ioc_inlbuf1 = argv[1];
1335
1336         if (argc == 3) {
1337                 data.ioc_inllen2 = strlen(argv[2]) + 1;
1338                 data.ioc_inlbuf2 = argv[2];
1339         }
1340
1341         if (obd_ioctl_pack(&data, &buf, max)) {
1342                 fprintf(stderr, "error: %s: invalid ioctl\n", cmdname(argv[0]));
1343                 return -2;
1344         }
1345
1346         rc = ioctl(fd, OBD_IOC_RECOVD_NEWCONN, buf);
1347         if (rc < 0)
1348                 fprintf(stderr, "error: %s: %s\n", cmdname(argv[0]),
1349                         strerror(rc = errno));
1350
1351         return rc;
1352 }
1353
1354 static void signal_server(int sig)
1355 {
1356         if (sig == SIGINT) {
1357                 do_disconnect("sigint", 1);
1358                 exit(1);
1359         } else
1360                 fprintf(stderr, "%s: got signal %d\n", cmdname("sigint"), sig);
1361 }
1362
1363 int obd_initialize(int argc, char **argv)
1364 {
1365         SHMEM_SETUP();
1366         return 0;
1367 }
1368
1369
1370 void obd_cleanup(int argc, char **argv)
1371 {
1372         struct sigaction sigact;
1373
1374         sigact.sa_handler = signal_server;
1375         sigfillset(&sigact.sa_mask);
1376         sigact.sa_flags = SA_RESTART;
1377         sigaction(SIGINT, &sigact, NULL);
1378
1379         do_disconnect(argv[0], 1);
1380 }