Whamcloud - gitweb
226852b32e9c40683d8167c1e473226b5ad017ea
[fs/lustre-release.git] / lustre / utils / obd.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2002, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  *
32  * lustre/utils/obd.c
33  *
34  * Author: Peter J. Braam <braam@clusterfs.com>
35  * Author: Phil Schwan <phil@clusterfs.com>
36  * Author: Andreas Dilger <adilger@clusterfs.com>
37  * Author: Robert Read <rread@clusterfs.com>
38  */
39
40 #include <sys/ioctl.h>
41 #include <sys/socket.h>
42 #include <sys/stat.h>
43 #include <sys/time.h>
44 #include <sys/types.h>
45 #include <sys/un.h>
46 #include <sys/wait.h>
47
48 #include <ctype.h>
49 #include <errno.h>
50 #include <fcntl.h>
51 #include <getopt.h>
52 #include <signal.h>
53 #include <stdarg.h>
54 #include <stdbool.h>
55 #include <stdio.h>
56 #include <stdlib.h>
57 #include <string.h>
58 #include <time.h>
59 #include <unistd.h>
60 #include <limits.h>
61
62 #include "obdctl.h"
63 #include "lustreapi_internal.h"
64 #include <libcfs/util/list.h>
65 #include <libcfs/util/ioctl.h>
66 #include <libcfs/util/param.h>
67 #include <libcfs/util/parser.h>
68 #include <libcfs/util/string.h>
69
70 #include <linux/lnet/nidstr.h>
71 #include <linux/lnet/lnetctl.h>
72 #include <linux/lustre/lustre_barrier_user.h>
73 #include <linux/lustre/lustre_cfg.h>
74 #include <linux/lustre/lustre_ioctl.h>
75 #include <linux/lustre/lustre_ostid.h>
76 #include <linux/lustre/lustre_param.h>
77 #include <linux/lustre/lustre_ver.h>
78
79 #include <lustre/lustreapi.h>
80
81 #define MAX_STRING_SIZE 128
82
83 #if HAVE_LIBPTHREAD
84 #include <sys/ipc.h>
85 #include <sys/shm.h>
86 #include <pthread.h>
87
88 #define MAX_THREADS 4096
89 #define MAX_BASE_ID 0xffffffff
90 #define NIDSTRING_LENGTH 64
91 struct shared_data {
92         pthread_mutex_t mutex;
93         pthread_cond_t  cond;
94         int       stopping;
95         struct {
96                 __u64 counters[MAX_THREADS];
97                 __u64 offsets[MAX_THREADS];
98                 int   thr_running;
99                 int   start_barrier;
100                 int   stop_barrier;
101                 struct timeval start_time;
102                 struct timeval end_time;
103         } body;
104 };
105
106 static struct shared_data *shared_data;
107 static __u64 counter_snapshot[2][MAX_THREADS];
108 static int prev_valid;
109 static struct timeval prev_time;
110 static int thread;
111 static int nthreads;
112 #else
113 const int thread = 0;
114 const int nthreads = 1;
115 #endif
116
117 static int cur_device = -1;
118
119 int lcfg_ioctl(char *func, int dev_id, struct lustre_cfg *lcfg)
120 {
121         struct obd_ioctl_data data;
122         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
123         int rc;
124
125         memset(&data, 0, sizeof(data));
126         data.ioc_dev = cur_device;
127         data.ioc_type = LUSTRE_CFG_TYPE;
128         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
129                                         lcfg->lcfg_buflens);
130         data.ioc_pbuf1 = (void *)lcfg;
131         memset(buf, 0, sizeof(rawbuf));
132         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
133         if (rc) {
134                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
135                 return rc;
136         }
137
138         rc =  l_ioctl(dev_id, OBD_IOC_PROCESS_CFG, buf);
139
140         return rc;
141 }
142
143 static int do_device(char *func, char *devname);
144
145 static int get_mgs_device()
146 {
147         char mgs[] = "$MGS";
148         static int mgs_device = -1;
149
150         if (mgs_device == -1) {
151                 int rc;
152                 do_disconnect(NULL, 1);
153                 rc = do_device("mgsioc", mgs);
154                 if (rc) {
155                         fprintf(stderr,
156                                 "This command must be run on the MGS.\n");
157                         errno = ENODEV;
158                         return -1;
159                 }
160                 mgs_device = cur_device;
161         }
162         return mgs_device;
163 }
164
165 /* Returns -1 on error with errno set */
166 int lcfg_mgs_ioctl(char *func, int dev_id, struct lustre_cfg *lcfg)
167 {
168         struct obd_ioctl_data data;
169         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
170         int rc;
171
172         memset(&data, 0, sizeof(data));
173         rc = data.ioc_dev = get_mgs_device();
174         if (rc < 0)
175                 goto out;
176         data.ioc_type = LUSTRE_CFG_TYPE;
177         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
178                                         lcfg->lcfg_buflens);
179         data.ioc_pbuf1 = (void *)lcfg;
180         memset(buf, 0, sizeof(rawbuf));
181         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
182         if (rc) {
183                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
184                 return rc;
185         }
186
187         rc = l_ioctl(dev_id, OBD_IOC_PARAM, buf);
188 out:
189         if (rc && errno == ENOSYS)
190                 fprintf(stderr, "Make sure cfg_device is set first.\n");
191
192         return rc;
193 }
194
195 char *obdo_print(struct obdo *obd)
196 {
197         char buf[1024];
198
199         snprintf(buf, sizeof(buf), "id: %#jx\ngrp: %#jx\natime: %ju\n"
200                  "mtime: %ju\nctime: %ju\nsize: %ju\nblocks: %ju"
201                  "\nblksize: %u\nmode: %o\nuid: %d\ngid: %d\nflags: %x\n"
202                  "misc: %x\nnlink: %d,\nvalid %#jx\n",
203                  (uintmax_t)ostid_id(&obd->o_oi),
204                  (uintmax_t)ostid_seq(&obd->o_oi),
205                  (uintmax_t)obd->o_atime, (uintmax_t)obd->o_mtime,
206                  (uintmax_t)obd->o_ctime, (uintmax_t)obd->o_size,
207                  (uintmax_t)obd->o_blocks, obd->o_blksize, obd->o_mode,
208                  obd->o_uid, obd->o_gid, obd->o_flags, obd->o_misc,
209                  obd->o_nlink, (uintmax_t)obd->o_valid);
210         return strdup(buf);
211 }
212
213
214 #define BAD_VERBOSE (-999999999)
215
216 #define N2D_OFF 0x100      /* So we can tell between error codes and devices */
217
218 static int do_name2dev(char *func, char *name)
219 {
220         struct obd_ioctl_data data;
221         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
222         int rc;
223
224         memset(&data, 0, sizeof(data));
225         data.ioc_dev = cur_device;
226         data.ioc_inllen1 = strlen(name) + 1;
227         data.ioc_inlbuf1 = name;
228
229         memset(buf, 0, sizeof(rawbuf));
230         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
231         if (rc < 0) {
232                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
233                 return -rc;
234         }
235         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_NAME2DEV, buf);
236         if (rc < 0)
237                 return errno;
238         rc = llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
239         if (rc) {
240                 fprintf(stderr, "error: %s: invalid reply\n", jt_cmdname(func));
241                 return rc;
242         }
243
244         return data.ioc_dev + N2D_OFF;
245 }
246
247 /*
248  * resolve a device name to a device number.
249  * supports a number, $name or %uuid.
250  */
251 int parse_devname(char *func, char *name)
252 {
253         int rc;
254         int ret = -1;
255         int try_digit;
256
257         if (!name)
258                 return ret;
259
260         try_digit = isdigit(name[0]);
261
262         if (name[0] == '$' || name[0] == '%')
263                 name++;
264
265         rc = do_name2dev(func, name);
266         if (rc >= N2D_OFF)
267                 return rc - N2D_OFF;
268
269         if (try_digit)
270                 ret = strtoul(name, NULL, 0);
271         else
272                 fprintf(stderr, "No device found for name %s: %s\n",
273                                 name, strerror(rc));
274         return ret;
275 }
276
277 char *jt_cmdname(char *func)
278 {
279         static char buf[512];
280
281         if (thread) {
282                 sprintf(buf, "%s-%d", func, thread);
283                 return buf;
284         }
285
286         return func;
287 }
288
289 #define difftime(a, b)                                  \
290         ((a)->tv_sec - (b)->tv_sec +                    \
291          ((a)->tv_usec - (b)->tv_usec) / 1000000.0)
292
293 static int be_verbose(int verbose, struct timeval *next_time,
294                       __u64 num, __u64 *next_num, int num_total)
295 {
296         struct timeval now;
297
298         if (!verbose)
299                 return 0;
300
301         if (next_time != NULL)
302                 gettimeofday(&now, NULL);
303
304         /* A positive verbosity means to print every X iterations */
305         if (verbose > 0 && (num >= *next_num || num >= num_total)) {
306                 *next_num += verbose;
307                 if (next_time) {
308                         next_time->tv_sec = now.tv_sec - verbose;
309                         next_time->tv_usec = now.tv_usec;
310                 }
311                 return 1;
312         }
313
314         /* A negative verbosity means to print at most each X seconds */
315         if (verbose < 0 && next_time != NULL &&
316             difftime(&now, next_time) >= 0.0){
317                 next_time->tv_sec = now.tv_sec - verbose;
318                 next_time->tv_usec = now.tv_usec;
319                 *next_num = num;
320                 return 1;
321         }
322
323         return 0;
324 }
325
326 static int get_verbose(char *func, const char *arg)
327 {
328         int verbose;
329         char *end;
330
331         if (!arg || arg[0] == 'v')
332                 verbose = 1;
333         else if (arg[0] == 's' || arg[0] == 'q')
334                 verbose = 0;
335         else {
336                 verbose = (int)strtoul(arg, &end, 0);
337                 if (*end) {
338                         fprintf(stderr, "error: %s: bad verbose option '%s'\n",
339                                 jt_cmdname(func), arg);
340                         return BAD_VERBOSE;
341                 }
342         }
343
344         if (verbose < 0)
345                 printf("Print status every %d seconds\n", -verbose);
346         else if (verbose == 1)
347                 printf("Print status every operation\n");
348         else if (verbose > 1)
349                 printf("Print status every %d operations\n", verbose);
350
351         return verbose;
352 }
353
354 int do_disconnect(char *func, int verbose)
355 {
356         lcfg_set_devname(NULL);
357         cur_device = -1;
358         return 0;
359 }
360
361 #ifdef MAX_THREADS
362 static int shmem_setup(void)
363 {
364         pthread_mutexattr_t mattr;
365         pthread_condattr_t  cattr;
366         int                 rc;
367         int                 shmid;
368
369         /* Create new segment */
370         shmid = shmget(IPC_PRIVATE, sizeof(*shared_data), 0600);
371         if (shmid == -1) {
372                 fprintf(stderr, "Can't create shared data: %s\n",
373                         strerror(errno));
374                 return errno;
375         }
376
377         /* Attatch to new segment */
378         shared_data = (struct shared_data *)shmat(shmid, NULL, 0);
379
380         if (shared_data == (struct shared_data *)(-1)) {
381                 fprintf(stderr, "Can't attach shared data: %s\n",
382                         strerror(errno));
383                 shared_data = NULL;
384                 return errno;
385         }
386
387         /* Mark segment as destroyed, so it will disappear when we exit.
388          * Forks will inherit attached segments, so we should be OK.
389          */
390         if (shmctl(shmid, IPC_RMID, NULL) == -1) {
391                 fprintf(stderr, "Can't destroy shared data: %s\n",
392                         strerror(errno));
393                 return errno;
394         }
395
396         pthread_mutexattr_init(&mattr);
397         pthread_condattr_init(&cattr);
398
399         rc = pthread_mutexattr_setpshared(&mattr, PTHREAD_PROCESS_SHARED);
400         if (rc != 0) {
401                 fprintf(stderr, "Can't set shared mutex attr\n");
402                 goto out;
403         }
404
405         rc = pthread_condattr_setpshared(&cattr, PTHREAD_PROCESS_SHARED);
406         if (rc != 0) {
407                 fprintf(stderr, "Can't set shared cond attr\n");
408                 goto out;
409         }
410
411         pthread_mutex_init(&shared_data->mutex, &mattr);
412         pthread_cond_init(&shared_data->cond, &cattr);
413 out:
414         pthread_mutexattr_destroy(&mattr);
415         pthread_condattr_destroy(&cattr);
416
417         return rc;
418 }
419
420 static inline void shmem_lock(void)
421 {
422         pthread_mutex_lock(&shared_data->mutex);
423 }
424
425 static inline void shmem_unlock(void)
426 {
427         pthread_mutex_unlock(&shared_data->mutex);
428 }
429
430 static inline void shmem_wait(void)
431 {
432         pthread_cond_wait(&shared_data->cond, &shared_data->mutex);
433 }
434
435 static inline void shmem_wakeup_all(void)
436 {
437         pthread_cond_broadcast(&shared_data->cond);
438 }
439
440 static inline void shmem_reset(int total_threads)
441 {
442         if (shared_data == NULL)
443                 return;
444
445         memset(&shared_data->body, 0, sizeof(shared_data->body));
446         memset(counter_snapshot, 0, sizeof(counter_snapshot));
447         prev_valid = 0;
448         shared_data->stopping = 0;
449         shared_data->body.start_barrier = total_threads;
450         shared_data->body.stop_barrier = total_threads;
451 }
452
453 static inline void shmem_bump(__u32 counter)
454 {
455         static bool running_not_bumped = true;
456
457         if (shared_data == NULL || thread <= 0 || thread > MAX_THREADS)
458                 return;
459
460         shmem_lock();
461         shared_data->body.counters[thread - 1] += counter;
462         if (running_not_bumped) {
463                 shared_data->body.thr_running++;
464                 running_not_bumped = false;
465         }
466         shmem_unlock();
467 }
468
469 static void shmem_total(int total_threads)
470 {
471         __u64 total = 0;
472         double secs;
473         int i;
474
475         if (shared_data == NULL || total_threads > MAX_THREADS)
476                 return;
477
478         shmem_lock();
479         for (i = 0; i < total_threads; i++)
480                 total += shared_data->body.counters[i];
481
482         secs = difftime(&shared_data->body.end_time,
483                         &shared_data->body.start_time);
484         shmem_unlock();
485
486         printf("Total: total %ju threads %d sec %f %f/second\n",
487                (uintmax_t)total, total_threads, secs, total / secs);
488
489         return;
490 }
491
492 static void shmem_snap(int total_threads, int live_threads)
493 {
494         struct timeval this_time;
495         int non_zero = 0;
496         __u64 total = 0;
497         double secs;
498         int running;
499         int i;
500
501         if (shared_data == NULL || total_threads > MAX_THREADS)
502                 return;
503
504         shmem_lock();
505         memcpy(counter_snapshot[0], shared_data->body.counters,
506                total_threads * sizeof(counter_snapshot[0][0]));
507         running = shared_data->body.thr_running;
508         shmem_unlock();
509
510         gettimeofday(&this_time, NULL);
511
512         for (i = 0; i < total_threads; i++) {
513                 long long this_count =
514                         counter_snapshot[0][i] - counter_snapshot[1][i];
515
516                 if (this_count != 0) {
517                         non_zero++;
518                         total += this_count;
519                 }
520         }
521
522         secs = difftime(&this_time, &prev_time);
523         if (prev_valid && secs > 1.0) {   /* someone screwed with the time? */
524                 printf("%d/%d Total: %f/second\n", non_zero, total_threads,
525                        total / secs);
526
527                 memcpy(counter_snapshot[1], counter_snapshot[0],
528                        total_threads * sizeof(counter_snapshot[0][0]));
529                 prev_time = this_time;
530         }
531         if (!prev_valid && running == total_threads) {
532                 prev_valid = 1;
533                 /* drop counters when all threads were started */
534                 memcpy(counter_snapshot[1], counter_snapshot[0],
535                        total_threads * sizeof(counter_snapshot[0][0]));
536                 prev_time = this_time;
537         }
538 }
539
540 static void shmem_stop(void)
541 {
542         if (shared_data == NULL)
543                 return;
544
545         shared_data->stopping = 1;
546 }
547
548 static void shmem_cleanup(void)
549 {
550         if (shared_data == NULL)
551                 return;
552
553         shmem_stop();
554
555         pthread_mutex_destroy(&shared_data->mutex);
556         pthread_cond_destroy(&shared_data->cond);
557 }
558
559 static int shmem_running(void)
560 {
561         return (shared_data == NULL || !shared_data->stopping);
562 }
563
564 static void shmem_end_time_locked(void)
565 {
566         shared_data->body.stop_barrier--;
567         if (shared_data->body.stop_barrier == 0)
568                 gettimeofday(&shared_data->body.end_time, NULL);
569 }
570
571 static void shmem_start_time_locked(void)
572 {
573         shared_data->body.start_barrier--;
574         if (shared_data->body.start_barrier == 0) {
575                 shmem_wakeup_all();
576                 gettimeofday(&shared_data->body.start_time, NULL);
577         } else {
578                 shmem_wait();
579         }
580 }
581
582 #else
583 static int shmem_setup(void)
584 {
585         return 0;
586 }
587
588 static inline void shmem_reset(int total_threads)
589 {
590 }
591
592 static inline void shmem_bump(__u32 counters)
593 {
594 }
595
596 static void shmem_lock()
597 {
598 }
599
600 static void shmem_unlock()
601 {
602 }
603
604 static void shmem_cleanup(void)
605 {
606 }
607
608 static int shmem_running(void)
609 {
610         return 1;
611 }
612 #endif
613
614 extern command_t cmdlist[];
615
616 static int do_device(char *func, char *devname)
617 {
618         int dev;
619
620         dev = parse_devname(func, devname);
621         if (dev < 0)
622                 return -1;
623
624         lcfg_set_devname(devname);
625         cur_device = dev;
626         return 0;
627 }
628
629 int jt_obd_get_device()
630 {
631         return cur_device;
632 }
633
634 int jt_obd_device(int argc, char **argv)
635 {
636         int rc;
637
638         if (argc > 2)
639                 return CMD_HELP;
640
641         if (argc == 1) {
642                 printf("current device is %d - %s\n",
643                        cur_device, lcfg_get_devname() ? : "not set");
644                 return 0;
645         }
646         rc = do_device("device", argv[1]);
647         return rc;
648 }
649
650 int jt_opt_device(int argc, char **argv)
651 {
652         int ret;
653         int rc;
654
655         if (argc < 3)
656                 return CMD_HELP;
657
658         rc = do_device("device", argv[1]);
659
660         if (!rc)
661                 rc = Parser_execarg(argc - 2, argv + 2, cmdlist);
662
663         ret = do_disconnect(argv[0], 0);
664         if (!rc)
665                 rc = ret;
666
667         return rc;
668 }
669
670 #ifdef MAX_THREADS
671 static void parent_sighandler (int sig)
672 {
673         return;
674 }
675
676 int jt_opt_threads(int argc, char **argv)
677 {
678         static char      cmdstr[129];
679         sigset_t         saveset;
680         sigset_t         sigset;
681         struct sigaction sigact;
682         struct sigaction saveact1;
683         struct sigaction saveact2;
684         unsigned long    threads;
685         __u64            next_thread;
686         int verbose;
687         int rc = 0;
688         int report_count = -1;
689         char *end;
690         int i;
691
692         if (argc < 5)
693                 return CMD_HELP;
694
695         threads = strtoul(argv[1], &end, 0);
696
697         if (*end == '.')
698                 report_count = strtoul(end + 1, &end, 0);
699
700         if (*end || threads > MAX_THREADS) {
701                 fprintf(stderr, "error: %s: invalid thread count '%s'\n",
702                         jt_cmdname(argv[0]), argv[1]);
703                 return CMD_HELP;
704         }
705
706         verbose = get_verbose(argv[0], argv[2]);
707         if (verbose == BAD_VERBOSE)
708                 return CMD_HELP;
709
710         if (verbose != 0) {
711                 snprintf(cmdstr, sizeof(cmdstr), "%s", argv[4]);
712                 for (i = 5; i < argc; i++)
713                         snprintf(cmdstr + strlen(cmdstr),
714                                  sizeof(cmdstr) - strlen(cmdstr),
715                                  " %s", argv[i]);
716
717                 printf("%s: starting %ld threads on device %s running %s\n",
718                        argv[0], threads, argv[3], cmdstr);
719         }
720
721         shmem_reset(threads);
722
723         sigemptyset(&sigset);
724         sigaddset(&sigset, SIGALRM);
725         sigaddset(&sigset, SIGCHLD);
726         sigprocmask(SIG_BLOCK, &sigset, &saveset);
727
728         nthreads = threads;
729
730         for (i = 1, next_thread = verbose; i <= threads; i++) {
731                 rc = fork();
732                 if (rc < 0) {
733                         fprintf(stderr, "error: %s: #%d - %s\n", argv[0], i,
734                                 strerror(rc = errno));
735                         break;
736                 } else if (rc == 0) {
737                         sigprocmask(SIG_SETMASK, &saveset, NULL);
738
739                         thread = i;
740                         argv[2] = "--device";
741                         exit(jt_opt_device(argc - 2, argv + 2));
742                 } else if (be_verbose(verbose, NULL, i, &next_thread, threads))
743                         printf("%s: thread #%d (PID %d) started\n",
744                                argv[0], i, rc);
745                 rc = 0;
746         }
747
748         if (!thread) {          /* parent process */
749                 int live_threads = threads;
750
751                 sigemptyset(&sigset);
752                 sigemptyset(&sigact.sa_mask);
753                 sigact.sa_handler = parent_sighandler;
754                 sigact.sa_flags = 0;
755
756                 sigaction(SIGALRM, &sigact, &saveact1);
757                 sigaction(SIGCHLD, &sigact, &saveact2);
758
759                 while (live_threads > 0) {
760                         int status;
761                         pid_t ret;
762
763                         if (verbose < 0)        /* periodic stats */
764                                 alarm(-verbose);
765
766                         sigsuspend(&sigset);
767                         alarm(0);
768
769                         while (live_threads > 0) {
770                                 ret = waitpid(0, &status, WNOHANG);
771                                 if (ret == 0)
772                                         break;
773
774                                 if (ret < 0) {
775                                         fprintf(stderr, "error: %s: wait - %s\n",
776                                                 argv[0], strerror(errno));
777                                         if (!rc)
778                                                 rc = errno;
779                                         continue;
780                                 } else {
781                                         /*
782                                          * This is a hack.  We _should_ be able
783                                          * to use WIFEXITED(status) to see if
784                                          * there was an error, but it appears
785                                          * to be broken and it always returns 1
786                                          * (OK).  See wait(2).
787                                          */
788                                         int err = WEXITSTATUS(status);
789                                         if (err || WIFSIGNALED(status))
790                                                 fprintf(stderr,
791                                                         "%s: PID %d had rc=%d\n",
792                                                         argv[0], ret, err);
793                                         if (!rc)
794                                                 rc = err;
795
796                                         live_threads--;
797                                 }
798                         }
799
800                         /* Show stats while all threads running */
801                         if (verbose < 0) {
802                                 shmem_snap(threads, live_threads);
803                                 if (report_count > 0 && --report_count == 0)
804                                         shmem_stop();
805                         }
806                 }
807                 sigaction(SIGCHLD, &saveact2, NULL);
808                 sigaction(SIGALRM, &saveact1, NULL);
809         }
810
811         shmem_total(threads);
812         sigprocmask(SIG_SETMASK, &saveset, NULL);
813
814         return rc;
815 }
816 #else
817 int jt_opt_threads(int argc, char **argv)
818 {
819         fprintf(stderr, "%s not-supported in a single-threaded runtime\n",
820                 jt_cmdname(argv[0]));
821         return CMD_HELP;
822 }
823 #endif
824
825 int jt_opt_net(int argc, char **argv)
826 {
827         char *arg2[3];
828         int rc;
829
830         if (argc < 3)
831                 return CMD_HELP;
832
833         arg2[0] = argv[0];
834         arg2[1] = argv[1];
835         arg2[2] = NULL;
836         rc = jt_ptl_network (2, arg2);
837
838         if (!rc)
839                 rc = Parser_execarg(argc - 2, argv + 2, cmdlist);
840
841         return rc;
842 }
843
844 int jt_obd_no_transno(int argc, char **argv)
845 {
846         struct obd_ioctl_data data;
847         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
848         int rc;
849
850         memset(&data, 0, sizeof(data));
851         data.ioc_dev = cur_device;
852
853         if (argc != 1)
854                 return CMD_HELP;
855
856         memset(buf, 0, sizeof(rawbuf));
857         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
858         if (rc) {
859                 fprintf(stderr, "error: %s: invalid ioctl\n",
860                         jt_cmdname(argv[0]));
861                 return rc;
862         }
863         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_NO_TRANSNO, buf);
864         if (rc < 0)
865                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
866                         strerror(rc = errno));
867
868         return rc;
869 }
870
871 int jt_obd_set_readonly(int argc, char **argv)
872 {
873         struct obd_ioctl_data data;
874         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
875         int rc;
876
877         memset(&data, 0, sizeof(data));
878         data.ioc_dev = cur_device;
879
880         if (argc != 1)
881                 return CMD_HELP;
882
883         memset(buf, 0, sizeof(rawbuf));
884         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
885         if (rc) {
886                 fprintf(stderr, "error: %s: invalid ioctl\n",
887                         jt_cmdname(argv[0]));
888                 return rc;
889         }
890         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SET_READONLY, buf);
891         if (rc < 0)
892                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
893                         strerror(rc = errno));
894
895         return rc;
896 }
897
898 int jt_obd_abort_recovery(int argc, char **argv)
899 {
900         struct obd_ioctl_data data;
901         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
902         int rc;
903
904         memset(&data, 0, sizeof(data));
905         data.ioc_dev = cur_device;
906
907         if (argc != 1)
908                 return CMD_HELP;
909
910         memset(buf, 0, sizeof(rawbuf));
911         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
912         if (rc) {
913                 fprintf(stderr, "error: %s: invalid ioctl\n",
914                         jt_cmdname(argv[0]));
915                 return rc;
916         }
917         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ABORT_RECOVERY, buf);
918         if (rc < 0)
919                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
920                         strerror(rc = errno));
921
922         return rc;
923 }
924
925 int jt_get_version(int argc, char **argv)
926 {
927         char version[128];
928         int rc;
929
930         if (argc != 1)
931                 return CMD_HELP;
932
933         rc = llapi_get_version_string(version, sizeof(version));
934         if (rc)
935                 printf("Lustre version: %s\n", LUSTRE_VERSION_STRING);
936         else
937                 printf("Lustre version: %s\n", version);
938
939         return 0;
940 }
941
942 static void print_obd_line(char *s)
943 {
944         const char *param = "osc/%s/ost_conn_uuid";
945         char buf[MAX_STRING_SIZE];
946         char obd_name[MAX_OBD_NAME];
947         FILE *fp = NULL;
948         glob_t path;
949         char *ptr;
950 retry:
951         /* obd device type is the first 3 characters of param name */
952         snprintf(buf, sizeof(buf), " %%*d %%*s %.3s %%%zus %%*s %%*d ",
953                  param, sizeof(obd_name) - 1);
954         if (sscanf(s, buf, obd_name) == 0)
955                 goto try_mdc;
956         if (cfs_get_param_paths(&path, param, obd_name) != 0)
957                 goto try_mdc;
958         fp = fopen(path.gl_pathv[0], "r");
959         if (fp == NULL) {
960                 /* need to free path data before retry */
961                 cfs_free_param_data(&path);
962 try_mdc:
963                 if (param[0] == 'o') { /* failed with osc, try mdc */
964                         param = "mdc/%s/mds_conn_uuid";
965                         goto retry;
966                 }
967                 buf[0] = '\0';
968                 goto fail_print;
969         }
970
971         /* should not ignore fgets(3)'s return value */
972         if (!fgets(buf, sizeof(buf), fp)) {
973                 fprintf(stderr, "reading from %s: %s", buf, strerror(errno));
974                 goto fail_close;
975         }
976
977 fail_close:
978         fclose(fp);
979         cfs_free_param_data(&path);
980
981         /* trim trailing newlines */
982         ptr = strrchr(buf, '\n');
983         if (ptr)
984                 *ptr = '\0';
985 fail_print:
986         ptr = strrchr(s, '\n');
987         if (ptr)
988                 *ptr = '\0';
989         printf("%s%s%s\n", s, buf[0] ? " " : "", buf);
990 }
991
992 /* get device list by ioctl */
993 int jt_obd_list_ioctl(int argc, char **argv)
994 {
995         int rc, index;
996         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
997         struct obd_ioctl_data *data = (struct obd_ioctl_data *)buf;
998
999         if (argc > 2)
1000                 return CMD_HELP;
1001         /* Just ignore a -t option.  Only supported with /proc. */
1002         else if (argc == 2 && strcmp(argv[1], "-t") != 0)
1003                 return CMD_HELP;
1004
1005         for (index = 0;; index++) {
1006                 memset(buf, 0, sizeof(rawbuf));
1007                 data->ioc_version = OBD_IOCTL_VERSION;
1008                 data->ioc_inllen1 =
1009                         sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(*data), 8);
1010                 data->ioc_inlbuf1 = buf + __ALIGN_KERNEL(sizeof(*data), 8);
1011                 data->ioc_len = obd_ioctl_packlen(data);
1012                 data->ioc_count = index;
1013
1014                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETDEVICE, buf);
1015                 if (rc != 0)
1016                         break;
1017                 printf("%s\n", (char *)data->ioc_bulk);
1018         }
1019         if (rc != 0) {
1020                 if (errno == ENOENT)
1021                         /* no device or the last device */
1022                         rc = 0;
1023                 else
1024                         fprintf(stderr,
1025                                 "Error getting device list: %s: check dmesg\n",
1026                                 strerror(errno));
1027         }
1028         return rc;
1029 }
1030
1031 int jt_obd_list(int argc, char **argv)
1032 {
1033         char buf[MAX_STRING_SIZE];
1034         int print_obd = 0;
1035         glob_t path;
1036         FILE *fp;
1037
1038         if (argc > 2)
1039                 return CMD_HELP;
1040
1041         if (argc == 2) {
1042                 if (strcmp(argv[1], "-t") == 0)
1043                         print_obd = 1;
1044                 else
1045                         return CMD_HELP;
1046         }
1047
1048         if (cfs_get_param_paths(&path, "devices") ||
1049             !(fp = fopen(path.gl_pathv[0], "r"))) {
1050                 cfs_free_param_data(&path);
1051
1052                 return jt_obd_list_ioctl(argc, argv);
1053         }
1054
1055         while (fgets(buf, sizeof(buf), fp) != NULL)
1056                 if (print_obd)
1057                         print_obd_line(buf);
1058                 else
1059                         printf("%s", buf);
1060
1061         cfs_free_param_data(&path);
1062         fclose(fp);
1063         return 0;
1064 }
1065
1066 struct jt_fid_space {
1067         __u64   jt_seq;
1068         __u64   jt_id;
1069         int     jt_width;
1070 };
1071
1072 int jt_obd_alloc_fids(struct jt_fid_space *space, struct lu_fid *fid,
1073                       __u64 *count)
1074 {
1075         int rc;
1076
1077         if (space->jt_seq == 0 || space->jt_id == space->jt_width) {
1078                 struct obd_ioctl_data  data;
1079                 char rawbuf[MAX_IOC_BUFLEN];
1080                 char *buf = rawbuf;
1081                 __u64 seqnr;
1082                 int max_count;
1083
1084                 memset(&data, 0, sizeof(data));
1085                 data.ioc_dev = cur_device;
1086
1087                 data.ioc_pbuf1 = (char *)&seqnr;
1088                 data.ioc_plen1 = sizeof(seqnr);
1089
1090                 data.ioc_pbuf2 = (char *)&max_count;
1091                 data.ioc_plen2 = sizeof(max_count);
1092
1093                 memset(buf, 0, sizeof(rawbuf));
1094                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1095                 if (rc) {
1096                         fprintf(stderr, "error: invalid ioctl rc = %d\n", rc);
1097                         return rc;
1098                 }
1099
1100                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ECHO_ALLOC_SEQ, buf);
1101                 if (rc) {
1102                         fprintf(stderr, "ioctl error: rc = %d\n", rc);
1103                         return rc;
1104                 }
1105
1106                 space->jt_seq = *(__u64 *)data.ioc_pbuf1;
1107                 space->jt_width = *(int *)data.ioc_pbuf2;
1108                 space->jt_id = 1;
1109         }
1110         fid->f_seq = space->jt_seq;
1111         fid->f_oid = space->jt_id;
1112         fid->f_ver = 0;
1113
1114         space->jt_id = space->jt_id + *count;
1115         if (space->jt_id > space->jt_width)
1116                 space->jt_id = space->jt_width;
1117
1118         *count = space->jt_id - fid->f_oid;
1119         return 0;
1120 }
1121
1122 #define MD_STEP_COUNT 1000
1123 int jt_obd_md_common(int argc, char **argv, int cmd)
1124 {
1125         struct obd_ioctl_data  data;
1126         struct timeval         start;
1127         struct timeval         end_time;
1128         char                   rawbuf[MAX_IOC_BUFLEN];
1129         char                  *buf = rawbuf;
1130         int                    mode = 0000644;
1131         int                    create_mode;
1132         int                    rc = 0;
1133         char                  *parent_basedir = NULL;
1134         char                   dirname[4096];
1135         int                    parent_base_id = 0;
1136         int                    parent_count = 1;
1137         __u64                  child_base_id = -1;
1138         int                    stripe_count = 0;
1139         int                    stripe_index = -1;
1140         int                    count = 0;
1141         char                  *end;
1142         __u64                  seconds = 0;
1143         double                 diff;
1144         int                    c;
1145         __u64                  total_count = 0;
1146         char                  *name = NULL;
1147         struct jt_fid_space    fid_space = {0};
1148         int                    version = 0;
1149         struct option long_opts[] = {
1150         { .val = 'b',   .name = "child_base_id",
1151                                                 .has_arg = required_argument },
1152         { .val = 'c',   .name = "stripe_count",
1153                                                 .has_arg = required_argument },
1154         { .val = 'd',   .name = "parent_basedir",
1155                                                 .has_arg = required_argument },
1156         { .val = 'D',   .name = "parent_dircount",
1157                                                 .has_arg = required_argument },
1158         { .val = 'i',   .name = "stripe_index", .has_arg = required_argument },
1159         { .val = 'm',   .name = "mode",         .has_arg = required_argument },
1160         { .val = 'n',   .name = "count",        .has_arg = required_argument },
1161         { .val = 't',   .name = "time",         .has_arg = required_argument },
1162         { .val = 'v',   .name = "version",      .has_arg = no_argument },
1163         { .name = NULL } };
1164
1165         while ((c = getopt_long(argc, argv, "b:c:d:D:m:n:t:v",
1166                                 long_opts, NULL)) >= 0) {
1167                 switch (c) {
1168                 case 'b':
1169                         child_base_id = strtoull(optarg, &end, 0);
1170                         if (*end) {
1171                                 fprintf(stderr, "error: %s: bad child_base_id"
1172                                         " '%s'\n", jt_cmdname(argv[0]), optarg);
1173                                 return CMD_HELP;
1174                         }
1175                         break;
1176                 case 'c':
1177                         stripe_count = strtoul(optarg, &end, 0);
1178                         if (*end) {
1179                                 fprintf(stderr, "error: %s: bad stripe count"
1180                                         " '%s'\n", jt_cmdname(argv[0]), optarg);
1181                                 return CMD_HELP;
1182                         }
1183                         break;
1184                 case 'd':
1185                         parent_basedir = optarg;
1186                         break;
1187                 case 'D':
1188                         parent_count = strtoul(optarg, &end, 0);
1189                         if (*end) {
1190                                 fprintf(stderr, "error: %s: bad parent count"
1191                                         " '%s'\n", jt_cmdname(argv[0]), optarg);
1192                                 return CMD_HELP;
1193                         }
1194                         break;
1195                 case 'i':
1196                         stripe_index = strtoul(optarg, &end, 0);
1197                         if (*end) {
1198                                 fprintf(stderr, "error: %s: bad stripe index"
1199                                         " '%s'\n", jt_cmdname(argv[0]), optarg);
1200                                 return CMD_HELP;
1201                         }
1202                         break;
1203                 case 'm':
1204                         mode = strtoul(optarg, &end, 0);
1205                         if (*end) {
1206                                 fprintf(stderr, "error: %s: bad mode '%s'\n",
1207                                         jt_cmdname(argv[0]), optarg);
1208                                 return CMD_HELP;
1209                         }
1210                         break;
1211                 case 'n':
1212                         total_count = strtoul(optarg, &end, 0);
1213                         if (*end || total_count == 0) {
1214                                 fprintf(stderr, "%s: bad child count '%s'\n",
1215                                         jt_cmdname(argv[0]), optarg);
1216                                 return CMD_HELP;
1217                         }
1218                         break;
1219                 case 't':
1220                         seconds = strtoull(optarg, &end, 0);
1221                         if (*end) {
1222                                 fprintf(stderr, "error: %s: seconds '%s'\n",
1223                                         jt_cmdname(argv[0]), optarg);
1224                                 return CMD_HELP;
1225                         }
1226                         break;
1227                 case 'v':
1228                         version = 1;
1229                         break;
1230                 default:
1231                         fprintf(stderr, "error: %s: option '%s' "
1232                                 "unrecognized\n", argv[0], argv[optind - 1]);
1233                         return CMD_HELP;
1234                 }
1235         }
1236
1237         memset(&data, 0, sizeof(data));
1238         data.ioc_dev = cur_device;
1239         if (child_base_id == -1) {
1240                 if (optind >= argc)
1241                         return CMD_HELP;
1242                 name = argv[optind];
1243                 total_count = 1;
1244         } else {
1245                 if (optind < argc) {
1246                         fprintf(stderr, "child_base_id and name can not"
1247                                         " specified at the same time\n");
1248                         return CMD_HELP;
1249                 }
1250         }
1251
1252         if (stripe_count == 0 && stripe_index != -1) {
1253                 fprintf(stderr, "If stripe_count is 0, stripe_index can not"
1254                                 "be specified\n");
1255                 return CMD_HELP;
1256         }
1257
1258         if (total_count == 0 && seconds == 0) {
1259                 fprintf(stderr, "count or seconds needs to be indicated\n");
1260                 return CMD_HELP;
1261         }
1262
1263         if (parent_count <= 0) {
1264                 fprintf(stderr, "parent count must < 0\n");
1265                 return CMD_HELP;
1266         }
1267
1268 #ifdef MAX_THREADS
1269         if (thread) {
1270                 shmem_lock();
1271                 /* threads interleave */
1272                 if (parent_base_id != -1)
1273                         parent_base_id += (thread - 1) % parent_count;
1274
1275                 if (child_base_id != -1)
1276                         child_base_id +=  (thread - 1) * \
1277                                           (MAX_BASE_ID / nthreads);
1278
1279                 shmem_start_time_locked();
1280                 shmem_unlock();
1281         }
1282 #endif
1283         /* If parent directory is not specified, try to get the directory
1284          * from name */
1285         if (parent_basedir == NULL) {
1286                 char *last_lash;
1287                 if (name == NULL) {
1288                         fprintf(stderr, "parent_basedir or name must be"
1289                                         "indicated!\n");
1290                         return CMD_HELP;
1291                 }
1292                 /*Get directory and name from name*/
1293                 last_lash = strrchr(name, '/');
1294                 if (last_lash == NULL || name[0] != '/') {
1295                         fprintf(stderr, "Can not locate %s\n", name);
1296                         return CMD_HELP;
1297                 }
1298
1299                 if (last_lash == name) {
1300                         sprintf(dirname, "%s", "/");
1301                         name++;
1302                 } else {
1303                         int namelen = (unsigned long)last_lash -
1304                                       (unsigned long)name + 1;
1305                         snprintf(dirname, namelen, "%s", name);
1306                         name = last_lash + 1;
1307                 }
1308
1309                 data.ioc_pbuf1 = dirname;
1310                 data.ioc_plen1 = strlen(dirname);
1311
1312                 data.ioc_pbuf2 = name;
1313                 data.ioc_plen2 = strlen(name);
1314         } else {
1315                 if (name != NULL) {
1316                         data.ioc_pbuf2 = name;
1317                         data.ioc_plen2 = strlen(name);
1318                 }
1319                 if (parent_base_id > 0)
1320                         sprintf(dirname, "%s%d", parent_basedir,
1321                                 parent_base_id);
1322                 else
1323                         sprintf(dirname, "%s", parent_basedir);
1324                 data.ioc_pbuf1 = dirname;
1325                 data.ioc_plen1 = strlen(dirname);
1326         }
1327
1328         if (cmd == ECHO_MD_MKDIR || cmd == ECHO_MD_RMDIR)
1329                 create_mode = S_IFDIR;
1330         else
1331                 create_mode = S_IFREG;
1332
1333         data.ioc_obdo1.o_mode = mode | S_IFDIR;
1334         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE |
1335                                  OBD_MD_FLFLAGS | OBD_MD_FLGROUP;
1336         data.ioc_command = cmd;
1337
1338         gettimeofday(&start, NULL);
1339         while (shmem_running()) {
1340                 struct lu_fid fid = { 0 };
1341
1342                 if (child_base_id != -1)
1343                         data.ioc_obdo2.o_oi.oi.oi_id = child_base_id;
1344                 data.ioc_obdo2.o_mode = mode | create_mode;
1345                 data.ioc_obdo2.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE |
1346                                          OBD_MD_FLMODE | OBD_MD_FLFLAGS |
1347                                          OBD_MD_FLGROUP;
1348                 data.ioc_obdo2.o_misc = stripe_count;
1349                 data.ioc_obdo2.o_stripe_idx = stripe_index;
1350
1351                 if (total_count > 0) {
1352                         if ((total_count - count) > MD_STEP_COUNT)
1353                                 data.ioc_count = MD_STEP_COUNT;
1354                         else
1355                                 data.ioc_count = total_count - count;
1356                 } else {
1357                         data.ioc_count = MD_STEP_COUNT;
1358                 }
1359
1360                 if (cmd == ECHO_MD_CREATE || cmd == ECHO_MD_MKDIR) {
1361                         /*Allocate fids for the create */
1362                         rc = jt_obd_alloc_fids(&fid_space, &fid,
1363                                                &data.ioc_count);
1364                         if (rc) {
1365                                 fprintf(stderr, "Allocate fids error %d.\n",rc);
1366                                 return rc;
1367                         }
1368                         data.ioc_obdo1.o_oi.oi_fid = fid;
1369                 }
1370
1371                 child_base_id += data.ioc_count;
1372                 count += data.ioc_count;
1373
1374                 memset(buf, 0, sizeof(rawbuf));
1375                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1376                 if (rc) {
1377                         fprintf(stderr, "error: %s: invalid ioctl %d\n",
1378                                 jt_cmdname(argv[0]), rc);
1379                         return rc;
1380                 }
1381
1382                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ECHO_MD, buf);
1383                 if (rc) {
1384                         fprintf(stderr, "error: %s: %s\n",
1385                                 jt_cmdname(argv[0]), strerror(rc = errno));
1386                         return rc;
1387                 }
1388                 shmem_bump(data.ioc_count);
1389
1390                 gettimeofday(&end_time, NULL);
1391                 diff = difftime(&end_time, &start);
1392                 if (seconds > 0 && (__u64)diff > seconds)
1393                         break;
1394
1395                 if (count >= total_count && total_count > 0)
1396                         break;
1397         }
1398
1399         if (count > 0 && version) {
1400                 gettimeofday(&end_time, NULL);
1401                 diff = difftime(&end_time, &start);
1402                 printf("%s: %d in %.3fs (%.3f /s): %s",
1403                         jt_cmdname(argv[0]), count, diff,
1404                         (double)count/diff, ctime(&end_time.tv_sec));
1405         }
1406
1407 #ifdef MAX_THREADS
1408         if (thread) {
1409                 shmem_lock();
1410                 shmem_end_time_locked();
1411                 shmem_unlock();
1412         }
1413 #endif
1414         return rc;
1415 }
1416
1417 int jt_obd_test_create(int argc, char **argv)
1418 {
1419         return jt_obd_md_common(argc, argv, ECHO_MD_CREATE);
1420 }
1421
1422 int jt_obd_test_mkdir(int argc, char **argv)
1423 {
1424         return jt_obd_md_common(argc, argv, ECHO_MD_MKDIR);
1425 }
1426
1427 int jt_obd_test_destroy(int argc, char **argv)
1428 {
1429         return jt_obd_md_common(argc, argv, ECHO_MD_DESTROY);
1430 }
1431
1432 int jt_obd_test_rmdir(int argc, char **argv)
1433 {
1434         return jt_obd_md_common(argc, argv, ECHO_MD_RMDIR);
1435 }
1436
1437 int jt_obd_test_lookup(int argc, char **argv)
1438 {
1439         return jt_obd_md_common(argc, argv, ECHO_MD_LOOKUP);
1440 }
1441
1442 int jt_obd_test_setxattr(int argc, char **argv)
1443 {
1444         return jt_obd_md_common(argc, argv, ECHO_MD_SETATTR);
1445 }
1446
1447 int jt_obd_test_md_getattr(int argc, char **argv)
1448 {
1449         return jt_obd_md_common(argc, argv, ECHO_MD_GETATTR);
1450 }
1451
1452 int jt_obd_create(int argc, char **argv)
1453 {
1454         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1455         struct obd_ioctl_data data;
1456         struct timeval next_time;
1457         __u64 count = 1, next_count, base_id = 1;
1458         int verbose = 1, mode = 0100644, rc = 0, i;
1459         char *end;
1460
1461         memset(&data, 0, sizeof(data));
1462         data.ioc_dev = cur_device;
1463         if (argc < 2 || argc > 4)
1464                 return CMD_HELP;
1465
1466         count = strtoull(argv[1], &end, 0);
1467         if (*end) {
1468                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1469                         jt_cmdname(argv[0]), argv[1]);
1470                 return CMD_HELP;
1471         }
1472
1473         if (argc > 2) {
1474                 mode = strtoul(argv[2], &end, 0);
1475                 if (*end) {
1476                         fprintf(stderr, "error: %s: invalid mode '%s'\n",
1477                                 jt_cmdname(argv[0]), argv[2]);
1478                         return CMD_HELP;
1479                 }
1480                 if (!(mode & S_IFMT))
1481                         mode |= S_IFREG;
1482         }
1483
1484         if (argc > 3) {
1485                 verbose = get_verbose(argv[0], argv[3]);
1486                 if (verbose == BAD_VERBOSE)
1487                         return CMD_HELP;
1488         }
1489
1490         printf("%s: %jd objects\n", jt_cmdname(argv[0]), (uintmax_t)count);
1491         gettimeofday(&next_time, NULL);
1492         next_time.tv_sec -= verbose;
1493
1494         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1495         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1496                 /*
1497                  * base_id is 1 so we don't need to worry about it being
1498                  * greater than OBIF_MAX_OID
1499                  */
1500                 data.ioc_obdo1.o_oi.oi_fid.f_oid = base_id;
1501                 data.ioc_obdo1.o_mode = mode;
1502                 data.ioc_obdo1.o_uid = 0;
1503                 data.ioc_obdo1.o_gid = 0;
1504                 data.ioc_obdo1.o_projid = 0;
1505                 data.ioc_obdo1.o_valid = OBD_MD_FLTYPE | OBD_MD_FLMODE |
1506                                          OBD_MD_FLID | OBD_MD_FLUID |
1507                                          OBD_MD_FLGID | OBD_MD_FLGROUP |
1508                                          OBD_MD_FLPROJID;
1509
1510                 memset(buf, 0, sizeof(rawbuf));
1511                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1512                 if (rc) {
1513                         fprintf(stderr, "error: %s: invalid ioctl\n",
1514                                 jt_cmdname(argv[0]));
1515                         return rc;
1516                 }
1517                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CREATE, buf);
1518                 llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1519                 shmem_bump(1);
1520                 if (rc < 0) {
1521                         fprintf(stderr, "error: %s: #%d - %s\n",
1522                                 jt_cmdname(argv[0]), i, strerror(rc = errno));
1523                         break;
1524                 }
1525                 if (!(data.ioc_obdo1.o_valid & OBD_MD_FLID)) {
1526                         fprintf(stderr, "error: %s: oid not valid #%d:%#jx\n",
1527                                 jt_cmdname(argv[0]), i,
1528                                 (uintmax_t)data.ioc_obdo1.o_valid);
1529                         rc = EINVAL;
1530                         break;
1531                 }
1532
1533                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1534                         printf("%s: #%d is object id %#jx\n",
1535                                jt_cmdname(argv[0]), i,
1536                                (uintmax_t) ostid_id(&data.ioc_obdo1.o_oi));
1537         }
1538
1539         return rc;
1540 }
1541
1542 int jt_obd_setattr(int argc, char **argv)
1543 {
1544         struct obd_ioctl_data data;
1545         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1546         __u64 objid;
1547         char *end;
1548         int mode;
1549         int rc;
1550
1551         memset(&data, 0, sizeof(data));
1552         data.ioc_dev = cur_device;
1553         if (argc != 2)
1554                 return CMD_HELP;
1555
1556         objid = strtoull(argv[1], &end, 0);
1557         if (*end) {
1558                 fprintf(stderr, "error: %s: objid '%s' is not a number\n",
1559                         jt_cmdname(argv[0]), argv[1]);
1560                 return CMD_HELP;
1561         }
1562
1563         if (objid >= OBIF_MAX_OID) {
1564                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1565                         jt_cmdname(argv[0]), argv[1]);
1566                 return CMD_HELP;
1567         }
1568
1569         mode = strtoul(argv[2], &end, 0);
1570         if (*end) {
1571                 fprintf(stderr, "error: %s: invalid mode '%s'\n",
1572                         jt_cmdname(argv[0]), argv[2]);
1573                 return CMD_HELP;
1574         }
1575
1576         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1577         data.ioc_obdo1.o_mode = S_IFREG | mode;
1578         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1579         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE;
1580
1581         memset(buf, 0, sizeof(rawbuf));
1582         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1583         if (rc) {
1584                 fprintf(stderr, "error: %s: invalid ioctl\n",
1585                         jt_cmdname(argv[0]));
1586                 return rc;
1587         }
1588         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SETATTR, buf);
1589         if (rc < 0)
1590                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
1591                         strerror(rc = errno));
1592
1593         return rc;
1594 }
1595
1596 int jt_obd_test_setattr(int argc, char **argv)
1597 {
1598         struct obd_ioctl_data data;
1599         struct timeval start, next_time;
1600         __u64 i, count, next_count;
1601         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1602         int verbose = 1;
1603         __u64 objid = 3;
1604         char *end;
1605         int rc = 0;
1606
1607         if (argc < 2 || argc > 4)
1608                 return CMD_HELP;
1609
1610         memset(&data, 0, sizeof(data));
1611         data.ioc_dev = cur_device;
1612         count = strtoull(argv[1], &end, 0);
1613         if (*end) {
1614                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1615                         jt_cmdname(argv[0]), argv[1]);
1616                 return CMD_HELP;
1617         }
1618
1619         if (argc >= 3) {
1620                 verbose = get_verbose(argv[0], argv[2]);
1621                 if (verbose == BAD_VERBOSE)
1622                         return CMD_HELP;
1623         }
1624
1625         if (argc >= 4) {
1626                 if (argv[3][0] == 't') {
1627                         objid = strtoull(argv[3] + 1, &end, 0);
1628                         if (thread)
1629                                 objid += thread - 1;
1630                 } else
1631                         objid = strtoull(argv[3], &end, 0);
1632                 if (*end) {
1633                         fprintf(stderr, "error: %s: invalid objid '%s'\n",
1634                                 jt_cmdname(argv[0]), argv[3]);
1635                         return CMD_HELP;
1636                 }
1637         }
1638
1639         gettimeofday(&start, NULL);
1640         next_time.tv_sec = start.tv_sec - verbose;
1641         next_time.tv_usec = start.tv_usec;
1642         if (verbose != 0)
1643                 printf("%s: setting %jd attrs (objid %#jx): %s",
1644                        jt_cmdname(argv[0]), (uintmax_t)count,
1645                        (uintmax_t)objid, ctime(&start.tv_sec));
1646
1647         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1648         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1649                 if (objid >= OBIF_MAX_OID) {
1650                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1651                                 jt_cmdname(argv[0]), objid);
1652                         return -E2BIG;
1653                 }
1654
1655                 data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1656                 data.ioc_obdo1.o_mode = S_IFREG;
1657                 data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE |
1658                                          OBD_MD_FLMODE;
1659                 memset(buf, 0, sizeof(rawbuf));
1660                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1661                 if (rc) {
1662                         fprintf(stderr, "error: %s: invalid ioctl\n",
1663                                 jt_cmdname(argv[0]));
1664                         return rc;
1665                 }
1666                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SETATTR, &data);
1667                 shmem_bump(1);
1668                 if (rc < 0) {
1669                         fprintf(stderr, "error: %s: #%jd - %d:%s\n",
1670                                 jt_cmdname(argv[0]), (uintmax_t)i,
1671                                 errno, strerror(rc = errno));
1672                         break;
1673                 }
1674                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1675                         printf("%s: set attr #%jd\n",
1676                                jt_cmdname(argv[0]), (uintmax_t)i);
1677         }
1678
1679         if (!rc) {
1680                 struct timeval end;
1681                 double diff;
1682
1683                 gettimeofday(&end, NULL);
1684
1685                 diff = difftime(&end, &start);
1686
1687                 --i;
1688                 if (verbose != 0)
1689                         printf("%s: %jd attrs in %.3fs (%.3f attr/s): %s",
1690                                jt_cmdname(argv[0]), (uintmax_t)i, diff,
1691                                i / diff, ctime(&end.tv_sec));
1692         }
1693         return rc;
1694 }
1695
1696 int jt_obd_destroy(int argc, char **argv)
1697 {
1698         struct obd_ioctl_data data;
1699         struct timeval next_time;
1700         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1701         __u64 count = 1, next_count;
1702         int verbose = 1;
1703         __u64 id;
1704         char *end;
1705         int rc = 0, i;
1706
1707         memset(&data, 0, sizeof(data));
1708         data.ioc_dev = cur_device;
1709         if (argc < 2 || argc > 4)
1710                 return CMD_HELP;
1711
1712         errno = 0;
1713         id = strtoull(argv[1], &end, 0);
1714         if (*end || id == 0 || errno != 0) {
1715                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1716                         jt_cmdname(argv[0]), argv[1]);
1717                 return CMD_HELP;
1718         }
1719         if (argc > 2) {
1720                 count = strtoull(argv[2], &end, 0);
1721                 if (*end) {
1722                         fprintf(stderr,
1723                                 "error: %s: invalid iteration count '%s'\n",
1724                                 jt_cmdname(argv[0]), argv[2]);
1725                         return CMD_HELP;
1726                 }
1727         }
1728
1729         if (argc > 3) {
1730                 verbose = get_verbose(argv[0], argv[3]);
1731                 if (verbose == BAD_VERBOSE)
1732                         return CMD_HELP;
1733         }
1734
1735         printf("%s: %jd objects\n", jt_cmdname(argv[0]), (uintmax_t)count);
1736         gettimeofday(&next_time, NULL);
1737         next_time.tv_sec -= verbose;
1738
1739         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1740         for (i = 1, next_count = verbose; i <= count && shmem_running();
1741              i++, id++) {
1742                 if (id >= OBIF_MAX_OID) {
1743                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1744                                 jt_cmdname(argv[0]), id);
1745                         return -E2BIG;
1746                 }
1747
1748                 data.ioc_obdo1.o_oi.oi_fid.f_oid = id;
1749                 data.ioc_obdo1.o_mode = S_IFREG | 0644;
1750                 data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLMODE;
1751
1752                 memset(buf, 0, sizeof(rawbuf));
1753                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1754                 if (rc) {
1755                         fprintf(stderr, "error: %s: invalid ioctl\n",
1756                                 jt_cmdname(argv[0]));
1757                         return rc;
1758                 }
1759                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_DESTROY, buf);
1760                 llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1761                 shmem_bump(1);
1762                 if (rc < 0) {
1763                         fprintf(stderr, "error: %s: objid %#jx: %s\n",
1764                                 jt_cmdname(argv[0]), (uintmax_t)id,
1765                                 strerror(rc = errno));
1766                         break;
1767                 }
1768
1769                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1770                         printf("%s: #%d is object id %#jx\n",
1771                                jt_cmdname(argv[0]), i, (uintmax_t)id);
1772         }
1773
1774         return rc;
1775 }
1776
1777 int jt_obd_getattr(int argc, char **argv)
1778 {
1779         struct obd_ioctl_data data;
1780         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1781         __u64 objid;
1782         char *end;
1783         int rc;
1784
1785         if (argc != 2)
1786                 return CMD_HELP;
1787
1788         objid = strtoull(argv[1], &end, 0);
1789         if (*end) {
1790                 fprintf(stderr, "error: %s: objid '%s' is not a number\n",
1791                         jt_cmdname(argv[0]), argv[1]);
1792                 return CMD_HELP;
1793         }
1794
1795         if (objid >= OBIF_MAX_OID) {
1796                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1797                         jt_cmdname(argv[0]), argv[1]);
1798                 return CMD_HELP;
1799         }
1800
1801         memset(&data, 0, sizeof(data));
1802         data.ioc_dev = cur_device;
1803         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1804         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1805         /* to help obd filter */
1806         data.ioc_obdo1.o_mode = 0100644;
1807         data.ioc_obdo1.o_valid = 0xffffffff;
1808         printf("%s: object id %#jx\n", jt_cmdname(argv[0]),
1809                (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi));
1810
1811         memset(buf, 0, sizeof(rawbuf));
1812         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1813         if (rc) {
1814                 fprintf(stderr, "error: %s: invalid ioctl\n",
1815                         jt_cmdname(argv[0]));
1816                 return rc;
1817         }
1818         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETATTR, buf);
1819         llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1820         if (rc) {
1821                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
1822                         strerror(rc = errno));
1823         } else {
1824                 printf("%s: object id %ju, mode %o\n", jt_cmdname(argv[0]),
1825                        (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi),
1826                        data.ioc_obdo1.o_mode);
1827         }
1828         return rc;
1829 }
1830
1831 int jt_obd_test_getattr(int argc, char **argv)
1832 {
1833         struct obd_ioctl_data data;
1834         struct timeval start, next_time;
1835         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1836         __u64 i, count, next_count;
1837         int verbose = 1;
1838         __u64 objid = 3;
1839         char *end;
1840         int rc = 0;
1841
1842         if (argc < 2 || argc > 4)
1843                 return CMD_HELP;
1844
1845         memset(&data, 0, sizeof(data));
1846         data.ioc_dev = cur_device;
1847         count = strtoull(argv[1], &end, 0);
1848         if (*end) {
1849                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1850                         jt_cmdname(argv[0]), argv[1]);
1851                 return CMD_HELP;
1852         }
1853
1854         if (argc >= 3) {
1855                 verbose = get_verbose(argv[0], argv[2]);
1856                 if (verbose == BAD_VERBOSE)
1857                         return CMD_HELP;
1858         }
1859
1860         if (argc >= 4) {
1861                 if (argv[3][0] == 't') {
1862                         objid = strtoull(argv[3] + 1, &end, 0);
1863                         if (thread)
1864                                 objid += thread - 1;
1865                 } else
1866                         objid = strtoull(argv[3], &end, 0);
1867                 if (*end) {
1868                         fprintf(stderr, "error: %s: invalid objid '%s'\n",
1869                                 jt_cmdname(argv[0]), argv[3]);
1870                         return CMD_HELP;
1871                 }
1872         }
1873
1874         gettimeofday(&start, NULL);
1875         next_time.tv_sec = start.tv_sec - verbose;
1876         next_time.tv_usec = start.tv_usec;
1877         if (verbose != 0)
1878                 printf("%s: getting %jd attrs (objid %#jx): %s",
1879                        jt_cmdname(argv[0]), (uintmax_t)count,
1880                        (uintmax_t)objid, ctime(&start.tv_sec));
1881
1882         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1883         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1884                 if (objid >= OBIF_MAX_OID) {
1885                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1886                                 jt_cmdname(argv[0]), objid);
1887                         return -E2BIG;
1888                 }
1889
1890                 data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1891                 data.ioc_obdo1.o_mode = S_IFREG;
1892                 data.ioc_obdo1.o_valid = 0xffffffff;
1893                 memset(buf, 0, sizeof(rawbuf));
1894                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1895                 if (rc) {
1896                         fprintf(stderr, "error: %s: invalid ioctl\n",
1897                                 jt_cmdname(argv[0]));
1898                         return rc;
1899                 }
1900                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETATTR, &data);
1901                 shmem_bump(1);
1902                 if (rc < 0) {
1903                         fprintf(stderr, "error: %s: #%jd - %d:%s\n",
1904                                 jt_cmdname(argv[0]), (uintmax_t)i,
1905                                 errno, strerror(rc = errno));
1906                         break;
1907                 }
1908                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1909                         printf("%s: got attr #%jd\n",
1910                                jt_cmdname(argv[0]), (uintmax_t)i);
1911         }
1912
1913         if (!rc) {
1914                 struct timeval end;
1915                 double diff;
1916
1917                 gettimeofday(&end, NULL);
1918
1919                 diff = difftime(&end, &start);
1920
1921                 --i;
1922                 if (verbose != 0)
1923                         printf("%s: %jd attrs in %.3fs (%.3f attr/s): %s",
1924                                jt_cmdname(argv[0]), (uintmax_t)i, diff,
1925                                i / diff, ctime(&end.tv_sec));
1926         }
1927
1928         return rc;
1929 }
1930
1931 /* test_brw <cnt>                                               count
1932         <r|w[r(repeat)x(noverify)]>                             mode
1933         <q|v|#(print interval)>                                 verbosity
1934         <npages[+offset]>                                       blocksize
1935         <[[<interleave_threads>]t(inc obj by thread#)]obj>      object
1936         [p|g<args>]                                             batch */
1937 int jt_obd_test_brw(int argc, char **argv)
1938 {
1939         struct obd_ioctl_data data;
1940         struct timeval start, next_time;
1941         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1942         __u64 count, next_count, len, stride, thr_offset = 0, objid = 3;
1943         int write = 0, verbose = 1, cmd, i, rc = 0, pages = 1;
1944         int offset_pages = 0;
1945         long n;
1946         int repeat_offset = 0;
1947         unsigned long long ull;
1948         int  nthr_per_obj = 0;
1949         int  verify = 1;
1950         int  obj_idx = 0;
1951         char *end;
1952
1953         if (argc < 2 || argc > 7) {
1954                 fprintf(stderr, "error: %s: bad number of arguments: %d\n",
1955                         jt_cmdname(argv[0]), argc);
1956                 return CMD_HELP;
1957         }
1958
1959         count = strtoull(argv[1], &end, 0);
1960         if (*end) {
1961                 fprintf(stderr, "error: %s: bad iteration count '%s'\n",
1962                         jt_cmdname(argv[0]), argv[1]);
1963                 return CMD_HELP;
1964         }
1965
1966         if (argc >= 3) {
1967                 if (argv[2][0] == 'w' || argv[2][0] == '1')
1968                         write = 1;
1969                 /* else it's a read */
1970
1971                 if (argv[2][0] != 0)
1972                         for (i = 1; argv[2][i] != 0; i++)
1973                                 switch (argv[2][i]) {
1974                                 case 'r':
1975                                         repeat_offset = 1;
1976                                         break;
1977
1978                                 case 'x':
1979                                         verify = 0;
1980                                         break;
1981
1982                                 default:
1983                                         fprintf (stderr, "Can't parse cmd '%s'\n",
1984                                                  argv[2]);
1985                                         return CMD_HELP;
1986                                 }
1987         }
1988
1989         if (argc >= 4) {
1990                 verbose = get_verbose(argv[0], argv[3]);
1991                 if (verbose == BAD_VERBOSE)
1992                         return CMD_HELP;
1993         }
1994
1995         if (argc >= 5) {
1996                 pages = strtoul(argv[4], &end, 0);
1997
1998                 if (*end == '+')
1999                         offset_pages = strtoul(end + 1, &end, 0);
2000
2001                 if (*end != 0 ||
2002                     offset_pages < 0 || offset_pages >= pages) {
2003                         fprintf(stderr, "error: %s: bad npages[+offset] parameter '%s'\n",
2004                                 jt_cmdname(argv[0]), argv[4]);
2005                         return CMD_HELP;
2006                 }
2007         }
2008
2009         if (argc >= 6) {
2010                 if (thread &&
2011                     (n = strtol(argv[5], &end, 0)) > 0 &&
2012                     *end == 't' &&
2013                     (ull = strtoull(end + 1, &end, 0)) > 0 &&
2014                     *end == 0) {
2015                         nthr_per_obj = n;
2016                         objid = ull;
2017                 } else if (thread &&
2018                            argv[5][0] == 't') {
2019                         nthr_per_obj = 1;
2020                         objid = strtoull(argv[5] + 1, &end, 0);
2021                 } else {
2022                         nthr_per_obj = 0;
2023                         objid = strtoull(argv[5], &end, 0);
2024                 }
2025                 if (*end) {
2026                         fprintf(stderr, "error: %s: bad objid '%s'\n",
2027                                 jt_cmdname(argv[0]), argv[5]);
2028                         return CMD_HELP;
2029                 }
2030         }
2031
2032         memset(&data, 0, sizeof(data));
2033         data.ioc_dev = cur_device;
2034
2035         /* communicate the 'type' of brw test and batching to echo_client.
2036          * don't start.  we'd love to refactor this lctl->echo_client
2037          * interface */
2038         data.ioc_pbuf1 = (void *)1;
2039         data.ioc_plen1 = 1;
2040
2041         if (argc >= 7) {
2042                 switch(argv[6][0]) {
2043                         case 'g': /* plug and unplug */
2044                                 data.ioc_pbuf1 = (void *)2;
2045                                 data.ioc_plen1 = strtoull(argv[6] + 1, &end,
2046                                                           0);
2047                                 break;
2048                         case 'p': /* prep and commit */
2049                                 data.ioc_pbuf1 = (void *)3;
2050                                 data.ioc_plen1 = strtoull(argv[6] + 1, &end,
2051                                                           0);
2052                                 break;
2053                         default:
2054                                 fprintf(stderr, "error: %s: batching '%s' "
2055                                         "needs to specify 'p' or 'g'\n",
2056                                         jt_cmdname(argv[0]), argv[6]);
2057                                 return CMD_HELP;
2058                 }
2059
2060                 if (*end) {
2061                         fprintf(stderr, "error: %s: bad batching '%s'\n",
2062                                 jt_cmdname(argv[0]), argv[6]);
2063                         return CMD_HELP;
2064                 }
2065                 data.ioc_plen1 *= getpagesize();
2066         }
2067
2068         len = pages * getpagesize();
2069         thr_offset = offset_pages * getpagesize();
2070         stride = len;
2071
2072 #ifdef MAX_THREADS
2073         if (thread) {
2074                 shmem_lock ();
2075                 if (nthr_per_obj != 0) {
2076                         /* threads interleave */
2077                         obj_idx = (thread - 1)/nthr_per_obj;
2078                         objid += obj_idx;
2079                         stride *= nthr_per_obj;
2080                         if ((thread - 1) % nthr_per_obj == 0) {
2081                                 shared_data->body.offsets[obj_idx] =
2082                                         stride + thr_offset;
2083                         }
2084                         thr_offset += ((thread - 1) % nthr_per_obj) * len;
2085                 } else {
2086                         /* threads disjoint */
2087                         thr_offset += (thread - 1) * len;
2088                 }
2089
2090                 shmem_start_time_locked();
2091                 shmem_unlock ();
2092         }
2093 #endif
2094
2095         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
2096         if (objid >= OBIF_MAX_OID) {
2097                 fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
2098                         jt_cmdname(argv[0]), objid);
2099                 return -E2BIG;
2100         }
2101
2102         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
2103         data.ioc_obdo1.o_mode = S_IFREG;
2104         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE |
2105                                  OBD_MD_FLFLAGS | OBD_MD_FLGROUP;
2106         data.ioc_obdo1.o_flags = (verify ? OBD_FL_DEBUG_CHECK : 0);
2107         data.ioc_count = len;
2108         data.ioc_offset = (repeat_offset ? 0 : thr_offset);
2109
2110         gettimeofday(&start, NULL);
2111         next_time.tv_sec = start.tv_sec - verbose;
2112         next_time.tv_usec = start.tv_usec;
2113
2114         if (verbose != 0)
2115                 printf("%s: %s %jux%d pages (obj %#jx, off %ju): %s",
2116                        jt_cmdname(argv[0]), write ? "writing" : "reading",
2117                        (uintmax_t)count, pages, (uintmax_t) objid,
2118                        (uintmax_t)data.ioc_offset, ctime(&start.tv_sec));
2119
2120         cmd = write ? OBD_IOC_BRW_WRITE : OBD_IOC_BRW_READ;
2121         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
2122                 data.ioc_obdo1.o_valid &= ~(OBD_MD_FLBLOCKS|OBD_MD_FLGRANT);
2123                 memset(buf, 0, sizeof(rawbuf));
2124                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2125                 if (rc) {
2126                         fprintf(stderr, "error: %s: invalid ioctl\n",
2127                                 jt_cmdname(argv[0]));
2128                         return rc;
2129                 }
2130                 rc = l_ioctl(OBD_DEV_ID, cmd, buf);
2131                 shmem_bump(1);
2132                 if (rc) {
2133                         fprintf(stderr, "error: %s: #%d - %s on %s\n",
2134                                 jt_cmdname(argv[0]), i, strerror(rc = errno),
2135                                 write ? "write" : "read");
2136                         break;
2137                 } else if (be_verbose(verbose, &next_time, i,
2138                                       &next_count, count)) {
2139                         shmem_lock ();
2140                         printf("%s: %s number %d @ %jd:%ju for %d\n",
2141                                jt_cmdname(argv[0]), write ? "write" : "read", i,
2142                                (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi),
2143                                (uintmax_t)data.ioc_offset,
2144                                (int)(pages * getpagesize()));
2145                         shmem_unlock ();
2146                 }
2147
2148                 if (!repeat_offset) {
2149 #ifdef MAX_THREADS
2150                         if (stride == len) {
2151                                 data.ioc_offset += stride;
2152                         } else if (i < count) {
2153                                 shmem_lock ();
2154                                 data.ioc_offset =
2155                                         shared_data->body.offsets[obj_idx];
2156                                 shared_data->body.offsets[obj_idx] += len;
2157                                 shmem_unlock ();
2158                         }
2159 #else
2160                         data.ioc_offset += len;
2161                         obj_idx = 0; /* avoids an unused var warning */
2162 #endif
2163                 }
2164         }
2165
2166         if (!rc) {
2167                 struct timeval end;
2168                 double diff;
2169
2170                 gettimeofday(&end, NULL);
2171
2172                 diff = difftime(&end, &start);
2173
2174                 --i;
2175                 if (verbose != 0)
2176                         printf("%s: %s %dx%d pages in %.3fs (%.3f MB/s): %s",
2177                                jt_cmdname(argv[0]), write ? "wrote" : "read",
2178                                i, pages, diff,
2179                                ((double)i * pages * getpagesize()) /
2180                                (diff * 1048576.0),
2181                                ctime(&end.tv_sec));
2182         }
2183
2184 #ifdef MAX_THREADS
2185         if (thread) {
2186                 shmem_lock();
2187                 shmem_end_time_locked();
2188                 shmem_unlock();
2189         }
2190 #endif
2191         return rc;
2192 }
2193
2194 int jt_obd_lov_getconfig(int argc, char **argv)
2195 {
2196         struct obd_ioctl_data data;
2197         struct lov_desc desc;
2198         struct obd_uuid *uuidarray;
2199         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2200         __u32 *obdgens;
2201         char *path;
2202         int rc, fd;
2203
2204         memset(&data, 0, sizeof(data));
2205         data.ioc_dev = cur_device;
2206
2207         if (argc != 2)
2208                 return CMD_HELP;
2209
2210         path = argv[1];
2211         fd = open(path, O_RDONLY);
2212         if (fd < 0) {
2213                 fprintf(stderr, "open \"%s\" failed: %s\n", path,
2214                         strerror(errno));
2215                 return -errno;
2216         }
2217
2218         memset(&desc, 0, sizeof(desc));
2219         obd_str2uuid(&desc.ld_uuid, argv[1]);
2220         desc.ld_tgt_count = ((MAX_IOC_BUFLEN-sizeof(data)-sizeof(desc)) /
2221                              (sizeof(*uuidarray) + sizeof(*obdgens)));
2222
2223 repeat:
2224         uuidarray = calloc(desc.ld_tgt_count, sizeof(*uuidarray));
2225         if (!uuidarray) {
2226                 fprintf(stderr, "error: %s: no memory for %d uuid's\n",
2227                         jt_cmdname(argv[0]), desc.ld_tgt_count);
2228                 rc = -ENOMEM;
2229                 goto out;
2230         }
2231         obdgens = calloc(desc.ld_tgt_count, sizeof(*obdgens));
2232         if (!obdgens) {
2233                 fprintf(stderr, "error: %s: no memory for %d generation #'s\n",
2234                         jt_cmdname(argv[0]), desc.ld_tgt_count);
2235                 rc = -ENOMEM;
2236                 goto out_uuidarray;
2237         }
2238
2239         memset(buf, 0, sizeof(rawbuf));
2240         data.ioc_inllen1 = sizeof(desc);
2241         data.ioc_inlbuf1 = (char *)&desc;
2242         data.ioc_inllen2 = desc.ld_tgt_count * sizeof(*uuidarray);
2243         data.ioc_inlbuf2 = (char *)uuidarray;
2244         data.ioc_inllen3 = desc.ld_tgt_count * sizeof(*obdgens);
2245         data.ioc_inlbuf3 = (char *)obdgens;
2246
2247         if (llapi_ioctl_pack(&data, &buf, sizeof(rawbuf))) {
2248                 fprintf(stderr, "error: %s: invalid ioctl\n",
2249                         jt_cmdname(argv[0]));
2250                 rc = -EINVAL;
2251                 goto out_obdgens;
2252         }
2253         rc = ioctl(fd, OBD_IOC_LOV_GET_CONFIG, buf);
2254         if (rc == -ENOSPC) {
2255                 free(uuidarray);
2256                 free(obdgens);
2257                 goto repeat;
2258         } else if (rc) {
2259                 fprintf(stderr, "error: %s: ioctl error: %s\n",
2260                         jt_cmdname(argv[0]), strerror(rc = errno));
2261         } else {
2262                 struct obd_uuid *uuidp;
2263                 __u32 *genp;
2264                 int i;
2265
2266                 if (llapi_ioctl_unpack(&data, buf, sizeof(rawbuf))) {
2267                         fprintf(stderr, "error: %s: invalid reply\n",
2268                                 jt_cmdname(argv[0]));
2269                         rc = -EINVAL;
2270                         goto out;
2271                 }
2272                 if (desc.ld_default_stripe_count == (__u32)-1)
2273                         printf("default_stripe_count: %d\n", -1);
2274                 else
2275                         printf("default_stripe_count: %u\n",
2276                                desc.ld_default_stripe_count);
2277                 printf("default_stripe_size: %ju\n",
2278                        (uintmax_t)desc.ld_default_stripe_size);
2279                 printf("default_stripe_offset: %jd\n",
2280                        (uintmax_t)desc.ld_default_stripe_offset);
2281                 printf("default_stripe_pattern: %u\n", desc.ld_pattern);
2282                 printf("obd_count: %u\n", desc.ld_tgt_count);
2283                 printf("OBDS:\tobdidx\t\tobdgen\t\t obduuid\n");
2284                 uuidp = uuidarray;
2285                 genp = obdgens;
2286                 for (i = 0; i < desc.ld_tgt_count; i++, uuidp++, genp++)
2287                         printf("\t%6u\t%14u\t\t %s\n", i, *genp, (char *)uuidp);
2288         }
2289 out_obdgens:
2290         free(obdgens);
2291 out_uuidarray:
2292         free(uuidarray);
2293 out:
2294         close(fd);
2295         return rc;
2296 }
2297
2298 static int do_activate(int argc, char **argv, int flag)
2299 {
2300         struct obd_ioctl_data data;
2301         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2302         int rc;
2303
2304         memset(&data, 0, sizeof(data));
2305         data.ioc_dev = cur_device;
2306         if (argc != 1)
2307                 return CMD_HELP;
2308
2309         /* reuse offset for 'active' */
2310         data.ioc_offset = flag;
2311
2312         memset(buf, 0, sizeof(rawbuf));
2313         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2314         if (rc) {
2315                 fprintf(stderr, "error: %s: invalid ioctl\n",
2316                         jt_cmdname(argv[0]));
2317                 return rc;
2318         }
2319         rc = l_ioctl(OBD_DEV_ID, IOC_OSC_SET_ACTIVE, buf);
2320         if (rc)
2321                 fprintf(stderr, "error: %s: failed: %s\n",
2322                         jt_cmdname(argv[0]), strerror(rc = errno));
2323
2324         return rc;
2325 }
2326
2327 /**
2328  * Replace nids for given device.
2329  * lctl replace_nids <devicename> <nid1>[,nid2,nid3]
2330  * Command should be started on MGS server.
2331  * Only MGS server should be started (command execution
2332  * returns error in another cases). Command mount
2333  * -t lustre <MDT partition> -o nosvc <mount point>
2334  * can be used for that.
2335  *
2336  * llogs for MDTs and clients are processed. All
2337  * records copied as is except add_uuid and setup. This records
2338  * are skipped and recorded with new nids and uuid.
2339  *
2340  * \see mgs_replace_nids
2341  * \see mgs_replace_log
2342  * \see mgs_replace_nids_handler
2343  */
2344 int jt_replace_nids(int argc, char **argv)
2345 {
2346         int rc;
2347         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2348         struct obd_ioctl_data data;
2349
2350         memset(&data, 0, sizeof(data));
2351         data.ioc_dev = get_mgs_device();
2352         if (argc != 3)
2353                 return CMD_HELP;
2354
2355         data.ioc_inllen1 = strlen(argv[1]) + 1;
2356         data.ioc_inlbuf1 = argv[1];
2357
2358         data.ioc_inllen2 = strlen(argv[2]) + 1;
2359         data.ioc_inlbuf2 = argv[2];
2360         memset(buf, 0, sizeof(rawbuf));
2361         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2362         if (rc) {
2363                 fprintf(stderr, "error: %s: invalid ioctl\n",
2364                         jt_cmdname(argv[0]));
2365                 return rc;
2366         }
2367
2368         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_REPLACE_NIDS, buf);
2369         if (rc < 0) {
2370                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2371                         strerror(rc = errno));
2372         }
2373
2374         return rc;
2375 }
2376
2377 /**
2378  * Clear config logs for given device or filesystem.
2379  * lctl clear_conf <devicename|fsname>
2380  * Command has to be run on MGS node having MGS device mounted with -o
2381  * nosvc.
2382  *
2383  * Configuration logs for filesystem or one particular log is
2384  * processed. New log is created, original log is read, its records
2385  * marked SKIP do not get copied to new log. Others are copied as-is.
2386  * Original file is renamed to log.${time}.bak.
2387  *
2388  * \see mgs_clear_configs
2389  * \see mgs_replace_log
2390  * \see mgs_clear_config_handler
2391  **/
2392 int jt_lcfg_clear(int argc, char **argv)
2393 {
2394         int rc;
2395         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2396         struct obd_ioctl_data data;
2397
2398         memset(&data, 0, sizeof(data));
2399         data.ioc_dev = get_mgs_device();
2400         if (argc != 2)
2401                 return CMD_HELP;
2402
2403         data.ioc_inllen1 = strlen(argv[1]) + 1;
2404         data.ioc_inlbuf1 = argv[1];
2405
2406         memset(buf, 0, sizeof(rawbuf));
2407         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2408         if (rc) {
2409                 fprintf(stderr, "error: %s: invalid ioctl\n",
2410                         jt_cmdname(argv[0]));
2411                 return rc;
2412         }
2413
2414         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CLEAR_CONFIGS, buf);
2415         if (rc < 0) {
2416                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2417                         strerror(rc = errno));
2418         }
2419
2420         return rc;
2421 }
2422
2423 int jt_obd_deactivate(int argc, char **argv)
2424 {
2425         return do_activate(argc, argv, 0);
2426 }
2427
2428 int jt_obd_activate(int argc, char **argv)
2429 {
2430         return do_activate(argc, argv, 1);
2431 }
2432
2433 int jt_obd_recover(int argc, char **argv)
2434 {
2435         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2436         struct obd_ioctl_data data;
2437         int rc;
2438
2439         memset(&data, 0, sizeof(data));
2440         data.ioc_dev = cur_device;
2441         if (argc > 2)
2442                 return CMD_HELP;
2443
2444         if (argc == 2) {
2445                 data.ioc_inllen1 = strlen(argv[1]) + 1;
2446                 data.ioc_inlbuf1 = argv[1];
2447         }
2448
2449         memset(buf, 0, sizeof(rawbuf));
2450         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2451         if (rc) {
2452                 fprintf(stderr, "error: %s: invalid ioctl\n",
2453                         jt_cmdname(argv[0]));
2454                 return rc;
2455         }
2456         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CLIENT_RECOVER, buf);
2457         if (rc < 0) {
2458                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2459                         strerror(rc = errno));
2460         }
2461
2462         return rc;
2463 }
2464
2465 int jt_obd_mdc_lookup(int argc, char **argv)
2466 {
2467         struct obd_ioctl_data data;
2468         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2469         char *parent, *child;
2470         int rc, fd, verbose = 1;
2471
2472         if (argc < 3 || argc > 4)
2473                 return CMD_HELP;
2474
2475         parent = argv[1];
2476         child = argv[2];
2477         if (argc == 4)
2478                 verbose = get_verbose(argv[0], argv[3]);
2479
2480         memset(&data, 0, sizeof(data));
2481         data.ioc_dev = cur_device;
2482
2483         data.ioc_inllen1 = strlen(child) + 1;
2484         data.ioc_inlbuf1 = child;
2485
2486         memset(buf, 0, sizeof(rawbuf));
2487         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2488         if (rc) {
2489                 fprintf(stderr, "error: %s: invalid ioctl\n",
2490                         jt_cmdname(argv[0]));
2491                 return rc;
2492         }
2493
2494         fd = open(parent, O_RDONLY);
2495         if (fd < 0) {
2496                 fprintf(stderr, "open \"%s\" failed: %s\n", parent,
2497                         strerror(errno));
2498                 return -1;
2499         }
2500
2501         rc = ioctl(fd, IOC_MDC_LOOKUP, buf);
2502         if (rc < 0) {
2503                 fprintf(stderr, "error: %s: ioctl error: %s\n",
2504                         jt_cmdname(argv[0]), strerror(rc = errno));
2505         }
2506         close(fd);
2507
2508         if (verbose) {
2509                 rc = llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
2510                 if (rc) {
2511                         fprintf(stderr, "error: %s: invalid reply\n",
2512                                 jt_cmdname(argv[0]));
2513                         return rc;
2514                 }
2515                 printf("%s: mode %o uid %d gid %d\n", child,
2516                        data.ioc_obdo1.o_mode, data.ioc_obdo1.o_uid,
2517                        data.ioc_obdo1.o_gid);
2518         }
2519
2520         return rc;
2521 }
2522
2523 int jt_lcfg_fork(int argc, char **argv)
2524 {
2525         struct obd_ioctl_data data;
2526         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2527         int rc;
2528
2529         if (argc != 3)
2530                 return CMD_HELP;
2531
2532         memset(&data, 0, sizeof(data));
2533         data.ioc_dev = get_mgs_device();
2534         data.ioc_inllen1 = strlen(argv[1]) + 1;
2535         data.ioc_inlbuf1 = argv[1];
2536         data.ioc_inllen2 = strlen(argv[2]) + 1;
2537         data.ioc_inlbuf2 = argv[2];
2538
2539         memset(buf, 0, sizeof(rawbuf));
2540         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2541         if (rc) {
2542                 fprintf(stderr, "error: %s: invalid ioctl\n",
2543                         jt_cmdname(argv[0]));
2544                 return rc;
2545         }
2546
2547         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LCFG_FORK, buf);
2548         if (rc < 0)
2549                 fprintf(stderr, "error: %s: OBD_IOC_LCFG_FORK failed: %s\n",
2550                         jt_cmdname(argv[0]), strerror(errno));
2551
2552         return rc;
2553 }
2554
2555 int jt_lcfg_erase(int argc, char **argv)
2556 {
2557         struct obd_ioctl_data data;
2558         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2559         int rc;
2560
2561         if (argc == 3) {
2562                 if (strncmp(argv[2], "-q", strlen("-q")) != 0 &&
2563                     strncmp(argv[2], "--quiet", strlen("--quiet")) != 0)
2564                         return CMD_HELP;
2565         } else if (argc != 2) {
2566                 return CMD_HELP;
2567         }
2568
2569         memset(&data, 0, sizeof(data));
2570         data.ioc_dev = get_mgs_device();
2571         data.ioc_inllen1 = strlen(argv[1]) + 1;
2572         data.ioc_inlbuf1 = argv[1];
2573
2574         memset(buf, 0, sizeof(rawbuf));
2575         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2576         if (rc) {
2577                 fprintf(stderr, "error: %s: invalid ioctl\n",
2578                         jt_cmdname(argv[0]));
2579                 return rc;
2580         }
2581
2582         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LCFG_ERASE, buf);
2583         if (rc < 0)
2584                 fprintf(stderr, "error: %s: OBD_IOC_LCFG_ERASE failed: %s\n",
2585                         jt_cmdname(argv[0]), strerror(errno));
2586
2587         return rc;
2588 }
2589
2590 int jt_llog_catlist(int argc, char **argv)
2591 {
2592         struct obd_ioctl_data data;
2593         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2594         int rc;
2595
2596         if (argc != 1)
2597                 return CMD_HELP;
2598
2599         memset(&data, 0, sizeof(data));
2600         data.ioc_dev = cur_device;
2601         data.ioc_inllen1 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8);
2602         memset(buf, 0, sizeof(rawbuf));
2603         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2604         if (rc) {
2605                 fprintf(stderr, "error: %s: invalid ioctl\n",
2606                         jt_cmdname(argv[0]));
2607                 return rc;
2608         }
2609         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CATLOGLIST, buf);
2610         if (rc == 0)
2611                 fprintf(stdout, "%s", ((struct obd_ioctl_data *)buf)->ioc_bulk);
2612         else
2613                 fprintf(stderr, "OBD_IOC_CATLOGLIST failed: %s\n",
2614                         strerror(errno));
2615
2616         return rc;
2617 }
2618
2619 int jt_llog_info(int argc, char **argv)
2620 {
2621         const struct option long_opts[] = {
2622         /* Allow optional "--catalog" for compatibility with llog commands. */
2623         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
2624         { .val = 'h',   .name = "help",         .has_arg = no_argument },
2625         { .name = NULL } };
2626         struct obd_ioctl_data data = { 0 };
2627         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
2628         char *cmd = argv[0];
2629         char *catalog = NULL;
2630         int rc, c;
2631
2632         while ((c = getopt_long(argc, argv, "c:h", long_opts, NULL)) != -1) {
2633                 switch (c) {
2634                 case 'c':
2635                         catalog = optarg;
2636                         break;
2637                 case 'h':
2638                 default:
2639                         return CMD_HELP;
2640                 }
2641         }
2642         argc -= optind;
2643         argv += optind;
2644         /* support "logname" positional parameter */
2645         if (argc == 1) {
2646                 if (catalog) {
2647                         fprintf(stderr,
2648                                 "%s: catalog is set, unknown argument '%s'\n",
2649                                 cmd, optarg);
2650                         return CMD_HELP;
2651                 }
2652                 catalog = argv[0];
2653         } else if (!catalog || argc > 1) {
2654                 return CMD_HELP;
2655         }
2656
2657         data.ioc_dev = cur_device;
2658         data.ioc_inllen1 = strlen(catalog) + 1;
2659         data.ioc_inlbuf1 = catalog;
2660         data.ioc_inllen2 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8) -
2661                            __ALIGN_KERNEL(data.ioc_inllen1, 8);
2662         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2663         if (rc) {
2664                 fprintf(stderr, "%s: ioctl_pack failed for catalog '%s': %s\n",
2665                         jt_cmdname(cmd), catalog, strerror(-rc));
2666                 return rc;
2667         }
2668
2669         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_INFO, buf);
2670         if (rc == 0)
2671                 fprintf(stdout, "%s", ((struct obd_ioctl_data *)buf)->ioc_bulk);
2672         else
2673                 fprintf(stderr, "%s: OBD_IOC_LLOG_INFO failed: %s\n",
2674                         jt_cmdname(cmd), strerror(errno));
2675
2676         return rc;
2677 }
2678
2679 int jt_llog_print_cb(const char *record, void *private)
2680 {
2681         printf("%s\n", record);
2682
2683         return 0;
2684 }
2685
2686 static int
2687 llog_process_records(int (record_cb)(const char *record, void *private),
2688                      const char *record, void *private, bool reverse)
2689 {
2690         char *ptr = NULL;
2691         char *tmp = NULL;
2692         int rc = 0;
2693
2694         if (!reverse) {
2695                 do {
2696                         ptr = strchr(record, '\n');
2697                         if (ptr)
2698                                 *ptr = '\0';
2699                         rc = record_cb(record, private);
2700                         if (rc)
2701                                 goto out;
2702                         if (ptr)
2703                                 record = ptr + 1;
2704                 } while (ptr && *(ptr + 1));
2705         } else {
2706                 tmp = (char *)record;
2707
2708                 ptr = strrchr(record, '\n');
2709                 if (ptr)
2710                         *ptr = '\0';
2711                 else
2712                         goto out;
2713                 while ((ptr = strrchr(record, '\n'))) {
2714                         tmp = ptr + 1;
2715                         *ptr = '\0';
2716                         rc = record_cb(tmp, private);
2717                         if (rc)
2718                                 goto out;
2719                 };
2720                 rc = record_cb(record, private);
2721                 if (rc)
2722                         goto out;
2723         }
2724 out:
2725         return rc;
2726 }
2727
2728 /**
2729  * Iterate over llog records, typically YAML-formatted configuration logs
2730  *
2731  * \param logname[in]   name of llog file or FID
2732  * \param start[in]     first record to process
2733  * \param end[in]       last record to process (inclusive)
2734  * \param cb[in]        callback for records. Return -ve error, or +ve abort.
2735  * \param private[in,out] private data passed to the \a record_cb function
2736  * \param reverse[in]   print the llog records from the beginning or the end
2737  *
2738  * \retval              0 on success
2739  *                      others handled by the caller
2740  */
2741 int jt_llog_print_iter(char *logname, long start, long end,
2742                        int (record_cb)(const char *record, void *private),
2743                        void *private, bool reverse)
2744 {
2745         struct obd_ioctl_data data = { 0 };
2746         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2747         char startbuf[16], endbuf[16];
2748         static long inc = sizeof(rawbuf) / 128;
2749         long rec;
2750         int rc = 0;
2751
2752         if (end == -1)
2753                 end = 0x7fffffff;
2754
2755         data.ioc_dev = cur_device;
2756         data.ioc_inlbuf1 = logname;
2757         data.ioc_inllen1 = strlen(logname) + 1;
2758
2759         /*
2760          * Estimate about 128 characters per configuration record.  Not all
2761          * records will be printed in any case, so they should easily fit.  If
2762          * not, the kernel will return -EOVERFLOW and ask for fewer records.
2763          *
2764          * We don't want to request records from the kernel one-at-a-time, as
2765          * it restarts the config llog iteration from the beginning, so we
2766          * fetch multiple records from the kernel per call and split locally.
2767          */
2768         for (rec = start; rec < end; rec += inc) {
2769                 char *record = ((struct obd_ioctl_data *)buf)->ioc_bulk;
2770
2771 retry:
2772                 snprintf(startbuf, sizeof(startbuf), "%lu", rec);
2773                 snprintf(endbuf, sizeof(endbuf), "%lu",
2774                          end < rec + inc - 1 ? end : rec + inc - 1);
2775
2776                 /* start and end record numbers are passed as ASCII digits */
2777                 data.ioc_inlbuf2 = startbuf;
2778                 data.ioc_inllen2 = strlen(startbuf) + 1;
2779                 data.ioc_inlbuf3 = endbuf;
2780                 data.ioc_inllen3 = strlen(endbuf) + 1;
2781
2782                 data.ioc_inllen4 = sizeof(rawbuf) -
2783                         __ALIGN_KERNEL(sizeof(data), 8) -
2784                         __ALIGN_KERNEL(data.ioc_inllen1, 8) -
2785                         __ALIGN_KERNEL(data.ioc_inllen2, 8) -
2786                         __ALIGN_KERNEL(data.ioc_inllen3, 8);
2787                 memset(buf, 0, sizeof(rawbuf));
2788                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2789                 if (rc) {
2790                         fprintf(stderr, "%s: invalid ioctl data\n", logname);
2791                         goto out;
2792                 }
2793
2794                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_PRINT, buf);
2795                 if (rc == -EOVERFLOW && inc > 2) {
2796                         inc /= 2;
2797                         goto retry;
2798                 }
2799                 if (rc) {
2800                         fprintf(stderr, "%s: OBD_IOC_LLOG_PRINT failed: %s\n",
2801                                 logname, strerror(errno));
2802                         rc = -errno;
2803                         goto out;
2804                 }
2805
2806                 /* There is no "end of list" marker, record was not modified */
2807                 if (strcmp(record, logname) == 0)
2808                         break;
2809
2810                 rc = llog_process_records(record_cb, record, private, reverse);
2811                 if (rc)
2812                         goto out;
2813         }
2814
2815 out:
2816         return rc;
2817 }
2818
2819 static int llog_parse_catalog_start_end(int *argc, char **argv[],
2820                                         char **catalog, long *start, long *end)
2821 {
2822         const struct option long_opts[] = {
2823         /* the --catalog option is not required, just for consistency */
2824         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
2825         { .val = 'e',   .name = "end",          .has_arg = required_argument },
2826         { .val = 'h',   .name = "help",         .has_arg = no_argument },
2827         { .val = 's',   .name = "start",        .has_arg = required_argument },
2828         { .name = NULL } };
2829         char *cmd = (*argv)[0];
2830         char *endp;
2831         int c;
2832
2833         if (catalog == NULL || start == NULL || end == NULL)
2834                 return -EINVAL;
2835
2836         /* now process command line arguments*/
2837         while ((c = getopt_long(*argc, *argv, "c:e:hs:",
2838                                 long_opts, NULL)) != -1) {
2839                 switch (c) {
2840                 case 'c':
2841                         *catalog = optarg;
2842                         break;
2843                 case 'e':
2844                         *end = strtol(optarg, &endp, 0);
2845                         if (*endp != '\0') {
2846                                 fprintf(stderr, "%s: bad end value '%s'\n",
2847                                         cmd, optarg);
2848                                 return CMD_HELP;
2849                         }
2850                         break;
2851                 case 's':
2852                         *start = strtol(optarg, &endp, 0);
2853                         if (*endp != '\0') {
2854                                 fprintf(stderr, "%s: bad start value '%s'\n",
2855                                         cmd, optarg);
2856                                 return CMD_HELP;
2857                         }
2858                         break;
2859                 case 'h':
2860                 default:
2861                         return CMD_HELP;
2862                 }
2863         }
2864         *argc -= optind;
2865         *argv += optind;
2866
2867         /* support old optional positional parameters only if they were
2868          * not already specified with named arguments: logname [start [end]]
2869          */
2870         if (*argc >= 1) {
2871                 if (*catalog) {
2872                         fprintf(stderr,
2873                                 "%s: catalog is set, unknown argument '%s'\n",
2874                                 cmd, (*argv)[0]);
2875                         return CMD_HELP;
2876                 }
2877                 *catalog = (*argv)[0];
2878                 (*argc)--;
2879                 (*argv)++;
2880         }
2881
2882         if (*argc >= 1) {
2883                 if (*start != 1) {
2884                         fprintf(stderr,
2885                                 "%s: --start is set, unknown argument '%s'\n",
2886                                 cmd, (*argv)[0]);
2887                         return CMD_HELP;
2888                 }
2889
2890                 *start = strtol((*argv)[0], &endp, 0);
2891                 if (*endp != '\0') {
2892                         fprintf(stderr, "%s: bad start value '%s'\n",
2893                                 cmd, (*argv)[0]);
2894                         return CMD_HELP;
2895                 }
2896                 (*argc)--;
2897                 (*argv)++;
2898         }
2899         if (*argc >= 1) {
2900                 if (*end != -1) {
2901                         fprintf(stderr,
2902                                 "%s: --end is set, unknown argument '%s'\n",
2903                                 cmd, (*argv)[0]);
2904                         return CMD_HELP;
2905                 }
2906
2907                 *end = strtol((*argv)[0], &endp, 0);
2908                 if (*endp != '\0') {
2909                         fprintf(stderr, "%s: bad end value '%s'\n",
2910                                 cmd, (*argv)[0]);
2911                         return CMD_HELP;
2912                 }
2913                 (*argc)--;
2914                 (*argv)++;
2915         }
2916         if (*argc > 1) {
2917                 fprintf(stderr, "%s: unknown argument '%s'\n", cmd, (*argv)[0]);
2918                 return CMD_HELP;
2919         }
2920
2921         if (*end != -1 && *end < *start) {
2922                 fprintf(stderr, "%s: end '%lu' less than than start '%lu'\n",
2923                         cmd, *end, *start);
2924                 return CMD_HELP;
2925         }
2926
2927         return 0;
2928 }
2929
2930 int jt_llog_print(int argc, char **argv)
2931 {
2932         char *catalog = NULL;
2933         long start = 1, end = -1;
2934         int rc;
2935
2936         rc = llog_parse_catalog_start_end(&argc, &argv, &catalog, &start, &end);
2937         if (rc)
2938                 return rc;
2939
2940         rc = jt_llog_print_iter(catalog, start, end, jt_llog_print_cb,
2941                                 NULL, false);
2942
2943         return rc;
2944 }
2945
2946 /* Parse catalog, log ID, and optionally a log index with either optional
2947  * arguments or positional arguments.  Only the initial catalog argument
2948  * may be positional with other optional arguments.
2949  *
2950  * The positional arguments option should eventually be phased out.
2951  */
2952 static int llog_parse_catalog_log_idx(int *argc, char ***argv, const char *opts,
2953                                       int max_args, struct obd_ioctl_data *data)
2954 {
2955         const struct option long_opts[] = {
2956         /* the --catalog option is not required, just for consistency */
2957         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
2958         { .val = 'h',   .name = "help",         .has_arg = no_argument },
2959         { .val = 'i',   .name = "log_idx",      .has_arg = required_argument },
2960         { .val = 'l',   .name = "log_id",       .has_arg = required_argument },
2961         { .name = NULL } };
2962         int c;
2963
2964         /* sanity check */
2965         if (!data || *argc <= 1)
2966                 return -1;
2967
2968         data->ioc_dev = cur_device;
2969
2970         /* now process command line arguments*/
2971         while ((c = getopt_long(*argc, *argv, opts, long_opts, NULL)) != -1) {
2972                 switch (c) {
2973                 case 'c':
2974                         data->ioc_inllen1 = strlen(optarg) + 1;
2975                         data->ioc_inlbuf1 = optarg;
2976                         break;
2977                 case 'i':
2978                         data->ioc_inllen3 = strlen(optarg) + 1;
2979                         data->ioc_inlbuf3 = optarg;
2980                         break;
2981                 case 'l': /* The log_id option isn't currently needed for
2982                            * cancel as mdt_iocontrol() handles IOC_LLOG_CANCEL,
2983                            * but we may as well keep it for now.
2984                            */
2985                         data->ioc_inllen2 = strlen(optarg) + 1;
2986                         data->ioc_inlbuf2 = optarg;
2987                         break;
2988                 case 'h':
2989                 default:
2990                         return CMD_HELP;
2991                 }
2992         }
2993
2994         *argc -= optind;
2995         *argv += optind;
2996
2997         /* Allow catalog to be specified as first option without --catalog */
2998         if (data->ioc_inlbuf1 == NULL && *argc > 0) {
2999                 data->ioc_inlbuf1 = (*argv)[0];
3000                 data->ioc_inllen1 = strlen((*argv)[0]) + 1;
3001                 (*argc)--;
3002                 (*argv)++;
3003         }
3004
3005         return 0;
3006 }
3007
3008 int jt_llog_cancel(int argc, char **argv)
3009 {
3010         struct obd_ioctl_data data = { 0 };
3011         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3012         char *cmd = argv[0];
3013         int rc;
3014
3015         /* Parse catalog file (in inlbuf1) and named parameters */
3016         rc = llog_parse_catalog_log_idx(&argc, &argv, "c:hi:l:", 3, &data);
3017
3018         /* Handle old positional parameters if not using named parameters,
3019          * either "<catalog> <log_idx>" or "<catalog> <log_id> <log_idx>".
3020          * It was "inlbuf3 = log_idx", and "inlbuf2 = log_id" (ignored by
3021          * config log cancel), and shows why I hate positional parameters.
3022          */
3023         if (argc == 1) {
3024                 data.ioc_inllen3 = strlen(argv[0]) + 1;
3025                 data.ioc_inlbuf3 = argv[0];
3026         } else if (argc == 2) {
3027                 data.ioc_inllen2 = strlen(argv[0]) + 1;
3028                 data.ioc_inlbuf2 = argv[0];
3029                 data.ioc_inllen3 = strlen(argv[1]) + 1;
3030                 data.ioc_inlbuf3 = argv[1];
3031         }
3032
3033         if (data.ioc_inlbuf1 == NULL || data.ioc_inlbuf3 == NULL)
3034                 /* missing mandatory parameters */
3035                 return CMD_HELP;
3036
3037         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3038         if (rc) {
3039                 fprintf(stderr, "%s: ioctl_pack for catalog '%s' failed: %s\n",
3040                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3041                 return rc;
3042         }
3043
3044         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_CANCEL, buf);
3045         if (rc)
3046                 fprintf(stderr, "%s: cancel catalog '%s:%s' failed: %s\n",
3047                         jt_cmdname(cmd), data.ioc_inlbuf1, data.ioc_inlbuf3,
3048                         strerror(errno));
3049
3050         return rc;
3051 }
3052
3053 int jt_llog_check(int argc, char **argv)
3054 {
3055         struct obd_ioctl_data data = { 0 };
3056         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3057         char *catalog = NULL;
3058         char startbuf[16], endbuf[16];
3059         long start = 1, end = -1;
3060         char *cmd = argv[0];
3061         int rc;
3062
3063         rc = llog_parse_catalog_start_end(&argc, &argv, &catalog, &start, &end);
3064         if (rc)
3065                 return rc;
3066
3067         if (end == -1)
3068                 end = 0x7fffffff;
3069
3070         data.ioc_dev = cur_device;
3071         data.ioc_inllen1 = strlen(catalog) + 1;
3072         data.ioc_inlbuf1 = catalog;
3073
3074         snprintf(startbuf, sizeof(startbuf), "%lu", start);
3075         snprintf(endbuf, sizeof(endbuf), "%lu", end);
3076         /* start and end record numbers are passed as ASCII digits */
3077         data.ioc_inllen2 = strlen(startbuf) + 1;
3078         data.ioc_inlbuf2 = startbuf;
3079         data.ioc_inllen3 = strlen(endbuf) + 1;
3080         data.ioc_inlbuf3 = endbuf;
3081
3082         data.ioc_inllen4 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8) -
3083                            __ALIGN_KERNEL(data.ioc_inllen1, 8) -
3084                            __ALIGN_KERNEL(data.ioc_inllen2, 8) -
3085                            __ALIGN_KERNEL(data.ioc_inllen3, 8);
3086         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3087         if (rc) {
3088                 fprintf(stderr, "%s: ioctl_pack failed for catalog '%s': %s\n",
3089                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3090                 return rc;
3091         }
3092
3093         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_CHECK, buf);
3094         if (rc == 0)
3095                 fprintf(stdout, "%s", ((struct obd_ioctl_data *)buf)->ioc_bulk);
3096         else
3097                 fprintf(stderr, "%s: OBD_IOC_LLOG_CHECK failed: %s\n",
3098                         jt_cmdname(cmd), strerror(errno));
3099         return rc;
3100 }
3101
3102 int jt_llog_remove(int argc, char **argv)
3103 {
3104         struct obd_ioctl_data data = { 0 };
3105         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3106         char *cmd = argv[0];
3107         int rc;
3108
3109         rc = llog_parse_catalog_log_idx(&argc, &argv, "c:hl:", 2, &data);
3110         if (rc)
3111                 return rc;
3112
3113         if (argc == 1) {
3114                 if (data.ioc_inlbuf2) {
3115                         fprintf(stderr,
3116                                 "%s: --log_id is set, unknown argument '%s'\n",
3117                                 jt_cmdname(cmd), argv[0]);
3118                         return CMD_HELP;
3119                 }
3120
3121                 data.ioc_inllen2 = strlen(argv[0]) + 1;
3122                 data.ioc_inlbuf2 = argv[0];
3123         }
3124         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3125         if (rc) {
3126                 fprintf(stderr, "%s: ioctl_pack for catalog '%s' failed: %s\n",
3127                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3128                 return rc;
3129         }
3130
3131         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_REMOVE, buf);
3132         if (rc)
3133                 fprintf(stderr, "%s: cancel catalog '%s:%s' failed: %s\n",
3134                         jt_cmdname(cmd), data.ioc_inlbuf1, data.ioc_inlbuf2,
3135                         strerror(-rc));
3136
3137         return rc;
3138 }
3139
3140 static void signal_server(int sig)
3141 {
3142         if (sig == SIGINT) {
3143                 do_disconnect("sigint", 1);
3144                 exit(1);
3145         } else {
3146                 fprintf(stderr, "%s: got signal %d\n", jt_cmdname("sigint"),
3147                         sig);
3148         }
3149 }
3150
3151 int obd_initialize(int argc, char **argv)
3152 {
3153         if (shmem_setup() != 0)
3154                 return -1;
3155
3156         register_ioc_dev(OBD_DEV_ID, OBD_DEV_PATH);
3157
3158         return 0;
3159 }
3160
3161 void obd_finalize(int argc, char **argv)
3162 {
3163         struct sigaction sigact;
3164
3165         /* sigact initialization */
3166         sigact.sa_handler = signal_server;
3167         sigfillset(&sigact.sa_mask);
3168         sigact.sa_flags = SA_RESTART;
3169         /* coverity[uninit_use_in_call] */
3170         sigaction(SIGINT, &sigact, NULL);
3171
3172         shmem_cleanup();
3173         do_disconnect(argv[0], 1);
3174 }
3175
3176 /**
3177  * Get the index of the last llog record
3178  *
3179  * logid:            [0x3:0xa:0x0]:0
3180  * flags:            4 (plain)
3181  * records_count:    57
3182  * last_index:       57
3183  *
3184  * \param logname[in]   pointer to config log name
3185  *
3186  * \retval              > 0 on success
3187  *                      <= 0 on error
3188  */
3189 static long llog_last_index(char *logname)
3190 {
3191         struct obd_ioctl_data data = { 0 };
3192         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3193         char *last_index;
3194         long rc;
3195
3196         data.ioc_dev = cur_device;
3197         data.ioc_inllen1 = strlen(logname) + 1;
3198         data.ioc_inlbuf1 = logname;
3199         data.ioc_inllen2 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8) -
3200                            __ALIGN_KERNEL(data.ioc_inllen1, 8);
3201         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3202         if (rc) {
3203                 fprintf(stderr, "%s: ioctl_pack failed for catalog '%s': %s\n",
3204                         __func__, logname, strerror(-rc));
3205                 return rc;
3206         }
3207
3208         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_INFO, buf);
3209         if (rc == 0) {
3210                 last_index = strstr(((struct obd_ioctl_data *)buf)->ioc_bulk,
3211                                     "last_index:");
3212                 return strtol(last_index + 11, NULL, 10);
3213         } else {
3214                 rc = -errno;
3215         }
3216
3217         return rc;
3218 }
3219
3220 /**
3221  * Callback to search ostname in llog
3222  * - { index: 23, event: attach, device: lustre-OST0000-osc, type: osc,
3223  *     UUID: lustre-clilov_UUID }
3224  * - { index: 24, event: setup, device: lustre-OST0000-osc,
3225  *     UUID: lustre-OST0000_UUID, node: 192.168.0.120@tcp }
3226  * - { index: 25, event: add_osc, device: lustre-clilov,
3227  *     ost: lustre-OST0000_UUID, index: 0, gen: 1 }
3228  *
3229  * \param record[in]    pointer to llog record
3230  * \param data[in]      pointer to ostname
3231  *
3232  * \retval              1 if ostname is found
3233  *                      0 if ostname is not found
3234  *                      -ENOENT if ostname is deleted
3235  */
3236 static int llog_search_ost_cb(const char *record, void *data)
3237 {
3238         char *ostname = data;
3239         char ost_filter[MAX_STRING_SIZE] = {'\0'};
3240
3241         if (ostname && ostname[0])
3242                 snprintf(ost_filter, sizeof(ost_filter), " %s,", ostname);
3243
3244         if (strstr(record, ost_filter)) {
3245                 if (strstr(record, "event: add_osc, ") ||
3246                     strstr(record, "event: setup, "))
3247                         return 1;
3248                 if (strstr(record, "event: del_osc, ") ||
3249                     strstr(record, "event: cleanup, "))
3250                         return -ENOENT;
3251         }
3252
3253         return 0;
3254 }
3255
3256 /**
3257  * Search ost in llog
3258  *
3259  * \param logname[in]           pointer to config log name
3260  * \param last_index[in]        the index of the last llog record
3261  * \param ostname[in]           pointer to ost name
3262  *
3263  * \retval                      1 if ostname is found
3264  *                              0 if ostname is not found
3265  */
3266 static int llog_search_ost(char *logname, long last_index, char *ostname)
3267 {
3268         long start, end, inc = MAX_IOC_BUFLEN / 128;
3269         int rc = 0;
3270
3271         for (end = last_index; end > 1; end -= inc) {
3272                 start = end - inc > 0 ? end - inc : 1;
3273                 rc = jt_llog_print_iter(logname, start, end, llog_search_ost_cb,
3274                                         ostname, true);
3275                 if (rc)
3276                         break;
3277         }
3278
3279         return (rc == 1 ? 1 : 0);
3280 }
3281
3282 struct llog_pool_data {
3283         char lpd_fsname[LUSTRE_MAXFSNAME + 1];
3284         char lpd_poolname[LOV_MAXPOOLNAME + 1];
3285         char lpd_ostname[MAX_OBD_NAME + 1];
3286         enum lcfg_command_type lpd_cmd_type;
3287         bool lpd_pool_exists;
3288         int lpd_ost_num;
3289 };
3290
3291 /**
3292  * Called for each formatted line in the config log (within range).
3293  *
3294  * - { index: 74, event: new_pool, device: tfs-clilov, fsname: tfs, pool: tmp }
3295  * - { index: 77, event: add_pool, device: tfs-clilov, fsname: tfs, pool: tmp,
3296  *     ost: tfs-OST0000_UUID }
3297  * - { index: 224, event: remove_pool, device: tfs-clilov, fsname: tfs,
3298  *     pool: tmp, ost: tfs-OST0003_UUID }
3299  * - { index: 227, event: del_pool, device: tfs-clilov, fsname: tfs, pool: tmp }
3300  *
3301  * \param record[in]    pointer to llog record
3302  * \param data[in]      pointer to llog_pool_data
3303  *
3304  * \retval              1 if pool or OST is found
3305  *                      0 if pool or OST is not found
3306  *                      -ENOENT if pool or OST is removed
3307  */
3308 static int llog_search_pool_cb(const char *record, void *data)
3309 {
3310         struct llog_pool_data *lpd = data;
3311         char pool_filter[MAX_STRING_SIZE] = "";
3312         char *found = NULL;
3313         int fs_pool_len = 0;
3314
3315         fs_pool_len = 16 + strlen(lpd->lpd_fsname) + strlen(lpd->lpd_poolname);
3316         snprintf(pool_filter, fs_pool_len + 1, "fsname: %s, pool: %s",
3317                  lpd->lpd_fsname, lpd->lpd_poolname);
3318
3319         /* search poolname */
3320         found = strstr(record, pool_filter);
3321         if (found &&
3322             (found[fs_pool_len] == ' ' || found[fs_pool_len] == ',')) {
3323                 if (strstr(record, "event: new_pool,")) {
3324                         lpd->lpd_pool_exists = true;
3325                         return 1;
3326                 }
3327                 if (strstr(record, "event: del_pool,")) {
3328                         lpd->lpd_pool_exists = false;
3329                         return -ENOENT;
3330                 }
3331
3332                 if (lpd->lpd_cmd_type == LCFG_POOL_NEW ||
3333                     lpd->lpd_cmd_type == LCFG_POOL_DEL) {
3334                         if (strstr(record, "event: add_pool,"))
3335                                 lpd->lpd_ost_num++;
3336                         if (strstr(record, "event: remove_pool,"))
3337                                 lpd->lpd_ost_num--;
3338                 } else if (lpd->lpd_ostname && lpd->lpd_ostname[0]) {
3339                         if (strstr(record, lpd->lpd_ostname)) {
3340                                 lpd->lpd_pool_exists = true;
3341                                 if (strstr(record, "event: add_pool,")) {
3342                                         lpd->lpd_ost_num = 1;
3343                                         return 1;
3344                                 }
3345                                 if (strstr(record, "event: remove_pool,")) {
3346                                         lpd->lpd_ost_num = 0;
3347                                         return -ENOENT;
3348                                 }
3349                         }
3350                 }
3351         }
3352
3353         return 0;
3354 }
3355
3356 /* Search pool and its ost in llog
3357  *
3358  * \param logname[in]           pointer to config log name
3359  * \param last_index[in]        the index of the last llog record
3360  * \param fsname[in]            pointer to filesystem name
3361  * \param poolname[in]          pointer pool name
3362  * \param ostname[in]           pointer to OST name(OSTnnnn-UUID)
3363  * \param cmd[in]               pool command type
3364  *
3365  * \retval                      < 0 on error
3366  *                              0 if pool is empty or OST is not found
3367  *                              1 if pool is not empty or OST is found
3368  */
3369 static int llog_search_pool(char *logname, long last_index, char *fsname,
3370                             char *poolname, char *ostname,
3371                             enum lcfg_command_type cmd)
3372 {
3373         struct llog_pool_data lpd;
3374         long start, end, inc = MAX_IOC_BUFLEN / 128;
3375         int rc = 0;
3376
3377         memset(&lpd, 0, sizeof(lpd));
3378         lpd.lpd_cmd_type = cmd;
3379         lpd.lpd_pool_exists = false;
3380         lpd.lpd_ost_num = 0;
3381         strncpy(lpd.lpd_fsname, fsname, sizeof(lpd.lpd_fsname) - 1);
3382         if (poolname && poolname[0])
3383                 strncpy(lpd.lpd_poolname, poolname,
3384                         sizeof(lpd.lpd_poolname) - 1);
3385         if (ostname && ostname[0])
3386                 strncpy(lpd.lpd_ostname, ostname, sizeof(lpd.lpd_ostname) - 1);
3387
3388         for (end = last_index; end > 1; end -= inc) {
3389                 start = end - inc > 0 ? end - inc : 1;
3390                 rc = jt_llog_print_iter(logname, start, end,
3391                                         llog_search_pool_cb, &lpd, true);
3392                 if (rc) {
3393                         if (rc == 1 && lpd.lpd_pool_exists)
3394                                 rc = lpd.lpd_ost_num ? 1 : 0;
3395                         else if (rc == -ENOENT && lpd.lpd_pool_exists &&
3396                                  !lpd.lpd_ost_num)
3397                                 rc = 0;
3398                         goto out;
3399                 }
3400         }
3401
3402         rc = -ENOENT;
3403 out:
3404         return rc;
3405 }
3406
3407 static bool combined_mgs_mds(char *fsname)
3408 {
3409         glob_t path;
3410         int rc;
3411
3412         rc = cfs_get_param_paths(&path, "mdt/%s-MDT0000", fsname);
3413         if (!rc)
3414                 cfs_free_param_data(&path);
3415
3416         if (get_mgs_device() > 0 && !rc)
3417                 return true;
3418
3419         return false;
3420 }
3421
3422 /*
3423  * if pool is NULL, search ostname in target_obd
3424  * if pool is not NULL:
3425  *  - if pool not found returns errno < 0
3426  *  - if ostname is NULL, returns 1 if pool is not empty and 0 if pool empty
3427  *  - if ostname is not NULL, returns 1 if OST is in pool and 0 if not
3428  */
3429 int lctl_search_ost(char *fsname, char *poolname, char *ostname,
3430                     enum lcfg_command_type cmd)
3431 {
3432         char logname[MAX_OBD_NAME] = {'\0'};
3433         long last_index;
3434
3435         if (fsname && fsname[0] == '\0')
3436                 fsname = NULL;
3437         if (!fsname)
3438                 return -EINVAL;
3439
3440         if (combined_mgs_mds(fsname))
3441                 return llapi_search_ost(fsname, poolname, ostname);
3442
3443         /* fetch the last_index of llog record */
3444         snprintf(logname, sizeof(logname), "%s-client", fsname);
3445         last_index = llog_last_index(logname);
3446         if (last_index < 0)
3447                 return last_index;
3448
3449         /* if pool is NULL, search ostname in target_obd */
3450         if (!poolname && ostname)
3451                 return llog_search_ost(logname, last_index, ostname);
3452
3453         return llog_search_pool(logname, last_index, fsname, poolname,
3454                                 ostname, cmd);
3455 }
3456
3457 static int check_pool_cmd(enum lcfg_command_type cmd,
3458                           char *fsname, char *poolname,
3459                           char *ostname)
3460 {
3461         int rc;
3462
3463         rc = lctl_search_ost(fsname, poolname, ostname, cmd);
3464         if (rc < 0 && (cmd != LCFG_POOL_NEW)) {
3465                 fprintf(stderr, "Pool %s.%s not found\n",
3466                         fsname, poolname);
3467                 return rc;
3468         }
3469
3470         switch (cmd) {
3471         case LCFG_POOL_NEW: {
3472                 if (ostname != NULL)
3473                         return -EINVAL;
3474
3475                 if (rc >= 0) {
3476                         fprintf(stderr, "Pool %s.%s already exists\n",
3477                                 fsname, poolname);
3478                         return -EEXIST;
3479                 }
3480                 return 0;
3481         }
3482         case LCFG_POOL_DEL: {
3483                 if (ostname != NULL)
3484                         return -EINVAL;
3485
3486                 if (rc == 1) {
3487                         fprintf(stderr, "Pool %s.%s not empty, "
3488                                 "please remove all members\n",
3489                                 fsname, poolname);
3490                         return -ENOTEMPTY;
3491                 }
3492                 return 0;
3493         }
3494         case LCFG_POOL_ADD: {
3495                 if (rc == 1) {
3496                         fprintf(stderr, "OST %s is already in pool %s.%s\n",
3497                                 ostname, fsname, poolname);
3498                         return -EEXIST;
3499                 }
3500                 rc = lctl_search_ost(fsname, NULL, ostname, cmd);
3501                 if (rc == 0) {
3502                         fprintf(stderr, "OST %s is not part of the '%s' fs.\n",
3503                                 ostname, fsname);
3504                         return -ENOENT;
3505                 }
3506                 return 0;
3507         }
3508         case LCFG_POOL_REM: {
3509                 if (rc == 0) {
3510                         fprintf(stderr, "OST %s not found in pool %s.%s\n",
3511                                 ostname, fsname, poolname);
3512                         return -ENOENT;
3513                 }
3514                 return 0;
3515         }
3516         default:
3517                 break;
3518         } /* switch */
3519         return -EINVAL;
3520 }
3521
3522 /* This check only verifies that the changes have been "pushed out" to
3523    the client successfully.  This involves waiting for a config update,
3524    and so may fail because of problems in that code or post-command
3525    network loss. So reporting a warning is appropriate, but not a failure.
3526 */
3527 static int check_pool_cmd_result(enum lcfg_command_type cmd,
3528                                  char *fsname, char *poolname,
3529                                  char *ostname)
3530 {
3531         int cpt = 10;
3532         int rc = 0;
3533
3534         switch (cmd) {
3535         case LCFG_POOL_NEW: {
3536                 do {
3537                         rc = lctl_search_ost(fsname, poolname, NULL, cmd);
3538                         if (rc == -ENODEV)
3539                                 return rc;
3540                         if (rc < 0)
3541                                 sleep(2);
3542                         cpt--;
3543                 } while ((rc < 0) && (cpt > 0));
3544                 if (rc >= 0) {
3545                         fprintf(stderr, "Pool %s.%s created\n",
3546                                 fsname, poolname);
3547                         return 0;
3548                 } else {
3549                         fprintf(stderr, "Warning, pool %s.%s not found\n",
3550                                 fsname, poolname);
3551                         return -ENOENT;
3552                 }
3553         }
3554         case LCFG_POOL_DEL: {
3555                 do {
3556                         rc = lctl_search_ost(fsname, poolname, NULL, cmd);
3557                         if (rc == -ENODEV)
3558                                 return rc;
3559                         if (rc >= 0)
3560                                 sleep(2);
3561                         cpt--;
3562                 } while ((rc >= 0) && (cpt > 0));
3563                 if (rc < 0) {
3564                         fprintf(stderr, "Pool %s.%s destroyed\n",
3565                                 fsname, poolname);
3566                         return 0;
3567                 } else {
3568                         fprintf(stderr, "Warning, pool %s.%s still found\n",
3569                                 fsname, poolname);
3570                         return -EEXIST;
3571                 }
3572         }
3573         case LCFG_POOL_ADD: {
3574                 do {
3575                         rc = lctl_search_ost(fsname, poolname, ostname, cmd);
3576                         if (rc == -ENODEV)
3577                                 return rc;
3578                         if (rc != 1)
3579                                 sleep(2);
3580                         cpt--;
3581                 } while ((rc != 1) && (cpt > 0));
3582                 if (rc == 1) {
3583                         fprintf(stderr, "OST %s added to pool %s.%s\n",
3584                                 ostname, fsname, poolname);
3585                         return 0;
3586                 } else {
3587                         fprintf(stderr, "Warning, OST %s not found in pool %s.%s\n",
3588                                 ostname, fsname, poolname);
3589                         return -ENOENT;
3590                 }
3591         }
3592         case LCFG_POOL_REM: {
3593                 do {
3594                         rc = lctl_search_ost(fsname, poolname, ostname, cmd);
3595                         if (rc == -ENODEV)
3596                                 return rc;
3597                         if (rc == 1)
3598                                 sleep(2);
3599                         cpt--;
3600                 } while ((rc == 1) && (cpt > 0));
3601                 if (rc != 1) {
3602                         fprintf(stderr, "OST %s removed from pool %s.%s\n",
3603                                 ostname, fsname, poolname);
3604                         return 0;
3605                 } else {
3606                         fprintf(stderr, "Warning, OST %s still found in pool %s.%s\n",
3607                                 ostname, fsname, poolname);
3608                         return -EEXIST;
3609                 }
3610         }
3611         default:
3612                 break;
3613         }
3614         return -EINVAL;
3615 }
3616
3617 static int check_and_complete_ostname(char *fsname, char *ostname)
3618 {
3619         char *ptr;
3620         char real_ostname[MAX_OBD_NAME + 1];
3621         char i;
3622
3623         /* if OST name does not start with fsname, we add it */
3624         /* if not check if the fsname is the right one */
3625         ptr = strchr(ostname, '-');
3626         if (ptr == NULL) {
3627                 sprintf(real_ostname, "%s-%s", fsname, ostname);
3628         } else if (strncmp(ostname, fsname, strlen(fsname)) != 0) {
3629                 fprintf(stderr, "%s does not start with fsname %s\n",
3630                         ostname, fsname);
3631                 return -EINVAL;
3632         } else {
3633                 if (strlen(ostname) > sizeof(real_ostname)-1)
3634                         return -E2BIG;
3635                 strncpy(real_ostname, ostname, sizeof(real_ostname));
3636         }
3637         /* real_ostname is fsname-????? */
3638         ptr = real_ostname + strlen(fsname) + 1;
3639         if (strncmp(ptr, "OST", 3) != 0) {
3640                 fprintf(stderr, "%s does not start by %s-OST nor OST\n",
3641                         ostname, fsname);
3642                 return -EINVAL;
3643         }
3644         /* real_ostname is fsname-OST????? */
3645         ptr += 3;
3646         for (i = 0; i < 4; i++) {
3647                 if (!isxdigit(*ptr)) {
3648                         fprintf(stderr,
3649                                 "ost's index in %s is not an hexa number\n",
3650                                 ostname);
3651                         return -EINVAL;
3652                 }
3653                 ptr++;
3654         }
3655         /* real_ostname is fsname-OSTXXXX????? */
3656         /* if OST name does not end with _UUID, we add it */
3657         if (*ptr == '\0') {
3658                 strcat(real_ostname, "_UUID");
3659         } else if (strcmp(ptr, "_UUID") != 0) {
3660                 fprintf(stderr,
3661                         "ostname %s does not end with _UUID\n", ostname);
3662                 return -EINVAL;
3663         }
3664         /* real_ostname is fsname-OSTXXXX_UUID */
3665         strcpy(ostname, real_ostname);
3666         return 0;
3667 }
3668
3669 /* returns 0 or -errno */
3670 static int pool_cmd(enum lcfg_command_type cmd,
3671                     char *cmdname, char *fullpoolname,
3672                     char *fsname, char *poolname, char *ostname)
3673 {
3674         int rc = 0;
3675         struct obd_ioctl_data data;
3676         struct lustre_cfg_bufs bufs;
3677         struct lustre_cfg *lcfg;
3678         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
3679
3680         rc = check_pool_cmd(cmd, fsname, poolname, ostname);
3681         if (rc == -ENODEV)
3682                 fprintf(stderr, "Can't verify pool command since there "
3683                         "is no local MDT or client, proceeding anyhow...\n");
3684         else if (rc)
3685                 return rc;
3686
3687         lustre_cfg_bufs_reset(&bufs, NULL);
3688         lustre_cfg_bufs_set_string(&bufs, 0, cmdname);
3689         lustre_cfg_bufs_set_string(&bufs, 1, fullpoolname);
3690         if (ostname != NULL)
3691                 lustre_cfg_bufs_set_string(&bufs, 2, ostname);
3692
3693
3694         lcfg = malloc(lustre_cfg_len(bufs.lcfg_bufcount, bufs.lcfg_buflen));
3695         if (lcfg == NULL)
3696                 return -ENOMEM;
3697         lustre_cfg_init(lcfg, cmd, &bufs);
3698
3699         memset(&data, 0, sizeof(data));
3700         rc = data.ioc_dev = get_mgs_device();
3701         if (rc < 0)
3702                 goto out;
3703
3704         data.ioc_type = LUSTRE_CFG_TYPE;
3705         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
3706                                         lcfg->lcfg_buflens);
3707         data.ioc_pbuf1 = (void *)lcfg;
3708
3709         memset(buf, 0, sizeof(rawbuf));
3710         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3711         if (rc) {
3712                 fprintf(stderr, "error: %s: invalid ioctl\n",
3713                         jt_cmdname(cmdname));
3714                 free(lcfg);
3715                 return rc;
3716         }
3717         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_POOL, buf);
3718 out:
3719         if (rc)
3720                 rc = -errno;
3721         switch (rc) {
3722         case -ENAMETOOLONG:
3723                 fprintf(stderr, "error: %s: either the pool or file "
3724                         "system name is too long (max pool name len "
3725                         "is %d and file system name is %d)\n",
3726                         jt_cmdname(cmdname), LOV_MAXPOOLNAME,
3727                         LUSTRE_MAXFSNAME);
3728                 break;
3729         case -EINVAL:
3730                 fprintf(stderr, "error: %s can contain only "
3731                         "alphanumeric characters, underscores, and "
3732                         "dashes besides the required '.'\n",
3733                         jt_cmdname(cmdname));
3734         default:
3735                 break;
3736         }
3737         free(lcfg);
3738         return rc;
3739 }
3740
3741 /**
3742  * Format and send the ioctl to the MGS.
3743  *
3744  * \param       cmd             IOCTL to send
3745  * \param       ret_data        void pointer to return anything from
3746  *                              ioctl
3747  * \param       num_args        number of arguments to pack into the
3748  *                              ioctl buffer
3749  * \param       argv[]          variable number of string arguments
3750  *
3751  * \retval                      0 on success
3752  */
3753 static int nodemap_cmd(enum lcfg_command_type cmd, void *ret_data,
3754                        unsigned int ret_size, ...)
3755 {
3756         va_list                 ap;
3757         char                    *arg;
3758         int                     i = 0;
3759         struct lustre_cfg_bufs  bufs;
3760         struct obd_ioctl_data   data;
3761         struct lustre_cfg       *lcfg;
3762         char                    rawbuf[MAX_IOC_BUFLEN];
3763         char                    *buf = rawbuf;
3764         int                     rc = 0;
3765
3766         lustre_cfg_bufs_reset(&bufs, NULL);
3767
3768         va_start(ap, ret_size);
3769         arg = va_arg(ap, char *);
3770         while (arg != NULL) {
3771                 lustre_cfg_bufs_set_string(&bufs, i, arg);
3772                 i++;
3773                 arg = va_arg(ap, char *);
3774         }
3775         va_end(ap);
3776
3777         lcfg = malloc(lustre_cfg_len(bufs.lcfg_bufcount, bufs.lcfg_buflen));
3778         if (lcfg == NULL)
3779                 return -ENOMEM;
3780         lustre_cfg_init(lcfg, cmd, &bufs);
3781
3782         memset(&data, 0, sizeof(data));
3783         rc = data.ioc_dev = get_mgs_device();
3784         if (rc < 0)
3785                 goto out;
3786
3787         data.ioc_type = LUSTRE_CFG_TYPE;
3788         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
3789                          lcfg->lcfg_buflens);
3790         data.ioc_pbuf1 = (void *)lcfg;
3791
3792         memset(buf, 0, sizeof(rawbuf));
3793         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3794         if (rc != 0) {
3795                 fprintf(stderr, "error: invalid ioctl: %08x errno: %d with "
3796                                "rc=%d\n", cmd, errno, rc);
3797                 goto out;
3798         }
3799
3800         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_NODEMAP, buf);
3801         if (rc != 0) {
3802                 fprintf(stderr, "error: invalid ioctl: %08x errno: %d with "
3803                                "rc=%d\n", cmd, errno, rc);
3804                 goto out;
3805         }
3806
3807         if (ret_data != NULL) {
3808</