Whamcloud - gitweb
LU-13746 utils: check argument logname presence in llog_print
[fs/lustre-release.git] / lustre / utils / obd.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2002, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  *
32  * lustre/utils/obd.c
33  *
34  * Author: Peter J. Braam <braam@clusterfs.com>
35  * Author: Phil Schwan <phil@clusterfs.com>
36  * Author: Andreas Dilger <adilger@clusterfs.com>
37  * Author: Robert Read <rread@clusterfs.com>
38  */
39
40 #include <sys/ioctl.h>
41 #include <sys/socket.h>
42 #include <sys/stat.h>
43 #include <sys/time.h>
44 #include <sys/types.h>
45 #include <sys/un.h>
46 #include <sys/wait.h>
47
48 #include <ctype.h>
49 #include <errno.h>
50 #include <fcntl.h>
51 #include <getopt.h>
52 #include <signal.h>
53 #include <stdarg.h>
54 #include <stdbool.h>
55 #include <stdio.h>
56 #include <stdlib.h>
57 #include <string.h>
58 #include <time.h>
59 #include <unistd.h>
60 #include <limits.h>
61 #include "obdctl.h"
62 #include "lustreapi_internal.h"
63 #include <libcfs/util/list.h>
64 #include <libcfs/util/ioctl.h>
65 #include <libcfs/util/param.h>
66 #include <libcfs/util/parser.h>
67 #include <libcfs/util/string.h>
68
69 #include <linux/lnet/nidstr.h>
70 #include <linux/lnet/lnetctl.h>
71 #ifdef HAVE_SERVER_SUPPPORT
72 #include <linux/lustre/lustre_barrier_user.h>
73 #endif
74 #include <linux/lustre/lustre_cfg.h>
75 #include <linux/lustre/lustre_disk.h>
76 #include <linux/lustre/lustre_ioctl.h>
77 #include <linux/lustre/lustre_ostid.h>
78 #include <linux/lustre/lustre_param.h>
79 #include <linux/lustre/lustre_ver.h>
80
81 #include <lustre/lustreapi.h>
82
83 #define MAX_STRING_SIZE 128
84
85 #if HAVE_LIBPTHREAD
86 #include <sys/ipc.h>
87 #include <sys/shm.h>
88 #include <pthread.h>
89
90 #define MAX_THREADS 4096
91 #define MAX_BASE_ID 0xffffffff
92 #define NIDSTRING_LENGTH 64
93 struct shared_data {
94         pthread_mutex_t mutex;
95         pthread_cond_t  cond;
96         int       stopping;
97         struct {
98                 __u64 counters[MAX_THREADS];
99                 __u64 offsets[MAX_THREADS];
100                 int   thr_running;
101                 int   start_barrier;
102                 int   stop_barrier;
103                 struct timeval start_time;
104                 struct timeval end_time;
105         } body;
106 };
107
108 static struct shared_data *shared_data;
109 static __u64 counter_snapshot[2][MAX_THREADS];
110 static int prev_valid;
111 static struct timeval prev_time;
112 static int thread;
113 static int nthreads;
114 #else
115 const int thread;
116 const int nthreads = 1;
117 #endif
118
119 static int cur_device = -1;
120
121 int lcfg_ioctl(char *func, int dev_id, struct lustre_cfg *lcfg)
122 {
123         struct obd_ioctl_data data;
124         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
125         int rc;
126
127         memset(&data, 0, sizeof(data));
128         data.ioc_dev = cur_device;
129         data.ioc_type = LUSTRE_CFG_TYPE;
130         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
131                                         lcfg->lcfg_buflens);
132         data.ioc_pbuf1 = (void *)lcfg;
133         memset(buf, 0, sizeof(rawbuf));
134         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
135         if (rc) {
136                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
137                 return rc;
138         }
139
140         rc =  l_ioctl(dev_id, OBD_IOC_PROCESS_CFG, buf);
141
142         return rc;
143 }
144
145 static int do_device(char *func, char *devname);
146
147 static int get_mgs_device(void)
148 {
149         char mgs[] = "$MGS";
150         static int mgs_device = -1;
151
152         if (mgs_device == -1) {
153                 int rc;
154
155                 do_disconnect(NULL, 1);
156                 rc = do_device("mgsioc", mgs);
157                 if (rc) {
158                         fprintf(stderr,
159                                 "This command must be run on the MGS.\n");
160                         errno = ENODEV;
161                         return -1;
162                 }
163                 mgs_device = cur_device;
164         }
165         return mgs_device;
166 }
167
168 /* Returns -1 on error with errno set */
169 int lcfg_mgs_ioctl(char *func, int dev_id, struct lustre_cfg *lcfg)
170 {
171         struct obd_ioctl_data data;
172         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
173         int rc;
174
175         memset(&data, 0, sizeof(data));
176         rc = data.ioc_dev = get_mgs_device();
177         if (rc < 0)
178                 goto out;
179         data.ioc_type = LUSTRE_CFG_TYPE;
180         data.ioc_plen1 = lustre_cfg_len(lcfg->lcfg_bufcount,
181                                         lcfg->lcfg_buflens);
182         data.ioc_pbuf1 = (void *)lcfg;
183         memset(buf, 0, sizeof(rawbuf));
184         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
185         if (rc) {
186                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
187                 return rc;
188         }
189
190         rc = l_ioctl(dev_id, OBD_IOC_PARAM, buf);
191 out:
192         if (rc && errno == ENOSYS)
193                 fprintf(stderr, "Make sure cfg_device is set first.\n");
194
195         return rc;
196 }
197
198 char *obdo_print(struct obdo *obd)
199 {
200         char buf[1024];
201
202         snprintf(buf, sizeof(buf), "id: %#jx\ngrp: %#jx\natime: %ju\n"
203                  "mtime: %ju\nctime: %ju\nsize: %ju\nblocks: %ju"
204                  "\nblksize: %u\nmode: %o\nuid: %d\ngid: %d\nflags: %x\n"
205                  "misc: %x\nnlink: %d,\nvalid %#jx\n",
206                  (uintmax_t)ostid_id(&obd->o_oi),
207                  (uintmax_t)ostid_seq(&obd->o_oi),
208                  (uintmax_t)obd->o_atime, (uintmax_t)obd->o_mtime,
209                  (uintmax_t)obd->o_ctime, (uintmax_t)obd->o_size,
210                  (uintmax_t)obd->o_blocks, obd->o_blksize, obd->o_mode,
211                  obd->o_uid, obd->o_gid, obd->o_flags, obd->o_misc,
212                  obd->o_nlink, (uintmax_t)obd->o_valid);
213         return strdup(buf);
214 }
215
216 #define BAD_VERBOSE (-999999999)
217
218 #define N2D_OFF 0x100      /* So we can tell between error codes and devices */
219
220 static int do_name2dev(char *func, char *name)
221 {
222         struct obd_ioctl_data data;
223         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
224         int rc;
225
226         memset(&data, 0, sizeof(data));
227         data.ioc_dev = cur_device;
228         data.ioc_inllen1 = strlen(name) + 1;
229         data.ioc_inlbuf1 = name;
230
231         memset(buf, 0, sizeof(rawbuf));
232         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
233         if (rc < 0) {
234                 fprintf(stderr, "error: %s: invalid ioctl\n", jt_cmdname(func));
235                 return -rc;
236         }
237         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_NAME2DEV, buf);
238         if (rc < 0)
239                 return errno;
240         rc = llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
241         if (rc) {
242                 fprintf(stderr, "error: %s: invalid reply\n", jt_cmdname(func));
243                 return rc;
244         }
245
246         return data.ioc_dev + N2D_OFF;
247 }
248
249 /*
250  * resolve a device name to a device number.
251  * supports a number, $name or %uuid.
252  */
253 int parse_devname(char *func, char *name)
254 {
255         int rc;
256         int ret = -1;
257         int try_digit;
258
259         if (!name)
260                 return ret;
261
262         try_digit = isdigit(name[0]);
263
264         if (name[0] == '$' || name[0] == '%')
265                 name++;
266
267         rc = do_name2dev(func, name);
268         if (rc >= N2D_OFF)
269                 return rc - N2D_OFF;
270
271         if (try_digit)
272                 ret = strtoul(name, NULL, 0);
273         else
274                 fprintf(stderr, "No device found for name %s: %s\n",
275                         name, strerror(rc));
276         return ret;
277 }
278
279 char *jt_cmdname(char *func)
280 {
281         static char buf[512];
282
283         if (thread) {
284                 sprintf(buf, "%s-%d", func, thread);
285                 return buf;
286         }
287
288         return func;
289 }
290
291 #define difftime(a, b)                                  \
292         ((a)->tv_sec - (b)->tv_sec +                    \
293          ((a)->tv_usec - (b)->tv_usec) / 1000000.0)
294
295 static int be_verbose(int verbose, struct timeval *next_time,
296                       __u64 num, __u64 *next_num, int num_total)
297 {
298         struct timeval now;
299
300         if (!verbose)
301                 return 0;
302
303         if (next_time)
304                 gettimeofday(&now, NULL);
305
306         /* A positive verbosity means to print every X iterations */
307         if (verbose > 0 && (num >= *next_num || num >= num_total)) {
308                 *next_num += verbose;
309                 if (next_time) {
310                         next_time->tv_sec = now.tv_sec - verbose;
311                         next_time->tv_usec = now.tv_usec;
312                 }
313                 return 1;
314         }
315
316         /* A negative verbosity means to print at most each X seconds */
317         if (verbose < 0 && next_time && difftime(&now, next_time) >= 0.0) {
318                 next_time->tv_sec = now.tv_sec - verbose;
319                 next_time->tv_usec = now.tv_usec;
320                 *next_num = num;
321                 return 1;
322         }
323
324         return 0;
325 }
326
327 static int get_verbose(char *func, const char *arg)
328 {
329         int verbose;
330         char *end;
331
332         if (!arg || arg[0] == 'v') {
333                 verbose = 1;
334         } else if (arg[0] == 's' || arg[0] == 'q') {
335                 verbose = 0;
336         } else {
337                 verbose = (int)strtoul(arg, &end, 0);
338                 if (*end) {
339                         fprintf(stderr, "error: %s: bad verbose option '%s'\n",
340                                 jt_cmdname(func), arg);
341                         return BAD_VERBOSE;
342                 }
343         }
344
345         if (verbose < 0)
346                 printf("Print status every %d seconds\n", -verbose);
347         else if (verbose == 1)
348                 printf("Print status every operation\n");
349         else if (verbose > 1)
350                 printf("Print status every %d operations\n", verbose);
351
352         return verbose;
353 }
354
355 int do_disconnect(char *func, int verbose)
356 {
357         lcfg_set_devname(NULL);
358         cur_device = -1;
359         return 0;
360 }
361
362 #ifdef MAX_THREADS
363 static int shmem_setup(void)
364 {
365         pthread_mutexattr_t mattr;
366         pthread_condattr_t  cattr;
367         int rc;
368         int shmid;
369
370         /* Create new segment */
371         shmid = shmget(IPC_PRIVATE, sizeof(*shared_data), 0600);
372         if (shmid == -1) {
373                 fprintf(stderr, "Can't create shared data: %s\n",
374                         strerror(errno));
375                 return errno;
376         }
377
378         /* Attatch to new segment */
379         shared_data = (struct shared_data *)shmat(shmid, NULL, 0);
380
381         if (shared_data == (struct shared_data *)(-1)) {
382                 fprintf(stderr, "Can't attach shared data: %s\n",
383                         strerror(errno));
384                 shared_data = NULL;
385                 return errno;
386         }
387
388         /*
389          * Mark segment as destroyed, so it will disappear when we exit.
390          * Forks will inherit attached segments, so we should be OK.
391          */
392         if (shmctl(shmid, IPC_RMID, NULL) == -1) {
393                 fprintf(stderr, "Can't destroy shared data: %s\n",
394                         strerror(errno));
395                 return errno;
396         }
397
398         pthread_mutexattr_init(&mattr);
399         pthread_condattr_init(&cattr);
400
401         rc = pthread_mutexattr_setpshared(&mattr, PTHREAD_PROCESS_SHARED);
402         if (rc != 0) {
403                 fprintf(stderr, "Can't set shared mutex attr\n");
404                 goto out;
405         }
406
407         rc = pthread_condattr_setpshared(&cattr, PTHREAD_PROCESS_SHARED);
408         if (rc != 0) {
409                 fprintf(stderr, "Can't set shared cond attr\n");
410                 goto out;
411         }
412
413         pthread_mutex_init(&shared_data->mutex, &mattr);
414         pthread_cond_init(&shared_data->cond, &cattr);
415 out:
416         pthread_mutexattr_destroy(&mattr);
417         pthread_condattr_destroy(&cattr);
418
419         return rc;
420 }
421
422 static inline void shmem_lock(void)
423 {
424         pthread_mutex_lock(&shared_data->mutex);
425 }
426
427 static inline void shmem_unlock(void)
428 {
429         pthread_mutex_unlock(&shared_data->mutex);
430 }
431
432 static inline void shmem_wait(void)
433 {
434         pthread_cond_wait(&shared_data->cond, &shared_data->mutex);
435 }
436
437 static inline void shmem_wakeup_all(void)
438 {
439         pthread_cond_broadcast(&shared_data->cond);
440 }
441
442 static inline void shmem_reset(int total_threads)
443 {
444         if (!shared_data)
445                 return;
446
447         memset(&shared_data->body, 0, sizeof(shared_data->body));
448         memset(counter_snapshot, 0, sizeof(counter_snapshot));
449         prev_valid = 0;
450         shared_data->stopping = 0;
451         shared_data->body.start_barrier = total_threads;
452         shared_data->body.stop_barrier = total_threads;
453 }
454
455 static inline void shmem_bump(__u32 counter)
456 {
457         static bool running_not_bumped = true;
458
459         if (!shared_data || thread <= 0 || thread > MAX_THREADS)
460                 return;
461
462         shmem_lock();
463         shared_data->body.counters[thread - 1] += counter;
464         if (running_not_bumped) {
465                 shared_data->body.thr_running++;
466                 running_not_bumped = false;
467         }
468         shmem_unlock();
469 }
470
471 static void shmem_total(int total_threads)
472 {
473         __u64 total = 0;
474         double secs;
475         int i;
476
477         if (!shared_data || total_threads > MAX_THREADS)
478                 return;
479
480         shmem_lock();
481         for (i = 0; i < total_threads; i++)
482                 total += shared_data->body.counters[i];
483
484         secs = difftime(&shared_data->body.end_time,
485                         &shared_data->body.start_time);
486         shmem_unlock();
487
488         printf("Total: total %ju threads %d sec %f %f/second\n",
489                (uintmax_t)total, total_threads, secs, total / secs);
490 }
491
492 static void shmem_snap(int total_threads, int live_threads)
493 {
494         struct timeval this_time;
495         int non_zero = 0;
496         __u64 total = 0;
497         double secs;
498         int running;
499         int i;
500
501         if (!shared_data || total_threads > MAX_THREADS)
502                 return;
503
504         shmem_lock();
505         memcpy(counter_snapshot[0], shared_data->body.counters,
506                total_threads * sizeof(counter_snapshot[0][0]));
507         running = shared_data->body.thr_running;
508         shmem_unlock();
509
510         gettimeofday(&this_time, NULL);
511
512         for (i = 0; i < total_threads; i++) {
513                 long long this_count =
514                         counter_snapshot[0][i] - counter_snapshot[1][i];
515
516                 if (this_count != 0) {
517                         non_zero++;
518                         total += this_count;
519                 }
520         }
521
522         secs = difftime(&this_time, &prev_time);
523         if (prev_valid && secs > 1.0) {   /* someone screwed with the time? */
524                 printf("%d/%d Total: %f/second\n", non_zero, total_threads,
525                        total / secs);
526
527                 memcpy(counter_snapshot[1], counter_snapshot[0],
528                        total_threads * sizeof(counter_snapshot[0][0]));
529                 prev_time = this_time;
530         }
531         if (!prev_valid && running == total_threads) {
532                 prev_valid = 1;
533                 /* drop counters when all threads were started */
534                 memcpy(counter_snapshot[1], counter_snapshot[0],
535                        total_threads * sizeof(counter_snapshot[0][0]));
536                 prev_time = this_time;
537         }
538 }
539
540 static void shmem_stop(void)
541 {
542         if (!shared_data)
543                 return;
544
545         shared_data->stopping = 1;
546 }
547
548 static void shmem_cleanup(void)
549 {
550         if (!shared_data)
551                 return;
552
553         shmem_stop();
554
555         pthread_mutex_destroy(&shared_data->mutex);
556         pthread_cond_destroy(&shared_data->cond);
557 }
558
559 static int shmem_running(void)
560 {
561         return (!shared_data || !shared_data->stopping);
562 }
563
564 static void shmem_end_time_locked(void)
565 {
566         shared_data->body.stop_barrier--;
567         if (shared_data->body.stop_barrier == 0)
568                 gettimeofday(&shared_data->body.end_time, NULL);
569 }
570
571 static void shmem_start_time_locked(void)
572 {
573         shared_data->body.start_barrier--;
574         if (shared_data->body.start_barrier == 0) {
575                 shmem_wakeup_all();
576                 gettimeofday(&shared_data->body.start_time, NULL);
577         } else {
578                 shmem_wait();
579         }
580 }
581
582 #else
583 static int shmem_setup(void)
584 {
585         return 0;
586 }
587
588 static inline void shmem_reset(int total_threads)
589 {
590 }
591
592 static inline void shmem_bump(__u32 counters)
593 {
594 }
595
596 static void shmem_lock(void)
597 {
598 }
599
600 static void shmem_unlock(void)
601 {
602 }
603
604 static void shmem_cleanup(void)
605 {
606 }
607
608 static int shmem_running(void)
609 {
610         return 1;
611 }
612 #endif
613
614 extern command_t cmdlist[];
615
616 static int do_device(char *func, char *devname)
617 {
618         int dev;
619
620         dev = parse_devname(func, devname);
621         if (dev < 0)
622                 return -1;
623
624         lcfg_set_devname(devname);
625         cur_device = dev;
626         return 0;
627 }
628
629 int jt_obd_get_device(void)
630 {
631         return cur_device;
632 }
633
634 int jt_obd_device(int argc, char **argv)
635 {
636         int rc;
637
638         if (argc > 2)
639                 return CMD_HELP;
640
641         if (argc == 1) {
642                 printf("current device is %d - %s\n",
643                        cur_device, lcfg_get_devname() ? : "not set");
644                 return 0;
645         }
646         rc = do_device("device", argv[1]);
647         return rc;
648 }
649
650 int jt_opt_device(int argc, char **argv)
651 {
652         int ret;
653         int rc;
654
655         if (argc < 3)
656                 return CMD_HELP;
657
658         rc = do_device("device", argv[1]);
659
660         if (!rc)
661                 rc = Parser_execarg(argc - 2, argv + 2, cmdlist);
662
663         ret = do_disconnect(argv[0], 0);
664         if (!rc)
665                 rc = ret;
666
667         return rc;
668 }
669
670 #ifdef MAX_THREADS
671 static void parent_sighandler(int sig)
672 {
673 }
674
675 int jt_opt_threads(int argc, char **argv)
676 {
677         static char      cmdstr[129];
678         sigset_t         saveset;
679         sigset_t         sigset;
680         struct sigaction sigact;
681         struct sigaction saveact1;
682         struct sigaction saveact2;
683         unsigned long    threads;
684         __u64            next_thread;
685         int verbose;
686         int rc = 0;
687         int report_count = -1;
688         char *end;
689         int i;
690
691         if (argc < 5)
692                 return CMD_HELP;
693
694         threads = strtoul(argv[1], &end, 0);
695
696         if (*end == '.')
697                 report_count = strtoul(end + 1, &end, 0);
698
699         if (*end || threads > MAX_THREADS) {
700                 fprintf(stderr, "error: %s: invalid thread count '%s'\n",
701                         jt_cmdname(argv[0]), argv[1]);
702                 return CMD_HELP;
703         }
704
705         verbose = get_verbose(argv[0], argv[2]);
706         if (verbose == BAD_VERBOSE)
707                 return CMD_HELP;
708
709         if (verbose != 0) {
710                 snprintf(cmdstr, sizeof(cmdstr), "%s", argv[4]);
711                 for (i = 5; i < argc; i++)
712                         snprintf(cmdstr + strlen(cmdstr),
713                                  sizeof(cmdstr) - strlen(cmdstr),
714                                  " %s", argv[i]);
715
716                 printf("%s: starting %ld threads on device %s running %s\n",
717                        argv[0], threads, argv[3], cmdstr);
718         }
719
720         shmem_reset(threads);
721
722         sigemptyset(&sigset);
723         sigaddset(&sigset, SIGALRM);
724         sigaddset(&sigset, SIGCHLD);
725         sigprocmask(SIG_BLOCK, &sigset, &saveset);
726
727         nthreads = threads;
728
729         for (i = 1, next_thread = verbose; i <= threads; i++) {
730                 rc = fork();
731                 if (rc < 0) {
732                         fprintf(stderr, "error: %s: #%d - %s\n", argv[0], i,
733                                 strerror(rc = errno));
734                         break;
735                 } else if (rc == 0) {
736                         sigprocmask(SIG_SETMASK, &saveset, NULL);
737
738                         thread = i;
739                         argv[2] = "--device";
740                         exit(jt_opt_device(argc - 2, argv + 2));
741                 } else if (be_verbose(verbose, NULL, i, &next_thread, threads))
742                         printf("%s: thread #%d (PID %d) started\n",
743                                argv[0], i, rc);
744                 rc = 0;
745         }
746
747         if (!thread) {          /* parent process */
748                 int live_threads = threads;
749
750                 sigemptyset(&sigset);
751                 sigemptyset(&sigact.sa_mask);
752                 sigact.sa_handler = parent_sighandler;
753                 sigact.sa_flags = 0;
754
755                 sigaction(SIGALRM, &sigact, &saveact1);
756                 sigaction(SIGCHLD, &sigact, &saveact2);
757
758                 while (live_threads > 0) {
759                         int status;
760                         pid_t ret;
761
762                         if (verbose < 0)        /* periodic stats */
763                                 alarm(-verbose);
764
765                         sigsuspend(&sigset);
766                         alarm(0);
767
768                         while (live_threads > 0) {
769                                 ret = waitpid(0, &status, WNOHANG);
770                                 if (ret == 0)
771                                         break;
772
773                                 if (ret < 0) {
774                                         fprintf(stderr,
775                                                 "error: %s: wait - %s\n",
776                                                 argv[0], strerror(errno));
777                                         if (!rc)
778                                                 rc = errno;
779                                         continue;
780                                 } else {
781                                         /*
782                                          * This is a hack.  We _should_ be able
783                                          * to use WIFEXITED(status) to see if
784                                          * there was an error, but it appears
785                                          * to be broken and it always returns 1
786                                          * (OK).  See wait(2).
787                                          */
788                                         int err = WEXITSTATUS(status);
789
790                                         if (err || WIFSIGNALED(status))
791                                                 fprintf(stderr,
792                                                         "%s: PID %d had rc=%d\n",
793                                                         argv[0], ret, err);
794                                         if (!rc)
795                                                 rc = err;
796
797                                         live_threads--;
798                                 }
799                         }
800
801                         /* Show stats while all threads running */
802                         if (verbose < 0) {
803                                 shmem_snap(threads, live_threads);
804                                 if (report_count > 0 && --report_count == 0)
805                                         shmem_stop();
806                         }
807                 }
808                 sigaction(SIGCHLD, &saveact2, NULL);
809                 sigaction(SIGALRM, &saveact1, NULL);
810         }
811
812         shmem_total(threads);
813         sigprocmask(SIG_SETMASK, &saveset, NULL);
814
815         return rc;
816 }
817 #else
818 int jt_opt_threads(int argc, char **argv)
819 {
820         fprintf(stderr, "%s not-supported in a single-threaded runtime\n",
821                 jt_cmdname(argv[0]));
822         return CMD_HELP;
823 }
824 #endif
825
826 int jt_opt_net(int argc, char **argv)
827 {
828         char *arg2[3];
829         int rc;
830
831         if (argc < 3)
832                 return CMD_HELP;
833
834         arg2[0] = argv[0];
835         arg2[1] = argv[1];
836         arg2[2] = NULL;
837         rc = jt_ptl_network(2, arg2);
838
839         if (!rc)
840                 rc = Parser_execarg(argc - 2, argv + 2, cmdlist);
841
842         return rc;
843 }
844
845 #ifdef HAVE_SERVER_SUPPORT
846 /*
847  * Place this here so we can build tools that work with
848  * older Lustre versions
849  */
850 #ifndef OBD_IOC_NO_TRANSNO
851 #define OBD_IOC_NO_TRANSNO      _IOW('f', 140, OBD_IOC_DATA_TYPE)
852 #endif
853
854 int jt_obd_no_transno(int argc, char **argv)
855 {
856         struct obd_ioctl_data data;
857         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
858         glob_t path;
859         int count;
860         int fd;
861         int rc;
862
863         if (argc != 1)
864                 return CMD_HELP;
865
866         memset(buf, 0, sizeof(rawbuf));
867
868         rc = cfs_get_param_paths(&path, "no_transno");
869         if (rc != 0)
870                 goto old_ioctl;
871
872         fd = open(path.gl_pathv[0], O_WRONLY);
873         if (fd < 0) {
874                 cfs_free_param_data(&path);
875                 goto old_ioctl;
876         }
877
878         snprintf(rawbuf, sizeof(rawbuf), "%d", cur_device);
879
880         count = write(fd, rawbuf, strlen(rawbuf));
881         if (count < 0)
882                 rc = errno;
883
884         cfs_free_param_data(&path);
885         close(fd);
886         if (rc)
887                 goto old_ioctl;
888
889         return 0;
890
891 old_ioctl:
892 #if LUSTRE_VERSION_CODE < OBD_OCD_VERSION(3, 0, 53, 0)
893         memset(&data, 0, sizeof(data));
894         data.ioc_dev = cur_device;
895
896         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
897         if (rc) {
898                 fprintf(stderr, "error: %s: invalid ioctl\n",
899                         jt_cmdname(argv[0]));
900                 return rc;
901         }
902         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_NO_TRANSNO, buf);
903         if (rc < 0)
904                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
905                         strerror(rc = errno));
906 #endif
907         return rc;
908 }
909 #endif /* HAVE_SERVER_SUPPORT */
910
911 int jt_obd_set_readonly(int argc, char **argv)
912 {
913         struct obd_ioctl_data data;
914         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
915         int rc;
916
917         memset(&data, 0, sizeof(data));
918         data.ioc_dev = cur_device;
919
920         if (argc != 1)
921                 return CMD_HELP;
922
923         memset(buf, 0, sizeof(rawbuf));
924         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
925         if (rc) {
926                 fprintf(stderr, "error: %s: invalid ioctl\n",
927                         jt_cmdname(argv[0]));
928                 return rc;
929         }
930         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SET_READONLY, buf);
931         if (rc < 0)
932                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
933                         strerror(rc = errno));
934
935         return rc;
936 }
937
938 static int obd_abort_recovery(char *cmd, enum obd_abort_recovery_flags flags)
939 {
940         struct obd_ioctl_data data = {
941                 .ioc_dev = cur_device,
942                 .ioc_type = flags,
943         };
944         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
945         int rc;
946
947         memset(buf, 0, sizeof(rawbuf));
948         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
949         if (rc) {
950                 fprintf(stderr, "error: %s: invalid ioctl\n",
951                         jt_cmdname(cmd));
952                 return rc;
953         }
954         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ABORT_RECOVERY, buf);
955         if (rc < 0)
956                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(cmd),
957                         strerror(rc = errno));
958
959         return rc;
960 }
961
962 int jt_obd_abort_recovery(int argc, char **argv)
963 {
964         if (argc != 1)
965                 return CMD_HELP;
966
967         return obd_abort_recovery(argv[0], OBD_FLG_ABORT_RECOV_OST);
968 }
969
970 int jt_obd_abort_recovery_mdt(int argc, char **argv)
971 {
972         if (argc != 1)
973                 return CMD_HELP;
974
975         return obd_abort_recovery(argv[0], OBD_FLG_ABORT_RECOV_MDT);
976 }
977
978 int jt_get_version(int argc, char **argv)
979 {
980         char version[128];
981         int rc;
982
983         if (argc != 1)
984                 return CMD_HELP;
985
986         rc = llapi_get_version_string(version, sizeof(version));
987         if (rc)
988                 printf("Lustre version: %s\n", LUSTRE_VERSION_STRING);
989         else
990                 printf("Lustre version: %s\n", version);
991
992         return 0;
993 }
994
995 static void print_obd_line(char *s)
996 {
997         const char *param = "osc/%s/ost_conn_uuid";
998         char buf[MAX_STRING_SIZE];
999         char obd_name[MAX_OBD_NAME];
1000         FILE *fp = NULL;
1001         glob_t path;
1002         char *ptr;
1003 retry:
1004         /* obd device type is the first 3 characters of param name */
1005         snprintf(buf, sizeof(buf), " %%*d %%*s %.3s %%%zus %%*s %%*d ",
1006                  param, sizeof(obd_name) - 1);
1007         if (sscanf(s, buf, obd_name) == 0)
1008                 goto try_mdc;
1009         if (cfs_get_param_paths(&path, param, obd_name) != 0)
1010                 goto try_mdc;
1011         fp = fopen(path.gl_pathv[0], "r");
1012         if (!fp) {
1013                 /* need to free path data before retry */
1014                 cfs_free_param_data(&path);
1015 try_mdc:
1016                 if (param[0] == 'o') { /* failed with osc, try mdc */
1017                         param = "mdc/%s/mds_conn_uuid";
1018                         goto retry;
1019                 }
1020                 buf[0] = '\0';
1021                 goto fail_print;
1022         }
1023
1024         /* should not ignore fgets(3)'s return value */
1025         if (!fgets(buf, sizeof(buf), fp)) {
1026                 fprintf(stderr, "reading from %s: %s", buf, strerror(errno));
1027                 goto fail_close;
1028         }
1029
1030 fail_close:
1031         fclose(fp);
1032         cfs_free_param_data(&path);
1033
1034         /* trim trailing newlines */
1035         ptr = strrchr(buf, '\n');
1036         if (ptr)
1037                 *ptr = '\0';
1038 fail_print:
1039         ptr = strrchr(s, '\n');
1040         if (ptr)
1041                 *ptr = '\0';
1042         printf("%s%s%s\n", s, buf[0] ? " " : "", buf);
1043 }
1044
1045 /* get device list by ioctl */
1046 int jt_obd_list_ioctl(int argc, char **argv)
1047 {
1048         int rc, index;
1049         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1050         struct obd_ioctl_data *data = (struct obd_ioctl_data *)buf;
1051
1052         if (argc > 2)
1053                 return CMD_HELP;
1054         /* Just ignore a -t option.  Only supported with /proc. */
1055         else if (argc == 2 && strcmp(argv[1], "-t") != 0)
1056                 return CMD_HELP;
1057
1058         for (index = 0;; index++) {
1059                 memset(buf, 0, sizeof(rawbuf));
1060                 data->ioc_version = OBD_IOCTL_VERSION;
1061                 data->ioc_inllen1 =
1062                         sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(*data), 8);
1063                 data->ioc_inlbuf1 = buf + __ALIGN_KERNEL(sizeof(*data), 8);
1064                 data->ioc_len = obd_ioctl_packlen(data);
1065                 data->ioc_count = index;
1066
1067                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETDEVICE, buf);
1068                 if (rc != 0)
1069                         break;
1070                 printf("%s\n", (char *)data->ioc_bulk);
1071         }
1072         if (rc != 0) {
1073                 if (errno == ENOENT)
1074                         /* no device or the last device */
1075                         rc = 0;
1076                 else
1077                         fprintf(stderr,
1078                                 "Error getting device list: %s: check dmesg\n",
1079                                 strerror(errno));
1080         }
1081         return rc;
1082 }
1083
1084 int jt_obd_list(int argc, char **argv)
1085 {
1086         char buf[MAX_STRING_SIZE];
1087         int print_obd = 0;
1088         glob_t path;
1089         FILE *fp;
1090
1091         if (argc > 2)
1092                 return CMD_HELP;
1093
1094         if (argc == 2) {
1095                 if (strcmp(argv[1], "-t") == 0)
1096                         print_obd = 1;
1097                 else
1098                         return CMD_HELP;
1099         }
1100
1101         if (cfs_get_param_paths(&path, "devices") ||
1102             !(fp = fopen(path.gl_pathv[0], "r"))) {
1103                 cfs_free_param_data(&path);
1104
1105                 return jt_obd_list_ioctl(argc, argv);
1106         }
1107
1108         while (fgets(buf, sizeof(buf), fp) != NULL)
1109                 if (print_obd)
1110                         print_obd_line(buf);
1111                 else
1112                         printf("%s", buf);
1113
1114         cfs_free_param_data(&path);
1115         fclose(fp);
1116         return 0;
1117 }
1118
1119 struct jt_fid_space {
1120         __u64   jt_seq;
1121         __u64   jt_id;
1122         int     jt_width;
1123 };
1124
1125 int jt_obd_alloc_fids(struct jt_fid_space *space, struct lu_fid *fid,
1126                       __u64 *count)
1127 {
1128         int rc;
1129
1130         if (space->jt_seq == 0 || space->jt_id == space->jt_width) {
1131                 struct obd_ioctl_data  data;
1132                 char rawbuf[MAX_IOC_BUFLEN];
1133                 char *buf = rawbuf;
1134                 __u64 seqnr;
1135                 int max_count;
1136
1137                 memset(&data, 0, sizeof(data));
1138                 data.ioc_dev = cur_device;
1139
1140                 data.ioc_pbuf1 = (char *)&seqnr;
1141                 data.ioc_plen1 = sizeof(seqnr);
1142
1143                 data.ioc_pbuf2 = (char *)&max_count;
1144                 data.ioc_plen2 = sizeof(max_count);
1145
1146                 memset(buf, 0, sizeof(rawbuf));
1147                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1148                 if (rc) {
1149                         fprintf(stderr, "error: invalid ioctl rc = %d\n", rc);
1150                         return rc;
1151                 }
1152
1153                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ECHO_ALLOC_SEQ, buf);
1154                 if (rc) {
1155                         fprintf(stderr, "ioctl error: rc = %d\n", rc);
1156                         return rc;
1157                 }
1158
1159                 space->jt_seq = *(__u64 *)data.ioc_pbuf1;
1160                 space->jt_width = *(int *)data.ioc_pbuf2;
1161                 space->jt_id = 1;
1162         }
1163         fid->f_seq = space->jt_seq;
1164         fid->f_oid = space->jt_id;
1165         fid->f_ver = 0;
1166
1167         space->jt_id = space->jt_id + *count;
1168         if (space->jt_id > space->jt_width)
1169                 space->jt_id = space->jt_width;
1170
1171         *count = space->jt_id - fid->f_oid;
1172         return 0;
1173 }
1174
1175 #define MD_STEP_COUNT 1000
1176 int jt_obd_md_common(int argc, char **argv, int cmd)
1177 {
1178         struct obd_ioctl_data  data;
1179         struct timeval         start;
1180         struct timeval         end_time;
1181         char rawbuf[MAX_IOC_BUFLEN];
1182         char *buf = rawbuf;
1183         int mode = 0000644;
1184         int create_mode;
1185         int rc = 0;
1186         char *parent_basedir = NULL;
1187         char dirname[4096];
1188         int parent_base_id = 0;
1189         int parent_count = 1;
1190         __u64 child_base_id = -1;
1191         int stripe_count = 0;
1192         int stripe_index = -1;
1193         int count = 0;
1194         char *end;
1195         __u64 seconds = 0;
1196         double diff;
1197         int c;
1198         __u64 total_count = 0;
1199         char *name = NULL;
1200         struct jt_fid_space fid_space = {0};
1201         int version = 0;
1202         struct option long_opts[] = {
1203         { .val = 'b',   .name = "child_base_id",
1204                                                 .has_arg = required_argument },
1205         { .val = 'c',   .name = "stripe_count",
1206                                                 .has_arg = required_argument },
1207         { .val = 'd',   .name = "parent_basedir",
1208                                                 .has_arg = required_argument },
1209         { .val = 'D',   .name = "parent_dircount",
1210                                                 .has_arg = required_argument },
1211         { .val = 'i',   .name = "stripe_index", .has_arg = required_argument },
1212         { .val = 'm',   .name = "mode",         .has_arg = required_argument },
1213         { .val = 'n',   .name = "count",        .has_arg = required_argument },
1214         { .val = 't',   .name = "time",         .has_arg = required_argument },
1215         { .val = 'v',   .name = "version",      .has_arg = no_argument },
1216         { .name = NULL } };
1217
1218         while ((c = getopt_long(argc, argv, "b:c:d:D:m:n:t:v",
1219                                 long_opts, NULL)) >= 0) {
1220                 switch (c) {
1221                 case 'b':
1222                         child_base_id = strtoull(optarg, &end, 0);
1223                         if (*end) {
1224                                 fprintf(stderr,
1225                                         "error: %s: bad child_base_id '%s'\n",
1226                                         jt_cmdname(argv[0]), optarg);
1227                                 return CMD_HELP;
1228                         }
1229                         break;
1230                 case 'c':
1231                         stripe_count = strtoul(optarg, &end, 0);
1232                         if (*end) {
1233                                 fprintf(stderr,
1234                                         "error: %s: bad stripe count '%s'\n",
1235                                         jt_cmdname(argv[0]), optarg);
1236                                 return CMD_HELP;
1237                         }
1238                         break;
1239                 case 'd':
1240                         parent_basedir = optarg;
1241                         break;
1242                 case 'D':
1243                         parent_count = strtoul(optarg, &end, 0);
1244                         if (*end) {
1245                                 fprintf(stderr,
1246                                         "error: %s: bad parent count '%s'\n",
1247                                         jt_cmdname(argv[0]), optarg);
1248                                 return CMD_HELP;
1249                         }
1250                         break;
1251                 case 'i':
1252                         stripe_index = strtoul(optarg, &end, 0);
1253                         if (*end) {
1254                                 fprintf(stderr,
1255                                         "error: %s: bad stripe index '%s'\n",
1256                                         jt_cmdname(argv[0]), optarg);
1257                                 return CMD_HELP;
1258                         }
1259                         break;
1260                 case 'm':
1261                         mode = strtoul(optarg, &end, 0);
1262                         if (*end) {
1263                                 fprintf(stderr, "error: %s: bad mode '%s'\n",
1264                                         jt_cmdname(argv[0]), optarg);
1265                                 return CMD_HELP;
1266                         }
1267                         break;
1268                 case 'n':
1269                         total_count = strtoul(optarg, &end, 0);
1270                         if (*end || total_count == 0) {
1271                                 fprintf(stderr, "%s: bad child count '%s'\n",
1272                                         jt_cmdname(argv[0]), optarg);
1273                                 return CMD_HELP;
1274                         }
1275                         break;
1276                 case 't':
1277                         seconds = strtoull(optarg, &end, 0);
1278                         if (*end) {
1279                                 fprintf(stderr, "error: %s: seconds '%s'\n",
1280                                         jt_cmdname(argv[0]), optarg);
1281                                 return CMD_HELP;
1282                         }
1283                         break;
1284                 case 'v':
1285                         version = 1;
1286                         break;
1287                 default:
1288                         fprintf(stderr,
1289                                 "error: %s: option '%s' unrecognized\n",
1290                                 argv[0], argv[optind - 1]);
1291                         return CMD_HELP;
1292                 }
1293         }
1294
1295         memset(&data, 0, sizeof(data));
1296         data.ioc_dev = cur_device;
1297         if (child_base_id == -1) {
1298                 if (optind >= argc)
1299                         return CMD_HELP;
1300                 name = argv[optind];
1301                 total_count = 1;
1302         } else {
1303                 if (optind < argc) {
1304                         fprintf(stderr,
1305                                 "child_base_id and name can not specified at the same time\n");
1306                         return CMD_HELP;
1307                 }
1308         }
1309
1310         if (stripe_count == 0 && stripe_index != -1) {
1311                 fprintf(stderr,
1312                         "If stripe_count is 0, stripe_index can not be specified\n");
1313                 return CMD_HELP;
1314         }
1315
1316         if (total_count == 0 && seconds == 0) {
1317                 fprintf(stderr, "count or seconds needs to be indicated\n");
1318                 return CMD_HELP;
1319         }
1320
1321         if (parent_count <= 0) {
1322                 fprintf(stderr, "parent count must < 0\n");
1323                 return CMD_HELP;
1324         }
1325
1326 #ifdef MAX_THREADS
1327         if (thread) {
1328                 shmem_lock();
1329                 /* threads interleave */
1330                 if (parent_base_id != -1)
1331                         parent_base_id += (thread - 1) % parent_count;
1332
1333                 if (child_base_id != -1)
1334                         child_base_id +=  (thread - 1) *
1335                                 (MAX_BASE_ID / nthreads);
1336
1337                 shmem_start_time_locked();
1338                 shmem_unlock();
1339         }
1340 #endif
1341         /*
1342          * If parent directory is not specified, try to get the directory
1343          * from name
1344          */
1345         if (!parent_basedir) {
1346                 char *last_lash;
1347
1348                 if (!name) {
1349                         fprintf(stderr,
1350                                 "parent_basedir or name must be indicated!\n");
1351                         return CMD_HELP;
1352                 }
1353                 /*Get directory and name from name*/
1354                 last_lash = strrchr(name, '/');
1355                 if (!last_lash || name[0] != '/') {
1356                         fprintf(stderr, "Can not locate %s\n", name);
1357                         return CMD_HELP;
1358                 }
1359
1360                 if (last_lash == name) {
1361                         sprintf(dirname, "%s", "/");
1362                         name++;
1363                 } else {
1364                         int namelen = (unsigned long)last_lash -
1365                                       (unsigned long)name + 1;
1366                         snprintf(dirname, namelen, "%s", name);
1367                         name = last_lash + 1;
1368                 }
1369
1370                 data.ioc_pbuf1 = dirname;
1371                 data.ioc_plen1 = strlen(dirname);
1372
1373                 data.ioc_pbuf2 = name;
1374                 data.ioc_plen2 = strlen(name);
1375         } else {
1376                 if (name) {
1377                         data.ioc_pbuf2 = name;
1378                         data.ioc_plen2 = strlen(name);
1379                 }
1380                 if (parent_base_id > 0)
1381                         sprintf(dirname, "%s%d", parent_basedir,
1382                                 parent_base_id);
1383                 else
1384                         sprintf(dirname, "%s", parent_basedir);
1385                 data.ioc_pbuf1 = dirname;
1386                 data.ioc_plen1 = strlen(dirname);
1387         }
1388
1389         if (cmd == ECHO_MD_MKDIR || cmd == ECHO_MD_RMDIR)
1390                 create_mode = S_IFDIR;
1391         else
1392                 create_mode = S_IFREG;
1393
1394         data.ioc_obdo1.o_mode = mode | S_IFDIR;
1395         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE |
1396                                  OBD_MD_FLFLAGS | OBD_MD_FLGROUP;
1397         data.ioc_command = cmd;
1398
1399         gettimeofday(&start, NULL);
1400         while (shmem_running()) {
1401                 struct lu_fid fid = { 0 };
1402
1403                 if (child_base_id != -1)
1404                         data.ioc_obdo2.o_oi.oi.oi_id = child_base_id;
1405                 data.ioc_obdo2.o_mode = mode | create_mode;
1406                 data.ioc_obdo2.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE |
1407                                          OBD_MD_FLMODE | OBD_MD_FLFLAGS |
1408                                          OBD_MD_FLGROUP;
1409                 data.ioc_obdo2.o_misc = stripe_count;
1410                 data.ioc_obdo2.o_stripe_idx = stripe_index;
1411
1412                 if (total_count > 0) {
1413                         if ((total_count - count) > MD_STEP_COUNT)
1414                                 data.ioc_count = MD_STEP_COUNT;
1415                         else
1416                                 data.ioc_count = total_count - count;
1417                 } else {
1418                         data.ioc_count = MD_STEP_COUNT;
1419                 }
1420
1421                 if (cmd == ECHO_MD_CREATE || cmd == ECHO_MD_MKDIR) {
1422                         /*Allocate fids for the create */
1423                         rc = jt_obd_alloc_fids(&fid_space, &fid,
1424                                                &data.ioc_count);
1425                         if (rc) {
1426                                 fprintf(stderr, "Allocate fids error %d.\n",
1427                                         rc);
1428                                 return rc;
1429                         }
1430                         data.ioc_obdo1.o_oi.oi_fid = fid;
1431                 }
1432
1433                 child_base_id += data.ioc_count;
1434                 count += data.ioc_count;
1435
1436                 memset(buf, 0, sizeof(rawbuf));
1437                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1438                 if (rc) {
1439                         fprintf(stderr, "error: %s: invalid ioctl %d\n",
1440                                 jt_cmdname(argv[0]), rc);
1441                         return rc;
1442                 }
1443
1444                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_ECHO_MD, buf);
1445                 if (rc) {
1446                         fprintf(stderr, "error: %s: %s\n",
1447                                 jt_cmdname(argv[0]), strerror(rc = errno));
1448                         return rc;
1449                 }
1450                 shmem_bump(data.ioc_count);
1451
1452                 gettimeofday(&end_time, NULL);
1453                 diff = difftime(&end_time, &start);
1454                 if (seconds > 0 && (__u64)diff > seconds)
1455                         break;
1456
1457                 if (count >= total_count && total_count > 0)
1458                         break;
1459         }
1460
1461         if (count > 0 && version) {
1462                 gettimeofday(&end_time, NULL);
1463                 diff = difftime(&end_time, &start);
1464                 printf("%s: %d in %.3fs (%.3f /s): %s",
1465                        jt_cmdname(argv[0]), count, diff,
1466                        (double)count / diff, ctime(&end_time.tv_sec));
1467         }
1468
1469 #ifdef MAX_THREADS
1470         if (thread) {
1471                 shmem_lock();
1472                 shmem_end_time_locked();
1473                 shmem_unlock();
1474         }
1475 #endif
1476         return rc;
1477 }
1478
1479 int jt_obd_test_create(int argc, char **argv)
1480 {
1481         return jt_obd_md_common(argc, argv, ECHO_MD_CREATE);
1482 }
1483
1484 int jt_obd_test_mkdir(int argc, char **argv)
1485 {
1486         return jt_obd_md_common(argc, argv, ECHO_MD_MKDIR);
1487 }
1488
1489 int jt_obd_test_destroy(int argc, char **argv)
1490 {
1491         return jt_obd_md_common(argc, argv, ECHO_MD_DESTROY);
1492 }
1493
1494 int jt_obd_test_rmdir(int argc, char **argv)
1495 {
1496         return jt_obd_md_common(argc, argv, ECHO_MD_RMDIR);
1497 }
1498
1499 int jt_obd_test_lookup(int argc, char **argv)
1500 {
1501         return jt_obd_md_common(argc, argv, ECHO_MD_LOOKUP);
1502 }
1503
1504 int jt_obd_test_setxattr(int argc, char **argv)
1505 {
1506         return jt_obd_md_common(argc, argv, ECHO_MD_SETATTR);
1507 }
1508
1509 int jt_obd_test_md_getattr(int argc, char **argv)
1510 {
1511         return jt_obd_md_common(argc, argv, ECHO_MD_GETATTR);
1512 }
1513
1514 int jt_obd_create(int argc, char **argv)
1515 {
1516         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1517         struct obd_ioctl_data data;
1518         struct timeval next_time;
1519         __u64 count = 1, next_count, base_id = 1;
1520         int verbose = 1, mode = 0100644, rc = 0, i;
1521         char *end;
1522
1523         memset(&data, 0, sizeof(data));
1524         data.ioc_dev = cur_device;
1525         if (argc < 2 || argc > 4)
1526                 return CMD_HELP;
1527
1528         count = strtoull(argv[1], &end, 0);
1529         if (*end) {
1530                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1531                         jt_cmdname(argv[0]), argv[1]);
1532                 return CMD_HELP;
1533         }
1534
1535         if (argc > 2) {
1536                 mode = strtoul(argv[2], &end, 0);
1537                 if (*end) {
1538                         fprintf(stderr, "error: %s: invalid mode '%s'\n",
1539                                 jt_cmdname(argv[0]), argv[2]);
1540                         return CMD_HELP;
1541                 }
1542                 if (!(mode & S_IFMT))
1543                         mode |= S_IFREG;
1544         }
1545
1546         if (argc > 3) {
1547                 verbose = get_verbose(argv[0], argv[3]);
1548                 if (verbose == BAD_VERBOSE)
1549                         return CMD_HELP;
1550         }
1551
1552         printf("%s: %jd objects\n", jt_cmdname(argv[0]), (uintmax_t)count);
1553         gettimeofday(&next_time, NULL);
1554         next_time.tv_sec -= verbose;
1555
1556         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1557         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1558                 /*
1559                  * base_id is 1 so we don't need to worry about it being
1560                  * greater than OBIF_MAX_OID
1561                  */
1562                 data.ioc_obdo1.o_oi.oi_fid.f_oid = base_id;
1563                 data.ioc_obdo1.o_mode = mode;
1564                 data.ioc_obdo1.o_uid = 0;
1565                 data.ioc_obdo1.o_gid = 0;
1566                 data.ioc_obdo1.o_projid = 0;
1567                 data.ioc_obdo1.o_valid = OBD_MD_FLTYPE | OBD_MD_FLMODE |
1568                                          OBD_MD_FLID | OBD_MD_FLUID |
1569                                          OBD_MD_FLGID | OBD_MD_FLGROUP |
1570                                          OBD_MD_FLPROJID;
1571
1572                 memset(buf, 0, sizeof(rawbuf));
1573                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1574                 if (rc) {
1575                         fprintf(stderr, "error: %s: invalid ioctl\n",
1576                                 jt_cmdname(argv[0]));
1577                         return rc;
1578                 }
1579                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CREATE, buf);
1580                 llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1581                 shmem_bump(1);
1582                 if (rc < 0) {
1583                         fprintf(stderr, "error: %s: #%d - %s\n",
1584                                 jt_cmdname(argv[0]), i, strerror(rc = errno));
1585                         break;
1586                 }
1587                 if (!(data.ioc_obdo1.o_valid & OBD_MD_FLID)) {
1588                         fprintf(stderr, "error: %s: oid not valid #%d:%#jx\n",
1589                                 jt_cmdname(argv[0]), i,
1590                                 (uintmax_t)data.ioc_obdo1.o_valid);
1591                         rc = EINVAL;
1592                         break;
1593                 }
1594
1595                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1596                         printf("%s: #%d is object id %#jx\n",
1597                                jt_cmdname(argv[0]), i,
1598                                (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi));
1599         }
1600
1601         return rc;
1602 }
1603
1604 int jt_obd_setattr(int argc, char **argv)
1605 {
1606         struct obd_ioctl_data data;
1607         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1608         __u64 objid;
1609         char *end;
1610         int mode;
1611         int rc;
1612
1613         memset(&data, 0, sizeof(data));
1614         data.ioc_dev = cur_device;
1615         if (argc != 2)
1616                 return CMD_HELP;
1617
1618         objid = strtoull(argv[1], &end, 0);
1619         if (*end) {
1620                 fprintf(stderr, "error: %s: objid '%s' is not a number\n",
1621                         jt_cmdname(argv[0]), argv[1]);
1622                 return CMD_HELP;
1623         }
1624
1625         if (objid >= OBIF_MAX_OID) {
1626                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1627                         jt_cmdname(argv[0]), argv[1]);
1628                 return CMD_HELP;
1629         }
1630
1631         mode = strtoul(argv[2], &end, 0);
1632         if (*end) {
1633                 fprintf(stderr, "error: %s: invalid mode '%s'\n",
1634                         jt_cmdname(argv[0]), argv[2]);
1635                 return CMD_HELP;
1636         }
1637
1638         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1639         data.ioc_obdo1.o_mode = S_IFREG | mode;
1640         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1641         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE;
1642
1643         memset(buf, 0, sizeof(rawbuf));
1644         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1645         if (rc) {
1646                 fprintf(stderr, "error: %s: invalid ioctl\n",
1647                         jt_cmdname(argv[0]));
1648                 return rc;
1649         }
1650         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SETATTR, buf);
1651         if (rc < 0)
1652                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
1653                         strerror(rc = errno));
1654
1655         return rc;
1656 }
1657
1658 int jt_obd_test_setattr(int argc, char **argv)
1659 {
1660         struct obd_ioctl_data data;
1661         struct timeval start, next_time;
1662         __u64 i, count, next_count;
1663         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1664         int verbose = 1;
1665         __u64 objid = 3;
1666         char *end;
1667         int rc = 0;
1668
1669         if (argc < 2 || argc > 4)
1670                 return CMD_HELP;
1671
1672         memset(&data, 0, sizeof(data));
1673         data.ioc_dev = cur_device;
1674         count = strtoull(argv[1], &end, 0);
1675         if (*end) {
1676                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1677                         jt_cmdname(argv[0]), argv[1]);
1678                 return CMD_HELP;
1679         }
1680
1681         if (argc >= 3) {
1682                 verbose = get_verbose(argv[0], argv[2]);
1683                 if (verbose == BAD_VERBOSE)
1684                         return CMD_HELP;
1685         }
1686
1687         if (argc >= 4) {
1688                 if (argv[3][0] == 't') {
1689                         objid = strtoull(argv[3] + 1, &end, 0);
1690                         if (thread)
1691                                 objid += thread - 1;
1692                 } else {
1693                         objid = strtoull(argv[3], &end, 0);
1694                 }
1695                 if (*end) {
1696                         fprintf(stderr, "error: %s: invalid objid '%s'\n",
1697                                 jt_cmdname(argv[0]), argv[3]);
1698                         return CMD_HELP;
1699                 }
1700         }
1701
1702         gettimeofday(&start, NULL);
1703         next_time.tv_sec = start.tv_sec - verbose;
1704         next_time.tv_usec = start.tv_usec;
1705         if (verbose != 0)
1706                 printf("%s: setting %jd attrs (objid %#jx): %s",
1707                        jt_cmdname(argv[0]), (uintmax_t)count,
1708                        (uintmax_t)objid, ctime(&start.tv_sec));
1709
1710         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1711         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1712                 if (objid >= OBIF_MAX_OID) {
1713                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1714                                 jt_cmdname(argv[0]), (unsigned long long)objid);
1715                         return -E2BIG;
1716                 }
1717
1718                 data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1719                 data.ioc_obdo1.o_mode = S_IFREG;
1720                 data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE |
1721                                          OBD_MD_FLMODE;
1722                 memset(buf, 0, sizeof(rawbuf));
1723                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1724                 if (rc) {
1725                         fprintf(stderr, "error: %s: invalid ioctl\n",
1726                                 jt_cmdname(argv[0]));
1727                         return rc;
1728                 }
1729                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_SETATTR, &data);
1730                 shmem_bump(1);
1731                 if (rc < 0) {
1732                         fprintf(stderr, "error: %s: #%jd - %d:%s\n",
1733                                 jt_cmdname(argv[0]), (uintmax_t)i,
1734                                 errno, strerror(rc = errno));
1735                         break;
1736                 }
1737                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1738                         printf("%s: set attr #%jd\n",
1739                                jt_cmdname(argv[0]), (uintmax_t)i);
1740         }
1741
1742         if (!rc) {
1743                 struct timeval end;
1744                 double diff;
1745
1746                 gettimeofday(&end, NULL);
1747
1748                 diff = difftime(&end, &start);
1749
1750                 --i;
1751                 if (verbose != 0)
1752                         printf("%s: %jd attrs in %.3fs (%.3f attr/s): %s",
1753                                jt_cmdname(argv[0]), (uintmax_t)i, diff,
1754                                i / diff, ctime(&end.tv_sec));
1755         }
1756         return rc;
1757 }
1758
1759 int jt_obd_destroy(int argc, char **argv)
1760 {
1761         struct obd_ioctl_data data;
1762         struct timeval next_time;
1763         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1764         __u64 count = 1, next_count;
1765         int verbose = 1;
1766         __u64 id;
1767         char *end;
1768         int rc = 0, i;
1769
1770         memset(&data, 0, sizeof(data));
1771         data.ioc_dev = cur_device;
1772         if (argc < 2 || argc > 4)
1773                 return CMD_HELP;
1774
1775         errno = 0;
1776         id = strtoull(argv[1], &end, 0);
1777         if (*end || id == 0 || errno != 0) {
1778                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1779                         jt_cmdname(argv[0]), argv[1]);
1780                 return CMD_HELP;
1781         }
1782         if (argc > 2) {
1783                 count = strtoull(argv[2], &end, 0);
1784                 if (*end) {
1785                         fprintf(stderr,
1786                                 "error: %s: invalid iteration count '%s'\n",
1787                                 jt_cmdname(argv[0]), argv[2]);
1788                         return CMD_HELP;
1789                 }
1790         }
1791
1792         if (argc > 3) {
1793                 verbose = get_verbose(argv[0], argv[3]);
1794                 if (verbose == BAD_VERBOSE)
1795                         return CMD_HELP;
1796         }
1797
1798         printf("%s: %jd objects\n", jt_cmdname(argv[0]), (uintmax_t)count);
1799         gettimeofday(&next_time, NULL);
1800         next_time.tv_sec -= verbose;
1801
1802         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1803         for (i = 1, next_count = verbose; i <= count && shmem_running();
1804              i++, id++) {
1805                 if (id >= OBIF_MAX_OID) {
1806                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1807                                 jt_cmdname(argv[0]), (unsigned long long)id);
1808                         return -E2BIG;
1809                 }
1810
1811                 data.ioc_obdo1.o_oi.oi_fid.f_oid = id;
1812                 data.ioc_obdo1.o_mode = S_IFREG | 0644;
1813                 data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLMODE;
1814
1815                 memset(buf, 0, sizeof(rawbuf));
1816                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1817                 if (rc) {
1818                         fprintf(stderr, "error: %s: invalid ioctl\n",
1819                                 jt_cmdname(argv[0]));
1820                         return rc;
1821                 }
1822                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_DESTROY, buf);
1823                 llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1824                 shmem_bump(1);
1825                 if (rc < 0) {
1826                         fprintf(stderr, "error: %s: objid %#jx: %s\n",
1827                                 jt_cmdname(argv[0]), (uintmax_t)id,
1828                                 strerror(rc = errno));
1829                         break;
1830                 }
1831
1832                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1833                         printf("%s: #%d is object id %#jx\n",
1834                                jt_cmdname(argv[0]), i, (uintmax_t)id);
1835         }
1836
1837         return rc;
1838 }
1839
1840 int jt_obd_getattr(int argc, char **argv)
1841 {
1842         struct obd_ioctl_data data;
1843         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1844         __u64 objid;
1845         char *end;
1846         int rc;
1847
1848         if (argc != 2)
1849                 return CMD_HELP;
1850
1851         objid = strtoull(argv[1], &end, 0);
1852         if (*end) {
1853                 fprintf(stderr, "error: %s: objid '%s' is not a number\n",
1854                         jt_cmdname(argv[0]), argv[1]);
1855                 return CMD_HELP;
1856         }
1857
1858         if (objid >= OBIF_MAX_OID) {
1859                 fprintf(stderr, "error: %s: invalid objid '%s'\n",
1860                         jt_cmdname(argv[0]), argv[1]);
1861                 return CMD_HELP;
1862         }
1863
1864         memset(&data, 0, sizeof(data));
1865         data.ioc_dev = cur_device;
1866         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1867         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1868         /* to help obd filter */
1869         data.ioc_obdo1.o_mode = 0100644;
1870         data.ioc_obdo1.o_valid = 0xffffffff;
1871         printf("%s: object id %#jx\n", jt_cmdname(argv[0]),
1872                (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi));
1873
1874         memset(buf, 0, sizeof(rawbuf));
1875         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1876         if (rc) {
1877                 fprintf(stderr, "error: %s: invalid ioctl\n",
1878                         jt_cmdname(argv[0]));
1879                 return rc;
1880         }
1881         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETATTR, buf);
1882         llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
1883         if (rc) {
1884                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
1885                         strerror(rc = errno));
1886         } else {
1887                 printf("%s: object id %ju, mode %o\n", jt_cmdname(argv[0]),
1888                        (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi),
1889                        data.ioc_obdo1.o_mode);
1890         }
1891         return rc;
1892 }
1893
1894 int jt_obd_test_getattr(int argc, char **argv)
1895 {
1896         struct obd_ioctl_data data;
1897         struct timeval start, next_time;
1898         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
1899         __u64 i, count, next_count;
1900         int verbose = 1;
1901         __u64 objid = 3;
1902         char *end;
1903         int rc = 0;
1904
1905         if (argc < 2 || argc > 4)
1906                 return CMD_HELP;
1907
1908         memset(&data, 0, sizeof(data));
1909         data.ioc_dev = cur_device;
1910         count = strtoull(argv[1], &end, 0);
1911         if (*end) {
1912                 fprintf(stderr, "error: %s: invalid iteration count '%s'\n",
1913                         jt_cmdname(argv[0]), argv[1]);
1914                 return CMD_HELP;
1915         }
1916
1917         if (argc >= 3) {
1918                 verbose = get_verbose(argv[0], argv[2]);
1919                 if (verbose == BAD_VERBOSE)
1920                         return CMD_HELP;
1921         }
1922
1923         if (argc >= 4) {
1924                 if (argv[3][0] == 't') {
1925                         objid = strtoull(argv[3] + 1, &end, 0);
1926                         if (thread)
1927                                 objid += thread - 1;
1928                 } else {
1929                         objid = strtoull(argv[3], &end, 0);
1930                 }
1931                 if (*end) {
1932                         fprintf(stderr, "error: %s: invalid objid '%s'\n",
1933                                 jt_cmdname(argv[0]), argv[3]);
1934                         return CMD_HELP;
1935                 }
1936         }
1937
1938         gettimeofday(&start, NULL);
1939         next_time.tv_sec = start.tv_sec - verbose;
1940         next_time.tv_usec = start.tv_usec;
1941         if (verbose != 0)
1942                 printf("%s: getting %jd attrs (objid %#jx): %s",
1943                        jt_cmdname(argv[0]), (uintmax_t)count,
1944                        (uintmax_t)objid, ctime(&start.tv_sec));
1945
1946         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
1947         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
1948                 if (objid >= OBIF_MAX_OID) {
1949                         fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
1950                                 jt_cmdname(argv[0]), (unsigned long long)objid);
1951                         return -E2BIG;
1952                 }
1953
1954                 data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
1955                 data.ioc_obdo1.o_mode = S_IFREG;
1956                 data.ioc_obdo1.o_valid = 0xffffffff;
1957                 memset(buf, 0, sizeof(rawbuf));
1958                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
1959                 if (rc) {
1960                         fprintf(stderr, "error: %s: invalid ioctl\n",
1961                                 jt_cmdname(argv[0]));
1962                         return rc;
1963                 }
1964                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_GETATTR, &data);
1965                 shmem_bump(1);
1966                 if (rc < 0) {
1967                         fprintf(stderr, "error: %s: #%jd - %d:%s\n",
1968                                 jt_cmdname(argv[0]), (uintmax_t)i,
1969                                 errno, strerror(rc = errno));
1970                         break;
1971                 }
1972                 if (be_verbose(verbose, &next_time, i, &next_count, count))
1973                         printf("%s: got attr #%jd\n",
1974                                jt_cmdname(argv[0]), (uintmax_t)i);
1975         }
1976
1977         if (!rc) {
1978                 struct timeval end;
1979                 double diff;
1980
1981                 gettimeofday(&end, NULL);
1982
1983                 diff = difftime(&end, &start);
1984
1985                 --i;
1986                 if (verbose != 0)
1987                         printf("%s: %jd attrs in %.3fs (%.3f attr/s): %s",
1988                                jt_cmdname(argv[0]), (uintmax_t)i, diff,
1989                                i / diff, ctime(&end.tv_sec));
1990         }
1991
1992         return rc;
1993 }
1994
1995 /*
1996  * test_brw <cnt>                                               count
1997  *      <r|w[r(repeat)x(noverify)]>                             mode
1998  *      <q|v|#(print interval)>                                 verbosity
1999  *      <npages[+offset]>                                       blocksize
2000  *      <[[<interleave_threads>]t(inc obj by thread#)]obj>      object
2001  *      [p|g<args>]                                             batch
2002  */
2003 int jt_obd_test_brw(int argc, char **argv)
2004 {
2005         struct obd_ioctl_data data;
2006         struct timeval start, next_time;
2007         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2008         __u64 count, next_count, len, stride, thr_offset = 0, objid = 3;
2009         int write = 0, verbose = 1, cmd, i, rc = 0, pages = 1;
2010         int offset_pages = 0;
2011         long n;
2012         int repeat_offset = 0;
2013         unsigned long long ull;
2014         int  nthr_per_obj = 0;
2015         int  verify = 1;
2016         int  obj_idx = 0;
2017         char *end;
2018
2019         if (argc < 2 || argc > 7) {
2020                 fprintf(stderr, "error: %s: bad number of arguments: %d\n",
2021                         jt_cmdname(argv[0]), argc);
2022                 return CMD_HELP;
2023         }
2024
2025         count = strtoull(argv[1], &end, 0);
2026         if (*end) {
2027                 fprintf(stderr, "error: %s: bad iteration count '%s'\n",
2028                         jt_cmdname(argv[0]), argv[1]);
2029                 return CMD_HELP;
2030         }
2031
2032         if (argc >= 3) {
2033                 if (argv[2][0] == 'w' || argv[2][0] == '1')
2034                         write = 1;
2035                 /* else it's a read */
2036
2037                 if (argv[2][0] != 0)
2038                         for (i = 1; argv[2][i] != 0; i++)
2039                                 switch (argv[2][i]) {
2040                                 case 'r':
2041                                         repeat_offset = 1;
2042                                         break;
2043
2044                                 case 'x':
2045                                         verify = 0;
2046                                         break;
2047
2048                                 default:
2049                                         fprintf(stderr,
2050                                                 "Can't parse cmd '%s'\n",
2051                                                 argv[2]);
2052                                         return CMD_HELP;
2053                                 }
2054         }
2055
2056         if (argc >= 4) {
2057                 verbose = get_verbose(argv[0], argv[3]);
2058                 if (verbose == BAD_VERBOSE)
2059                         return CMD_HELP;
2060         }
2061
2062         if (argc >= 5) {
2063                 pages = strtoul(argv[4], &end, 0);
2064
2065                 if (*end == '+')
2066                         offset_pages = strtoul(end + 1, &end, 0);
2067
2068                 if (*end != 0 || offset_pages < 0 || offset_pages >= pages) {
2069                         fprintf(stderr, "error: %s: bad npages[+offset] parameter '%s'\n",
2070                                 jt_cmdname(argv[0]), argv[4]);
2071                         return CMD_HELP;
2072                 }
2073         }
2074
2075         if (argc >= 6) {
2076                 if (thread && (n = strtol(argv[5], &end, 0)) > 0 &&
2077                     *end == 't' && (ull = strtoull(end + 1, &end, 0)) > 0 &&
2078                     *end == 0) {
2079                         nthr_per_obj = n;
2080                         objid = ull;
2081                 } else if (thread && argv[5][0] == 't') {
2082                         nthr_per_obj = 1;
2083                         objid = strtoull(argv[5] + 1, &end, 0);
2084                 } else {
2085                         nthr_per_obj = 0;
2086                         objid = strtoull(argv[5], &end, 0);
2087                 }
2088                 if (*end) {
2089                         fprintf(stderr, "error: %s: bad objid '%s'\n",
2090                                 jt_cmdname(argv[0]), argv[5]);
2091                         return CMD_HELP;
2092                 }
2093         }
2094
2095         memset(&data, 0, sizeof(data));
2096         data.ioc_dev = cur_device;
2097
2098         /*
2099          * communicate the 'type' of brw test and batching to echo_client.
2100          * don't start.  we'd love to refactor this lctl->echo_client
2101          * interface
2102          */
2103         data.ioc_pbuf1 = (void *)1;
2104         data.ioc_plen1 = 1;
2105
2106         if (argc >= 7) {
2107                 switch (argv[6][0]) {
2108                 case 'g': /* plug and unplug */
2109                         data.ioc_pbuf1 = (void *)2;
2110                         data.ioc_plen1 = strtoull(argv[6] + 1, &end, 0);
2111                         break;
2112                 case 'p': /* prep and commit */
2113                         data.ioc_pbuf1 = (void *)3;
2114                         data.ioc_plen1 = strtoull(argv[6] + 1, &end, 0);
2115                         break;
2116                 default:
2117                         fprintf(stderr,
2118                                 "error: %s: batching '%s' needs to specify 'p' or 'g'\n",
2119                                 jt_cmdname(argv[0]), argv[6]);
2120                         return CMD_HELP;
2121                 }
2122
2123                 if (*end) {
2124                         fprintf(stderr, "error: %s: bad batching '%s'\n",
2125                                 jt_cmdname(argv[0]), argv[6]);
2126                         return CMD_HELP;
2127                 }
2128                 data.ioc_plen1 *= getpagesize();
2129         }
2130
2131         len = pages * getpagesize();
2132         thr_offset = offset_pages * getpagesize();
2133         stride = len;
2134
2135 #ifdef MAX_THREADS
2136         if (thread) {
2137                 shmem_lock();
2138                 if (nthr_per_obj != 0) {
2139                         /* threads interleave */
2140                         obj_idx = (thread - 1) / nthr_per_obj;
2141                         objid += obj_idx;
2142                         stride *= nthr_per_obj;
2143                         if ((thread - 1) % nthr_per_obj == 0) {
2144                                 shared_data->body.offsets[obj_idx] =
2145                                         stride + thr_offset;
2146                         }
2147                         thr_offset += ((thread - 1) % nthr_per_obj) * len;
2148                 } else {
2149                         /* threads disjoint */
2150                         thr_offset += (thread - 1) * len;
2151                 }
2152
2153                 shmem_start_time_locked();
2154                 shmem_unlock();
2155         }
2156 #endif
2157
2158         ostid_set_seq_echo(&data.ioc_obdo1.o_oi);
2159         if (objid >= OBIF_MAX_OID) {
2160                 fprintf(stderr, "errr: %s: invalid objid '%llu'\n",
2161                         jt_cmdname(argv[0]), (unsigned long long)objid);
2162                 return -E2BIG;
2163         }
2164
2165         data.ioc_obdo1.o_oi.oi_fid.f_oid = objid;
2166         data.ioc_obdo1.o_mode = S_IFREG;
2167         data.ioc_obdo1.o_valid = OBD_MD_FLID | OBD_MD_FLTYPE | OBD_MD_FLMODE |
2168                                  OBD_MD_FLFLAGS | OBD_MD_FLGROUP;
2169         data.ioc_obdo1.o_flags = (verify ? OBD_FL_DEBUG_CHECK : 0);
2170         data.ioc_count = len;
2171         data.ioc_offset = (repeat_offset ? 0 : thr_offset);
2172
2173         gettimeofday(&start, NULL);
2174         next_time.tv_sec = start.tv_sec - verbose;
2175         next_time.tv_usec = start.tv_usec;
2176
2177         if (verbose != 0)
2178                 printf("%s: %s %jux%d pages (obj %#jx, off %ju): %s",
2179                        jt_cmdname(argv[0]), write ? "writing" : "reading",
2180                        (uintmax_t)count, pages, (uintmax_t)objid,
2181                        (uintmax_t)data.ioc_offset, ctime(&start.tv_sec));
2182
2183         cmd = write ? OBD_IOC_BRW_WRITE : OBD_IOC_BRW_READ;
2184         for (i = 1, next_count = verbose; i <= count && shmem_running(); i++) {
2185                 data.ioc_obdo1.o_valid &= ~(OBD_MD_FLBLOCKS | OBD_MD_FLGRANT);
2186                 memset(buf, 0, sizeof(rawbuf));
2187                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2188                 if (rc) {
2189                         fprintf(stderr, "error: %s: invalid ioctl\n",
2190                                 jt_cmdname(argv[0]));
2191                         return rc;
2192                 }
2193                 rc = l_ioctl(OBD_DEV_ID, cmd, buf);
2194                 shmem_bump(1);
2195                 if (rc) {
2196                         fprintf(stderr, "error: %s: #%d - %s on %s\n",
2197                                 jt_cmdname(argv[0]), i, strerror(rc = errno),
2198                                 write ? "write" : "read");
2199                         break;
2200                 } else if (be_verbose(verbose, &next_time, i,
2201                                       &next_count, count)) {
2202                         shmem_lock();
2203                         printf("%s: %s number %d @ %jd:%ju for %d\n",
2204                                jt_cmdname(argv[0]), write ? "write" : "read", i,
2205                                (uintmax_t)ostid_id(&data.ioc_obdo1.o_oi),
2206                                (uintmax_t)data.ioc_offset,
2207                                (int)(pages * getpagesize()));
2208                         shmem_unlock();
2209                 }
2210
2211                 if (!repeat_offset) {
2212 #ifdef MAX_THREADS
2213                         if (stride == len) {
2214                                 data.ioc_offset += stride;
2215                         } else if (i < count) {
2216                                 shmem_lock();
2217                                 data.ioc_offset =
2218                                         shared_data->body.offsets[obj_idx];
2219                                 shared_data->body.offsets[obj_idx] += len;
2220                                 shmem_unlock();
2221                         }
2222 #else
2223                         data.ioc_offset += len;
2224                         obj_idx = 0; /* avoids an unused var warning */
2225 #endif
2226                 }
2227         }
2228
2229         if (!rc) {
2230                 struct timeval end;
2231                 double diff;
2232
2233                 gettimeofday(&end, NULL);
2234
2235                 diff = difftime(&end, &start);
2236
2237                 --i;
2238                 if (verbose != 0)
2239                         printf("%s: %s %dx%d pages in %.3fs (%.3f MB/s): %s",
2240                                jt_cmdname(argv[0]), write ? "wrote" : "read",
2241                                i, pages, diff,
2242                                ((double)i * pages * getpagesize()) /
2243                                (diff * 1048576.0), ctime(&end.tv_sec));
2244         }
2245
2246 #ifdef MAX_THREADS
2247         if (thread) {
2248                 shmem_lock();
2249                 shmem_end_time_locked();
2250                 shmem_unlock();
2251         }
2252 #endif
2253         return rc;
2254 }
2255
2256 int jt_obd_lov_getconfig(int argc, char **argv)
2257 {
2258         struct obd_ioctl_data data;
2259         struct lov_desc desc;
2260         struct obd_uuid *uuidarray;
2261         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2262         __u32 *obdgens;
2263         char *path;
2264         int rc, fd;
2265
2266         memset(&data, 0, sizeof(data));
2267         data.ioc_dev = cur_device;
2268
2269         if (argc != 2)
2270                 return CMD_HELP;
2271
2272         path = argv[1];
2273         fd = open(path, O_RDONLY);
2274         if (fd < 0) {
2275                 fprintf(stderr, "open \"%s\" failed: %s\n", path,
2276                         strerror(errno));
2277                 return -errno;
2278         }
2279
2280         memset(&desc, 0, sizeof(desc));
2281         obd_str2uuid(&desc.ld_uuid, argv[1]);
2282         desc.ld_tgt_count = ((MAX_IOC_BUFLEN - sizeof(data) - sizeof(desc)) /
2283                              (sizeof(*uuidarray) + sizeof(*obdgens)));
2284
2285 repeat:
2286         uuidarray = calloc(desc.ld_tgt_count, sizeof(*uuidarray));
2287         if (!uuidarray) {
2288                 fprintf(stderr, "error: %s: no memory for %d uuid's\n",
2289                         jt_cmdname(argv[0]), desc.ld_tgt_count);
2290                 rc = -ENOMEM;
2291                 goto out;
2292         }
2293         obdgens = calloc(desc.ld_tgt_count, sizeof(*obdgens));
2294         if (!obdgens) {
2295                 fprintf(stderr, "error: %s: no memory for %d generation #'s\n",
2296                         jt_cmdname(argv[0]), desc.ld_tgt_count);
2297                 rc = -ENOMEM;
2298                 goto out_uuidarray;
2299         }
2300
2301         memset(buf, 0, sizeof(rawbuf));
2302         data.ioc_inllen1 = sizeof(desc);
2303         data.ioc_inlbuf1 = (char *)&desc;
2304         data.ioc_inllen2 = desc.ld_tgt_count * sizeof(*uuidarray);
2305         data.ioc_inlbuf2 = (char *)uuidarray;
2306         data.ioc_inllen3 = desc.ld_tgt_count * sizeof(*obdgens);
2307         data.ioc_inlbuf3 = (char *)obdgens;
2308
2309         if (llapi_ioctl_pack(&data, &buf, sizeof(rawbuf))) {
2310                 fprintf(stderr, "error: %s: invalid ioctl\n",
2311                         jt_cmdname(argv[0]));
2312                 rc = -EINVAL;
2313                 goto out_obdgens;
2314         }
2315         rc = ioctl(fd, OBD_IOC_LOV_GET_CONFIG, buf);
2316         if (rc == -ENOSPC) {
2317                 free(uuidarray);
2318                 free(obdgens);
2319                 goto repeat;
2320         } else if (rc) {
2321                 fprintf(stderr, "error: %s: ioctl error: %s\n",
2322                         jt_cmdname(argv[0]), strerror(rc = errno));
2323         } else {
2324                 struct obd_uuid *uuidp;
2325                 __u32 *genp;
2326                 int i;
2327
2328                 if (llapi_ioctl_unpack(&data, buf, sizeof(rawbuf))) {
2329                         fprintf(stderr, "error: %s: invalid reply\n",
2330                                 jt_cmdname(argv[0]));
2331                         rc = -EINVAL;
2332                         goto out;
2333                 }
2334                 if (desc.ld_default_stripe_count == (__u32)-1)
2335                         printf("default_stripe_count: %d\n", -1);
2336                 else
2337                         printf("default_stripe_count: %u\n",
2338                                desc.ld_default_stripe_count);
2339                 printf("default_stripe_size: %ju\n",
2340                        (uintmax_t)desc.ld_default_stripe_size);
2341                 printf("default_stripe_offset: %jd\n",
2342                        (uintmax_t)desc.ld_default_stripe_offset);
2343                 printf("default_stripe_pattern: %u\n", desc.ld_pattern);
2344                 printf("obd_count: %u\n", desc.ld_tgt_count);
2345                 printf("OBDS:\tobdidx\t\tobdgen\t\t obduuid\n");
2346                 uuidp = uuidarray;
2347                 genp = obdgens;
2348                 for (i = 0; i < desc.ld_tgt_count; i++, uuidp++, genp++)
2349                         printf("\t%6u\t%14u\t\t %s\n", i, *genp, (char *)uuidp);
2350         }
2351 out_obdgens:
2352         free(obdgens);
2353 out_uuidarray:
2354         free(uuidarray);
2355 out:
2356         close(fd);
2357         return rc;
2358 }
2359
2360 static int do_activate(int argc, char **argv, int flag)
2361 {
2362         struct obd_ioctl_data data;
2363         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2364         int rc;
2365
2366         memset(&data, 0, sizeof(data));
2367         data.ioc_dev = cur_device;
2368         if (argc != 1)
2369                 return CMD_HELP;
2370
2371         /* reuse offset for 'active' */
2372         data.ioc_offset = flag;
2373
2374         memset(buf, 0, sizeof(rawbuf));
2375         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2376         if (rc) {
2377                 fprintf(stderr, "error: %s: invalid ioctl\n",
2378                         jt_cmdname(argv[0]));
2379                 return rc;
2380         }
2381         rc = l_ioctl(OBD_DEV_ID, IOC_OSC_SET_ACTIVE, buf);
2382         if (rc)
2383                 fprintf(stderr, "error: %s: failed: %s\n",
2384                         jt_cmdname(argv[0]), strerror(rc = errno));
2385
2386         return rc;
2387 }
2388
2389 /**
2390  * Replace nids for given device.
2391  * lctl replace_nids <devicename> <nid1>[,nid2,nid3]
2392  * Command should be started on MGS server.
2393  * Only MGS server should be started (command execution
2394  * returns error in another cases). Command mount
2395  * -t lustre <MDT partition> -o nosvc <mount point>
2396  * can be used for that.
2397  *
2398  * llogs for MDTs and clients are processed. All
2399  * records copied as is except add_uuid and setup. This records
2400  * are skipped and recorded with new nids and uuid.
2401  *
2402  * \see mgs_replace_nids
2403  * \see mgs_replace_log
2404  * \see mgs_replace_nids_handler
2405  */
2406 int jt_replace_nids(int argc, char **argv)
2407 {
2408         int rc;
2409         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2410         struct obd_ioctl_data data;
2411
2412         memset(&data, 0, sizeof(data));
2413         data.ioc_dev = get_mgs_device();
2414         if (argc != 3)
2415                 return CMD_HELP;
2416
2417         data.ioc_inllen1 = strlen(argv[1]) + 1;
2418         data.ioc_inlbuf1 = argv[1];
2419
2420         data.ioc_inllen2 = strlen(argv[2]) + 1;
2421         data.ioc_inlbuf2 = argv[2];
2422         memset(buf, 0, sizeof(rawbuf));
2423         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2424         if (rc) {
2425                 fprintf(stderr, "error: %s: invalid ioctl\n",
2426                         jt_cmdname(argv[0]));
2427                 return rc;
2428         }
2429
2430         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_REPLACE_NIDS, buf);
2431         if (rc < 0) {
2432                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2433                         strerror(rc = errno));
2434         }
2435
2436         return rc;
2437 }
2438
2439 /**
2440  * Clear config logs for given device or filesystem.
2441  * lctl clear_conf <devicename|fsname>
2442  * Command has to be run on MGS node having MGS device mounted with -o
2443  * nosvc.
2444  *
2445  * Configuration logs for filesystem or one particular log is
2446  * processed. New log is created, original log is read, its records
2447  * marked SKIP do not get copied to new log. Others are copied as-is.
2448  * Original file is renamed to log.${time}.bak.
2449  *
2450  * \see mgs_clear_configs
2451  * \see mgs_replace_log
2452  * \see mgs_clear_config_handler
2453  **/
2454 int jt_lcfg_clear(int argc, char **argv)
2455 {
2456         int rc;
2457         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2458         struct obd_ioctl_data data;
2459
2460         memset(&data, 0, sizeof(data));
2461         data.ioc_dev = get_mgs_device();
2462         if (argc != 2)
2463                 return CMD_HELP;
2464
2465         data.ioc_inllen1 = strlen(argv[1]) + 1;
2466         data.ioc_inlbuf1 = argv[1];
2467
2468         memset(buf, 0, sizeof(rawbuf));
2469         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2470         if (rc) {
2471                 fprintf(stderr, "error: %s: invalid ioctl\n",
2472                         jt_cmdname(argv[0]));
2473                 return rc;
2474         }
2475
2476         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CLEAR_CONFIGS, buf);
2477         if (rc < 0) {
2478                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2479                         strerror(rc = errno));
2480         }
2481
2482         return rc;
2483 }
2484
2485 int jt_obd_deactivate(int argc, char **argv)
2486 {
2487         return do_activate(argc, argv, 0);
2488 }
2489
2490 int jt_obd_activate(int argc, char **argv)
2491 {
2492         return do_activate(argc, argv, 1);
2493 }
2494
2495 int jt_obd_recover(int argc, char **argv)
2496 {
2497         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2498         struct obd_ioctl_data data;
2499         int rc;
2500
2501         memset(&data, 0, sizeof(data));
2502         data.ioc_dev = cur_device;
2503         if (argc > 2)
2504                 return CMD_HELP;
2505
2506         if (argc == 2) {
2507                 data.ioc_inllen1 = strlen(argv[1]) + 1;
2508                 data.ioc_inlbuf1 = argv[1];
2509         }
2510
2511         memset(buf, 0, sizeof(rawbuf));
2512         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2513         if (rc) {
2514                 fprintf(stderr, "error: %s: invalid ioctl\n",
2515                         jt_cmdname(argv[0]));
2516                 return rc;
2517         }
2518         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CLIENT_RECOVER, buf);
2519         if (rc < 0) {
2520                 fprintf(stderr, "error: %s: %s\n", jt_cmdname(argv[0]),
2521                         strerror(rc = errno));
2522         }
2523
2524         return rc;
2525 }
2526
2527 int jt_obd_mdc_lookup(int argc, char **argv)
2528 {
2529         struct obd_ioctl_data data;
2530         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2531         char *parent, *child;
2532         int rc, fd, verbose = 1;
2533
2534         if (argc < 3 || argc > 4)
2535                 return CMD_HELP;
2536
2537         parent = argv[1];
2538         child = argv[2];
2539         if (argc == 4)
2540                 verbose = get_verbose(argv[0], argv[3]);
2541
2542         memset(&data, 0, sizeof(data));
2543         data.ioc_dev = cur_device;
2544
2545         data.ioc_inllen1 = strlen(child) + 1;
2546         data.ioc_inlbuf1 = child;
2547
2548         memset(buf, 0, sizeof(rawbuf));
2549         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2550         if (rc) {
2551                 fprintf(stderr, "error: %s: invalid ioctl\n",
2552                         jt_cmdname(argv[0]));
2553                 return rc;
2554         }
2555
2556         fd = open(parent, O_RDONLY);
2557         if (fd < 0) {
2558                 fprintf(stderr, "open \"%s\" failed: %s\n", parent,
2559                         strerror(errno));
2560                 return -1;
2561         }
2562
2563         rc = ioctl(fd, IOC_MDC_LOOKUP, buf);
2564         if (rc < 0) {
2565                 fprintf(stderr, "error: %s: ioctl error: %s\n",
2566                         jt_cmdname(argv[0]), strerror(rc = errno));
2567         }
2568         close(fd);
2569
2570         if (verbose) {
2571                 rc = llapi_ioctl_unpack(&data, buf, sizeof(rawbuf));
2572                 if (rc) {
2573                         fprintf(stderr, "error: %s: invalid reply\n",
2574                                 jt_cmdname(argv[0]));
2575                         return rc;
2576                 }
2577                 printf("%s: mode %o uid %d gid %d\n",
2578                        child, data.ioc_obdo1.o_mode, data.ioc_obdo1.o_uid,
2579                        data.ioc_obdo1.o_gid);
2580         }
2581
2582         return rc;
2583 }
2584
2585 int jt_lcfg_fork(int argc, char **argv)
2586 {
2587         struct obd_ioctl_data data;
2588         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2589         int rc;
2590
2591         if (argc != 3)
2592                 return CMD_HELP;
2593
2594         memset(&data, 0, sizeof(data));
2595         data.ioc_dev = get_mgs_device();
2596         data.ioc_inllen1 = strlen(argv[1]) + 1;
2597         data.ioc_inlbuf1 = argv[1];
2598         data.ioc_inllen2 = strlen(argv[2]) + 1;
2599         data.ioc_inlbuf2 = argv[2];
2600
2601         memset(buf, 0, sizeof(rawbuf));
2602         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2603         if (rc) {
2604                 fprintf(stderr, "error: %s: invalid ioctl\n",
2605                         jt_cmdname(argv[0]));
2606                 return rc;
2607         }
2608
2609         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LCFG_FORK, buf);
2610         if (rc < 0)
2611                 fprintf(stderr, "error: %s: OBD_IOC_LCFG_FORK failed: %s\n",
2612                         jt_cmdname(argv[0]), strerror(errno));
2613
2614         return rc;
2615 }
2616
2617 int jt_lcfg_erase(int argc, char **argv)
2618 {
2619         struct obd_ioctl_data data;
2620         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2621         int rc;
2622
2623         if (argc == 3) {
2624                 if (strncmp(argv[2], "-q", strlen("-q")) != 0 &&
2625                     strncmp(argv[2], "--quiet", strlen("--quiet")) != 0)
2626                         return CMD_HELP;
2627         } else if (argc != 2) {
2628                 return CMD_HELP;
2629         }
2630
2631         memset(&data, 0, sizeof(data));
2632         data.ioc_dev = get_mgs_device();
2633         data.ioc_inllen1 = strlen(argv[1]) + 1;
2634         data.ioc_inlbuf1 = argv[1];
2635
2636         memset(buf, 0, sizeof(rawbuf));
2637         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2638         if (rc) {
2639                 fprintf(stderr, "error: %s: invalid ioctl\n",
2640                         jt_cmdname(argv[0]));
2641                 return rc;
2642         }
2643
2644         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LCFG_ERASE, buf);
2645         if (rc < 0)
2646                 fprintf(stderr, "error: %s: OBD_IOC_LCFG_ERASE failed: %s\n",
2647                         jt_cmdname(argv[0]), strerror(errno));
2648
2649         return rc;
2650 }
2651
2652 enum llog_default_dev_op {
2653         LLOG_DFLT_MGS_SET = 0,
2654         LLOG_DFLT_DEV_RESET
2655 };
2656
2657 static int llog_default_device(enum llog_default_dev_op op)
2658 {
2659         int rc = 0;
2660         static int dflt_dev = -1;
2661
2662         if (op == LLOG_DFLT_MGS_SET && (cur_device == -1)) {
2663                 char mgs[] = "$MGS";
2664
2665                 rc = do_device("llog_default_device", mgs);
2666                 dflt_dev = cur_device;
2667
2668         } else if (op == LLOG_DFLT_DEV_RESET && (dflt_dev != -1)) {
2669                 do_disconnect(NULL, 1);
2670                 dflt_dev = -1;
2671         }
2672
2673         return rc;
2674 }
2675
2676 int jt_llog_catlist(int argc, char **argv)
2677 {
2678         struct obd_ioctl_data data;
2679         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2680         char *tmp = NULL;
2681         int start = 0;
2682         int rc;
2683
2684         if (argc != 1)
2685                 return CMD_HELP;
2686
2687         if (llog_default_device(LLOG_DFLT_MGS_SET))
2688                 return CMD_INCOMPLETE;
2689
2690         do {
2691                 memset(&data, 0, sizeof(data));
2692                 data.ioc_dev = cur_device;
2693                 data.ioc_inllen1 = sizeof(rawbuf) -
2694                                    __ALIGN_KERNEL(sizeof(data), 8);
2695                 data.ioc_count = start;
2696                 memset(buf, 0, sizeof(rawbuf));
2697                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2698                 if (rc) {
2699                         fprintf(stderr, "error: %s: invalid ioctl\n",
2700                                 jt_cmdname(argv[0]));
2701                         goto err;
2702                 }
2703                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_CATLOGLIST, buf);
2704                 if (rc < 0)
2705                         break;
2706                 tmp = ((struct obd_ioctl_data *)buf)->ioc_bulk;
2707                 if (strlen(tmp) > 0)
2708                         fprintf(stdout, "%s", tmp);
2709                 else
2710                         break;
2711                 start = ((struct obd_ioctl_data *)buf)->ioc_count;
2712         } while (start);
2713
2714         if (rc < 0)
2715                 fprintf(stderr, "OBD_IOC_CATLOGLIST failed: %s\n",
2716                         strerror(errno));
2717
2718 err:
2719         llog_default_device(LLOG_DFLT_DEV_RESET);
2720
2721         return rc;
2722 }
2723
2724 int jt_llog_info(int argc, char **argv)
2725 {
2726         const struct option long_opts[] = {
2727         /* Allow optional "--catalog" for compatibility with llog commands. */
2728         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
2729         { .val = 'h',   .name = "help",         .has_arg = no_argument },
2730         { .name = NULL } };
2731         struct obd_ioctl_data data = { 0 };
2732         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
2733         char *cmd = argv[0];
2734         char *catalog = NULL;
2735         int rc, c;
2736
2737         while ((c = getopt_long(argc, argv, "c:h", long_opts, NULL)) != -1) {
2738                 switch (c) {
2739                 case 'c':
2740                         catalog = optarg;
2741                         break;
2742                 case 'h':
2743                 default:
2744                         return CMD_HELP;
2745                 }
2746         }
2747         argc -= optind;
2748         argv += optind;
2749         /* support "logname" positional parameter */
2750         if (argc == 1) {
2751                 if (catalog) {
2752                         fprintf(stderr,
2753                                 "%s: catalog is set, unknown argument '%s'\n",
2754                                 cmd, optarg);
2755                         return CMD_HELP;
2756                 }
2757                 catalog = argv[0];
2758         } else if (!catalog || argc > 1) {
2759                 return CMD_HELP;
2760         }
2761
2762         /* Manage default device */
2763         if (llog_default_device(LLOG_DFLT_MGS_SET))
2764                 return CMD_INCOMPLETE;
2765
2766         data.ioc_dev = cur_device;
2767         data.ioc_inllen1 = strlen(catalog) + 1;
2768         data.ioc_inlbuf1 = catalog;
2769         data.ioc_inllen2 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8) -
2770                            __ALIGN_KERNEL(data.ioc_inllen1, 8);
2771         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2772         if (rc) {
2773                 fprintf(stderr, "%s: ioctl_pack failed for catalog '%s': %s\n",
2774                         jt_cmdname(cmd), catalog, strerror(-rc));
2775                 goto err;
2776         }
2777
2778         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_INFO, buf);
2779         if (rc == 0)
2780                 fprintf(stdout, "%s", ((struct obd_ioctl_data *)buf)->ioc_bulk);
2781         else
2782                 fprintf(stderr, "%s: OBD_IOC_LLOG_INFO failed: %s\n",
2783                         jt_cmdname(cmd), strerror(errno));
2784
2785 err:
2786         llog_default_device(LLOG_DFLT_DEV_RESET);
2787
2788         return rc;
2789 }
2790
2791 int jt_llog_print_cb(const char *record, void *private)
2792 {
2793         printf("%s\n", record);
2794
2795         return 0;
2796 }
2797
2798 static int
2799 llog_process_records(int (record_cb)(const char *record, void *private),
2800                      const char *record, void *private, bool reverse)
2801 {
2802         char *ptr = NULL;
2803         char *tmp = NULL;
2804         int rc = 0;
2805
2806         if (!reverse) {
2807                 do {
2808                         ptr = strchr(record, '\n');
2809                         if (ptr)
2810                                 *ptr = '\0';
2811                         rc = record_cb(record, private);
2812                         if (rc)
2813                                 goto out;
2814                         if (ptr)
2815                                 record = ptr + 1;
2816                 } while (ptr && *(ptr + 1));
2817         } else {
2818                 tmp = (char *)record;
2819
2820                 ptr = strrchr(record, '\n');
2821                 if (ptr)
2822                         *ptr = '\0';
2823                 else
2824                         goto out;
2825                 while ((ptr = strrchr(record, '\n'))) {
2826                         tmp = ptr + 1;
2827                         *ptr = '\0';
2828                         rc = record_cb(tmp, private);
2829                         if (rc)
2830                                 goto out;
2831                 };
2832                 rc = record_cb(record, private);
2833                 if (rc)
2834                         goto out;
2835         }
2836 out:
2837         return rc;
2838 }
2839
2840 /**
2841  * Iterate over llog records, typically YAML-formatted configuration logs
2842  *
2843  * \param logname[in]   name of llog file or FID
2844  * \param start[in]     first record to process
2845  * \param end[in]       last record to process (inclusive)
2846  * \param cb[in]        callback for records. Return -ve error, or +ve abort.
2847  * \param private[in,out] private data passed to the \a record_cb function
2848  * \param reverse[in]   print the llog records from the beginning or the end
2849  *
2850  * \retval              0 on success
2851  *                      others handled by the caller
2852  */
2853 int jt_llog_print_iter(char *logname, long start, long end,
2854                        int (record_cb)(const char *record, void *private),
2855                        void *private, bool reverse)
2856 {
2857         struct obd_ioctl_data data = { 0 };
2858         char rawbuf[MAX_IOC_BUFLEN], *buf = rawbuf;
2859         char startbuf[16], endbuf[16];
2860         static long inc = sizeof(rawbuf) / 128;
2861         long rec;
2862         int rc = 0;
2863
2864         if (end == -1)
2865                 end = 0x7fffffff;
2866
2867         data.ioc_dev = cur_device;
2868         data.ioc_inlbuf1 = logname;
2869         data.ioc_inllen1 = strlen(logname) + 1;
2870
2871         /*
2872          * Estimate about 128 characters per configuration record.  Not all
2873          * records will be printed in any case, so they should easily fit.  If
2874          * not, the kernel will return -EOVERFLOW and ask for fewer records.
2875          *
2876          * We don't want to request records from the kernel one-at-a-time, as
2877          * it restarts the config llog iteration from the beginning, so we
2878          * fetch multiple records from the kernel per call and split locally.
2879          */
2880         for (rec = start; rec < end; rec += inc) {
2881                 char *record = ((struct obd_ioctl_data *)buf)->ioc_bulk;
2882
2883 retry:
2884                 snprintf(startbuf, sizeof(startbuf), "%lu", rec);
2885                 snprintf(endbuf, sizeof(endbuf), "%lu",
2886                          end < rec + inc - 1 ? end : rec + inc - 1);
2887
2888                 /* start and end record numbers are passed as ASCII digits */
2889                 data.ioc_inlbuf2 = startbuf;
2890                 data.ioc_inllen2 = strlen(startbuf) + 1;
2891                 data.ioc_inlbuf3 = endbuf;
2892                 data.ioc_inllen3 = strlen(endbuf) + 1;
2893
2894                 data.ioc_inllen4 = sizeof(rawbuf) -
2895                         __ALIGN_KERNEL(sizeof(data), 8) -
2896                         __ALIGN_KERNEL(data.ioc_inllen1, 8) -
2897                         __ALIGN_KERNEL(data.ioc_inllen2, 8) -
2898                         __ALIGN_KERNEL(data.ioc_inllen3, 8);
2899                 memset(buf, 0, sizeof(rawbuf));
2900                 rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
2901                 if (rc) {
2902                         fprintf(stderr, "%s: invalid ioctl data\n", logname);
2903                         goto out;
2904                 }
2905
2906                 rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_PRINT, buf);
2907                 if (rc == -EOVERFLOW && inc > 2) {
2908                         inc /= 2;
2909                         goto retry;
2910                 }
2911                 if (rc) {
2912                         fprintf(stderr, "%s: OBD_IOC_LLOG_PRINT failed: %s\n",
2913                                 logname, strerror(errno));
2914                         rc = -errno;
2915                         goto out;
2916                 }
2917
2918                 /* There is no "end of list" marker, record was not modified */
2919                 if (strcmp(record, logname) == 0)
2920                         break;
2921
2922                 rc = llog_process_records(record_cb, record, private, reverse);
2923                 if (rc)
2924                         goto out;
2925         }
2926
2927 out:
2928         return rc;
2929 }
2930
2931 static int llog_parse_catalog_start_end(int *argc, char **argv[],
2932                                         char **catalog, long *start, long *end)
2933 {
2934         const struct option long_opts[] = {
2935         /* the --catalog option is not required, just for consistency */
2936         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
2937         { .val = 'e',   .name = "end",          .has_arg = required_argument },
2938         { .val = 'h',   .name = "help",         .has_arg = no_argument },
2939         { .val = 's',   .name = "start",        .has_arg = required_argument },
2940         { .name = NULL } };
2941         char *cmd = (*argv)[0];
2942         char *endp;
2943         int c;
2944
2945         if (!catalog || !start || !end)
2946                 return -EINVAL;
2947
2948         /* now process command line arguments*/
2949         while ((c = getopt_long(*argc, *argv, "c:e:hs:",
2950                                 long_opts, NULL)) != -1) {
2951                 switch (c) {
2952                 case 'c':
2953                         *catalog = optarg;
2954                         break;
2955                 case 'e':
2956                         *end = strtol(optarg, &endp, 0);
2957                         if (*endp != '\0') {
2958                                 fprintf(stderr, "%s: bad end value '%s'\n",
2959                                         cmd, optarg);
2960                                 return CMD_HELP;
2961                         }
2962                         break;
2963                 case 's':
2964                         *start = strtol(optarg, &endp, 0);
2965                         if (*endp != '\0') {
2966                                 fprintf(stderr, "%s: bad start value '%s'\n",
2967                                         cmd, optarg);
2968                                 return CMD_HELP;
2969                         }
2970                         break;
2971                 case 'h':
2972                 default:
2973                         return CMD_HELP;
2974                 }
2975         }
2976         *argc -= optind;
2977         *argv += optind;
2978
2979         /*
2980          * support old optional positional parameters only if they were
2981          * not already specified with named arguments: logname [start [end]]
2982          */
2983         if (*argc >= 1) {
2984                 if (*catalog) {
2985                         fprintf(stderr,
2986                                 "%s: logname is set, unknown argument '%s'\n",
2987                                 cmd, (*argv)[0]);
2988                         return CMD_HELP;
2989                 }
2990                 *catalog = (*argv)[0];
2991                 (*argc)--;
2992                 (*argv)++;
2993         }
2994
2995         if (*catalog == NULL) {
2996                 fprintf(stderr, "%s: no logname specified\n", cmd);
2997                 return CMD_HELP;
2998         }
2999
3000         if (*argc >= 1) {
3001                 if (*start != 1) {
3002                         fprintf(stderr,
3003                                 "%s: --start is set, unknown argument '%s'\n",
3004                                 cmd, (*argv)[0]);
3005                         return CMD_HELP;
3006                 }
3007
3008                 *start = strtol((*argv)[0], &endp, 0);
3009                 if (*endp != '\0') {
3010                         fprintf(stderr, "%s: bad start value '%s'\n",
3011                                 cmd, (*argv)[0]);
3012                         return CMD_HELP;
3013                 }
3014                 (*argc)--;
3015                 (*argv)++;
3016         }
3017         if (*argc >= 1) {
3018                 if (*end != -1) {
3019                         fprintf(stderr,
3020                                 "%s: --end is set, unknown argument '%s'\n",
3021                                 cmd, (*argv)[0]);
3022                         return CMD_HELP;
3023                 }
3024
3025                 *end = strtol((*argv)[0], &endp, 0);
3026                 if (*endp != '\0') {
3027                         fprintf(stderr, "%s: bad end value '%s'\n",
3028                                 cmd, (*argv)[0]);
3029                         return CMD_HELP;
3030                 }
3031                 (*argc)--;
3032                 (*argv)++;
3033         }
3034         if (*argc > 1) {
3035                 fprintf(stderr, "%s: unknown argument '%s'\n", cmd, (*argv)[0]);
3036                 return CMD_HELP;
3037         }
3038
3039         if (*end != -1 && *end < *start) {
3040                 fprintf(stderr, "%s: end '%lu' less than than start '%lu'\n",
3041                         cmd, *end, *start);
3042                 return CMD_HELP;
3043         }
3044
3045         return 0;
3046 }
3047
3048 int jt_llog_print(int argc, char **argv)
3049 {
3050         char *catalog = NULL;
3051         long start = 1, end = -1;
3052         int rc;
3053
3054         rc = llog_parse_catalog_start_end(&argc, &argv, &catalog, &start, &end);
3055         if (rc)
3056                 return rc;
3057
3058         if (llog_default_device(LLOG_DFLT_MGS_SET))
3059                 return CMD_INCOMPLETE;
3060
3061         rc = jt_llog_print_iter(catalog, start, end, jt_llog_print_cb,
3062                                 NULL, false);
3063
3064         llog_default_device(LLOG_DFLT_DEV_RESET);
3065
3066         return rc;
3067 }
3068
3069 /*
3070  * Parse catalog, log ID, and optionally a log index with either optional
3071  * arguments or positional arguments.  Only the initial catalog argument
3072  * may be positional with other optional arguments.
3073  *
3074  * The positional arguments option should eventually be phased out.
3075  */
3076 static int llog_parse_catalog_log_idx(int *argc, char ***argv, const char *opts,
3077                                       int max_args, struct obd_ioctl_data *data)
3078 {
3079         const struct option long_opts[] = {
3080         /* the --catalog option is not required, just for consistency */
3081         { .val = 'c',   .name = "catalog",      .has_arg = required_argument },
3082         { .val = 'h',   .name = "help",         .has_arg = no_argument },
3083         { .val = 'i',   .name = "log_idx",      .has_arg = required_argument },
3084         { .val = 'l',   .name = "log_id",       .has_arg = required_argument },
3085         { .name = NULL } };
3086         int c;
3087
3088         /* sanity check */
3089         if (!data || *argc <= 1)
3090                 return -1;
3091
3092         data->ioc_dev = cur_device;
3093
3094         /* now process command line arguments*/
3095         while ((c = getopt_long(*argc, *argv, opts, long_opts, NULL)) != -1) {
3096                 switch (c) {
3097                 case 'c':
3098                         data->ioc_inllen1 = strlen(optarg) + 1;
3099                         data->ioc_inlbuf1 = optarg;
3100                         break;
3101                 case 'i':
3102                         data->ioc_inllen3 = strlen(optarg) + 1;
3103                         data->ioc_inlbuf3 = optarg;
3104                         break;
3105                 case 'l': /* The log_id option isn't currently needed for
3106                            * cancel as mdt_iocontrol() handles IOC_LLOG_CANCEL,
3107                            * but we may as well keep it for now.
3108                            */
3109                         data->ioc_inllen2 = strlen(optarg) + 1;
3110                         data->ioc_inlbuf2 = optarg;
3111                         break;
3112                 case 'h':
3113                 default:
3114                         return CMD_HELP;
3115                 }
3116         }
3117
3118         *argc -= optind;
3119         *argv += optind;
3120
3121         /* Allow catalog to be specified as first option without --catalog */
3122         if (!data->ioc_inlbuf1 && *argc > 0) {
3123                 data->ioc_inlbuf1 = (*argv)[0];
3124                 data->ioc_inllen1 = strlen((*argv)[0]) + 1;
3125                 (*argc)--;
3126                 (*argv)++;
3127         }
3128
3129         return 0;
3130 }
3131
3132 int jt_llog_cancel(int argc, char **argv)
3133 {
3134         struct obd_ioctl_data data = { 0 };
3135         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3136         char *cmd = argv[0];
3137         int rc;
3138
3139         /* Manage default device */
3140         if (llog_default_device(LLOG_DFLT_MGS_SET))
3141                 return CMD_INCOMPLETE;
3142
3143         /* Parse catalog file (in inlbuf1) and named parameters */
3144         rc = llog_parse_catalog_log_idx(&argc, &argv, "c:hi:l:", 3, &data);
3145
3146         /*
3147          * Handle old positional parameters if not using named parameters,
3148          * either "<catalog> <log_idx>" or "<catalog> <log_id> <log_idx>".
3149          * It was "inlbuf3 = log_idx", and "inlbuf2 = log_id" (ignored by
3150          * config log cancel), and shows why I hate positional parameters.
3151          */
3152         if (argc == 1) {
3153                 data.ioc_inllen3 = strlen(argv[0]) + 1;
3154                 data.ioc_inlbuf3 = argv[0];
3155         } else if (argc == 2) {
3156                 data.ioc_inllen2 = strlen(argv[0]) + 1;
3157                 data.ioc_inlbuf2 = argv[0];
3158                 data.ioc_inllen3 = strlen(argv[1]) + 1;
3159                 data.ioc_inlbuf3 = argv[1];
3160         }
3161
3162         if (!data.ioc_inlbuf1 || !data.ioc_inlbuf3) {
3163                 /* missing mandatory parameters */
3164                 rc = CMD_HELP;
3165                 goto err;
3166         }
3167
3168         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3169         if (rc) {
3170                 fprintf(stderr, "%s: ioctl_pack for catalog '%s' failed: %s\n",
3171                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3172                 goto err;
3173         }
3174
3175         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_CANCEL, buf);
3176         if (rc)
3177                 fprintf(stderr, "%s: cancel catalog '%s:%s' failed: %s\n",
3178                         jt_cmdname(cmd), data.ioc_inlbuf1, data.ioc_inlbuf3,
3179                         strerror(errno));
3180
3181 err:
3182         llog_default_device(LLOG_DFLT_DEV_RESET);
3183         return rc;
3184 }
3185
3186 int jt_llog_check(int argc, char **argv)
3187 {
3188         struct obd_ioctl_data data = { 0 };
3189         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3190         char *catalog = NULL;
3191         char startbuf[16], endbuf[16];
3192         long start = 1, end = -1;
3193         char *cmd = argv[0];
3194         int rc;
3195
3196         rc = llog_parse_catalog_start_end(&argc, &argv, &catalog, &start, &end);
3197         if (rc)
3198                 return rc;
3199
3200         if (llog_default_device(LLOG_DFLT_MGS_SET))
3201                 return CMD_INCOMPLETE;
3202
3203         if (end == -1)
3204                 end = 0x7fffffff;
3205
3206         data.ioc_dev = cur_device;
3207         data.ioc_inllen1 = strlen(catalog) + 1;
3208         data.ioc_inlbuf1 = catalog;
3209
3210         snprintf(startbuf, sizeof(startbuf), "%lu", start);
3211         snprintf(endbuf, sizeof(endbuf), "%lu", end);
3212         /* start and end record numbers are passed as ASCII digits */
3213         data.ioc_inllen2 = strlen(startbuf) + 1;
3214         data.ioc_inlbuf2 = startbuf;
3215         data.ioc_inllen3 = strlen(endbuf) + 1;
3216         data.ioc_inlbuf3 = endbuf;
3217
3218         data.ioc_inllen4 = sizeof(rawbuf) - __ALIGN_KERNEL(sizeof(data), 8) -
3219                            __ALIGN_KERNEL(data.ioc_inllen1, 8) -
3220                            __ALIGN_KERNEL(data.ioc_inllen2, 8) -
3221                            __ALIGN_KERNEL(data.ioc_inllen3, 8);
3222         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3223         if (rc) {
3224                 fprintf(stderr, "%s: ioctl_pack failed for catalog '%s': %s\n",
3225                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3226                 goto err;
3227         }
3228
3229         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_CHECK, buf);
3230         if (rc == 0)
3231                 fprintf(stdout, "%s", ((struct obd_ioctl_data *)buf)->ioc_bulk);
3232         else
3233                 fprintf(stderr, "%s: OBD_IOC_LLOG_CHECK failed: %s\n",
3234                         jt_cmdname(cmd), strerror(errno));
3235 err:
3236         llog_default_device(LLOG_DFLT_DEV_RESET);
3237         return rc;
3238 }
3239
3240 int jt_llog_remove(int argc, char **argv)
3241 {
3242         struct obd_ioctl_data data = { 0 };
3243         char rawbuf[MAX_IOC_BUFLEN] = "", *buf = rawbuf;
3244         char *cmd = argv[0];
3245         int rc;
3246
3247         if (llog_default_device(LLOG_DFLT_MGS_SET))
3248                 return CMD_INCOMPLETE;
3249
3250         rc = llog_parse_catalog_log_idx(&argc, &argv, "c:hl:", 2, &data);
3251         if (rc)
3252                 goto err;
3253
3254         if (argc == 1) {
3255                 if (data.ioc_inlbuf2) {
3256                         fprintf(stderr,
3257                                 "%s: --log_id is set, unknown argument '%s'\n",
3258                                 jt_cmdname(cmd), argv[0]);
3259                         rc = CMD_HELP;
3260                         goto err;
3261                 }
3262
3263                 data.ioc_inllen2 = strlen(argv[0]) + 1;
3264                 data.ioc_inlbuf2 = argv[0];
3265         }
3266
3267         rc = llapi_ioctl_pack(&data, &buf, sizeof(rawbuf));
3268         if (rc) {
3269                 fprintf(stderr, "%s: ioctl_pack for catalog '%s' failed: %s\n",
3270                         jt_cmdname(cmd), data.ioc_inlbuf1, strerror(-rc));
3271                 goto err;
3272         }
3273
3274         rc = l_ioctl(OBD_DEV_ID, OBD_IOC_LLOG_REMOVE, buf);
3275         if (rc)
3276                 fprintf(stderr, "%s: cancel catalog '%s:%s' failed: %s\n",
3277                         jt_cmdname(cmd), data.ioc_inlbuf1, data.ioc_inlbuf2,
3278                         strerror(-rc));
3279
3280 err:
3281         llog_default_device(LLOG_DFLT_DEV_RESET);
3282         return rc;
3283 }
3284
3285 static void signal_server(int sig)
3286 {
3287         if (sig == SIGINT) {
3288                 do_disconnect("sigint", 1);
3289                 exit(1);
3290         } else {
3291                 fprintf(stderr, "%s: got signal %d\n", jt_cmdname("sigint"),
3292                         sig);
3293         }
3294 }
3295
3296 int obd_initialize(int argc, char **argv)
3297 {
3298         if (shmem_setup() != 0)
3299                 return -1;
3300
3301         register_ioc_dev(OBD_DEV_ID, OBD_DEV_PATH);
3302
3303         return 0;
3304 }
3305
3306 void obd_finalize(int argc, char **argv)
3307 {
3308         struct sigaction sigact;
3309
3310         /* sigact initialization */
3311         sigact.sa_handler = signal_server;
3312         sigfillset(&sigact.sa_mask);
3313         sigact.sa_flags = SA_RESTART;
3314         /* coverity[uninit_use_in_call] */
3315         sigaction(SIGINT, &sigact, NULL);
3316
3317         shmem_cleanup();
3318         do_disconnect(argv[0], 1);
3319 }
3320