lnet/utils/portals.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * Copyright (C) 2001, 2002 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of Portals, http://www.sf.net/projects/lustre/
   7  *
   8  *   Portals is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Portals is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Portals; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  *
  21  */
  22
  23 #include <stdio.h>
  24 #include <sys/types.h>
  25 #ifdef HAVE_NETDB_H
  26 #include <netdb.h>
  27 #endif
  28 #include <sys/socket.h>
  29 #ifdef HAVE_NETINET_TCP_H
  30 #include <netinet/tcp.h>
  31 #endif
  32 #include <stdlib.h>
  33 #include <string.h>
  34 #include <fcntl.h>
  35 #ifdef HAVE_SYS_IOCTL_H
  36 #include <sys/ioctl.h>
  37 #endif
  38 #ifndef _IOWR
  39 #include "ioctl.h"
  40 #endif
  41 #include <errno.h>
  42 #include <unistd.h>
  43 #include <time.h>
  44 #include <stdarg.h>
  45 #ifdef HAVE_ENDIAN_H
  46 #include <endian.h>
  47 #endif
  48
  49 #include <libcfs/portals_utils.h>
  50 #include <lnet/api-support.h>
  51 #include <lnet/lnetctl.h>
  52 #include <lnet/socklnd.h>
  53 #include "parser.h"
  54
  55 unsigned int libcfs_debug;
  56 unsigned int libcfs_printk;
  57
  58 static int   g_net_set;
  59 static __u32 g_net;
  60
  61 /* Convert a string boolean to an int; "enable" -> 1 */
  62 int
  63 lnet_parse_bool (int *b, char *str)
  64 {
  65         if (!strcasecmp (str, "no") ||
  66             !strcasecmp (str, "n") ||
  67             !strcasecmp (str, "off") ||
  68             !strcasecmp (str, "down") ||
  69             !strcasecmp (str, "disable"))
  70         {
  71                 *b = 0;
  72                 return (0);
  73         }
  74
  75         if (!strcasecmp (str, "yes") ||
  76             !strcasecmp (str, "y") ||
  77             !strcasecmp (str, "on") ||
  78             !strcasecmp (str, "up") ||
  79             !strcasecmp (str, "enable"))
  80         {
  81                 *b = 1;
  82                 return (0);
  83         }
  84
  85         return (-1);
  86 }
  87
  88 int
  89 lnet_parse_port (int *port, char *str)
  90 {
  91         char      *end;
  92
  93         *port = strtol (str, &end, 0);
  94
  95         if (*end == 0 &&                        /* parsed whole string */
  96             *port > 0 && *port < 65536)         /* minimal sanity check */
  97                 return (0);
  98
  99         return (-1);
 100 }
 101
 102 #ifdef HAVE_GETHOSTBYNAME
 103 static struct hostent *
 104 ptl_gethostbyname(char * hname) {
 105         struct hostent *he;
 106         he = gethostbyname(hname);
 107         if (!he) {
 108                 switch(h_errno) {
 109                 case HOST_NOT_FOUND:
 110                 case NO_ADDRESS:
 111                         fprintf(stderr, "Unable to resolve hostname: %s\n",
 112                                 hname);
 113                         break;
 114                 default:
 115                         fprintf(stderr, "gethostbyname error for %s: %s\n",
 116                                 hname, strerror(h_errno));
 117                         break;
 118                 }
 119                 return NULL;
 120         }
 121         return he;
 122 }
 123 #endif
 124
 125 int
 126 lnet_parse_ipquad (__u32 *ipaddrp, char *str)
 127 {
 128         int             a;
 129         int             b;
 130         int             c;
 131         int             d;
 132
 133         if (sscanf (str, "%d.%d.%d.%d", &a, &b, &c, &d) == 4 &&
 134             (a & ~0xff) == 0 && (b & ~0xff) == 0 &&
 135             (c & ~0xff) == 0 && (d & ~0xff) == 0)
 136         {
 137                 *ipaddrp = (a<<24)|(b<<16)|(c<<8)|d;
 138                 return (0);
 139         }
 140
 141         return (-1);
 142 }
 143
 144 int
 145 lnet_parse_ipaddr (__u32 *ipaddrp, char *str)
 146 {
 147 #ifdef HAVE_GETHOSTBYNAME
 148         struct hostent *he;
 149 #endif
 150
 151         if (!strcmp (str, "_all_")) {
 152                 *ipaddrp = 0;
 153                 return (0);
 154         }
 155
 156         if (lnet_parse_ipquad(ipaddrp, str) == 0)
 157                 return (0);
 158
 159 #ifdef HAVE_GETHOSTBYNAME
 160         if ((('a' <= str[0] && str[0] <= 'z') ||
 161              ('A' <= str[0] && str[0] <= 'Z')) &&
 162              (he = ptl_gethostbyname (str)) != NULL) {
 163                 __u32 addr = *(__u32 *)he->h_addr;
 164
 165                 *ipaddrp = ntohl(addr);         /* HOST byte order */
 166                 return (0);
 167         }
 168 #endif
 169
 170         return (-1);
 171 }
 172
 173 char *
 174 ptl_ipaddr_2_str (__u32 ipaddr, char *str, int lookup)
 175 {
 176 #ifdef HAVE_GETHOSTBYNAME
 177         __u32           net_ip;
 178         struct hostent *he;
 179
 180         if (lookup) {
 181                 net_ip = htonl (ipaddr);
 182                 he = gethostbyaddr (&net_ip, sizeof (net_ip), AF_INET);
 183                 if (he != NULL) {
 184                         strcpy(str, he->h_name);
 185                         return (str);
 186                 }
 187         }
 188 #endif
 189
 190         sprintf (str, "%d.%d.%d.%d",
 191                  (ipaddr >> 24) & 0xff, (ipaddr >> 16) & 0xff,
 192                  (ipaddr >> 8) & 0xff, ipaddr & 0xff);
 193         return (str);
 194 }
 195
 196 int
 197 lnet_parse_time (time_t *t, char *str)
 198 {
 199         char          *end;
 200         int            n;
 201         struct tm      tm;
 202
 203         *t = strtol (str, &end, 0);
 204         if (*end == 0) /* parsed whole string */
 205                 return (0);
 206
 207         memset (&tm, 0, sizeof (tm));
 208         n = sscanf (str, "%d-%d-%d-%d:%d:%d",
 209                     &tm.tm_year, &tm.tm_mon, &tm.tm_mday,
 210                     &tm.tm_hour, &tm.tm_min, &tm.tm_sec);
 211         if (n != 6)
 212                 return (-1);
 213
 214         tm.tm_mon--;                    /* convert to 0 == Jan */
 215         tm.tm_year -= 1900;             /* y2k quirk */
 216         tm.tm_isdst = -1;               /* dunno if it's daylight savings... */
 217
 218         *t = mktime (&tm);
 219         if (*t == (time_t)-1)
 220                 return (-1);
 221
 222         return (0);
 223 }
 224
 225 int g_net_is_set (char *cmd)
 226 {
 227         if (g_net_set)
 228                 return 1;
 229
 230         if (cmd != NULL)
 231                 fprintf(stderr,
 232                         "You must run the 'network' command before '%s'.\n",
 233                         cmd);
 234         return 0;
 235 }
 236
 237 int g_net_is_compatible (char *cmd, ...)
 238 {
 239         va_list       ap;
 240         int           nal;
 241
 242         if (!g_net_is_set(cmd))
 243                 return 0;
 244
 245         va_start(ap, cmd);
 246
 247         do {
 248                 nal = va_arg (ap, int);
 249                 if (nal == LNET_NETTYP(g_net)) {
 250                         va_end (ap);
 251                         return 1;
 252                 }
 253         } while (nal != 0);
 254
 255         va_end (ap);
 256
 257         if (cmd != NULL)
 258                 fprintf (stderr,
 259                          "Command %s not compatible with %s NAL\n",
 260                          cmd,
 261                          libcfs_lnd2str(LNET_NETTYP(g_net)));
 262         return 0;
 263 }
 264
 265 int ptl_initialize(int argc, char **argv)
 266 {
 267         register_ioc_dev(LNET_DEV_ID, LNET_DEV_PATH,
 268                          LNET_DEV_MAJOR, LNET_DEV_MINOR);
 269         return 0;
 270 }
 271
 272
 273 int jt_ptl_network(int argc, char **argv)
 274 {
 275         struct libcfs_ioctl_data data;
 276         __u32                    net = LNET_NIDNET(LNET_NID_ANY);
 277         int                      rc;
 278
 279         if (argc < 2) {
 280                 fprintf(stderr, "usage: %s <net>|up|down\n", argv[0]);
 281                 return 0;
 282         }
 283
 284         if (!strcmp(argv[1], "unconfigure") ||
 285             !strcmp(argv[1], "down")) {
 286                 LIBCFS_IOC_INIT(data);
 287                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_UNCONFIGURE, &data);
 288
 289                 if (rc == 0) {
 290                         printf ("LNET ready to unload\n");
 291                         return 0;
 292                 }
 293
 294                 if (errno == EBUSY)
 295                         fprintf(stderr, "LNET busy\n");
 296                 else
 297                         fprintf(stderr, "LNET unconfigure error %d: %s\n",
 298                                 errno, strerror(errno));
 299                 return -1;
 300         }
 301
 302         if (!strcmp(argv[1], "configure") ||
 303             !strcmp(argv[1], "up")) {
 304                 LIBCFS_IOC_INIT(data);
 305                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_CONFIGURE, &data);
 306
 307                 if (rc == 0) {
 308                         printf ("LNET configured\n");
 309                         return 0;
 310                 }
 311
 312                 fprintf(stderr, "LNET configure error %d: %s\n",
 313                         errno, strerror(errno));
 314                 return -1;
 315         }
 316
 317         net = libcfs_str2net(argv[1]);
 318         if (net == LNET_NIDNET(LNET_NID_ANY)) {
 319                 fprintf(stderr, "Can't parse net %s\n", argv[1]);
 320                 return -1;
 321         }
 322
 323         g_net_set = 1;
 324         g_net = net;
 325         return 0;
 326 }
 327
 328 int
 329 jt_ptl_list_nids(int argc, char **argv)
 330 {
 331         struct libcfs_ioctl_data data;
 332         int                      all = 0, return_nid = 0;
 333         int                      count;
 334         int                      rc;
 335
 336         all = (argc == 2) && (strcmp(argv[1], "all") == 0);
 337         /* Hack to pass back value */
 338         return_nid = (argc == 2) && (argv[1][0] == 1);
 339
 340         if ((argc > 2) && !(all || return_nid)) {
 341                 fprintf(stderr, "usage: %s [all]\n", argv[0]);
 342                 return 0;
 343         }
 344
 345         for (count = 0;; count++) {
 346                 LIBCFS_IOC_INIT (data);
 347                 data.ioc_count = count;
 348                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_NI, &data);
 349
 350                 if (rc < 0) {
 351                         if ((count > 0) && (errno == ENOENT))
 352                                 /* We found them all */
 353                                 break;
 354                         fprintf(stderr,"IOC_LIBCFS_GET_NI error %d: %s\n",
 355                                 errno, strerror(errno));
 356                         return -1;
 357                 }
 358
 359                 if (all || (LNET_NETTYP(LNET_NIDNET(data.ioc_nid)) != LOLND)) {
 360                         printf("%s\n", libcfs_nid2str(data.ioc_nid));
 361                         if (return_nid) {
 362                                 *(__u64 *)(argv[1]) = data.ioc_nid;
 363                                 return_nid--;
 364                         }
 365                 }
 366         }
 367
 368         return 0;
 369 }
 370
 371 int
 372 jt_ptl_which_nid (int argc, char **argv)
 373 {
 374         struct libcfs_ioctl_data data;
 375         int          best_dist = 0;
 376         int          best_order = 0;
 377         lnet_nid_t   best_nid = LNET_NID_ANY;
 378         int          dist;
 379         int          order;
 380         lnet_nid_t   nid;
 381         char        *nidstr;
 382         int          rc;
 383         int          i;
 384
 385         if (argc < 2) {
 386                 fprintf(stderr, "usage: %s NID [NID...]\n", argv[0]);
 387                 return 0;
 388         }
 389
 390         for (i = 1; i < argc; i++) {
 391                 nidstr = argv[i];
 392                 nid = libcfs_str2nid(nidstr);
 393                 if (nid == LNET_NID_ANY) {
 394                         fprintf(stderr, "Can't parse NID %s\n", nidstr);
 395                         return -1;
 396                 }
 397
 398                 LIBCFS_IOC_INIT(data);
 399                 data.ioc_nid = nid;
 400
 401                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LNET_DIST, &data);
 402                 if (rc != 0) {
 403                         fprintf(stderr, "Can't get distance to %s: %s\n",
 404                                 nidstr, strerror(errno));
 405                         return -1;
 406                 }
 407
 408                 dist = data.ioc_u32[0];
 409                 order = data.ioc_u32[1];
 410
 411                 if (dist < 0) {
 412                         if (dist == -EHOSTUNREACH)
 413                                 continue;
 414
 415                         fprintf(stderr, "Unexpected distance to %s: %d\n",
 416                                 nidstr, dist);
 417                         return -1;
 418                 }
 419
 420                 if (best_nid == LNET_NID_ANY ||
 421                     dist < best_dist ||
 422                     (dist == best_dist && order < best_order)) {
 423                         best_dist = dist;
 424                         best_order = order;
 425                         best_nid = nid;
 426                 }
 427         }
 428
 429         if (best_nid == LNET_NID_ANY) {
 430                 fprintf(stderr, "No reachable NID\n");
 431                 return -1;
 432         }
 433
 434         printf("%s\n", libcfs_nid2str(best_nid));
 435         return 0;
 436 }
 437
 438 int
 439 jt_ptl_print_interfaces (int argc, char **argv)
 440 {
 441         struct libcfs_ioctl_data data;
 442         char                     buffer[3][64];
 443         int                      index;
 444         int                      rc;
 445
 446         if (!g_net_is_compatible (argv[0], SOCKLND, 0))
 447                 return -1;
 448
 449         for (index = 0;;index++) {
 450                 LIBCFS_IOC_INIT(data);
 451                 data.ioc_net   = g_net;
 452                 data.ioc_count = index;
 453
 454                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_INTERFACE, &data);
 455                 if (rc != 0)
 456                         break;
 457
 458                 printf ("%s: (%s/%s) npeer %d nroute %d\n",
 459                         ptl_ipaddr_2_str(data.ioc_u32[0], buffer[2], 1),
 460                         ptl_ipaddr_2_str(data.ioc_u32[0], buffer[0], 0),
 461                         ptl_ipaddr_2_str(data.ioc_u32[1], buffer[1], 0),
 462                         data.ioc_u32[2], data.ioc_u32[3]);
 463         }
 464
 465         if (index == 0) {
 466                 if (errno == ENOENT) {
 467                         printf ("<no interfaces>\n");
 468                 } else {
 469                         fprintf(stderr, "Error getting interfaces: %s: "
 470                                 "check dmesg.\n",
 471                                 strerror(errno));
 472                 }
 473         }
 474
 475         return 0;
 476 }
 477
 478 int
 479 jt_ptl_add_interface (int argc, char **argv)
 480 {
 481         struct libcfs_ioctl_data data;
 482         __u32                    ipaddr;
 483         int                      rc;
 484         __u32                    netmask = 0xffffff00;
 485         int                      i;
 486         int                      count;
 487         char                    *end;
 488
 489         if (argc < 2 || argc > 3) {
 490                 fprintf (stderr, "usage: %s ipaddr [netmask]\n", argv[0]);
 491                 return 0;
 492         }
 493
 494         if (!g_net_is_compatible(argv[0], SOCKLND, 0))
 495                 return -1;
 496
 497         if (lnet_parse_ipaddr(&ipaddr, argv[1]) != 0) {
 498                 fprintf (stderr, "Can't parse ip: %s\n", argv[1]);
 499                 return -1;
 500         }
 501
 502         if (argc > 2 ) {
 503                 count = strtol(argv[2], &end, 0);
 504                 if (count > 0 && count < 32 && *end == 0) {
 505                         netmask = 0;
 506                         for (i = count; i > 0; i--)
 507                                 netmask = netmask|(1<<(32-i));
 508                 } else if (lnet_parse_ipquad(&netmask, argv[2]) != 0) {
 509                         fprintf (stderr, "Can't parse netmask: %s\n", argv[2]);
 510                         return -1;
 511                 }
 512         }
 513
 514         LIBCFS_IOC_INIT(data);
 515         data.ioc_net    = g_net;
 516         data.ioc_u32[0] = ipaddr;
 517         data.ioc_u32[1] = netmask;
 518
 519         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_ADD_INTERFACE, &data);
 520         if (rc != 0) {
 521                 fprintf (stderr, "failed to add interface: %s\n",
 522                          strerror (errno));
 523                 return -1;
 524         }
 525
 526         return 0;
 527 }
 528
 529 int
 530 jt_ptl_del_interface (int argc, char **argv)
 531 {
 532         struct libcfs_ioctl_data data;
 533         int                      rc;
 534         __u32                    ipaddr = 0;
 535
 536         if (argc > 2) {
 537                 fprintf (stderr, "usage: %s [ipaddr]\n", argv[0]);
 538                 return 0;
 539         }
 540
 541         if (!g_net_is_compatible(argv[0], SOCKLND, 0))
 542                 return -1;
 543
 544         if (argc == 2 &&
 545             lnet_parse_ipaddr(&ipaddr, argv[1]) != 0) {
 546                 fprintf (stderr, "Can't parse ip: %s\n", argv[1]);
 547                 return -1;
 548         }
 549
 550         LIBCFS_IOC_INIT(data);
 551         data.ioc_net    = g_net;
 552         data.ioc_u32[0] = ipaddr;
 553
 554         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_INTERFACE, &data);
 555         if (rc != 0) {
 556                 fprintf (stderr, "failed to delete interface: %s\n",
 557                          strerror (errno));
 558                 return -1;
 559         }
 560
 561         return 0;
 562 }
 563
 564 int
 565 jt_ptl_print_peers (int argc, char **argv)
 566 {
 567         struct libcfs_ioctl_data data;
 568         lnet_process_id_t        id;
 569         char                     buffer[2][64];
 570         int                      index;
 571         int                      rc;
 572
 573         if (!g_net_is_compatible (argv[0], SOCKLND, RALND, PTLLND, MXLND,
 574                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 575                 return -1;
 576
 577         for (index = 0;;index++) {
 578                 LIBCFS_IOC_INIT(data);
 579                 data.ioc_net     = g_net;
 580                 data.ioc_count   = index;
 581
 582                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_PEER, &data);
 583                 if (rc != 0)
 584                         break;
 585
 586                 if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 587                         id.nid = data.ioc_nid;
 588                         id.pid = data.ioc_u32[4];
 589                         printf ("%-20s [%d]%s->%s:%d #%d\n",
 590                                 libcfs_id2str(id),
 591                                 data.ioc_count, /* persistence */
 592                                 ptl_ipaddr_2_str (data.ioc_u32[2], buffer[0], 1), /* my ip */
 593                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* peer ip */
 594                                 data.ioc_u32[1], /* peer port */
 595                                 data.ioc_u32[3]); /* conn_count */
 596                 } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 597                         id.nid = data.ioc_nid;
 598                         id.pid = data.ioc_u32[4];
 599                         printf ("%-20s s %d%s [%d] "LPD64".%06d"
 600                                 " m "LPD64"/"LPD64" q %d/%d c %d/%d\n",
 601                                 libcfs_id2str(id),
 602                                 data.ioc_net,   /* state */
 603                                 data.ioc_flags ? "" : " ~!h", /* sent_hello */
 604                                 data.ioc_count, /* refcount */
 605                                 data.ioc_u64[0]/1000000, /* incarnation secs */
 606                                 (int)(data.ioc_u64[0]%1000000), /* incarnation usecs */
 607                                 (((__u64)data.ioc_u32[1])<<32) |
 608                                 ((__u64)data.ioc_u32[0]), /* next_matchbits */
 609                                 (((__u64)data.ioc_u32[3])<<32) |
 610                                 ((__u64)data.ioc_u32[2]), /* last_matchbits_seen */
 611                                 data.ioc_u32[5] >> 16, /* nsendq */
 612                                 data.ioc_u32[5] & 0xffff, /* nactiveq */
 613                                 data.ioc_u32[6] >> 16, /* credits */
 614                                 data.ioc_u32[6] & 0xffff); /* outstanding_credits */
 615                 } else if (g_net_is_compatible(NULL, RALND, OPENIBLND, CIBLND, VIBLND, 0)) {
 616                         printf ("%-20s [%d]@%s:%d\n",
 617                                 libcfs_nid2str(data.ioc_nid), /* peer nid */
 618                                 data.ioc_count,   /* peer persistence */
 619                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* peer ip */
 620                                 data.ioc_u32[1]); /* peer port */
 621                 } else {
 622                         printf ("%-20s [%d]\n",
 623                                 libcfs_nid2str(data.ioc_nid), data.ioc_count);
 624                 }
 625         }
 626
 627         if (index == 0) {
 628                 if (errno == ENOENT) {
 629                         printf ("<no peers>\n");
 630                 } else {
 631                         fprintf(stderr, "Error getting peer list: %s: "
 632                                 "check dmesg.\n",
 633                                 strerror(errno));
 634                 }
 635         }
 636         return 0;
 637 }
 638
 639 int
 640 jt_ptl_add_peer (int argc, char **argv)
 641 {
 642         struct libcfs_ioctl_data data;
 643         lnet_nid_t               nid;
 644         __u32                    ip = 0;
 645         int                      port = 0;
 646         int                      rc;
 647
 648         if (!g_net_is_compatible (argv[0], SOCKLND, RALND,
 649                                   OPENIBLND, CIBLND, IIBLND, VIBLND, 0))
 650                 return -1;
 651
 652         if (g_net_is_compatible(NULL, SOCKLND, OPENIBLND, CIBLND, RALND, 0)) {
 653                 if (argc != 4) {
 654                         fprintf (stderr, "usage(tcp,openib,cib,ra): %s nid ipaddr port\n",
 655                                  argv[0]);
 656                         return 0;
 657                 }
 658         } else if (g_net_is_compatible(NULL, VIBLND, 0)) {
 659                 if (argc != 3) {
 660                         fprintf (stderr, "usage(vib): %s nid ipaddr\n",
 661                                  argv[0]);
 662                         return 0;
 663                 }
 664         } else if (argc != 2) {
 665                 fprintf (stderr, "usage(iib): %s nid\n", argv[0]);
 666                 return 0;
 667         }
 668
 669         nid = libcfs_str2nid(argv[1]);
 670         if (nid == LNET_NID_ANY) {
 671                 fprintf (stderr, "Can't parse NID: %s\n", argv[1]);
 672                 return -1;
 673         }
 674
 675         if (g_net_is_compatible (NULL, SOCKLND, OPENIBLND, CIBLND, VIBLND, RALND, 0) &&
 676             lnet_parse_ipaddr (&ip, argv[2]) != 0) {
 677                 fprintf (stderr, "Can't parse ip addr: %s\n", argv[2]);
 678                 return -1;
 679         }
 680
 681         if (g_net_is_compatible (NULL, SOCKLND, OPENIBLND, CIBLND, RALND, 0) &&
 682             lnet_parse_port (&port, argv[3]) != 0) {
 683                 fprintf (stderr, "Can't parse port: %s\n", argv[3]);
 684                 return -1;
 685         }
 686
 687         LIBCFS_IOC_INIT(data);
 688         data.ioc_net    = g_net;
 689         data.ioc_nid    = nid;
 690         data.ioc_u32[0] = ip;
 691         data.ioc_u32[1] = port;
 692
 693         rc = l_ioctl (LNET_DEV_ID, IOC_LIBCFS_ADD_PEER, &data);
 694         if (rc != 0) {
 695                 fprintf (stderr, "failed to add peer: %s\n",
 696                          strerror (errno));
 697                 return -1;
 698         }
 699
 700         return 0;
 701 }
 702
 703 int
 704 jt_ptl_del_peer (int argc, char **argv)
 705 {
 706         struct libcfs_ioctl_data data;
 707         lnet_nid_t               nid = LNET_NID_ANY;
 708         lnet_pid_t               pid = LNET_PID_ANY;
 709         __u32                    ip = 0;
 710         char                    *end;
 711         int                      rc;
 712
 713         if (!g_net_is_compatible (argv[0], SOCKLND, RALND, MXLND, PTLLND,
 714                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 715                 return -1;
 716
 717         if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 718                 if (argc > 3) {
 719                         fprintf (stderr, "usage: %s [nid] [ipaddr]\n",
 720                                  argv[0]);
 721                         return 0;
 722                 }
 723         } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 724                 if (argc > 3) {
 725                         fprintf (stderr, "usage: %s [nid] [pid]\n",
 726                                  argv[0]);
 727                         return 0;
 728                 }
 729         } else if (argc > 2) {
 730                 fprintf (stderr, "usage: %s [nid]\n", argv[0]);
 731                 return 0;
 732         }
 733
 734         if (argc > 1 &&
 735             !libcfs_str2anynid(&nid, argv[1])) {
 736                 fprintf (stderr, "Can't parse nid: %s\n", argv[1]);
 737                 return -1;
 738         }
 739
 740         if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 741                 if (argc > 2 &&
 742                     lnet_parse_ipaddr (&ip, argv[2]) != 0) {
 743                         fprintf (stderr, "Can't parse ip addr: %s\n",
 744                                  argv[2]);
 745                         return -1;
 746                 }
 747         } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 748                 if (argc > 2) {
 749                         pid = strtol(argv[2], &end, 0);
 750                         if (end == argv[2] || *end == 0) {
 751                                 fprintf(stderr, "Can't parse pid %s\n",
 752                                         argv[2]);
 753                                 return -1;
 754                         }
 755                 }
 756         }
 757
 758         LIBCFS_IOC_INIT(data);
 759         data.ioc_net    = g_net;
 760         data.ioc_nid    = nid;
 761         data.ioc_u32[0] = ip;
 762         data.ioc_u32[1] = pid;
 763
 764         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_PEER, &data);
 765         if (rc != 0) {
 766                 fprintf (stderr, "failed to remove peer: %s\n",
 767                          strerror (errno));
 768                 return -1;
 769         }
 770
 771         return 0;
 772 }
 773
 774 int
 775 jt_ptl_print_connections (int argc, char **argv)
 776 {
 777         struct libcfs_ioctl_data data;
 778         lnet_process_id_t        id;
 779         char                     buffer[2][64];
 780         int                      index;
 781         int                      rc;
 782
 783         if (!g_net_is_compatible (argv[0], SOCKLND, RALND,
 784                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 785                 return -1;
 786
 787         for (index = 0; ; index++) {
 788                 LIBCFS_IOC_INIT(data);
 789                 data.ioc_net     = g_net;
 790                 data.ioc_count   = index;
 791
 792                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_CONN, &data);
 793                 if (rc != 0)
 794                         break;
 795
 796                 if (g_net_is_compatible (NULL, SOCKLND, 0)) {
 797                         id.nid = data.ioc_nid;
 798                         id.pid = data.ioc_u32[6];
 799                         printf ("%-20s %s[%d]%s->%s:%d %d/%d %s\n",
 800                                 libcfs_id2str(id),
 801                                 (data.ioc_u32[3] == SOCKLND_CONN_ANY) ? "A" :
 802                                 (data.ioc_u32[3] == SOCKLND_CONN_CONTROL) ? "C" :
 803                                 (data.ioc_u32[3] == SOCKLND_CONN_BULK_IN) ? "I" :
 804                                 (data.ioc_u32[3] == SOCKLND_CONN_BULK_OUT) ? "O" : "?",
 805                                 data.ioc_u32[4], /* scheduler */
 806                                 ptl_ipaddr_2_str (data.ioc_u32[2], buffer[0], 1), /* local IP addr */
 807                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* remote IP addr */
 808                                 data.ioc_u32[1],         /* remote port */
 809                                 data.ioc_count, /* tx buffer size */
 810                                 data.ioc_u32[5], /* rx buffer size */
 811                                 data.ioc_flags ? "nagle" : "nonagle");
 812                 } else if (g_net_is_compatible (NULL, RALND, 0)) {
 813                         printf ("%-20s [%d]\n",
 814                                 libcfs_nid2str(data.ioc_nid),
 815                                 data.ioc_u32[0] /* device id */);
 816                 } else {
 817                         printf ("%s\n", libcfs_nid2str(data.ioc_nid));
 818                 }
 819         }
 820
 821         if (index == 0) {
 822                 if (errno == ENOENT) {
 823                         printf ("<no connections>\n");
 824                 } else {
 825                         fprintf(stderr, "Error getting connection list: %s: "
 826                                 "check dmesg.\n",
 827                                 strerror(errno));
 828                 }
 829         }
 830         return 0;
 831 }
 832
 833 int jt_ptl_disconnect(int argc, char **argv)
 834 {
 835         struct libcfs_ioctl_data data;
 836         lnet_nid_t               nid = LNET_NID_ANY;
 837         __u32                    ipaddr = 0;
 838         int                      rc;
 839
 840         if (argc > 3) {
 841                 fprintf(stderr, "usage: %s [nid] [ipaddr]\n", argv[0]);
 842                 return 0;
 843         }
 844
 845         if (!g_net_is_compatible (NULL, SOCKLND, RALND, MXLND,
 846                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 847                 return 0;
 848
 849         if (argc >= 2 &&
 850             !libcfs_str2anynid(&nid, argv[1])) {
 851                 fprintf (stderr, "Can't parse nid %s\n", argv[1]);
 852                 return -1;
 853         }
 854
 855         if (g_net_is_compatible (NULL, SOCKLND, 0) &&
 856             argc >= 3 &&
 857             lnet_parse_ipaddr (&ipaddr, argv[2]) != 0) {
 858                 fprintf (stderr, "Can't parse ip addr %s\n", argv[2]);
 859                 return -1;
 860         }
 861
 862         LIBCFS_IOC_INIT(data);
 863         data.ioc_net     = g_net;
 864         data.ioc_nid     = nid;
 865         data.ioc_u32[0]  = ipaddr;
 866
 867         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_CLOSE_CONNECTION, &data);
 868         if (rc != 0) {
 869                 fprintf(stderr, "failed to remove connection: %s\n",
 870                         strerror(errno));
 871                 return -1;
 872         }
 873
 874         return 0;
 875 }
 876
 877 int jt_ptl_push_connection (int argc, char **argv)
 878 {
 879         struct libcfs_ioctl_data data;
 880         int                      rc;
 881         lnet_nid_t               nid = LNET_NID_ANY;
 882
 883         if (argc > 2) {
 884                 fprintf(stderr, "usage: %s [nid]\n", argv[0]);
 885                 return 0;
 886         }
 887
 888         if (!g_net_is_compatible (argv[0], SOCKLND, 0))
 889                 return -1;
 890
 891         if (argc > 1 &&
 892             !libcfs_str2anynid(&nid, argv[1])) {
 893                 fprintf(stderr, "Can't parse nid: %s\n", argv[1]);
 894                 return -1;
 895         }
 896
 897         LIBCFS_IOC_INIT(data);
 898         data.ioc_net     = g_net;
 899         data.ioc_nid     = nid;
 900
 901         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_PUSH_CONNECTION, &data);
 902         if (rc != 0) {
 903                 fprintf(stderr, "failed to push connection: %s\n",
 904                         strerror(errno));
 905                 return -1;
 906         }
 907
 908         return 0;
 909 }
 910
 911 int
 912 jt_ptl_print_active_txs (int argc, char **argv)
 913 {
 914         struct libcfs_ioctl_data data;
 915         int                      index;
 916         int                      rc;
 917
 918         if (!g_net_is_compatible (argv[0], QSWLND, 0))
 919                 return -1;
 920
 921         for (index = 0;;index++) {
 922                 LIBCFS_IOC_INIT(data);
 923                 data.ioc_net   = g_net;
 924                 data.ioc_count = index;
 925
 926                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_TXDESC, &data);
 927                 if (rc != 0)
 928                         break;
 929
 930                 printf ("type %u payload %6d to %s via %s by pid %6d: "
 931                         "%s, %s, state %d\n",
 932                         data.ioc_u32[0],
 933                         data.ioc_count,
 934                         libcfs_nid2str(data.ioc_nid),
 935                         libcfs_nid2str(data.ioc_u64[0]),
 936                         data.ioc_u32[1],
 937                         (data.ioc_flags & 1) ? "delayed" : "immediate",
 938                         (data.ioc_flags & 2) ? "nblk"    : "normal",
 939                         data.ioc_flags >> 2);
 940         }
 941
 942         if (index == 0) {
 943                 if (errno == ENOENT) {
 944                         printf ("<no active descs>\n");
 945                 } else {
 946                         fprintf(stderr, "Error getting active transmits list: "
 947                                 "%s: check dmesg.\n",
 948                                 strerror(errno));
 949                 }
 950         }
 951         return 0;
 952 }
 953
 954 int jt_ptl_ping_test(int argc, char **argv)
 955 {
 956         int       rc;
 957         lnet_nid_t nid;
 958         long      count   = 1;
 959         long      size    = 4;
 960         long      timeout = 1;
 961         struct libcfs_ioctl_data data;
 962
 963         if (argc < 2) {
 964                 fprintf(stderr, "usage: %s nid [count] [size] [timeout (secs)]\n", argv[0]);
 965                 return 0;
 966         }
 967
 968         nid = libcfs_str2nid(argv[1]);
 969         if (nid == LNET_NID_ANY) {
 970                 fprintf (stderr, "Can't parse nid \"%s\"\n", argv[1]);
 971                 return (-1);
 972         }
 973
 974         if (argc > 2)
 975         {
 976                 count = atol(argv[2]);
 977
 978                 if (count < 0 || count > 20000)
 979                 {
 980                         fprintf(stderr, "are you insane?  %ld is a crazy count.\n", count);
 981                         return -1;
 982                 }
 983         }
 984
 985         if (argc > 3)
 986                 size= atol(argv[3]);
 987
 988         if (argc > 4)
 989                 timeout = atol (argv[4]);
 990
 991         LIBCFS_IOC_INIT (data);
 992         data.ioc_count   = count;
 993         data.ioc_nid     = nid;
 994         data.ioc_u32[0]  = size;
 995         data.ioc_u32[1]  = timeout;
 996
 997         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_PING_TEST, &data);
 998         if (rc) {
 999                 fprintf(stderr, "failed to start pinger: %s\n",
1000                         strerror(errno));
1001                 return -1;
1002         }
1003         return 0;
1004 }
1005
1006 int jt_ptl_ping(int argc, char **argv)
1007 {
1008         int                      rc;
1009         int                      timeout;
1010         lnet_process_id_t        id;
1011         lnet_process_id_t        ids[16];
1012         int                      maxids = sizeof(ids)/sizeof(ids[0]);
1013         struct libcfs_ioctl_data data;
1014         char                    *sep;
1015         int                      i;
1016
1017         if (argc < 2) {
1018                 fprintf(stderr, "usage: %s id [timeout (secs)]\n", argv[0]);
1019                 return 0;
1020         }
1021
1022         sep = strchr(argv[1], '-');
1023         if (sep == NULL) {
1024                 id.pid = LNET_PID_ANY;
1025                 id.nid = libcfs_str2nid(argv[1]);
1026                 if (id.nid == LNET_NID_ANY) {
1027                         fprintf (stderr, "Can't parse nid \"%s\"\n", argv[1]);
1028                         return -1;
1029                 }
1030         } else {
1031                 char   *end;
1032
1033                 if (argv[1][0] == 'u' ||
1034                     argv[1][0] == 'U')
1035                         id.pid = strtoul(&argv[1][1], &end, 0) | LNET_PID_USERFLAG;
1036                 else
1037                         id.pid = strtoul(argv[1], &end, 0);
1038
1039                 id.nid = libcfs_str2nid(sep + 1);
1040
1041                 if (end != sep ||
1042                     id.nid == LNET_NID_ANY) {
1043                         fprintf(stderr, "Can't parse process id \"%s\"\n", argv[1]);
1044                         return -1;
1045                 }
1046         }
1047
1048         if (argc > 2)
1049                 timeout = 1000 * atol(argv[2]);
1050         else
1051                 timeout = 1000;                 /* default 1 second timeout */
1052
1053         LIBCFS_IOC_INIT (data);
1054         data.ioc_nid     = id.nid;
1055         data.ioc_u32[0]  = id.pid;
1056         data.ioc_u32[1]  = timeout;
1057         data.ioc_plen1   = sizeof(ids);
1058         data.ioc_pbuf1   = (char *)ids;
1059
1060         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_PING, &data);
1061         if (rc != 0) {
1062                 fprintf(stderr, "failed to ping %s: %s\n",
1063                         id.pid == LNET_PID_ANY ?
1064                         libcfs_nid2str(id.nid) : libcfs_id2str(id),
1065                         strerror(errno));
1066                 return -1;
1067         }
1068
1069         for (i = 0; i < data.ioc_count && i < maxids; i++)
1070                 printf("%s\n", libcfs_id2str(ids[i]));
1071
1072         if (data.ioc_count > maxids)
1073                 printf("%d out of %d ids listed\n", maxids, data.ioc_count);
1074
1075         return 0;
1076 }
1077
1078 int jt_ptl_mynid(int argc, char **argv)
1079 {
1080         struct libcfs_ioctl_data data;
1081         lnet_nid_t               nid;
1082         int rc;
1083
1084         if (argc != 2) {
1085                 fprintf(stderr, "usage: %s NID\n", argv[0]);
1086                 return 0;
1087         }
1088
1089         nid = libcfs_str2nid(argv[1]);
1090         if (nid == LNET_NID_ANY) {
1091                 fprintf(stderr, "Can't parse NID '%s'\n", argv[1]);
1092                 return -1;
1093         }
1094
1095         LIBCFS_IOC_INIT(data);
1096         data.ioc_net = LNET_NIDNET(nid);
1097         data.ioc_nid = nid;
1098
1099         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_REGISTER_MYNID, &data);
1100         if (rc < 0)
1101                 fprintf(stderr, "setting my NID failed: %s\n",
1102                        strerror(errno));
1103         else
1104                 printf("registered my nid %s\n", libcfs_nid2str(nid));
1105
1106         return 0;
1107 }
1108
1109 int
1110 jt_ptl_fail_nid (int argc, char **argv)
1111 {
1112         int                      rc;
1113         lnet_nid_t               nid;
1114         unsigned int             threshold;
1115         struct libcfs_ioctl_data data;
1116
1117         if (argc < 2 || argc > 3)
1118         {
1119                 fprintf (stderr, "usage: %s nid|\"*\" [count (0 == mend)]\n", argv[0]);
1120                 return (0);
1121         }
1122
1123         if (!libcfs_str2anynid(&nid, argv[1]))
1124         {
1125                 fprintf (stderr, "Can't parse nid \"%s\"\n", argv[1]);
1126                 return (-1);
1127         }
1128
1129         if (argc < 3) {
1130                 threshold = LNET_MD_THRESH_INF;
1131         } else if (sscanf (argv[2], "%i", &threshold) != 1) {
1132                 fprintf (stderr, "Can't parse count \"%s\"\n", argv[2]);
1133                 return (-1);
1134         }
1135
1136         LIBCFS_IOC_INIT (data);
1137         data.ioc_nid = nid;
1138         data.ioc_count = threshold;
1139
1140         rc = l_ioctl (LNET_DEV_ID, IOC_LIBCFS_FAIL_NID, &data);
1141         if (rc < 0)
1142                 fprintf (stderr, "IOC_LIBCFS_FAIL_NID failed: %s\n",
1143                          strerror (errno));
1144         else
1145                 printf ("%s %s\n", threshold == 0 ? "Unfailing" : "Failing", argv[1]);
1146
1147         return (0);
1148 }
1149
1150 int
1151 jt_ptl_add_route (int argc, char **argv)
1152 {
1153         struct libcfs_ioctl_data data;
1154         lnet_nid_t               gateway_nid;
1155         unsigned int             hops = 1;
1156         char                    *end;
1157         int                      rc;
1158
1159         if (argc < 2 || argc > 3)
1160         {
1161                 fprintf (stderr, "usage: %s gateway [hopcount]\n", argv[0]);
1162                 return (0);
1163         }
1164
1165         if (!g_net_is_set(argv[0]))
1166                 return (-1);
1167
1168         gateway_nid = libcfs_str2nid(argv[1]);
1169         if (gateway_nid == LNET_NID_ANY) {
1170                 fprintf (stderr, "Can't parse gateway NID \"%s\"\n", argv[1]);
1171                 return (-1);
1172         }
1173
1174         if (argc == 3) {
1175                 hops = strtoul(argv[2], &end, 0);
1176                 if (hops >= 256 || *end != 0) {
1177                         fprintf (stderr, "Can't parse hopcount \"%s\"\n", argv[2]);
1178                         return -1;
1179                 }
1180         }
1181
1182         LIBCFS_IOC_INIT(data);
1183         data.ioc_net = g_net;
1184         data.ioc_count = hops;
1185         data.ioc_nid = gateway_nid;
1186
1187         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_ADD_ROUTE, &data);
1188         if (rc != 0) {
1189                 fprintf (stderr, "IOC_LIBCFS_ADD_ROUTE failed: %s\n", strerror (errno));
1190                 return (-1);
1191         }
1192
1193         return (0);
1194 }
1195
1196 int
1197 jt_ptl_del_route (int argc, char **argv)
1198 {
1199         struct libcfs_ioctl_data data;
1200         lnet_nid_t               nid;
1201         int                      rc;
1202
1203         if (argc != 2) {
1204                 fprintf (stderr, "usage: %s gatewayNID\n", argv[0]);
1205                 return (0);
1206         }
1207
1208         if (!libcfs_str2anynid(&nid, argv[1])) {
1209                 fprintf (stderr, "Can't parse gateway NID "
1210                          "\"%s\"\n", argv[1]);
1211                 return -1;
1212         }
1213
1214         LIBCFS_IOC_INIT(data);
1215         data.ioc_net = g_net_set ? g_net : LNET_NIDNET(LNET_NID_ANY);
1216         data.ioc_nid = nid;
1217
1218         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_ROUTE, &data);
1219         if (rc != 0) {
1220                 fprintf (stderr, "IOC_LIBCFS_DEL_ROUTE (%s) failed: %s\n",
1221                          libcfs_nid2str(nid), strerror (errno));
1222                 return (-1);
1223         }
1224
1225         return (0);
1226 }
1227
1228 int
1229 jt_ptl_notify_router (int argc, char **argv)
1230 {
1231         struct libcfs_ioctl_data data;
1232         int                      enable;
1233         lnet_nid_t               nid;
1234         int                      rc;
1235         struct timeval           now;
1236         time_t                   when;
1237
1238         if (argc < 3)
1239         {
1240                 fprintf (stderr, "usage: %s targetNID <up/down> [<time>]\n",
1241                          argv[0]);
1242                 return (0);
1243         }
1244
1245         nid = libcfs_str2nid(argv[1]);
1246         if (nid == LNET_NID_ANY) {
1247                 fprintf (stderr, "Can't parse target NID \"%s\"\n", argv[1]);
1248                 return (-1);
1249         }
1250
1251         if (lnet_parse_bool (&enable, argv[2]) != 0) {
1252                 fprintf (stderr, "Can't parse boolean %s\n", argv[2]);
1253                 return (-1);
1254         }
1255
1256         gettimeofday(&now, NULL);
1257
1258         if (argc < 4) {
1259                 when = now.tv_sec;
1260         } else if (lnet_parse_time (&when, argv[3]) != 0) {
1261                 fprintf(stderr, "Can't parse time %s\n"
1262                         "Please specify either 'YYYY-MM-DD-HH:MM:SS'\n"
1263                         "or an absolute unix time in seconds\n", argv[3]);
1264                 return (-1);
1265         } else if (when > now.tv_sec) {
1266                 fprintf (stderr, "%s specifies a time in the future\n",
1267                          argv[3]);
1268                 return (-1);
1269         }
1270
1271         LIBCFS_IOC_INIT(data);
1272         data.ioc_nid = nid;
1273         data.ioc_flags = enable;
1274         /* Yeuch; 'cept I need a __u64 on 64 bit machines... */
1275         data.ioc_u64[0] = (__u64)when;
1276
1277         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_NOTIFY_ROUTER, &data);
1278         if (rc != 0) {
1279                 fprintf (stderr, "IOC_LIBCFS_NOTIFY_ROUTER (%s) failed: %s\n",
1280                          libcfs_nid2str(nid), strerror (errno));
1281                 return (-1);
1282         }
1283
1284         return (0);
1285 }
1286
1287 int
1288 jt_ptl_print_routes (int argc, char **argv)
1289 {
1290         struct libcfs_ioctl_data  data;
1291         int                       rc;
1292         int                       index;
1293         __u32                     net;
1294         lnet_nid_t                nid;
1295         unsigned int              hops;
1296         int                       alive;
1297
1298         for (index = 0;;index++)
1299         {
1300                 LIBCFS_IOC_INIT(data);
1301                 data.ioc_count = index;
1302
1303                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_ROUTE, &data);
1304                 if (rc != 0)
1305                         break;
1306
1307                 net     = data.ioc_net;
1308                 hops    = data.ioc_count;
1309                 nid     = data.ioc_nid;
1310                 alive   = data.ioc_flags;
1311
1312                 printf ("net %18s hops %u gw %32s %s\n",
1313                         libcfs_net2str(net), hops,
1314                         libcfs_nid2str(nid), alive ? "up" : "down");
1315         }
1316
1317         if (errno != ENOENT)
1318                 fprintf(stderr, "Error getting routes: %s: check dmesg.\n",
1319                         strerror(errno));
1320
1321         return (0);
1322 }
1323
1324 static int
1325 lwt_control(int enable, int clear)
1326 {
1327         struct libcfs_ioctl_data data;
1328         int                      rc;
1329
1330         LIBCFS_IOC_INIT(data);
1331         data.ioc_flags = (enable ? 1 : 0) | (clear ? 2 : 0);
1332
1333         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_CONTROL, &data);
1334         if (rc == 0)
1335                 return (0);
1336
1337         fprintf(stderr, "IOC_LIBCFS_LWT_CONTROL failed: %s\n",
1338                 strerror(errno));
1339         return (-1);
1340 }
1341
1342 static int
1343 lwt_snapshot(cycles_t *now, int *ncpu, int *totalsize,
1344              lwt_event_t *events, int size)
1345 {
1346         struct libcfs_ioctl_data data;
1347         int                      rc;
1348
1349         LIBCFS_IOC_INIT(data);
1350         data.ioc_pbuf1 = (char *)events;
1351         data.ioc_plen1 = size;
1352
1353         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_SNAPSHOT, &data);
1354         if (rc != 0) {
1355                 fprintf(stderr, "IOC_LIBCFS_LWT_SNAPSHOT failed: %s\n",
1356                         strerror(errno));
1357                 return (-1);
1358         }
1359
1360         /* crappy overloads */
1361         if (data.ioc_u32[2] != sizeof(lwt_event_t) ||
1362             data.ioc_u32[3] != offsetof(lwt_event_t, lwte_where)) {
1363                 fprintf(stderr,"kernel/user LWT event mismatch %d(%d),%d(%d)\n",
1364                         (int)data.ioc_u32[2], (int)sizeof(lwt_event_t),
1365                         (int)data.ioc_u32[3],
1366                         (int)offsetof(lwt_event_t, lwte_where));
1367                 return (-1);
1368         }
1369
1370         if (now != NULL)
1371                 *now = data.ioc_u64[0];
1372
1373         LASSERT (data.ioc_u32[0] != 0);
1374         if (ncpu != NULL)
1375                 *ncpu = data.ioc_u32[0];
1376
1377         LASSERT (data.ioc_u32[1] != 0);
1378         if (totalsize != NULL)
1379                 *totalsize = data.ioc_u32[1];
1380
1381         return (0);
1382 }
1383
1384 static char *
1385 lwt_get_string(char *kstr)
1386 {
1387         char                     *ustr;
1388         struct libcfs_ioctl_data  data;
1389         int                       size;
1390         int                       rc;
1391
1392         /* FIXME: this could maintain a symbol table since we expect to be
1393          * looking up the same strings all the time... */
1394
1395         LIBCFS_IOC_INIT(data);
1396         data.ioc_pbuf1 = kstr;
1397         data.ioc_plen1 = 1;        /* non-zero just to fool portal_ioctl_is_invalid() */
1398         data.ioc_pbuf2 = NULL;
1399         data.ioc_plen2 = 0;
1400
1401         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_LOOKUP_STRING, &data);
1402         if (rc != 0) {
1403                 fprintf(stderr, "IOC_LIBCFS_LWT_LOOKUP_STRING failed: %s\n",
1404                         strerror(errno));
1405                 return (NULL);
1406         }
1407
1408         size = data.ioc_count;
1409         ustr = (char *)malloc(size);
1410         if (ustr == NULL) {
1411                 fprintf(stderr, "Can't allocate string storage of size %d\n",
1412                         size);
1413                 return (NULL);
1414         }
1415
1416         LIBCFS_IOC_INIT(data);
1417         data.ioc_pbuf1 = kstr;
1418         data.ioc_plen1 = 1;        /* non-zero just to fool portal_ioctl_is_invalid() */
1419         data.ioc_pbuf2 = ustr;
1420         data.ioc_plen2 = size;
1421
1422         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_LOOKUP_STRING, &data);
1423         if (rc != 0) {
1424                 fprintf(stderr, "IOC_LIBCFS_LWT_LOOKUP_STRING failed: %s\n",
1425                         strerror(errno));
1426                 return (NULL);
1427         }
1428
1429         LASSERT(strlen(ustr) == size - 1);
1430         return (ustr);
1431 }
1432
1433 static void
1434 lwt_put_string(char *ustr)
1435 {
1436         free(ustr);
1437 }
1438
1439 static int
1440 lwt_print(FILE *f, cycles_t t0, cycles_t tlast, double mhz, int cpu, lwt_event_t *e)
1441 {
1442 #ifndef __WORDSIZE
1443 # error "__WORDSIZE not defined"
1444 #elif __WORDSIZE == 32
1445 # define XFMT "%#010lx"
1446 #elif __WORDSIZE== 64
1447 # define XFMT "%#018lx"
1448 #else
1449 # error "Unexpected __WORDSIZE"
1450 #endif
1451         char           *where = lwt_get_string(e->lwte_where);
1452
1453         if (where == NULL)
1454                 return (-1);
1455
1456         fprintf(f, XFMT" "XFMT" "XFMT" "XFMT": "XFMT" %2d %10.6f %10.2f %s\n",
1457                 e->lwte_p1, e->lwte_p2, e->lwte_p3, e->lwte_p4,
1458                 (long)e->lwte_task, cpu, (e->lwte_when - t0) / (mhz * 1000000.0),
1459                 (t0 == e->lwte_when) ? 0.0 : (e->lwte_when - tlast) / mhz,
1460                 where);
1461
1462         lwt_put_string(where);
1463
1464         return (0);
1465 #undef XFMT
1466 }
1467
1468 double
1469 get_cycles_per_usec ()
1470 {
1471         FILE      *f = fopen ("/proc/cpuinfo", "r");
1472         double     mhz;
1473         char      line[64];
1474
1475         if (f != NULL) {
1476                 while (fgets (line, sizeof (line), f) != NULL)
1477                         if (sscanf (line, "cpu MHz : %lf", &mhz) == 1) {
1478                                 fclose (f);
1479                                 return (mhz);
1480                         }
1481                 fclose (f);
1482         }
1483
1484         fprintf (stderr, "Can't read/parse /proc/cpuinfo\n");
1485         return (1000.0);
1486 }
1487
1488 int
1489 jt_ptl_lwt(int argc, char **argv)
1490 {
1491         const int       lwt_max_cpus = 32;
1492         int             ncpus;
1493         int             totalspace;
1494         int             nevents_per_cpu;
1495         lwt_event_t    *events;
1496         lwt_event_t    *cpu_event[lwt_max_cpus + 1];
1497         lwt_event_t    *next_event[lwt_max_cpus];
1498         lwt_event_t    *first_event[lwt_max_cpus];
1499         int             cpu;
1500         lwt_event_t    *e;
1501         int             rc;
1502         int             i;
1503         double          mhz;
1504         cycles_t        t0;
1505         cycles_t        tlast;
1506         cycles_t        tnow;
1507         struct timeval  tvnow;
1508         int             printed_date = 0;
1509         int             nlines = 0;
1510         FILE           *f = stdout;
1511
1512         if (argc < 2 ||
1513             (strcmp(argv[1], "start") &&
1514              strcmp(argv[1], "stop"))) {
1515                 fprintf(stderr,
1516                         "usage:  %s start\n"
1517                         "        %s stop [fname]\n", argv[0], argv[0]);
1518                 return (-1);
1519         }
1520
1521         if (!strcmp(argv[1], "start")) {
1522                 /* disable */
1523                 if (lwt_control(0, 0) != 0)
1524                         return (-1);
1525
1526                 /* clear */
1527                 if (lwt_control(0, 1) != 0)
1528                         return (-1);
1529
1530                 /* enable */
1531                 if (lwt_control(1, 0) != 0)
1532                         return (-1);
1533
1534                 return (0);
1535         }
1536
1537         if (lwt_snapshot(NULL, &ncpus, &totalspace, NULL, 0) != 0)
1538                 return (-1);
1539
1540         if (ncpus > lwt_max_cpus) {
1541                 fprintf(stderr, "Too many cpus: %d (%d)\n",
1542                         ncpus, lwt_max_cpus);
1543                 return (-1);
1544         }
1545
1546         events = (lwt_event_t *)malloc(totalspace);
1547         if (events == NULL) {
1548                 fprintf(stderr, "Can't allocate %d\n", totalspace);
1549                 return (-1);
1550         }
1551
1552         if (lwt_control(0, 0) != 0) {           /* disable */
1553                 free(events);
1554                 return (-1);
1555         }
1556
1557         if (lwt_snapshot(&tnow, NULL, NULL, events, totalspace)) {
1558                 free(events);
1559                 return (-1);
1560         }
1561
1562         /* we want this time to be sampled at snapshot time */
1563         gettimeofday(&tvnow, NULL);
1564
1565         if (argc > 2) {
1566                 f = fopen (argv[2], "w");
1567                 if (f == NULL) {
1568                         fprintf(stderr, "Can't open %s for writing: %s\n", argv[2], strerror (errno));
1569                         free(events);
1570                         return (-1);
1571                 }
1572         }
1573
1574         mhz = get_cycles_per_usec();
1575
1576         /* carve events into per-cpu slices */
1577         nevents_per_cpu = totalspace / (ncpus * sizeof(lwt_event_t));
1578         for (cpu = 0; cpu <= ncpus; cpu++)
1579                 cpu_event[cpu] = &events[cpu * nevents_per_cpu];
1580
1581         /* find the earliest event on each cpu */
1582         for (cpu = 0; cpu < ncpus; cpu++) {
1583                 first_event[cpu] = NULL;
1584
1585                 for (e = cpu_event[cpu]; e < cpu_event[cpu + 1]; e++) {
1586
1587                         if (e->lwte_where == NULL) /* not an event */
1588                                 continue;
1589
1590                         if (first_event[cpu] == NULL ||
1591                             first_event[cpu]->lwte_when > e->lwte_when)
1592                                 first_event[cpu] = e;
1593                 }
1594
1595                 next_event[cpu] = first_event[cpu];
1596         }
1597
1598         t0 = tlast = 0;
1599         for (cpu = 0; cpu < ncpus; cpu++) {
1600                 e = first_event[cpu];
1601                 if (e == NULL)                  /* no events this cpu */
1602                         continue;
1603
1604                 if (e == cpu_event[cpu])
1605                         e = cpu_event[cpu + 1] - 1;
1606                 else
1607                         e = e - 1;
1608
1609                 /* If there's an event immediately before the first one, this
1610                  * cpu wrapped its event buffer */
1611                 if (e->lwte_where == NULL)
1612                         continue;
1613
1614                 /* We should only start outputting events from the most recent
1615                  * first event in any wrapped cpu.  Events before this time on
1616                  * other cpus won't have any events from this CPU to interleave
1617                  * with. */
1618                 if (t0 < first_event[cpu]->lwte_when)
1619                         t0 = first_event[cpu]->lwte_when;
1620         }
1621
1622         for (;;) {
1623                 /* find which cpu has the next event */
1624                 cpu = -1;
1625                 for (i = 0; i < ncpus; i++) {
1626
1627                         if (next_event[i] == NULL) /* this cpu exhausted */
1628                                 continue;
1629
1630                         if (cpu < 0 ||
1631                             next_event[i]->lwte_when < next_event[cpu]->lwte_when)
1632                                 cpu = i;
1633                 }
1634
1635                 if (cpu < 0)                    /* all cpus exhausted */
1636                         break;
1637
1638                 if (t0 == 0) {
1639                         /* no wrapped cpus and this is he first ever event */
1640                         t0 = next_event[cpu]->lwte_when;
1641                 }
1642
1643                 if (t0 <= next_event[cpu]->lwte_when) {
1644                         /* on or after the first event */
1645                         if (!printed_date) {
1646                                 cycles_t du = (tnow - t0) / mhz;
1647                                 time_t   then = tvnow.tv_sec - du/1000000;
1648
1649                                 if (du % 1000000 > tvnow.tv_usec)
1650                                         then--;
1651
1652                                 fprintf(f, "%s", ctime(&then));
1653                                 printed_date = 1;
1654                         }
1655
1656                         rc = lwt_print(f, t0, tlast, mhz, cpu, next_event[cpu]);
1657                         if (rc != 0)
1658                                 break;
1659
1660                         if (++nlines % 10000 == 0 && f != stdout) {
1661                                 /* show some activity... */
1662                                 printf(".");
1663                                 fflush (stdout);
1664                         }
1665                 }
1666
1667                 tlast = next_event[cpu]->lwte_when;
1668
1669                 next_event[cpu]++;
1670                 if (next_event[cpu] == cpu_event[cpu + 1])
1671                         next_event[cpu] = cpu_event[cpu];
1672
1673                 if (next_event[cpu]->lwte_where == NULL ||
1674                     next_event[cpu] == first_event[cpu])
1675                         next_event[cpu] = NULL;
1676         }
1677
1678         if (f != stdout) {
1679                 printf("\n");
1680                 fclose(f);
1681         }
1682
1683         free(events);
1684         return (0);
1685 }
1686
1687 int jt_ptl_memhog(int argc, char **argv)
1688 {
1689         static int                gfp = 0;        /* sticky! */
1690
1691         struct libcfs_ioctl_data  data;
1692         int                       rc;
1693         int                       count;
1694         char                     *end;
1695
1696         if (argc < 2)  {
1697                 fprintf(stderr, "usage: %s <npages> [<GFP flags>]\n", argv[0]);
1698                 return 0;
1699         }
1700
1701         count = strtol(argv[1], &end, 0);
1702         if (count < 0 || *end != 0) {
1703                 fprintf(stderr, "Can't parse page count '%s'\n", argv[1]);
1704                 return -1;
1705         }
1706
1707         if (argc >= 3) {
1708                 rc = strtol(argv[2], &end, 0);
1709                 if (*end != 0) {
1710                         fprintf(stderr, "Can't parse gfp flags '%s'\n", argv[2]);
1711                         return -1;
1712                 }
1713                 gfp = rc;
1714         }
1715
1716         LIBCFS_IOC_INIT(data);
1717         data.ioc_count = count;
1718         data.ioc_flags = gfp;
1719         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_MEMHOG, &data);
1720
1721         if (rc != 0) {
1722                 fprintf(stderr, "memhog %d failed: %s\n", count, strerror(errno));
1723                 return -1;
1724         }
1725
1726         printf("memhog %d OK\n", count);
1727         return 0;
1728 }
1729
1730 int jt_ptl_testprotocompat(int argc, char **argv)
1731 {
1732         struct libcfs_ioctl_data  data;
1733         int                       rc;
1734         int                       flags;
1735         char                     *end;
1736
1737         if (argc < 2)  {
1738                 fprintf(stderr, "usage: %s <number>\n", argv[0]);
1739                 return 0;
1740         }
1741
1742         flags = strtol(argv[1], &end, 0);
1743         if (flags < 0 || *end != 0) {
1744                 fprintf(stderr, "Can't parse flags '%s'\n", argv[1]);
1745                 return -1;
1746         }
1747
1748         LIBCFS_IOC_INIT(data);
1749         data.ioc_flags = flags;
1750         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_TESTPROTOCOMPAT, &data);
1751
1752         if (rc != 0) {
1753                 fprintf(stderr, "test proto compat %x failed: %s\n",
1754                         flags, strerror(errno));
1755                 return -1;
1756         }
1757
1758         printf("test proto compat %x OK\n", flags);
1759         return 0;
1760 }
1761
1762