lnet/utils/portals.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * Copyright 2008 Sun Microsystems, Inc. All rights reserved.
   5  *
   6  *   This file is part of Portals, http://www.sf.net/projects/lustre/
   7  *
   8  *   Portals is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Portals is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Portals; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  *
  21  */
  22
  23 #include <stdio.h>
  24 #include <sys/types.h>
  25 #ifdef HAVE_NETDB_H
  26 #include <netdb.h>
  27 #endif
  28 #include <sys/socket.h>
  29 #ifdef HAVE_NETINET_TCP_H
  30 #include <netinet/tcp.h>
  31 #endif
  32 #include <stdlib.h>
  33 #include <string.h>
  34 #include <fcntl.h>
  35 #ifdef HAVE_SYS_IOCTL_H
  36 #include <sys/ioctl.h>
  37 #endif
  38 #ifndef _IOWR
  39 #include "ioctl.h"
  40 #endif
  41 #include <errno.h>
  42 #include <unistd.h>
  43 #include <time.h>
  44 #include <stdarg.h>
  45 #ifdef HAVE_ENDIAN_H
  46 #include <endian.h>
  47 #endif
  48
  49 #include <libcfs/libcfsutil.h>
  50 #include <lnet/api-support.h>
  51 #include <lnet/lnetctl.h>
  52 #include <lnet/socklnd.h>
  53
  54 unsigned int libcfs_debug;
  55 unsigned int libcfs_printk = D_CANTMASK;
  56
  57 static int   g_net_set;
  58 static __u32 g_net;
  59
  60 /* Convert a string boolean to an int; "enable" -> 1 */
  61 int
  62 lnet_parse_bool (int *b, char *str)
  63 {
  64         if (!strcasecmp (str, "no") ||
  65             !strcasecmp (str, "n") ||
  66             !strcasecmp (str, "off") ||
  67             !strcasecmp (str, "down") ||
  68             !strcasecmp (str, "disable"))
  69         {
  70                 *b = 0;
  71                 return (0);
  72         }
  73
  74         if (!strcasecmp (str, "yes") ||
  75             !strcasecmp (str, "y") ||
  76             !strcasecmp (str, "on") ||
  77             !strcasecmp (str, "up") ||
  78             !strcasecmp (str, "enable"))
  79         {
  80                 *b = 1;
  81                 return (0);
  82         }
  83
  84         return (-1);
  85 }
  86
  87 int
  88 lnet_parse_port (int *port, char *str)
  89 {
  90         char      *end;
  91
  92         *port = strtol (str, &end, 0);
  93
  94         if (*end == 0 &&                        /* parsed whole string */
  95             *port > 0 && *port < 65536)         /* minimal sanity check */
  96                 return (0);
  97
  98         return (-1);
  99 }
 100
 101 #ifdef HAVE_GETHOSTBYNAME
 102 static struct hostent *
 103 ptl_gethostbyname(char * hname) {
 104         struct hostent *he;
 105         he = gethostbyname(hname);
 106         if (!he) {
 107                 switch(h_errno) {
 108                 case HOST_NOT_FOUND:
 109                 case NO_ADDRESS:
 110                         fprintf(stderr, "Unable to resolve hostname: %s\n",
 111                                 hname);
 112                         break;
 113                 default:
 114                         fprintf(stderr, "gethostbyname error for %s: %s\n",
 115                                 hname, strerror(h_errno));
 116                         break;
 117                 }
 118                 return NULL;
 119         }
 120         return he;
 121 }
 122 #endif
 123
 124 int
 125 lnet_parse_ipquad (__u32 *ipaddrp, char *str)
 126 {
 127         int             a;
 128         int             b;
 129         int             c;
 130         int             d;
 131
 132         if (sscanf (str, "%d.%d.%d.%d", &a, &b, &c, &d) == 4 &&
 133             (a & ~0xff) == 0 && (b & ~0xff) == 0 &&
 134             (c & ~0xff) == 0 && (d & ~0xff) == 0)
 135         {
 136                 *ipaddrp = (a<<24)|(b<<16)|(c<<8)|d;
 137                 return (0);
 138         }
 139
 140         return (-1);
 141 }
 142
 143 int
 144 lnet_parse_ipaddr (__u32 *ipaddrp, char *str)
 145 {
 146 #ifdef HAVE_GETHOSTBYNAME
 147         struct hostent *he;
 148 #endif
 149
 150         if (!strcmp (str, "_all_")) {
 151                 *ipaddrp = 0;
 152                 return (0);
 153         }
 154
 155         if (lnet_parse_ipquad(ipaddrp, str) == 0)
 156                 return (0);
 157
 158 #ifdef HAVE_GETHOSTBYNAME
 159         if ((('a' <= str[0] && str[0] <= 'z') ||
 160              ('A' <= str[0] && str[0] <= 'Z')) &&
 161              (he = ptl_gethostbyname (str)) != NULL) {
 162                 __u32 addr = *(__u32 *)he->h_addr;
 163
 164                 *ipaddrp = ntohl(addr);         /* HOST byte order */
 165                 return (0);
 166         }
 167 #endif
 168
 169         return (-1);
 170 }
 171
 172 char *
 173 ptl_ipaddr_2_str (__u32 ipaddr, char *str, int lookup)
 174 {
 175 #ifdef HAVE_GETHOSTBYNAME
 176         __u32           net_ip;
 177         struct hostent *he;
 178
 179         if (lookup) {
 180                 net_ip = htonl (ipaddr);
 181                 he = gethostbyaddr (&net_ip, sizeof (net_ip), AF_INET);
 182                 if (he != NULL) {
 183                         strcpy(str, he->h_name);
 184                         return (str);
 185                 }
 186         }
 187 #endif
 188
 189         sprintf (str, "%d.%d.%d.%d",
 190                  (ipaddr >> 24) & 0xff, (ipaddr >> 16) & 0xff,
 191                  (ipaddr >> 8) & 0xff, ipaddr & 0xff);
 192         return (str);
 193 }
 194
 195 int
 196 lnet_parse_time (time_t *t, char *str)
 197 {
 198         char          *end;
 199         int            n;
 200         struct tm      tm;
 201
 202         *t = strtol (str, &end, 0);
 203         if (*end == 0) /* parsed whole string */
 204                 return (0);
 205
 206         memset (&tm, 0, sizeof (tm));
 207         n = sscanf (str, "%d-%d-%d-%d:%d:%d",
 208                     &tm.tm_year, &tm.tm_mon, &tm.tm_mday,
 209                     &tm.tm_hour, &tm.tm_min, &tm.tm_sec);
 210         if (n != 6)
 211                 return (-1);
 212
 213         tm.tm_mon--;                    /* convert to 0 == Jan */
 214         tm.tm_year -= 1900;             /* y2k quirk */
 215         tm.tm_isdst = -1;               /* dunno if it's daylight savings... */
 216
 217         *t = mktime (&tm);
 218         if (*t == (time_t)-1)
 219                 return (-1);
 220
 221         return (0);
 222 }
 223
 224 int g_net_is_set (char *cmd)
 225 {
 226         if (g_net_set)
 227                 return 1;
 228
 229         if (cmd != NULL)
 230                 fprintf(stderr,
 231                         "You must run the 'network' command before '%s'.\n",
 232                         cmd);
 233         return 0;
 234 }
 235
 236 int g_net_is_compatible (char *cmd, ...)
 237 {
 238         va_list       ap;
 239         int           nal;
 240
 241         if (!g_net_is_set(cmd))
 242                 return 0;
 243
 244         va_start(ap, cmd);
 245
 246         do {
 247                 nal = va_arg (ap, int);
 248                 if (nal == LNET_NETTYP(g_net)) {
 249                         va_end (ap);
 250                         return 1;
 251                 }
 252         } while (nal != 0);
 253
 254         va_end (ap);
 255
 256         if (cmd != NULL)
 257                 fprintf (stderr,
 258                          "Command %s not compatible with %s NAL\n",
 259                          cmd,
 260                          libcfs_lnd2str(LNET_NETTYP(g_net)));
 261         return 0;
 262 }
 263
 264 int ptl_initialize(int argc, char **argv)
 265 {
 266         register_ioc_dev(LNET_DEV_ID, LNET_DEV_PATH,
 267                          LNET_DEV_MAJOR, LNET_DEV_MINOR);
 268         return 0;
 269 }
 270
 271
 272 int jt_ptl_network(int argc, char **argv)
 273 {
 274         struct libcfs_ioctl_data data;
 275         __u32                    net = LNET_NIDNET(LNET_NID_ANY);
 276         int                      rc;
 277
 278         if (argc < 2) {
 279                 fprintf(stderr, "usage: %s <net>|up|down\n", argv[0]);
 280                 return 0;
 281         }
 282
 283         if (!strcmp(argv[1], "unconfigure") ||
 284             !strcmp(argv[1], "down")) {
 285                 LIBCFS_IOC_INIT(data);
 286                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_UNCONFIGURE, &data);
 287
 288                 if (rc == 0) {
 289                         printf ("LNET ready to unload\n");
 290                         return 0;
 291                 }
 292
 293                 if (errno == EBUSY)
 294                         fprintf(stderr, "LNET busy\n");
 295                 else
 296                         fprintf(stderr, "LNET unconfigure error %d: %s\n",
 297                                 errno, strerror(errno));
 298                 return -1;
 299         }
 300
 301         if (!strcmp(argv[1], "configure") ||
 302             !strcmp(argv[1], "up")) {
 303                 LIBCFS_IOC_INIT(data);
 304                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_CONFIGURE, &data);
 305
 306                 if (rc == 0) {
 307                         printf ("LNET configured\n");
 308                         return 0;
 309                 }
 310
 311                 fprintf(stderr, "LNET configure error %d: %s\n",
 312                         errno, strerror(errno));
 313                 return -1;
 314         }
 315
 316         net = libcfs_str2net(argv[1]);
 317         if (net == LNET_NIDNET(LNET_NID_ANY)) {
 318                 fprintf(stderr, "Can't parse net %s\n", argv[1]);
 319                 return -1;
 320         }
 321
 322         g_net_set = 1;
 323         g_net = net;
 324         return 0;
 325 }
 326
 327 int
 328 jt_ptl_list_nids(int argc, char **argv)
 329 {
 330         struct libcfs_ioctl_data data;
 331         int                      all = 0, return_nid = 0;
 332         int                      count;
 333         int                      rc;
 334
 335         all = (argc == 2) && (strcmp(argv[1], "all") == 0);
 336         /* Hack to pass back value */
 337         return_nid = (argc == 2) && (argv[1][0] == 1);
 338
 339         if ((argc > 2) && !(all || return_nid)) {
 340                 fprintf(stderr, "usage: %s [all]\n", argv[0]);
 341                 return 0;
 342         }
 343
 344         for (count = 0;; count++) {
 345                 LIBCFS_IOC_INIT (data);
 346                 data.ioc_count = count;
 347                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_NI, &data);
 348
 349                 if (rc < 0) {
 350                         if ((count > 0) && (errno == ENOENT))
 351                                 /* We found them all */
 352                                 break;
 353                         fprintf(stderr,"IOC_LIBCFS_GET_NI error %d: %s\n",
 354                                 errno, strerror(errno));
 355                         return -1;
 356                 }
 357
 358                 if (all || (LNET_NETTYP(LNET_NIDNET(data.ioc_nid)) != LOLND)) {
 359                         printf("%s\n", libcfs_nid2str(data.ioc_nid));
 360                         if (return_nid) {
 361                                 *(__u64 *)(argv[1]) = data.ioc_nid;
 362                                 return_nid--;
 363                         }
 364                 }
 365         }
 366
 367         return 0;
 368 }
 369
 370 int
 371 jt_ptl_which_nid (int argc, char **argv)
 372 {
 373         struct libcfs_ioctl_data data;
 374         int          best_dist = 0;
 375         int          best_order = 0;
 376         lnet_nid_t   best_nid = LNET_NID_ANY;
 377         int          dist;
 378         int          order;
 379         lnet_nid_t   nid;
 380         char        *nidstr;
 381         int          rc;
 382         int          i;
 383
 384         if (argc < 2) {
 385                 fprintf(stderr, "usage: %s NID [NID...]\n", argv[0]);
 386                 return 0;
 387         }
 388
 389         for (i = 1; i < argc; i++) {
 390                 nidstr = argv[i];
 391                 nid = libcfs_str2nid(nidstr);
 392                 if (nid == LNET_NID_ANY) {
 393                         fprintf(stderr, "Can't parse NID %s\n", nidstr);
 394                         return -1;
 395                 }
 396
 397                 LIBCFS_IOC_INIT(data);
 398                 data.ioc_nid = nid;
 399
 400                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LNET_DIST, &data);
 401                 if (rc != 0) {
 402                         fprintf(stderr, "Can't get distance to %s: %s\n",
 403                                 nidstr, strerror(errno));
 404                         return -1;
 405                 }
 406
 407                 dist = data.ioc_u32[0];
 408                 order = data.ioc_u32[1];
 409
 410                 if (dist < 0) {
 411                         if (dist == -EHOSTUNREACH)
 412                                 continue;
 413
 414                         fprintf(stderr, "Unexpected distance to %s: %d\n",
 415                                 nidstr, dist);
 416                         return -1;
 417                 }
 418
 419                 if (best_nid == LNET_NID_ANY ||
 420                     dist < best_dist ||
 421                     (dist == best_dist && order < best_order)) {
 422                         best_dist = dist;
 423                         best_order = order;
 424                         best_nid = nid;
 425                 }
 426         }
 427
 428         if (best_nid == LNET_NID_ANY) {
 429                 fprintf(stderr, "No reachable NID\n");
 430                 return -1;
 431         }
 432
 433         printf("%s\n", libcfs_nid2str(best_nid));
 434         return 0;
 435 }
 436
 437 int
 438 jt_ptl_print_interfaces (int argc, char **argv)
 439 {
 440         struct libcfs_ioctl_data data;
 441         char                     buffer[3][64];
 442         int                      index;
 443         int                      rc;
 444
 445         if (!g_net_is_compatible (argv[0], SOCKLND, 0))
 446                 return -1;
 447
 448         for (index = 0;;index++) {
 449                 LIBCFS_IOC_INIT(data);
 450                 data.ioc_net   = g_net;
 451                 data.ioc_count = index;
 452
 453                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_INTERFACE, &data);
 454                 if (rc != 0)
 455                         break;
 456
 457                 printf ("%s: (%s/%s) npeer %d nroute %d\n",
 458                         ptl_ipaddr_2_str(data.ioc_u32[0], buffer[2], 1),
 459                         ptl_ipaddr_2_str(data.ioc_u32[0], buffer[0], 0),
 460                         ptl_ipaddr_2_str(data.ioc_u32[1], buffer[1], 0),
 461                         data.ioc_u32[2], data.ioc_u32[3]);
 462         }
 463
 464         if (index == 0) {
 465                 if (errno == ENOENT) {
 466                         printf ("<no interfaces>\n");
 467                 } else {
 468                         fprintf(stderr, "Error getting interfaces: %s: "
 469                                 "check dmesg.\n",
 470                                 strerror(errno));
 471                 }
 472         }
 473
 474         return 0;
 475 }
 476
 477 int
 478 jt_ptl_add_interface (int argc, char **argv)
 479 {
 480         struct libcfs_ioctl_data data;
 481         __u32                    ipaddr;
 482         int                      rc;
 483         __u32                    netmask = 0xffffff00;
 484         int                      i;
 485         int                      count;
 486         char                    *end;
 487
 488         if (argc < 2 || argc > 3) {
 489                 fprintf (stderr, "usage: %s ipaddr [netmask]\n", argv[0]);
 490                 return 0;
 491         }
 492
 493         if (!g_net_is_compatible(argv[0], SOCKLND, 0))
 494                 return -1;
 495
 496         if (lnet_parse_ipaddr(&ipaddr, argv[1]) != 0) {
 497                 fprintf (stderr, "Can't parse ip: %s\n", argv[1]);
 498                 return -1;
 499         }
 500
 501         if (argc > 2 ) {
 502                 count = strtol(argv[2], &end, 0);
 503                 if (count > 0 && count < 32 && *end == 0) {
 504                         netmask = 0;
 505                         for (i = count; i > 0; i--)
 506                                 netmask = netmask|(1<<(32-i));
 507                 } else if (lnet_parse_ipquad(&netmask, argv[2]) != 0) {
 508                         fprintf (stderr, "Can't parse netmask: %s\n", argv[2]);
 509                         return -1;
 510                 }
 511         }
 512
 513         LIBCFS_IOC_INIT(data);
 514         data.ioc_net    = g_net;
 515         data.ioc_u32[0] = ipaddr;
 516         data.ioc_u32[1] = netmask;
 517
 518         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_ADD_INTERFACE, &data);
 519         if (rc != 0) {
 520                 fprintf (stderr, "failed to add interface: %s\n",
 521                          strerror (errno));
 522                 return -1;
 523         }
 524
 525         return 0;
 526 }
 527
 528 int
 529 jt_ptl_del_interface (int argc, char **argv)
 530 {
 531         struct libcfs_ioctl_data data;
 532         int                      rc;
 533         __u32                    ipaddr = 0;
 534
 535         if (argc > 2) {
 536                 fprintf (stderr, "usage: %s [ipaddr]\n", argv[0]);
 537                 return 0;
 538         }
 539
 540         if (!g_net_is_compatible(argv[0], SOCKLND, 0))
 541                 return -1;
 542
 543         if (argc == 2 &&
 544             lnet_parse_ipaddr(&ipaddr, argv[1]) != 0) {
 545                 fprintf (stderr, "Can't parse ip: %s\n", argv[1]);
 546                 return -1;
 547         }
 548
 549         LIBCFS_IOC_INIT(data);
 550         data.ioc_net    = g_net;
 551         data.ioc_u32[0] = ipaddr;
 552
 553         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_INTERFACE, &data);
 554         if (rc != 0) {
 555                 fprintf (stderr, "failed to delete interface: %s\n",
 556                          strerror (errno));
 557                 return -1;
 558         }
 559
 560         return 0;
 561 }
 562
 563 int
 564 jt_ptl_print_peers (int argc, char **argv)
 565 {
 566         struct libcfs_ioctl_data data;
 567         lnet_process_id_t        id;
 568         char                     buffer[2][64];
 569         int                      index;
 570         int                      rc;
 571
 572         if (!g_net_is_compatible (argv[0], SOCKLND, RALND, PTLLND, MXLND,
 573                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 574                 return -1;
 575
 576         for (index = 0;;index++) {
 577                 LIBCFS_IOC_INIT(data);
 578                 data.ioc_net     = g_net;
 579                 data.ioc_count   = index;
 580
 581                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_PEER, &data);
 582                 if (rc != 0)
 583                         break;
 584
 585                 if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 586                         id.nid = data.ioc_nid;
 587                         id.pid = data.ioc_u32[4];
 588                         printf ("%-20s [%d]%s->%s:%d #%d\n",
 589                                 libcfs_id2str(id),
 590                                 data.ioc_count, /* persistence */
 591                                 ptl_ipaddr_2_str (data.ioc_u32[2], buffer[0], 1), /* my ip */
 592                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* peer ip */
 593                                 data.ioc_u32[1], /* peer port */
 594                                 data.ioc_u32[3]); /* conn_count */
 595                 } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 596                         id.nid = data.ioc_nid;
 597                         id.pid = data.ioc_u32[4];
 598                         printf ("%-20s s %d%s [%d] "LPD64".%06d"
 599                                 " m "LPD64"/"LPD64" q %d/%d c %d/%d\n",
 600                                 libcfs_id2str(id),
 601                                 data.ioc_net,   /* state */
 602                                 data.ioc_flags ? "" : " ~!h", /* sent_hello */
 603                                 data.ioc_count, /* refcount */
 604                                 data.ioc_u64[0]/1000000, /* incarnation secs */
 605                                 (int)(data.ioc_u64[0]%1000000), /* incarnation usecs */
 606                                 (((__u64)data.ioc_u32[1])<<32) |
 607                                 ((__u64)data.ioc_u32[0]), /* next_matchbits */
 608                                 (((__u64)data.ioc_u32[3])<<32) |
 609                                 ((__u64)data.ioc_u32[2]), /* last_matchbits_seen */
 610                                 data.ioc_u32[5] >> 16, /* nsendq */
 611                                 data.ioc_u32[5] & 0xffff, /* nactiveq */
 612                                 data.ioc_u32[6] >> 16, /* credits */
 613                                 data.ioc_u32[6] & 0xffff); /* outstanding_credits */
 614                 } else if (g_net_is_compatible(NULL, RALND, OPENIBLND, CIBLND, VIBLND, 0)) {
 615                         printf ("%-20s [%d]@%s:%d\n",
 616                                 libcfs_nid2str(data.ioc_nid), /* peer nid */
 617                                 data.ioc_count,   /* peer persistence */
 618                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* peer ip */
 619                                 data.ioc_u32[1]); /* peer port */
 620                 } else {
 621                         printf ("%-20s [%d]\n",
 622                                 libcfs_nid2str(data.ioc_nid), data.ioc_count);
 623                 }
 624         }
 625
 626         if (index == 0) {
 627                 if (errno == ENOENT) {
 628                         printf ("<no peers>\n");
 629                 } else {
 630                         fprintf(stderr, "Error getting peer list: %s: "
 631                                 "check dmesg.\n",
 632                                 strerror(errno));
 633                 }
 634         }
 635         return 0;
 636 }
 637
 638 int
 639 jt_ptl_add_peer (int argc, char **argv)
 640 {
 641         struct libcfs_ioctl_data data;
 642         lnet_nid_t               nid;
 643         __u32                    ip = 0;
 644         int                      port = 0;
 645         int                      rc;
 646
 647         if (!g_net_is_compatible (argv[0], SOCKLND, RALND,
 648                                   OPENIBLND, CIBLND, IIBLND, VIBLND, 0))
 649                 return -1;
 650
 651         if (g_net_is_compatible(NULL, SOCKLND, OPENIBLND, CIBLND, RALND, 0)) {
 652                 if (argc != 4) {
 653                         fprintf (stderr, "usage(tcp,openib,cib,ra): %s nid ipaddr port\n",
 654                                  argv[0]);
 655                         return 0;
 656                 }
 657         } else if (g_net_is_compatible(NULL, VIBLND, 0)) {
 658                 if (argc != 3) {
 659                         fprintf (stderr, "usage(vib): %s nid ipaddr\n",
 660                                  argv[0]);
 661                         return 0;
 662                 }
 663         } else if (argc != 2) {
 664                 fprintf (stderr, "usage(iib): %s nid\n", argv[0]);
 665                 return 0;
 666         }
 667
 668         nid = libcfs_str2nid(argv[1]);
 669         if (nid == LNET_NID_ANY) {
 670                 fprintf (stderr, "Can't parse NID: %s\n", argv[1]);
 671                 return -1;
 672         }
 673
 674         if (g_net_is_compatible (NULL, SOCKLND, OPENIBLND, CIBLND, VIBLND, RALND, 0) &&
 675             lnet_parse_ipaddr (&ip, argv[2]) != 0) {
 676                 fprintf (stderr, "Can't parse ip addr: %s\n", argv[2]);
 677                 return -1;
 678         }
 679
 680         if (g_net_is_compatible (NULL, SOCKLND, OPENIBLND, CIBLND, RALND, 0) &&
 681             lnet_parse_port (&port, argv[3]) != 0) {
 682                 fprintf (stderr, "Can't parse port: %s\n", argv[3]);
 683                 return -1;
 684         }
 685
 686         LIBCFS_IOC_INIT(data);
 687         data.ioc_net    = g_net;
 688         data.ioc_nid    = nid;
 689         data.ioc_u32[0] = ip;
 690         data.ioc_u32[1] = port;
 691
 692         rc = l_ioctl (LNET_DEV_ID, IOC_LIBCFS_ADD_PEER, &data);
 693         if (rc != 0) {
 694                 fprintf (stderr, "failed to add peer: %s\n",
 695                          strerror (errno));
 696                 return -1;
 697         }
 698
 699         return 0;
 700 }
 701
 702 int
 703 jt_ptl_del_peer (int argc, char **argv)
 704 {
 705         struct libcfs_ioctl_data data;
 706         lnet_nid_t               nid = LNET_NID_ANY;
 707         lnet_pid_t               pid = LNET_PID_ANY;
 708         __u32                    ip = 0;
 709         char                    *end;
 710         int                      rc;
 711
 712         if (!g_net_is_compatible (argv[0], SOCKLND, RALND, MXLND, PTLLND,
 713                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 714                 return -1;
 715
 716         if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 717                 if (argc > 3) {
 718                         fprintf (stderr, "usage: %s [nid] [ipaddr]\n",
 719                                  argv[0]);
 720                         return 0;
 721                 }
 722         } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 723                 if (argc > 3) {
 724                         fprintf (stderr, "usage: %s [nid] [pid]\n",
 725                                  argv[0]);
 726                         return 0;
 727                 }
 728         } else if (argc > 2) {
 729                 fprintf (stderr, "usage: %s [nid]\n", argv[0]);
 730                 return 0;
 731         }
 732
 733         if (argc > 1 &&
 734             !libcfs_str2anynid(&nid, argv[1])) {
 735                 fprintf (stderr, "Can't parse nid: %s\n", argv[1]);
 736                 return -1;
 737         }
 738
 739         if (g_net_is_compatible(NULL, SOCKLND, 0)) {
 740                 if (argc > 2 &&
 741                     lnet_parse_ipaddr (&ip, argv[2]) != 0) {
 742                         fprintf (stderr, "Can't parse ip addr: %s\n",
 743                                  argv[2]);
 744                         return -1;
 745                 }
 746         } else if (g_net_is_compatible(NULL, PTLLND, 0)) {
 747                 if (argc > 2) {
 748                         pid = strtol(argv[2], &end, 0);
 749                         if (end == argv[2] || *end == 0) {
 750                                 fprintf(stderr, "Can't parse pid %s\n",
 751                                         argv[2]);
 752                                 return -1;
 753                         }
 754                 }
 755         }
 756
 757         LIBCFS_IOC_INIT(data);
 758         data.ioc_net    = g_net;
 759         data.ioc_nid    = nid;
 760         data.ioc_u32[0] = ip;
 761         data.ioc_u32[1] = pid;
 762
 763         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_PEER, &data);
 764         if (rc != 0) {
 765                 fprintf (stderr, "failed to remove peer: %s\n",
 766                          strerror (errno));
 767                 return -1;
 768         }
 769
 770         return 0;
 771 }
 772
 773 int
 774 jt_ptl_print_connections (int argc, char **argv)
 775 {
 776         struct libcfs_ioctl_data data;
 777         lnet_process_id_t        id;
 778         char                     buffer[2][64];
 779         int                      index;
 780         int                      rc;
 781
 782         if (!g_net_is_compatible (argv[0], SOCKLND, RALND, MXLND,
 783                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 784                 return -1;
 785
 786         for (index = 0; ; index++) {
 787                 LIBCFS_IOC_INIT(data);
 788                 data.ioc_net     = g_net;
 789                 data.ioc_count   = index;
 790
 791                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_CONN, &data);
 792                 if (rc != 0)
 793                         break;
 794
 795                 if (g_net_is_compatible (NULL, SOCKLND, 0)) {
 796                         id.nid = data.ioc_nid;
 797                         id.pid = data.ioc_u32[6];
 798                         printf ("%-20s %s[%d]%s->%s:%d %d/%d %s\n",
 799                                 libcfs_id2str(id),
 800                                 (data.ioc_u32[3] == SOCKLND_CONN_ANY) ? "A" :
 801                                 (data.ioc_u32[3] == SOCKLND_CONN_CONTROL) ? "C" :
 802                                 (data.ioc_u32[3] == SOCKLND_CONN_BULK_IN) ? "I" :
 803                                 (data.ioc_u32[3] == SOCKLND_CONN_BULK_OUT) ? "O" : "?",
 804                                 data.ioc_u32[4], /* scheduler */
 805                                 ptl_ipaddr_2_str (data.ioc_u32[2], buffer[0], 1), /* local IP addr */
 806                                 ptl_ipaddr_2_str (data.ioc_u32[0], buffer[1], 1), /* remote IP addr */
 807                                 data.ioc_u32[1],         /* remote port */
 808                                 data.ioc_count, /* tx buffer size */
 809                                 data.ioc_u32[5], /* rx buffer size */
 810                                 data.ioc_flags ? "nagle" : "nonagle");
 811                 } else if (g_net_is_compatible (NULL, RALND, 0)) {
 812                         printf ("%-20s [%d]\n",
 813                                 libcfs_nid2str(data.ioc_nid),
 814                                 data.ioc_u32[0] /* device id */);
 815                 } else {
 816                         printf ("%s\n", libcfs_nid2str(data.ioc_nid));
 817                 }
 818         }
 819
 820         if (index == 0) {
 821                 if (errno == ENOENT) {
 822                         printf ("<no connections>\n");
 823                 } else {
 824                         fprintf(stderr, "Error getting connection list: %s: "
 825                                 "check dmesg.\n",
 826                                 strerror(errno));
 827                 }
 828         }
 829         return 0;
 830 }
 831
 832 int jt_ptl_disconnect(int argc, char **argv)
 833 {
 834         struct libcfs_ioctl_data data;
 835         lnet_nid_t               nid = LNET_NID_ANY;
 836         __u32                    ipaddr = 0;
 837         int                      rc;
 838
 839         if (argc > 3) {
 840                 fprintf(stderr, "usage: %s [nid] [ipaddr]\n", argv[0]);
 841                 return 0;
 842         }
 843
 844         if (!g_net_is_compatible (NULL, SOCKLND, RALND, MXLND,
 845                                   OPENIBLND, CIBLND, IIBLND, VIBLND, O2IBLND, 0))
 846                 return 0;
 847
 848         if (argc >= 2 &&
 849             !libcfs_str2anynid(&nid, argv[1])) {
 850                 fprintf (stderr, "Can't parse nid %s\n", argv[1]);
 851                 return -1;
 852         }
 853
 854         if (g_net_is_compatible (NULL, SOCKLND, 0) &&
 855             argc >= 3 &&
 856             lnet_parse_ipaddr (&ipaddr, argv[2]) != 0) {
 857                 fprintf (stderr, "Can't parse ip addr %s\n", argv[2]);
 858                 return -1;
 859         }
 860
 861         LIBCFS_IOC_INIT(data);
 862         data.ioc_net     = g_net;
 863         data.ioc_nid     = nid;
 864         data.ioc_u32[0]  = ipaddr;
 865
 866         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_CLOSE_CONNECTION, &data);
 867         if (rc != 0) {
 868                 fprintf(stderr, "failed to remove connection: %s\n",
 869                         strerror(errno));
 870                 return -1;
 871         }
 872
 873         return 0;
 874 }
 875
 876 int jt_ptl_push_connection (int argc, char **argv)
 877 {
 878         struct libcfs_ioctl_data data;
 879         int                      rc;
 880         lnet_nid_t               nid = LNET_NID_ANY;
 881
 882         if (argc > 2) {
 883                 fprintf(stderr, "usage: %s [nid]\n", argv[0]);
 884                 return 0;
 885         }
 886
 887         if (!g_net_is_compatible (argv[0], SOCKLND, 0))
 888                 return -1;
 889
 890         if (argc > 1 &&
 891             !libcfs_str2anynid(&nid, argv[1])) {
 892                 fprintf(stderr, "Can't parse nid: %s\n", argv[1]);
 893                 return -1;
 894         }
 895
 896         LIBCFS_IOC_INIT(data);
 897         data.ioc_net     = g_net;
 898         data.ioc_nid     = nid;
 899
 900         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_PUSH_CONNECTION, &data);
 901         if (rc != 0) {
 902                 fprintf(stderr, "failed to push connection: %s\n",
 903                         strerror(errno));
 904                 return -1;
 905         }
 906
 907         return 0;
 908 }
 909
 910 int
 911 jt_ptl_print_active_txs (int argc, char **argv)
 912 {
 913         struct libcfs_ioctl_data data;
 914         int                      index;
 915         int                      rc;
 916
 917         if (!g_net_is_compatible (argv[0], QSWLND, 0))
 918                 return -1;
 919
 920         for (index = 0;;index++) {
 921                 LIBCFS_IOC_INIT(data);
 922                 data.ioc_net   = g_net;
 923                 data.ioc_count = index;
 924
 925                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_TXDESC, &data);
 926                 if (rc != 0)
 927                         break;
 928
 929                 printf ("type %u payload %6d to %s via %s by pid %6d: "
 930                         "%s, %s, state %d\n",
 931                         data.ioc_u32[0],
 932                         data.ioc_count,
 933                         libcfs_nid2str(data.ioc_nid),
 934                         libcfs_nid2str(data.ioc_u64[0]),
 935                         data.ioc_u32[1],
 936                         (data.ioc_flags & 1) ? "delayed" : "immediate",
 937                         (data.ioc_flags & 2) ? "nblk"    : "normal",
 938                         data.ioc_flags >> 2);
 939         }
 940
 941         if (index == 0) {
 942                 if (errno == ENOENT) {
 943                         printf ("<no active descs>\n");
 944                 } else {
 945                         fprintf(stderr, "Error getting active transmits list: "
 946                                 "%s: check dmesg.\n",
 947                                 strerror(errno));
 948                 }
 949         }
 950         return 0;
 951 }
 952
 953 int jt_ptl_ping(int argc, char **argv)
 954 {
 955         int                      rc;
 956         int                      timeout;
 957         lnet_process_id_t        id;
 958         lnet_process_id_t        ids[16];
 959         int                      maxids = sizeof(ids)/sizeof(ids[0]);
 960         struct libcfs_ioctl_data data;
 961         char                    *sep;
 962         int                      i;
 963
 964         if (argc < 2) {
 965                 fprintf(stderr, "usage: %s id [timeout (secs)]\n", argv[0]);
 966                 return 0;
 967         }
 968
 969         sep = strchr(argv[1], '-');
 970         if (sep == NULL) {
 971                 id.pid = LNET_PID_ANY;
 972                 id.nid = libcfs_str2nid(argv[1]);
 973                 if (id.nid == LNET_NID_ANY) {
 974                         fprintf (stderr, "Can't parse nid \"%s\"\n", argv[1]);
 975                         return -1;
 976                 }
 977         } else {
 978                 char   *end;
 979
 980                 if (argv[1][0] == 'u' ||
 981                     argv[1][0] == 'U')
 982                         id.pid = strtoul(&argv[1][1], &end, 0) | LNET_PID_USERFLAG;
 983                 else
 984                         id.pid = strtoul(argv[1], &end, 0);
 985
 986                 id.nid = libcfs_str2nid(sep + 1);
 987
 988                 if (end != sep ||
 989                     id.nid == LNET_NID_ANY) {
 990                         fprintf(stderr, "Can't parse process id \"%s\"\n", argv[1]);
 991                         return -1;
 992                 }
 993         }
 994
 995         if (argc > 2)
 996                 timeout = 1000 * atol(argv[2]);
 997         else
 998                 timeout = 1000;                 /* default 1 second timeout */
 999
1000         LIBCFS_IOC_INIT (data);
1001         data.ioc_nid     = id.nid;
1002         data.ioc_u32[0]  = id.pid;
1003         data.ioc_u32[1]  = timeout;
1004         data.ioc_plen1   = sizeof(ids);
1005         data.ioc_pbuf1   = (char *)ids;
1006
1007         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_PING, &data);
1008         if (rc != 0) {
1009                 fprintf(stderr, "failed to ping %s: %s\n",
1010                         id.pid == LNET_PID_ANY ?
1011                         libcfs_nid2str(id.nid) : libcfs_id2str(id),
1012                         strerror(errno));
1013                 return -1;
1014         }
1015
1016         for (i = 0; i < data.ioc_count && i < maxids; i++)
1017                 printf("%s\n", libcfs_id2str(ids[i]));
1018
1019         if (data.ioc_count > maxids)
1020                 printf("%d out of %d ids listed\n", maxids, data.ioc_count);
1021
1022         return 0;
1023 }
1024
1025 int jt_ptl_mynid(int argc, char **argv)
1026 {
1027         struct libcfs_ioctl_data data;
1028         lnet_nid_t               nid;
1029         int rc;
1030
1031         if (argc != 2) {
1032                 fprintf(stderr, "usage: %s NID\n", argv[0]);
1033                 return 0;
1034         }
1035
1036         nid = libcfs_str2nid(argv[1]);
1037         if (nid == LNET_NID_ANY) {
1038                 fprintf(stderr, "Can't parse NID '%s'\n", argv[1]);
1039                 return -1;
1040         }
1041
1042         LIBCFS_IOC_INIT(data);
1043         data.ioc_net = LNET_NIDNET(nid);
1044         data.ioc_nid = nid;
1045
1046         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_REGISTER_MYNID, &data);
1047         if (rc < 0)
1048                 fprintf(stderr, "setting my NID failed: %s\n",
1049                        strerror(errno));
1050         else
1051                 printf("registered my nid %s\n", libcfs_nid2str(nid));
1052
1053         return 0;
1054 }
1055
1056 int
1057 jt_ptl_fail_nid (int argc, char **argv)
1058 {
1059         int                      rc;
1060         lnet_nid_t               nid;
1061         unsigned int             threshold;
1062         struct libcfs_ioctl_data data;
1063
1064         if (argc < 2 || argc > 3)
1065         {
1066                 fprintf (stderr, "usage: %s nid|\"*\" [count (0 == mend)]\n", argv[0]);
1067                 return (0);
1068         }
1069
1070         if (!libcfs_str2anynid(&nid, argv[1]))
1071         {
1072                 fprintf (stderr, "Can't parse nid \"%s\"\n", argv[1]);
1073                 return (-1);
1074         }
1075
1076         if (argc < 3) {
1077                 threshold = LNET_MD_THRESH_INF;
1078         } else if (sscanf (argv[2], "%i", &threshold) != 1) {
1079                 fprintf (stderr, "Can't parse count \"%s\"\n", argv[2]);
1080                 return (-1);
1081         }
1082
1083         LIBCFS_IOC_INIT (data);
1084         data.ioc_nid = nid;
1085         data.ioc_count = threshold;
1086
1087         rc = l_ioctl (LNET_DEV_ID, IOC_LIBCFS_FAIL_NID, &data);
1088         if (rc < 0)
1089                 fprintf (stderr, "IOC_LIBCFS_FAIL_NID failed: %s\n",
1090                          strerror (errno));
1091         else
1092                 printf ("%s %s\n", threshold == 0 ? "Unfailing" : "Failing", argv[1]);
1093
1094         return (0);
1095 }
1096
1097 int
1098 jt_ptl_add_route (int argc, char **argv)
1099 {
1100         struct libcfs_ioctl_data data;
1101         lnet_nid_t               gateway_nid;
1102         unsigned int             hops = 1;
1103         char                    *end;
1104         int                      rc;
1105
1106         if (argc < 2 || argc > 3)
1107         {
1108                 fprintf (stderr, "usage: %s gateway [hopcount]\n", argv[0]);
1109                 return (0);
1110         }
1111
1112         if (!g_net_is_set(argv[0]))
1113                 return (-1);
1114
1115         gateway_nid = libcfs_str2nid(argv[1]);
1116         if (gateway_nid == LNET_NID_ANY) {
1117                 fprintf (stderr, "Can't parse gateway NID \"%s\"\n", argv[1]);
1118                 return (-1);
1119         }
1120
1121         if (argc == 3) {
1122                 hops = strtoul(argv[2], &end, 0);
1123                 if (hops >= 256 || *end != 0) {
1124                         fprintf (stderr, "Can't parse hopcount \"%s\"\n", argv[2]);
1125                         return -1;
1126                 }
1127         }
1128
1129         LIBCFS_IOC_INIT(data);
1130         data.ioc_net = g_net;
1131         data.ioc_count = hops;
1132         data.ioc_nid = gateway_nid;
1133
1134         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_ADD_ROUTE, &data);
1135         if (rc != 0) {
1136                 fprintf (stderr, "IOC_LIBCFS_ADD_ROUTE failed: %s\n", strerror (errno));
1137                 return (-1);
1138         }
1139
1140         return (0);
1141 }
1142
1143 int
1144 jt_ptl_del_route (int argc, char **argv)
1145 {
1146         struct libcfs_ioctl_data data;
1147         lnet_nid_t               nid;
1148         int                      rc;
1149
1150         if (argc != 2) {
1151                 fprintf (stderr, "usage: %s gatewayNID\n", argv[0]);
1152                 return (0);
1153         }
1154
1155         if (!libcfs_str2anynid(&nid, argv[1])) {
1156                 fprintf (stderr, "Can't parse gateway NID "
1157                          "\"%s\"\n", argv[1]);
1158                 return -1;
1159         }
1160
1161         LIBCFS_IOC_INIT(data);
1162         data.ioc_net = g_net_set ? g_net : LNET_NIDNET(LNET_NID_ANY);
1163         data.ioc_nid = nid;
1164
1165         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_DEL_ROUTE, &data);
1166         if (rc != 0) {
1167                 fprintf (stderr, "IOC_LIBCFS_DEL_ROUTE (%s) failed: %s\n",
1168                          libcfs_nid2str(nid), strerror (errno));
1169                 return (-1);
1170         }
1171
1172         return (0);
1173 }
1174
1175 int
1176 jt_ptl_notify_router (int argc, char **argv)
1177 {
1178         struct libcfs_ioctl_data data;
1179         int                      enable;
1180         lnet_nid_t               nid;
1181         int                      rc;
1182         struct timeval           now;
1183         time_t                   when;
1184
1185         if (argc < 3)
1186         {
1187                 fprintf (stderr, "usage: %s targetNID <up/down> [<time>]\n",
1188                          argv[0]);
1189                 return (0);
1190         }
1191
1192         nid = libcfs_str2nid(argv[1]);
1193         if (nid == LNET_NID_ANY) {
1194                 fprintf (stderr, "Can't parse target NID \"%s\"\n", argv[1]);
1195                 return (-1);
1196         }
1197
1198         if (lnet_parse_bool (&enable, argv[2]) != 0) {
1199                 fprintf (stderr, "Can't parse boolean %s\n", argv[2]);
1200                 return (-1);
1201         }
1202
1203         gettimeofday(&now, NULL);
1204
1205         if (argc < 4) {
1206                 when = now.tv_sec;
1207         } else if (lnet_parse_time (&when, argv[3]) != 0) {
1208                 fprintf(stderr, "Can't parse time %s\n"
1209                         "Please specify either 'YYYY-MM-DD-HH:MM:SS'\n"
1210                         "or an absolute unix time in seconds\n", argv[3]);
1211                 return (-1);
1212         } else if (when > now.tv_sec) {
1213                 fprintf (stderr, "%s specifies a time in the future\n",
1214                          argv[3]);
1215                 return (-1);
1216         }
1217
1218         LIBCFS_IOC_INIT(data);
1219         data.ioc_nid = nid;
1220         data.ioc_flags = enable;
1221         /* Yeuch; 'cept I need a __u64 on 64 bit machines... */
1222         data.ioc_u64[0] = (__u64)when;
1223
1224         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_NOTIFY_ROUTER, &data);
1225         if (rc != 0) {
1226                 fprintf (stderr, "IOC_LIBCFS_NOTIFY_ROUTER (%s) failed: %s\n",
1227                          libcfs_nid2str(nid), strerror (errno));
1228                 return (-1);
1229         }
1230
1231         return (0);
1232 }
1233
1234 int
1235 jt_ptl_print_routes (int argc, char **argv)
1236 {
1237         struct libcfs_ioctl_data  data;
1238         int                       rc;
1239         int                       index;
1240         __u32                     net;
1241         lnet_nid_t                nid;
1242         unsigned int              hops;
1243         int                       alive;
1244
1245         for (index = 0;;index++)
1246         {
1247                 LIBCFS_IOC_INIT(data);
1248                 data.ioc_count = index;
1249
1250                 rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_GET_ROUTE, &data);
1251                 if (rc != 0)
1252                         break;
1253
1254                 net     = data.ioc_net;
1255                 hops    = data.ioc_count;
1256                 nid     = data.ioc_nid;
1257                 alive   = data.ioc_flags;
1258
1259                 printf ("net %18s hops %u gw %32s %s\n",
1260                         libcfs_net2str(net), hops,
1261                         libcfs_nid2str(nid), alive ? "up" : "down");
1262         }
1263
1264         if (errno != ENOENT)
1265                 fprintf(stderr, "Error getting routes: %s: check dmesg.\n",
1266                         strerror(errno));
1267
1268         return (0);
1269 }
1270
1271 static int
1272 lwt_control(int enable, int clear)
1273 {
1274         struct libcfs_ioctl_data data;
1275         int                      rc;
1276
1277         LIBCFS_IOC_INIT(data);
1278         data.ioc_flags = (enable ? 1 : 0) | (clear ? 2 : 0);
1279
1280         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_CONTROL, &data);
1281         if (rc == 0)
1282                 return (0);
1283
1284         fprintf(stderr, "IOC_LIBCFS_LWT_CONTROL failed: %s\n",
1285                 strerror(errno));
1286         return (-1);
1287 }
1288
1289 static int
1290 lwt_snapshot(cycles_t *now, int *ncpu, int *totalsize,
1291              lwt_event_t *events, int size)
1292 {
1293         struct libcfs_ioctl_data data;
1294         int                      rc;
1295
1296         LIBCFS_IOC_INIT(data);
1297         data.ioc_pbuf1 = (char *)events;
1298         data.ioc_plen1 = size;
1299
1300         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_SNAPSHOT, &data);
1301         if (rc != 0) {
1302                 fprintf(stderr, "IOC_LIBCFS_LWT_SNAPSHOT failed: %s\n",
1303                         strerror(errno));
1304                 return (-1);
1305         }
1306
1307         /* crappy overloads */
1308         if (data.ioc_u32[2] != sizeof(lwt_event_t) ||
1309             data.ioc_u32[3] != offsetof(lwt_event_t, lwte_where)) {
1310                 fprintf(stderr,"kernel/user LWT event mismatch %d(%d),%d(%d)\n",
1311                         (int)data.ioc_u32[2], (int)sizeof(lwt_event_t),
1312                         (int)data.ioc_u32[3],
1313                         (int)offsetof(lwt_event_t, lwte_where));
1314                 return (-1);
1315         }
1316
1317         if (now != NULL)
1318                 *now = data.ioc_u64[0];
1319
1320         LASSERT (data.ioc_u32[0] != 0);
1321         if (ncpu != NULL)
1322                 *ncpu = data.ioc_u32[0];
1323
1324         LASSERT (data.ioc_u32[1] != 0);
1325         if (totalsize != NULL)
1326                 *totalsize = data.ioc_u32[1];
1327
1328         return (0);
1329 }
1330
1331 static char *
1332 lwt_get_string(char *kstr)
1333 {
1334         char                     *ustr;
1335         struct libcfs_ioctl_data  data;
1336         int                       size;
1337         int                       rc;
1338
1339         /* FIXME: this could maintain a symbol table since we expect to be
1340          * looking up the same strings all the time... */
1341
1342         LIBCFS_IOC_INIT(data);
1343         data.ioc_pbuf1 = kstr;
1344         data.ioc_plen1 = 1;        /* non-zero just to fool portal_ioctl_is_invalid() */
1345         data.ioc_pbuf2 = NULL;
1346         data.ioc_plen2 = 0;
1347
1348         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_LOOKUP_STRING, &data);
1349         if (rc != 0) {
1350                 fprintf(stderr, "IOC_LIBCFS_LWT_LOOKUP_STRING failed: %s\n",
1351                         strerror(errno));
1352                 return (NULL);
1353         }
1354
1355         size = data.ioc_count;
1356         ustr = (char *)malloc(size);
1357         if (ustr == NULL) {
1358                 fprintf(stderr, "Can't allocate string storage of size %d\n",
1359                         size);
1360                 return (NULL);
1361         }
1362
1363         LIBCFS_IOC_INIT(data);
1364         data.ioc_pbuf1 = kstr;
1365         data.ioc_plen1 = 1;        /* non-zero just to fool portal_ioctl_is_invalid() */
1366         data.ioc_pbuf2 = ustr;
1367         data.ioc_plen2 = size;
1368
1369         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_LWT_LOOKUP_STRING, &data);
1370         if (rc != 0) {
1371                 fprintf(stderr, "IOC_LIBCFS_LWT_LOOKUP_STRING failed: %s\n",
1372                         strerror(errno));
1373                 return (NULL);
1374         }
1375
1376         LASSERT(strlen(ustr) == size - 1);
1377         return (ustr);
1378 }
1379
1380 static void
1381 lwt_put_string(char *ustr)
1382 {
1383         free(ustr);
1384 }
1385
1386 static int
1387 lwt_print(FILE *f, cycles_t t0, cycles_t tlast, double mhz, int cpu, lwt_event_t *e)
1388 {
1389 #ifndef __WORDSIZE
1390 # error "__WORDSIZE not defined"
1391 #elif __WORDSIZE == 32
1392 # define XFMT "%#010lx"
1393 #elif __WORDSIZE== 64
1394 # define XFMT "%#018lx"
1395 #else
1396 # error "Unexpected __WORDSIZE"
1397 #endif
1398         char           *where = lwt_get_string(e->lwte_where);
1399
1400         if (where == NULL)
1401                 return (-1);
1402
1403         fprintf(f, XFMT" "XFMT" "XFMT" "XFMT": "XFMT" %2d %10.6f %10.2f %s\n",
1404                 e->lwte_p1, e->lwte_p2, e->lwte_p3, e->lwte_p4,
1405                 (long)e->lwte_task, cpu, (e->lwte_when - t0) / (mhz * 1000000.0),
1406                 (t0 == e->lwte_when) ? 0.0 : (e->lwte_when - tlast) / mhz,
1407                 where);
1408
1409         lwt_put_string(where);
1410
1411         return (0);
1412 #undef XFMT
1413 }
1414
1415 double
1416 get_cycles_per_usec ()
1417 {
1418         FILE      *f = fopen ("/proc/cpuinfo", "r");
1419         double     mhz;
1420         char      line[64];
1421
1422         if (f != NULL) {
1423                 while (fgets (line, sizeof (line), f) != NULL)
1424                         if (sscanf (line, "cpu MHz : %lf", &mhz) == 1) {
1425                                 fclose (f);
1426                                 return (mhz);
1427                         }
1428                 fclose (f);
1429         }
1430
1431         fprintf (stderr, "Can't read/parse /proc/cpuinfo\n");
1432         return (1000.0);
1433 }
1434
1435 int
1436 jt_ptl_lwt(int argc, char **argv)
1437 {
1438         const int       lwt_max_cpus = 32;
1439         int             ncpus;
1440         int             totalspace;
1441         int             nevents_per_cpu;
1442         lwt_event_t    *events;
1443         lwt_event_t    *cpu_event[lwt_max_cpus + 1];
1444         lwt_event_t    *next_event[lwt_max_cpus];
1445         lwt_event_t    *first_event[lwt_max_cpus];
1446         int             cpu;
1447         lwt_event_t    *e;
1448         int             rc;
1449         int             i;
1450         double          mhz;
1451         cycles_t        t0;
1452         cycles_t        tlast;
1453         cycles_t        tnow;
1454         struct timeval  tvnow;
1455         int             printed_date = 0;
1456         int             nlines = 0;
1457         FILE           *f = stdout;
1458
1459         if (argc < 2 ||
1460             (strcmp(argv[1], "start") &&
1461              strcmp(argv[1], "stop"))) {
1462                 fprintf(stderr,
1463                         "usage:  %s start\n"
1464                         "        %s stop [fname]\n", argv[0], argv[0]);
1465                 return (-1);
1466         }
1467
1468         if (!strcmp(argv[1], "start")) {
1469                 /* disable */
1470                 if (lwt_control(0, 0) != 0)
1471                         return (-1);
1472
1473                 /* clear */
1474                 if (lwt_control(0, 1) != 0)
1475                         return (-1);
1476
1477                 /* enable */
1478                 if (lwt_control(1, 0) != 0)
1479                         return (-1);
1480
1481                 return (0);
1482         }
1483
1484         if (lwt_snapshot(NULL, &ncpus, &totalspace, NULL, 0) != 0)
1485                 return (-1);
1486
1487         if (ncpus > lwt_max_cpus) {
1488                 fprintf(stderr, "Too many cpus: %d (%d)\n",
1489                         ncpus, lwt_max_cpus);
1490                 return (-1);
1491         }
1492
1493         events = (lwt_event_t *)malloc(totalspace);
1494         if (events == NULL) {
1495                 fprintf(stderr, "Can't allocate %d\n", totalspace);
1496                 return (-1);
1497         }
1498
1499         if (lwt_control(0, 0) != 0) {           /* disable */
1500                 free(events);
1501                 return (-1);
1502         }
1503
1504         if (lwt_snapshot(&tnow, NULL, NULL, events, totalspace)) {
1505                 free(events);
1506                 return (-1);
1507         }
1508
1509         /* we want this time to be sampled at snapshot time */
1510         gettimeofday(&tvnow, NULL);
1511
1512         if (argc > 2) {
1513                 f = fopen (argv[2], "w");
1514                 if (f == NULL) {
1515                         fprintf(stderr, "Can't open %s for writing: %s\n", argv[2], strerror (errno));
1516                         free(events);
1517                         return (-1);
1518                 }
1519         }
1520
1521         mhz = get_cycles_per_usec();
1522
1523         /* carve events into per-cpu slices */
1524         nevents_per_cpu = totalspace / (ncpus * sizeof(lwt_event_t));
1525         for (cpu = 0; cpu <= ncpus; cpu++)
1526                 cpu_event[cpu] = &events[cpu * nevents_per_cpu];
1527
1528         /* find the earliest event on each cpu */
1529         for (cpu = 0; cpu < ncpus; cpu++) {
1530                 first_event[cpu] = NULL;
1531
1532                 for (e = cpu_event[cpu]; e < cpu_event[cpu + 1]; e++) {
1533
1534                         if (e->lwte_where == NULL) /* not an event */
1535                                 continue;
1536
1537                         if (first_event[cpu] == NULL ||
1538                             first_event[cpu]->lwte_when > e->lwte_when)
1539                                 first_event[cpu] = e;
1540                 }
1541
1542                 next_event[cpu] = first_event[cpu];
1543         }
1544
1545         t0 = tlast = 0;
1546         for (cpu = 0; cpu < ncpus; cpu++) {
1547                 e = first_event[cpu];
1548                 if (e == NULL)                  /* no events this cpu */
1549                         continue;
1550
1551                 if (e == cpu_event[cpu])
1552                         e = cpu_event[cpu + 1] - 1;
1553                 else
1554                         e = e - 1;
1555
1556                 /* If there's an event immediately before the first one, this
1557                  * cpu wrapped its event buffer */
1558                 if (e->lwte_where == NULL)
1559                         continue;
1560
1561                 /* We should only start outputting events from the most recent
1562                  * first event in any wrapped cpu.  Events before this time on
1563                  * other cpus won't have any events from this CPU to interleave
1564                  * with. */
1565                 if (t0 < first_event[cpu]->lwte_when)
1566                         t0 = first_event[cpu]->lwte_when;
1567         }
1568
1569         for (;;) {
1570                 /* find which cpu has the next event */
1571                 cpu = -1;
1572                 for (i = 0; i < ncpus; i++) {
1573
1574                         if (next_event[i] == NULL) /* this cpu exhausted */
1575                                 continue;
1576
1577                         if (cpu < 0 ||
1578                             next_event[i]->lwte_when < next_event[cpu]->lwte_when)
1579                                 cpu = i;
1580                 }
1581
1582                 if (cpu < 0)                    /* all cpus exhausted */
1583                         break;
1584
1585                 if (t0 == 0) {
1586                         /* no wrapped cpus and this is he first ever event */
1587                         t0 = next_event[cpu]->lwte_when;
1588                 }
1589
1590                 if (t0 <= next_event[cpu]->lwte_when) {
1591                         /* on or after the first event */
1592                         if (!printed_date) {
1593                                 cycles_t du = (tnow - t0) / mhz;
1594                                 time_t   then = tvnow.tv_sec - du/1000000;
1595
1596                                 if (du % 1000000 > tvnow.tv_usec)
1597                                         then--;
1598
1599                                 fprintf(f, "%s", ctime(&then));
1600                                 printed_date = 1;
1601                         }
1602
1603                         rc = lwt_print(f, t0, tlast, mhz, cpu, next_event[cpu]);
1604                         if (rc != 0)
1605                                 break;
1606
1607                         if (++nlines % 10000 == 0 && f != stdout) {
1608                                 /* show some activity... */
1609                                 printf(".");
1610                                 fflush (stdout);
1611                         }
1612                 }
1613
1614                 tlast = next_event[cpu]->lwte_when;
1615
1616                 next_event[cpu]++;
1617                 if (next_event[cpu] == cpu_event[cpu + 1])
1618                         next_event[cpu] = cpu_event[cpu];
1619
1620                 if (next_event[cpu]->lwte_where == NULL ||
1621                     next_event[cpu] == first_event[cpu])
1622                         next_event[cpu] = NULL;
1623         }
1624
1625         if (f != stdout) {
1626                 printf("\n");
1627                 fclose(f);
1628         }
1629
1630         free(events);
1631         return (0);
1632 }
1633
1634 int jt_ptl_memhog(int argc, char **argv)
1635 {
1636         static int                gfp = 0;        /* sticky! */
1637
1638         struct libcfs_ioctl_data  data;
1639         int                       rc;
1640         int                       count;
1641         char                     *end;
1642
1643         if (argc < 2)  {
1644                 fprintf(stderr, "usage: %s <npages> [<GFP flags>]\n", argv[0]);
1645                 return 0;
1646         }
1647
1648         count = strtol(argv[1], &end, 0);
1649         if (count < 0 || *end != 0) {
1650                 fprintf(stderr, "Can't parse page count '%s'\n", argv[1]);
1651                 return -1;
1652         }
1653
1654         if (argc >= 3) {
1655                 rc = strtol(argv[2], &end, 0);
1656                 if (*end != 0) {
1657                         fprintf(stderr, "Can't parse gfp flags '%s'\n", argv[2]);
1658                         return -1;
1659                 }
1660                 gfp = rc;
1661         }
1662
1663         LIBCFS_IOC_INIT(data);
1664         data.ioc_count = count;
1665         data.ioc_flags = gfp;
1666         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_MEMHOG, &data);
1667
1668         if (rc != 0) {
1669                 fprintf(stderr, "memhog %d failed: %s\n", count, strerror(errno));
1670                 return -1;
1671         }
1672
1673         printf("memhog %d OK\n", count);
1674         return 0;
1675 }
1676
1677 int jt_ptl_testprotocompat(int argc, char **argv)
1678 {
1679         struct libcfs_ioctl_data  data;
1680         int                       rc;
1681         int                       flags;
1682         char                     *end;
1683
1684         if (argc < 2)  {
1685                 fprintf(stderr, "usage: %s <number>\n", argv[0]);
1686                 return 0;
1687         }
1688
1689         flags = strtol(argv[1], &end, 0);
1690         if (flags < 0 || *end != 0) {
1691                 fprintf(stderr, "Can't parse flags '%s'\n", argv[1]);
1692                 return -1;
1693         }
1694
1695         LIBCFS_IOC_INIT(data);
1696         data.ioc_flags = flags;
1697         rc = l_ioctl(LNET_DEV_ID, IOC_LIBCFS_TESTPROTOCOMPAT, &data);
1698
1699         if (rc != 0) {
1700                 fprintf(stderr, "test proto compat %x failed: %s\n",
1701                         flags, strerror(errno));
1702                 return -1;
1703         }
1704
1705         printf("test proto compat %x OK\n", flags);
1706         return 0;
1707 }
1708
1709