Whamcloud - gitweb
b=23179 MDS node unresponsive
[fs/lustre-release.git] / lnet / lnet / api-ni.c
index 2f681d7..3b97ea5 100644 (file)
@@ -482,7 +482,7 @@ lnet_setup_handle_hash (void)
         /* Arbitrary choice of hash table size */
 #ifdef __KERNEL__
         the_lnet.ln_lh_hash_size =
-                CFS_PAGE_SIZE / sizeof (cfs_list_t);
+                (2 * CFS_PAGE_SIZE) / sizeof (cfs_list_t);
 #else
         the_lnet.ln_lh_hash_size = (MAX_MES + MAX_MDS + MAX_EQS)/4;
 #endif
@@ -520,7 +520,7 @@ lnet_lookup_cookie (__u64 cookie, int type)
         if ((cookie & (LNET_COOKIE_TYPES - 1)) != type)
                 return (NULL);
 
-        hash = ((unsigned int)cookie) % the_lnet.ln_lh_hash_size;
+        hash = ((unsigned int)(cookie >> LNET_COOKIE_TYPE_BITS)) % the_lnet.ln_lh_hash_size;
         list = &the_lnet.ln_lh_hash_table[hash];
 
         cfs_list_for_each (el, list) {
@@ -544,7 +544,7 @@ lnet_initialise_handle (lnet_libhandle_t *lh, int type)
         lh->lh_cookie = the_lnet.ln_next_object_cookie | type;
         the_lnet.ln_next_object_cookie += LNET_COOKIE_TYPES;
 
-        hash = ((unsigned int)lh->lh_cookie) % the_lnet.ln_lh_hash_size;
+        hash = ((unsigned int)(lh->lh_cookie >> LNET_COOKIE_TYPE_BITS)) % the_lnet.ln_lh_hash_size;
         cfs_list_add (&lh->lh_hash_chain, &the_lnet.ln_lh_hash_table[hash]);
 }
 
@@ -555,6 +555,39 @@ lnet_invalidate_handle (lnet_libhandle_t *lh)
         cfs_list_del (&lh->lh_hash_chain);
 }
 
+cfs_list_t *
+lnet_portal_mhash_alloc(void)
+{
+        cfs_list_t       *mhash;
+        int               i;
+
+        LIBCFS_ALLOC(mhash, sizeof(cfs_list_t) * LNET_PORTAL_HASH_SIZE);
+        if (mhash == NULL)
+                return NULL;
+
+        for (i = 0; i < LNET_PORTAL_HASH_SIZE; i++)
+                CFS_INIT_LIST_HEAD(&mhash[i]);
+
+        return mhash;
+}
+
+void
+lnet_portal_mhash_free(cfs_list_t *mhash)
+{
+        int     i;
+
+        for (i = 0; i < LNET_PORTAL_HASH_SIZE; i++) {
+                while (!cfs_list_empty(&mhash[i])) {
+                        lnet_me_t *me = cfs_list_entry(mhash[i].next,
+                                                       lnet_me_t, me_list);
+                        CERROR ("Active ME %p on exit portal mhash\n", me);
+                        cfs_list_del(&me->me_list);
+                        lnet_me_free(me);
+                }
+        }
+        LIBCFS_FREE(mhash, sizeof(cfs_list_t) * LNET_PORTAL_HASH_SIZE);
+}
+
 int
 lnet_init_finalizers(void)
 {
@@ -600,7 +633,9 @@ lnet_fini_finalizers(void)
 }
 
 #ifndef __KERNEL__
-/* Temporary workaround to allow uOSS and test programs force server
+/**
+ * Reserved API - do not use.
+ * Temporary workaround to allow uOSS and test programs force server
  * mode in userspace. See comments near ln_server_mode_flag in
  * lnet/lib-types.h */
 
@@ -681,7 +716,7 @@ lnet_prepare(lnet_pid_t requested_pid)
         }
 
         for (i = 0; i < the_lnet.ln_nportals; i++) {
-                CFS_INIT_LIST_HEAD(&(the_lnet.ln_portals[i].ptl_ml));
+                CFS_INIT_LIST_HEAD(&(the_lnet.ln_portals[i].ptl_mlist));
                 CFS_INIT_LIST_HEAD(&(the_lnet.ln_portals[i].ptl_msgq));
                 the_lnet.ln_portals[i].ptl_options = 0;
         }
@@ -718,23 +753,29 @@ lnet_unprepare (void)
         LASSERT (the_lnet.ln_nzombie_nis == 0);
 
         for (idx = 0; idx < the_lnet.ln_nportals; idx++) {
-                LASSERT (cfs_list_empty(&the_lnet.ln_portals[idx].ptl_msgq));
+                lnet_portal_t *ptl = &the_lnet.ln_portals[idx];
 
-                while (!cfs_list_empty (&the_lnet.ln_portals[idx].ptl_ml)) {
-                        lnet_me_t *me = cfs_list_entry (the_lnet.ln_portals[idx].ptl_ml.next,
-                                                        lnet_me_t, me_list);
+                LASSERT (cfs_list_empty(&ptl->ptl_msgq));
 
-                        CERROR ("Active me %p on exit\n", me);
+                while (!cfs_list_empty(&ptl->ptl_mlist)) {
+                        lnet_me_t *me = cfs_list_entry(ptl->ptl_mlist.next,
+                                                       lnet_me_t, me_list);
+                        CERROR ("Active ME %p on exit\n", me);
                         cfs_list_del (&me->me_list);
                         lnet_me_free (me);
                 }
+
+                if (ptl->ptl_mhash != NULL) {
+                        LASSERT (lnet_portal_is_unique(ptl));
+                        lnet_portal_mhash_free(ptl->ptl_mhash);
+                }
         }
 
         while (!cfs_list_empty (&the_lnet.ln_active_mds)) {
                 lnet_libmd_t *md = cfs_list_entry (the_lnet.ln_active_mds.next,
                                                    lnet_libmd_t, md_list);
 
-                CERROR ("Active md %p on exit\n", md);
+                CERROR ("Active MD %p on exit\n", md);
                 cfs_list_del_init (&md->md_list);
                 lnet_md_free (md);
         }
@@ -743,7 +784,7 @@ lnet_unprepare (void)
                 lnet_eq_t *eq = cfs_list_entry (the_lnet.ln_active_eqs.next,
                                                 lnet_eq_t, eq_list);
 
-                CERROR ("Active eq %p on exit\n", eq);
+                CERROR ("Active EQ %p on exit\n", eq);
                 cfs_list_del (&eq->eq_list);
                 lnet_eq_free (eq);
         }
@@ -1113,6 +1154,16 @@ lnet_startup_lndnis (void)
         return -ENETDOWN;
 }
 
+/**
+ * Initialize LNet library.
+ *
+ * Only userspace program needs to call this function - it's automatically
+ * called in the kernel at module loading time. Caller has to call LNetFini()
+ * after a call to LNetInit(), if and only if the latter returned 0. It must
+ * be called exactly once.
+ *
+ * \return 0 on success, and -ve on failures.
+ */
 int
 LNetInit(void)
 {
@@ -1146,6 +1197,15 @@ LNetInit(void)
         return 0;
 }
 
+/**
+ * Finalize LNet library.
+ *
+ * Only userspace program needs to call this function. It can be called
+ * at most once.
+ *
+ * \pre LNetInit() called with success.
+ * \pre All LNet users called LNetNIFini() for matching LNetNIInit() calls.
+ */
 void
 LNetFini(void)
 {
@@ -1160,6 +1220,22 @@ LNetFini(void)
         the_lnet.ln_init = 0;
 }
 
+/**
+ * Set LNet PID and start LNet interfaces, routing, and forwarding.
+ *
+ * Userspace program should call this after a successful call to LNetInit().
+ * Users must call this function at least once before any other functions.
+ * For each successful call there must be a corresponding call to
+ * LNetNIFini(). For subsequent calls to LNetNIInit(), \a requested_pid is
+ * ignored.
+ *
+ * The PID used by LNet may be different from the one requested.
+ * See LNetGetId().
+ *
+ * \param requested_pid PID requested by the caller.
+ *
+ * \return 0 on success, and non-zero error code on failures.
+ */
 int
 LNetNIInit(lnet_pid_t requested_pid)
 {
@@ -1241,6 +1317,15 @@ LNetNIInit(lnet_pid_t requested_pid)
         return rc;
 }
 
+/**
+ * Stop LNet interfaces, routing, and forwarding.
+ *
+ * Users must call this function once for each successful call to LNetNIInit().
+ * Once the LNetNIFini() operation has been started, the results of pending
+ * API operations are undefined.
+ *
+ * \return always 0 for current implementation.
+ */
 int
 LNetNIFini()
 {
@@ -1271,6 +1356,19 @@ LNetNIFini()
         return 0;
 }
 
+/**
+ * This is an ugly hack to export IOC_LIBCFS_DEBUG_PEER and
+ * IOC_LIBCFS_PORTALS_COMPATIBILITY commands to users, by tweaking the LNet
+ * internal ioctl handler.
+ *
+ * IOC_LIBCFS_PORTALS_COMPATIBILITY is now deprecated, don't use it.
+ *
+ * \param cmd IOC_LIBCFS_DEBUG_PEER to print debugging data about a peer.
+ * The data will be printed to system console. Don't use it excessively.
+ * \param arg A pointer to lnet_process_id_t, process ID of the peer.
+ *
+ * \return Always return 0 when called by users directly (i.e., not via ioctl).
+ */
 int
 LNetCtl(unsigned int cmd, void *arg)
 {
@@ -1377,6 +1475,17 @@ LNetCtl(unsigned int cmd, void *arg)
         /* not reached */
 }
 
+/**
+ * Retrieve the lnet_process_id_t ID of LNet interface at \a index. Note that
+ * all interfaces share a same PID, as requested by LNetNIInit().
+ *
+ * \param index Index of the interface to look up.
+ * \param id On successful return, this location will hold the
+ * lnet_process_id_t ID of the interface.
+ *
+ * \retval 0 If an interface exists at \a index.
+ * \retval -ENOENT If no interface has been found.
+ */
 int
 LNetGetId(unsigned int index, lnet_process_id_t *id)
 {
@@ -1406,6 +1515,10 @@ LNetGetId(unsigned int index, lnet_process_id_t *id)
         return rc;
 }
 
+/**
+ * Print a string representation of handle \a h into buffer \a str of
+ * \a len bytes.
+ */
 void
 LNetSnprintHandle(char *str, int len, lnet_handle_any_t h)
 {