Whamcloud - gitweb
54d243f1d174a522b117d50ae589fa144e842638
[fs/lustre-release.git] / lustre / include / lustre_import.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
19  *
20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
21  * CA 95054 USA or visit www.sun.com if you need additional information or
22  * have any questions.
23  *
24  * GPL HEADER END
25  */
26 /*
27  * Copyright (c) 2002, 2010, Oracle and/or its affiliates. All rights reserved.
28  * Use is subject to license terms.
29  *
30  * Copyright (c) 2011, Whamcloud, Inc.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  */
36 /** \defgroup obd_import PtlRPC import definitions
37  * Imports are client-side representation of remote obd target.
38  *
39  * @{
40  */
41
42 #ifndef __IMPORT_H
43 #define __IMPORT_H
44
45 /** \defgroup export export
46  *
47  * @{
48  */
49
50 #include <lustre_handles.h>
51 #include <lustre/lustre_idl.h>
52
53
54 /**
55  * Adaptive Timeout stuff
56  *
57  * @{
58  */
59 #define D_ADAPTTO D_OTHER
60 #define AT_BINS 4                  /* "bin" means "N seconds of history" */
61 #define AT_FLG_NOHIST 0x1          /* use last reported value only */
62
63 struct adaptive_timeout {
64         time_t           at_binstart;         /* bin start time */
65         unsigned int     at_hist[AT_BINS];    /* timeout history bins */
66         unsigned int     at_flags;
67         unsigned int     at_current;          /* current timeout value */
68         unsigned int     at_worst_ever;       /* worst-ever timeout value */
69         time_t           at_worst_time;       /* worst-ever timeout timestamp */
70         cfs_spinlock_t   at_lock;
71 };
72
73 struct ptlrpc_at_array {
74         cfs_list_t       *paa_reqs_array; /** array to hold requests */
75         __u32             paa_size;       /** the size of array */
76         __u32             paa_count;      /** the total count of reqs */
77         time_t            paa_deadline;   /** the earliest deadline of reqs */
78         __u32            *paa_reqs_count; /** the count of reqs in each entry */
79 };
80
81 #define IMP_AT_MAX_PORTALS 8
82 struct imp_at {
83         int                     iat_portal[IMP_AT_MAX_PORTALS];
84         struct adaptive_timeout iat_net_latency;
85         struct adaptive_timeout iat_service_estimate[IMP_AT_MAX_PORTALS];
86 };
87
88
89 /** @} */
90
91 /** Possible import states */
92 enum lustre_imp_state {
93         LUSTRE_IMP_CLOSED     = 1,
94         LUSTRE_IMP_NEW        = 2,
95         LUSTRE_IMP_DISCON     = 3,
96         LUSTRE_IMP_CONNECTING = 4,
97         LUSTRE_IMP_REPLAY     = 5,
98         LUSTRE_IMP_REPLAY_LOCKS = 6,
99         LUSTRE_IMP_REPLAY_WAIT  = 7,
100         LUSTRE_IMP_RECOVER    = 8,
101         LUSTRE_IMP_FULL       = 9,
102         LUSTRE_IMP_EVICTED    = 10,
103 };
104
105 /** Returns test string representation of numeric import state \a state */
106 static inline char * ptlrpc_import_state_name(enum lustre_imp_state state)
107 {
108         static char* import_state_names[] = {
109                 "<UNKNOWN>", "CLOSED",  "NEW", "DISCONN",
110                 "CONNECTING", "REPLAY", "REPLAY_LOCKS", "REPLAY_WAIT",
111                 "RECOVER", "FULL", "EVICTED",
112         };
113
114         LASSERT (state <= LUSTRE_IMP_EVICTED);
115         return import_state_names[state];
116 }
117
118 /**
119  * List of import event types
120  */
121 enum obd_import_event {
122         IMP_EVENT_DISCON     = 0x808001,
123         IMP_EVENT_INACTIVE   = 0x808002,
124         IMP_EVENT_INVALIDATE = 0x808003,
125         IMP_EVENT_ACTIVE     = 0x808004,
126         IMP_EVENT_OCD        = 0x808005,
127         IMP_EVENT_DEACTIVATE = 0x808006,
128         IMP_EVENT_ACTIVATE   = 0x808007,
129 };
130
131 /**
132  * Definition of import connection structure
133  */
134 struct obd_import_conn {
135         /** Item for linking connections together */
136         cfs_list_t                oic_item;
137         /** Pointer to actual PortalRPC connection */
138         struct ptlrpc_connection *oic_conn;
139         /** uuid of remote side */
140         struct obd_uuid           oic_uuid;
141         /**
142          * Time (64 bit jiffies) of last connection attempt on this connection
143          */
144         __u64                     oic_last_attempt;
145 };
146
147 /* state history */
148 #define IMP_STATE_HIST_LEN 16
149 struct import_state_hist {
150         enum lustre_imp_state ish_state;
151         time_t                ish_time;
152 };
153
154 /**
155  * Defintion of PortalRPC import structure.
156  * Imports are representing client-side view to remote target.
157  */
158 struct obd_import {
159         /** Local handle (== id) for this import. */
160         struct portals_handle     imp_handle;
161         /** Reference counter */
162         cfs_atomic_t              imp_refcount;
163         struct lustre_handle      imp_dlm_handle; /* client's ldlm export */
164         /** Currently active connection */
165         struct ptlrpc_connection *imp_connection;
166         /** PortalRPC client structure for this import */
167         struct ptlrpc_client     *imp_client;
168         /** List element for linking into pinger chain */
169         cfs_list_t                imp_pinger_chain;
170         /** List element for linking into chain for destruction */
171         cfs_list_t                imp_zombie_chain;
172
173         /**
174          * Lists of requests that are retained for replay, waiting for a reply,
175          * or waiting for recovery to complete, respectively.
176          * @{
177          */
178         cfs_list_t                imp_replay_list;
179         cfs_list_t                imp_sending_list;
180         cfs_list_t                imp_delayed_list;
181         /** @} */
182
183         /** obd device for this import */
184         struct obd_device        *imp_obd;
185
186         /**
187          * some seciruty-related fields
188          * @{
189          */
190         struct ptlrpc_sec        *imp_sec;
191         cfs_mutex_t               imp_sec_mutex;
192         cfs_time_t                imp_sec_expire;
193         /** @} */
194
195         /** Wait queue for those who need to wait for recovery completion */
196         cfs_waitq_t               imp_recovery_waitq;
197
198         /** Number of requests currently in-flight */
199         cfs_atomic_t              imp_inflight;
200         /** Number of requests currently unregistering */
201         cfs_atomic_t              imp_unregistering;
202         /** Number of replay requests inflight */
203         cfs_atomic_t              imp_replay_inflight;
204         /** Number of currently happening import invalidations */
205         cfs_atomic_t              imp_inval_count;
206         /** Numbner of request timeouts */
207         cfs_atomic_t              imp_timeouts;
208         /** Current import state */
209         enum lustre_imp_state     imp_state;
210         /** History of import states */
211         struct import_state_hist  imp_state_hist[IMP_STATE_HIST_LEN];
212         int                       imp_state_hist_idx;
213         /** Current import generation. Incremented on every reconnect */
214         int                       imp_generation;
215         /** Incremented every time we send reconnection request */
216         __u32                     imp_conn_cnt;
217        /** 
218         * \see ptlrpc_free_committed remembers imp_generation value here
219         * after a check to save on unnecessary replay list iterations
220         */
221         int                       imp_last_generation_checked;
222         /** Last tranno we replayed */
223         __u64                     imp_last_replay_transno;
224         /** Last transno committed on remote side */
225         __u64                     imp_peer_committed_transno;
226         /**
227          * \see ptlrpc_free_committed remembers last_transno since its last
228          * check here and if last_transno did not change since last run of
229          * ptlrpc_free_committed and import generation is the same, we can
230          * skip looking for requests to remove from replay list as optimisation
231          */
232         __u64                     imp_last_transno_checked;
233         /**
234          * Remote export handle. This is how remote side knows what export
235          * we are talking to. Filled from response to connect request
236          */
237         struct lustre_handle      imp_remote_handle;
238         /** When to perform next ping. time in jiffies. */
239         cfs_time_t                imp_next_ping;
240         /** When we last succesfully connected. time in 64bit jiffies */
241         __u64                     imp_last_success_conn;
242
243         /** List of all possible connection for import. */
244         cfs_list_t                imp_conn_list;
245         /**
246          * Current connection. \a imp_connection is imp_conn_current->oic_conn
247          */
248         struct obd_import_conn   *imp_conn_current;
249
250         /** Protects flags, level, generation, conn_cnt, *_list */
251         cfs_spinlock_t            imp_lock;
252
253         /* flags */
254         unsigned long             imp_no_timeout:1,       /* timeouts are disabled */
255                                   imp_invalid:1,          /* evicted */
256                                   imp_deactive:1,         /* administratively disabled */
257                                   imp_replayable:1,       /* try to recover the import */
258                                   imp_dlm_fake:1,         /* don't run recovery (timeout instead) */
259                                   imp_server_timeout:1,   /* use 1/2 timeout on MDS' OSCs */
260                                   imp_delayed_recovery:1, /* VBR: imp in delayed recovery */
261                                   imp_no_lock_replay:1,   /* VBR: if gap was found then no lock replays */
262                                   imp_vbr_failed:1,       /* recovery by versions was failed */
263                                   imp_force_verify:1,     /* force an immidiate ping */
264                                   imp_pingable:1,         /* pingable */
265                                   imp_resend_replay:1,    /* resend for replay */
266                                   imp_no_pinger_recover:1,/* disable normal recovery, for test only. */
267                                   imp_force_reconnect:1;  /* import must be reconnected instead of chouse new connection */
268         __u32                     imp_connect_op;
269         struct obd_connect_data   imp_connect_data;
270         __u64                     imp_connect_flags_orig;
271         int                       imp_connect_error;
272
273         __u32                     imp_msg_magic;
274         __u32                     imp_msghdr_flags;       /* adjusted based on server capability */
275
276         struct ptlrpc_request_pool *imp_rq_pool;          /* emergency request pool */
277
278         struct imp_at             imp_at;                 /* adaptive timeout data */
279         time_t                    imp_last_reply_time;    /* for health check */
280 };
281
282 typedef void (*obd_import_callback)(struct obd_import *imp, void *closure,
283                                     int event, void *event_arg, void *cb_data);
284
285 /**
286  * Structure for import observer.
287  * It is possible to register "observer" on an import and every time
288  * something happens to an import (like connect/evict/disconnect)
289  * obderver will get its callback called with event type
290  */
291 struct obd_import_observer {
292         cfs_list_t           oio_chain;
293         obd_import_callback  oio_cb;
294         void                *oio_cb_data;
295 };
296
297 void class_observe_import(struct obd_import *imp, obd_import_callback cb,
298                           void *cb_data);
299 void class_unobserve_import(struct obd_import *imp, obd_import_callback cb,
300                             void *cb_data);
301 void class_notify_import_observers(struct obd_import *imp, int event,
302                                    void *event_arg);
303
304 /* import.c */
305 static inline unsigned int at_est2timeout(unsigned int val)
306 {
307         /* add an arbitrary minimum: 125% +5 sec */
308         return (val + (val >> 2) + 5);
309 }
310
311 static inline unsigned int at_timeout2est(unsigned int val)
312 {
313         /* restore estimate value from timeout: e=4/5(t-5) */
314         LASSERT(val);
315         return (max((val << 2) / 5, 5U) - 4);
316 }
317
318 static inline void at_init(struct adaptive_timeout *at, int val, int flags) {
319         memset(at, 0, sizeof(*at));
320         at->at_current = val;
321         at->at_worst_ever = val;
322         at->at_worst_time = cfs_time_current_sec();
323         at->at_flags = flags;
324         cfs_spin_lock_init(&at->at_lock);
325 }
326 extern unsigned int at_min;
327 static inline int at_get(struct adaptive_timeout *at) {
328         return (at->at_current > at_min) ? at->at_current : at_min;
329 }
330 int at_measured(struct adaptive_timeout *at, unsigned int val);
331 int import_at_get_index(struct obd_import *imp, int portal);
332 extern unsigned int at_max;
333 #define AT_OFF (at_max == 0)
334
335 /* genops.c */
336 struct obd_export;
337 extern struct obd_import *class_exp2cliimp(struct obd_export *);
338 extern struct obd_import *class_conn2cliimp(struct lustre_handle *);
339
340 /** @} import */
341
342 #endif /* __IMPORT_H */
343
344 /** @} obd_import */