Whamcloud - gitweb
LU-398 ptlrpc: Add the NRS framework and FIFO policy
[fs/lustre-release.git] / lustre / include / lustre_net.h
index b1e0682..b87cf91 100644 (file)
@@ -502,6 +502,7 @@ struct ptlrpc_set_cbdata {
 
 struct ptlrpc_bulk_desc;
 struct ptlrpc_service_part;
+struct ptlrpc_service;
 
 /**
  * ptlrpc callback & work item stuff
@@ -626,6 +627,658 @@ struct lu_env;
 struct ldlm_lock;
 
 /**
+ * \defgroup nrs Network Request Scheduler
+ * @{
+ */
+struct ptlrpc_nrs_policy;
+struct ptlrpc_nrs_resource;
+struct ptlrpc_nrs_request;
+
+/**
+ * NRS control operations.
+ *
+ * These are common for all policies.
+ */
+enum ptlrpc_nrs_ctl {
+       /**
+        * Activate the policy.
+        */
+       PTLRPC_NRS_CTL_START,
+       /**
+        * Reserved for multiple primary policies, which may be a possibility
+        * in the future.
+        */
+       PTLRPC_NRS_CTL_STOP,
+       /**
+        * Recycle resources for inactive policies.
+        */
+       PTLRPC_NRS_CTL_SHRINK,
+       /**
+        * Not a valid opcode.
+        */
+       PTLRPC_NRS_CTL_INVALID,
+       /**
+        * Policies can start using opcodes from this value and onwards for
+        * their own purposes; the assigned value itself is arbitrary.
+        */
+       PTLRPC_NRS_CTL_1ST_POL_SPEC = 0x20,
+};
+
+/**
+ * NRS policy operations.
+ *
+ * These determine the behaviour of a policy, and are called in response to
+ * NRS core events.
+ */
+struct ptlrpc_nrs_pol_ops {
+       /**
+        * Called during policy registration; this operation is optional.
+        *
+        * \param[in] policy The policy being initialized
+        */
+       int     (*op_policy_init) (struct ptlrpc_nrs_policy *policy);
+       /**
+        * Called during policy unregistration; this operation is optional.
+        *
+        * \param[in] policy The policy being unregistered/finalized
+        */
+       void    (*op_policy_fini) (struct ptlrpc_nrs_policy *policy);
+       /**
+        * Called when activating a policy via lprocfs; policies allocate and
+        * initialize their resources here; this operation is optional.
+        *
+        * \param[in] policy The policy being started
+        *
+        * \see nrs_policy_start_locked()
+        */
+       int     (*op_policy_start) (struct ptlrpc_nrs_policy *policy);
+       /**
+        * Called when deactivating a policy via lprocfs; policies deallocate
+        * their resources here; this operation is optional
+        *
+        * \param[in] policy The policy being stopped
+        *
+        * \see nrs_policy_stop_final()
+        */
+       void    (*op_policy_stop) (struct ptlrpc_nrs_policy *policy);
+       /**
+        * Used for policy-specific operations; i.e. not generic ones like
+        * \e PTLRPC_NRS_CTL_START and \e PTLRPC_NRS_CTL_GET_INFO; analogous
+        * to an ioctl; this operation is optional.
+        *
+        * \param[in]     policy The policy carrying out operation \a opc
+        * \param[in]     opc    The command operation being carried out
+        * \param[in,out] arg    An generic buffer for communication between the
+        *                       user and the control operation
+        *
+        * \retval -ve error
+        * \retval   0 success
+        *
+        * \see ptlrpc_nrs_policy_control()
+        */
+       int     (*op_policy_ctl) (struct ptlrpc_nrs_policy *policy,
+                                 enum ptlrpc_nrs_ctl opc, void *arg);
+
+       /**
+        * Called when obtaining references to the resources of the resource
+        * hierarchy for a request that has arrived for handling at the PTLRPC
+        * service. Policies should return -ve for requests they do not wish
+        * to handle. This operation is mandatory.
+        *
+        * \param[in]  policy     The policy we're getting resources for.
+        * \param[in]  nrq        The request we are getting resources for.
+        * \param[in]  parent     The parent resource of the resource being
+        *                        requested; set to NULL if none.
+        * \param[out] resp       The resource is to be returned here; the
+        *                        fallback policy in an NRS head should
+        *                        \e always return a non-NULL pointer value.
+        * \param[in]  moving_req When set, signifies that this is an attempt
+        *                        to obtain resources for a request being moved
+        *                        to the high-priority NRS head by
+        *                        ldlm_lock_reorder_req().
+        *                        This implies two things:
+        *                        1. We are under obd_export::exp_rpc_lock and
+        *                        so should not sleep.
+        *                        2. We should not perform non-idempotent or can
+        *                        skip performing idempotent operations that
+        *                        were carried out when resources were first
+        *                        taken for the request when it was initialized
+        *                        in ptlrpc_nrs_req_initialize().
+        *
+        * \retval 0, +ve The level of the returned resource in the resource
+        *                hierarchy; currently only 0 (for a non-leaf resource)
+        *                and 1 (for a leaf resource) are supported by the
+        *                framework.
+        * \retval -ve    error
+        *
+        * \see ptlrpc_nrs_req_initialize()
+        * \see ptlrpc_nrs_hpreq_add_nolock()
+        * \see ptlrpc_nrs_req_hp_move()
+        */
+       int     (*op_res_get) (struct ptlrpc_nrs_policy *policy,
+                              struct ptlrpc_nrs_request *nrq,
+                              struct ptlrpc_nrs_resource *parent,
+                              struct ptlrpc_nrs_resource **resp,
+                              bool moving_req);
+       /**
+        * Called when releasing references taken for resources in the resource
+        * hierarchy for the request; this operation is optional.
+        *
+        * \param[in] policy   The policy the resource belongs to
+        * \param[in] res      The resource to be freed
+        *
+        * \see ptlrpc_nrs_req_finalize()
+        * \see ptlrpc_nrs_hpreq_add_nolock()
+        * \see ptlrpc_nrs_req_hp_move()
+        */
+       void    (*op_res_put) (struct ptlrpc_nrs_policy *policy,
+                              struct ptlrpc_nrs_resource *res);
+
+       /**
+        * Obtain a request for handling from the policy via polling; this
+        * operation is mandatory.
+        *
+        * \param[in] policy The policy to poll
+        *
+        * \retval NULL No erquest available for handling
+        * \retval valid-pointer The request polled for handling
+        *
+        * \see ptlrpc_nrs_req_poll_nolock()
+        */
+       struct ptlrpc_nrs_request *
+               (*op_req_poll) (struct ptlrpc_nrs_policy *policy);
+       /**
+        * Called when attempting to add a request to a policy for later
+        * handling; this operation is mandatory.
+        *
+        * \param[in] policy The policy on which to enqueue \a nrq
+        * \param[in] nrq    The request to enqueue
+        *
+        * \retval 0    success
+        * \retval != 0 error
+        *
+        * \see ptlrpc_nrs_req_add_nolock()
+        */
+       int     (*op_req_enqueue) (struct ptlrpc_nrs_policy *policy,
+                                  struct ptlrpc_nrs_request *nrq);
+       /**
+        * Removes a request from the policy's set of pending requests. Normally
+        * called after a request has been polled successfully from the policy
+        * for handling; this operation is mandatory.
+        *
+        * \param[in] policy The policy the request \a nrq belongs to
+        * \param[in] nrq    The request to dequeue
+        *
+        * \see ptlrpc_nrs_req_del_nolock()
+        */
+       void    (*op_req_dequeue) (struct ptlrpc_nrs_policy *policy,
+                                  struct ptlrpc_nrs_request *nrq);
+       /**
+        * Called before carrying out the request; should not block. Could be
+        * used for job/resource control; this operation is optional.
+        *
+        * \param[in] policy The policy which is starting to handle request
+        *                   \a nrq
+        * \param[in] nrq    The request
+        *
+        * \pre spin_is_locked(&svcpt->scp_req_lock)
+        *
+        * \see ptlrpc_nrs_req_start_nolock()
+        */
+       void    (*op_req_start) (struct ptlrpc_nrs_policy *policy,
+                                struct ptlrpc_nrs_request *nrq);
+       /**
+        * Called after the request being carried out. Could be used for
+        * job/resource control; this operation is optional.
+        *
+        * \param[in] policy The policy which is stopping to handle request
+        *                   \a nrq
+        * \param[in] nrq    The request
+        *
+        * \pre spin_is_locked(&svcpt->scp_req_lock)
+        *
+        * \see ptlrpc_nrs_req_stop_nolock()
+        */
+       void    (*op_req_stop) (struct ptlrpc_nrs_policy *policy,
+                               struct ptlrpc_nrs_request *nrq);
+       /**
+        * Registers the policy's lprocfs interface with a PTLRPC service.
+        *
+        * \param[in] svc The service
+        *
+        * \retval 0    success
+        * \retval != 0 error
+        */
+       int     (*op_lprocfs_init) (struct ptlrpc_service *svc);
+       /**
+        * Unegisters the policy's lprocfs interface with a PTLRPC service.
+        *
+        * \param[in] svc The service
+        */
+       void    (*op_lprocfs_fini) (struct ptlrpc_service *svc);
+};
+
+/**
+ * Policy flags
+ */
+enum nrs_policy_flags {
+       /**
+        * Fallback policy, use this flag only on a single supported policy per
+        * service. Do not use this flag for policies registering using
+        * ptlrpc_nrs_policy_register() (i.e. ones that are not in
+        * \e nrs_pols_builtin).
+        */
+       PTLRPC_NRS_FL_FALLBACK          = (1 << 0),
+       /**
+        * Start policy immediately after registering.
+        */
+       PTLRPC_NRS_FL_REG_START         = (1 << 1),
+       /**
+        * This is a polciy registering externally with NRS core, via
+        * ptlrpc_nrs_policy_register(), (i.e. one that is not in
+        * \e nrs_pols_builtin. Used to avoid ptlrpc_nrs_policy_register()
+        * racing with a policy start operation issued by the user via lprocfs.
+        */
+       PTLRPC_NRS_FL_REG_EXTERN        = (1 << 2),
+};
+
+/**
+ * NRS queue type.
+ *
+ * Denotes whether an NRS instance is for handling normal or high-priority
+ * RPCs, or whether an operation pertains to one or both of the NRS instances
+ * in a service.
+ */
+enum ptlrpc_nrs_queue_type {
+       PTLRPC_NRS_QUEUE_REG,
+       PTLRPC_NRS_QUEUE_HP,
+       PTLRPC_NRS_QUEUE_BOTH,
+};
+
+/**
+ * NRS head
+ *
+ * A PTLRPC service has at least one NRS head instance for handling normal
+ * priority RPCs, and may optionally have a second NRS head instance for
+ * handling high-priority RPCs. Each NRS head maintains a list of available
+ * policies, of which one and only one policy is acting as the fallback policy,
+ * and optionally a different policy may be acting as the primary policy. For
+ * all RPCs handled by this NRS head instance, NRS core will first attempt to
+ * enqueue the RPC using the primary policy (if any). The fallback policy is
+ * used in the following cases:
+ * - when there was no primary policy in the
+ *   ptlrpc_nrs_pol_state::NRS_POL_STATE_STARTED state at the time the request
+ *   was initialized.
+ * - when the primary policy that was at the
+ *   ptlrpc_nrs_pol_state::PTLRPC_NRS_POL_STATE_STARTED state at the time the
+ *   RPC was initialized, denoted it did not wish, or for some other reason was
+ *   not able to handle the request, by returning a non-valid NRS resource
+ *   reference.
+ * - when the primary policy that was at the
+ *   ptlrpc_nrs_pol_state::PTLRPC_NRS_POL_STATE_STARTED state at the time the
+ *   RPC was initialized, fails later during the request enqueueing stage.
+ *
+ * \see nrs_resource_get_safe()
+ * \see nrs_request_enqueue()
+ */
+struct ptlrpc_nrs {
+       spinlock_t                      nrs_lock;
+       /** XXX Possibly replace svcpt->scp_req_lock with another lock here. */
+       /**
+        * Linkage into nrs_core_heads_list
+        */
+       cfs_list_t                      nrs_heads;
+       /**
+        * List of registered policies
+        */
+       cfs_list_t                      nrs_policy_list;
+       /**
+        * List of policies with queued requests. Policies that have any
+        * outstanding requests are queued here, and this list is queried
+        * in a round-robin manner from NRS core when obtaining a request
+        * for handling. This ensures that requests from policies that at some
+        * point transition away from the
+        * ptlrpc_nrs_pol_state::NRS_POL_STATE_STARTED state are drained.
+        */
+       cfs_list_t                      nrs_policy_queued;
+       /**
+        * Service partition for this NRS head
+        */
+       struct ptlrpc_service_part     *nrs_svcpt;
+       /**
+        * Primary policy, which is the preferred policy for handling RPCs
+        */
+       struct ptlrpc_nrs_policy       *nrs_policy_primary;
+       /**
+        * Fallback policy, which is the backup policy for handling RPCs
+        */
+       struct ptlrpc_nrs_policy       *nrs_policy_fallback;
+       /**
+        * This NRS head handles either HP or regular requests
+        */
+       enum ptlrpc_nrs_queue_type      nrs_queue_type;
+       /**
+        * # queued requests from all policies in this NRS head
+        */
+       unsigned long                   nrs_req_queued;
+       /**
+        * # scheduled requests from all policies in this NRS head
+        */
+       unsigned long                   nrs_req_started;
+       /**
+        * # policies on this NRS
+        * TODO: Can we avoid having this?
+        */
+       unsigned                        nrs_num_pols;
+       /**
+        * This NRS head is in progress of starting a policy
+        */
+       unsigned                        nrs_policy_starting:1;
+       /**
+        * In progress of shutting down the whole NRS head; used during
+        * unregistration
+        */
+       unsigned                        nrs_stopping:1;
+};
+
+#define NRS_POL_NAME_MAX               16
+
+/**
+ * NRS policy registering descriptor
+ *
+ * Is used to hold a description of a policy that can be passed to NRS core in
+ * order to register the policy with NRS heads in different PTLRPC services.
+ */
+struct ptlrpc_nrs_pol_desc {
+       /**
+        * Human-readable policy name
+        */
+       char                            pd_name[NRS_POL_NAME_MAX];
+       /**
+        * NRS operations for this policy
+        */
+       struct ptlrpc_nrs_pol_ops      *pd_ops;
+       /**
+        * Service Compatibility function; this determines whether a policy is
+        * adequate for handling RPCs of a particular PTLRPC service.
+        *
+        * XXX:This should give the same result during policy
+        * registration and unregistration, and for all partitions of a
+        * service; so the result should not depend on temporal service
+        * or other properties, that may influence the result.
+        */
+       bool    (*pd_compat) (struct ptlrpc_service *svc,
+                             const struct ptlrpc_nrs_pol_desc *desc);
+       /**
+        * Optionally set for policies that support a single ptlrpc service,
+        * i.e. ones that have \a pd_compat set to nrs_policy_compat_one()
+        */
+       char                           *pd_compat_svc_name;
+       /**
+        * Bitmask of nrs_policy_flags
+        */
+       unsigned                        pd_flags;
+       /**
+        * Link into nrs_core::nrs_policies
+        */
+       cfs_list_t                      pd_list;
+};
+
+/**
+ * NRS policy state
+ *
+ * Policies transition from one state to the other during their lifetime
+ */
+enum ptlrpc_nrs_pol_state {
+       /**
+        * Not a valid policy state.
+        */
+       NRS_POL_STATE_INVALID,
+       /**
+        * For now, this state is used exclusively for policies that register
+        * externally to NRS core, i.e. ones that do so via
+        * ptlrpc_nrs_policy_register() and are not part of nrs_pols_builtin;
+        * it is used to prevent a race condition between the policy registering
+        * with more than one service partition while service is operational,
+        * and the user starting the policy via lprocfs.
+        *
+        * \see nrs_pol_make_avail()
+        */
+       NRS_POL_STATE_UNAVAIL,
+       /**
+        * Policies are at this state either at the start of their life, or
+        * transition here when the user selects a different policy to act
+        * as the primary one.
+        */
+       NRS_POL_STATE_STOPPED,
+       /**
+        * Policy is progress of stopping
+        */
+       NRS_POL_STATE_STOPPING,
+       /**
+        * Policy is in progress of starting
+        */
+       NRS_POL_STATE_STARTING,
+       /**
+        * A policy is in this state in two cases:
+        * - it is the fallback policy, which is always in this state.
+        * - it has been activated by the user; i.e. it is the primary policy,
+        */
+       NRS_POL_STATE_STARTED,
+};
+
+/**
+ * NRS policy information
+ *
+ * Used for obtaining information for the status of a policy via lprocfs
+ */
+struct ptlrpc_nrs_pol_info {
+       /**
+        * Policy name
+        */
+       char                            pi_name[NRS_POL_NAME_MAX];
+       /**
+        * Current policy state
+        */
+       enum ptlrpc_nrs_pol_state       pi_state;
+       /**
+        * # RPCs enqueued for later dispatching by the policy
+        */
+       long                            pi_req_queued;
+       /**
+        * # RPCs started for dispatch by the policy
+        */
+       long                            pi_req_started;
+       /**
+        * Is this a fallback policy?
+        */
+       unsigned                        pi_fallback:1;
+};
+
+/**
+ * NRS policy
+ *
+ * There is one instance of this for each policy in each NRS head of each
+ * PTLRPC service partition.
+ */
+struct ptlrpc_nrs_policy {
+       /**
+        * Linkage into the NRS head's list of policies,
+        * ptlrpc_nrs:nrs_policy_list
+        */
+       cfs_list_t                      pol_list;
+       /**
+        * Linkage into the NRS head's list of policies with enqueued
+        * requests ptlrpc_nrs:nrs_policy_queued
+        */
+       cfs_list_t                      pol_list_queued;
+       /**
+        * Current state of this policy
+        */
+       enum ptlrpc_nrs_pol_state       pol_state;
+       /**
+        * Bitmask of nrs_policy_flags
+        */
+       unsigned                        pol_flags;
+       /**
+        * # RPCs enqueued for later dispatching by the policy
+        */
+       long                            pol_req_queued;
+       /**
+        * # RPCs started for dispatch by the policy
+        */
+       long                            pol_req_started;
+       /**
+        * Usage Reference count taken on the policy instance
+        */
+       long                            pol_ref;
+       /**
+        * The NRS head this policy has been created at
+        */
+       struct ptlrpc_nrs              *pol_nrs;
+       /**
+        * NRS operations for this policy; points to ptlrpc_nrs_pol_desc::pd_ops
+        */
+       struct ptlrpc_nrs_pol_ops      *pol_ops;
+       /**
+        * Private policy data; varies by policy type
+        */
+       void                           *pol_private;
+       /**
+        * Human-readable policy name; point to ptlrpc_nrs_pol_desc::pd_name
+        */
+       char                           *pol_name;
+};
+
+/**
+ * NRS resource
+ *
+ * Resources are embedded into two types of NRS entities:
+ * - Inside NRS policies, in the policy's private data in
+ *   ptlrpc_nrs_policy::pol_private
+ * - In objects that act as prime-level scheduling entities in different NRS
+ *   policies; e.g. on a policy that performs round robin or similar order
+ *   scheduling across client NIDs, there would be one NRS resource per unique
+ *   client NID. On a policy which performs round robin scheduling across
+ *   backend filesystem objects, there would be one resource associated with
+ *   each of the backend filesystem objects partaking in the scheduling
+ *   performed by the policy.
+ *
+ * NRS resources share a parent-child relationship, in which resources embedded
+ * in policy instances are the parent entities, with all scheduling entities
+ * a policy schedules across being the children, thus forming a simple resource
+ * hierarchy. This hierarchy may be extended with one or more levels in the
+ * future if the ability to have more than one primary policy is added.
+ *
+ * Upon request initialization, references to the then active NRS policies are
+ * taken and used to later handle the dispatching of the request with one of
+ * these policies.
+ *
+ * \see nrs_resource_get_safe()
+ * \see ptlrpc_nrs_req_add()
+ */
+struct ptlrpc_nrs_resource {
+       /**
+        * This NRS resource's parent; is NULL for resources embedded in NRS
+        * policy instances; i.e. those are top-level ones.
+        */
+       struct ptlrpc_nrs_resource     *res_parent;
+       /**
+        * The policy associated with this resource.
+        */
+       struct ptlrpc_nrs_policy       *res_policy;
+};
+
+enum {
+       NRS_RES_FALLBACK,
+       NRS_RES_PRIMARY,
+       NRS_RES_MAX
+};
+
+/* \name fifo
+ *
+ * FIFO policy
+ *
+ * This policy is a logical wrapper around previous, non-NRS functionality.
+ * It dispatches RPCs in the same order as they arrive from the network. This
+ * policy is currently used as the fallback policy, and the only enabled policy
+ * on all NRS heads of all PTLRPC service partitions.
+ * @{
+ */
+
+/**
+ * Private data structure for the FIFO policy
+ */
+struct nrs_fifo_head {
+       /**
+        * Resource object for policy instance.
+        */
+       struct ptlrpc_nrs_resource      fh_res;
+       /**
+        * List of queued requests.
+        */
+       cfs_list_t                      fh_list;
+       /**
+        * For debugging purposes.
+        */
+       __u64                           fh_sequence;
+};
+
+struct nrs_fifo_req {
+       /** request header, must be the first member of structure */
+       cfs_list_t              fr_list;
+       __u64                   fr_sequence;
+};
+
+/** @} fifo */
+
+/**
+ * NRS request
+ *
+ * Instances of this object exist embedded within ptlrpc_request; the main
+ * purpose of this object is to hold references to the request's resources
+ * for the lifetime of the request, and to hold properties that policies use
+ * use for determining the request's scheduling priority.
+ * */
+struct ptlrpc_nrs_request {
+       /**
+        * The request's resource hierarchy.
+        */
+       struct ptlrpc_nrs_resource     *nr_res_ptrs[NRS_RES_MAX];
+       /**
+        * Index into ptlrpc_nrs_request::nr_res_ptrs of the resource of the
+        * policy that was used to enqueue the request.
+        *
+        * \see nrs_request_enqueue()
+        */
+       unsigned                        nr_res_idx;
+       unsigned                        nr_initialized:1;
+       unsigned                        nr_enqueued:1;
+       unsigned                        nr_dequeued:1;
+       unsigned                        nr_started:1;
+       unsigned                        nr_finalized:1;
+       cfs_binheap_node_t              nr_node;
+
+       /**
+        * Policy-specific fields, used for determining a request's scheduling
+        * priority, and other supporting functionality.
+        */
+       union {
+               /**
+                * Fields for the FIFO policy
+                */
+               struct nrs_fifo_req     fifo;
+       } nr_u;
+       /**
+        * Externally-registering policies may want to use this to allocate
+        * their own request properties.
+        */
+       void                           *ext;
+};
+
+/** @} nrs */
+
+/**
  * Basic request prioritization operations structure.
  * The whole idea is centered around locks and RPCs that might affect locks.
  * When a lock is contended we try to give priority to RPCs that might lead
@@ -686,6 +1339,12 @@ struct ptlrpc_request {
 
         /** history sequence # */
         __u64 rq_history_seq;
+       /** \addtogroup  nrs
+        * @{
+        */
+       /** stub for NRS request */
+       struct ptlrpc_nrs_request rq_nrq;
+       /** @} nrs */
         /** the index of service's srv_at_array into which request is linked */
         time_t rq_at_index;
         /** Lock to protect request flags and some other important bits, like
@@ -927,6 +1586,36 @@ static inline int ptlrpc_req_interpret(const struct lu_env *env,
         return rc;
 }
 
+/** \addtogroup  nrs
+ * @{
+ */
+int ptlrpc_nrs_policy_register(struct ptlrpc_nrs_pol_desc *desc);
+int ptlrpc_nrs_policy_unregister(struct ptlrpc_nrs_pol_desc *desc);
+void ptlrpc_nrs_req_hp_move(struct ptlrpc_request *req);
+void nrs_policy_get_info_locked(struct ptlrpc_nrs_policy *policy,
+                               struct ptlrpc_nrs_pol_info *info);
+
+/*
+ * Can the request be moved from the regular NRS head to the high-priority NRS
+ * head (of the same PTLRPC service partition), if any?
+ *
+ * For a reliable result, this should be checked under svcpt->scp_req lock.
+ */
+static inline bool
+ptlrpc_nrs_req_can_move(struct ptlrpc_request *req)
+{
+       struct ptlrpc_nrs_request *nrq = &req->rq_nrq;
+
+       /**
+        * LU-898: Check ptlrpc_nrs_request::nr_enqueued to make sure the
+        * request has been enqueued first, and ptlrpc_nrs_request::nr_started
+        * to make sure it has not been scheduled yet (analogous to previous
+        * (non-NRS) checking of !list_empty(&ptlrpc_request::rq_list).
+        */
+       return nrq->nr_enqueued && !nrq->nr_started && !req->rq_hp;
+}
+/** @} nrs */
+
 /**
  * Returns 1 if request buffer at offset \a index was already swabbed
  */
@@ -1463,11 +2152,7 @@ struct ptlrpc_service_part {
         * sent to this portal
         */
        spinlock_t                      scp_req_lock __cfs_cacheline_aligned;
-       /** # reqs in either of the queues below */
-       /** reqs waiting for service */
-       cfs_list_t                      scp_req_pending;
-       /** high priority queue */
-       cfs_list_t                      scp_hreq_pending;
+       /** # reqs in either of the NRS heads below */
        /** # reqs being served */
        int                             scp_nreqs_active;
        /** # HPreqs being served */
@@ -1475,6 +2160,12 @@ struct ptlrpc_service_part {
        /** # hp requests handled */
        int                             scp_hreq_count;
 
+       /** NRS head for regular requests */
+       struct ptlrpc_nrs               scp_nrs_reg;
+       /** NRS head for HP requests; this is only valid for services that can
+        *  handle HP requests */
+       struct ptlrpc_nrs              *scp_nrs_hp;
+
        /** AT stuff */
        /** @{ */
        /**
@@ -1614,6 +2305,49 @@ enum ptlrpcd_ctl_flags {
         LIOD_BIND        = 1 << 4,
 };
 
+/**
+ * \addtogroup nrs
+ * @{
+ *
+ * Service compatibility function; policy is compatible with all services.
+ *
+ * \param[in] svc  The service the policy is attempting to register with.
+ * \param[in] desc The policy descriptor
+ *
+ * \retval true The policy is compatible with the NRS head
+ *
+ * \see ptlrpc_nrs_pol_desc::pd_compat()
+ */
+static inline bool
+nrs_policy_compat_all(struct ptlrpc_service *svc,
+                     const struct ptlrpc_nrs_pol_desc *desc)
+{
+       return true;
+}
+
+/**
+ * Service compatibility function; policy is compatible with only a specific
+ * service which is identified by its human-readable name at
+ * ptlrpc_service::srv_name.
+ *
+ * \param[in] svc  The service the policy is attempting to register with.
+ * \param[in] desc The policy descriptor
+ *
+ * \retval false The policy is not compatible with the NRS head
+ * \retval true         The policy is compatible with the NRS head
+ *
+ * \see ptlrpc_nrs_pol_desc::pd_compat()
+ */
+static inline bool
+nrs_policy_compat_one(struct ptlrpc_service *svc,
+                     const struct ptlrpc_nrs_pol_desc *desc)
+{
+       LASSERT(desc->pd_compat_svc_name != NULL);
+       return strcmp(svc->srv_name, desc->pd_compat_svc_name) == 0;
+}
+
+/** @} nrs */
+
 /* ptlrpc/events.c */
 extern lnet_handle_eq_t ptlrpc_eq_h;
 extern int ptlrpc_uuid_to_peer(struct obd_uuid *uuid,
@@ -1894,7 +2628,6 @@ int ptlrpc_unregister_service(struct ptlrpc_service *service);
 int liblustre_check_services(void *arg);
 void ptlrpc_daemonize(char *name);
 int ptlrpc_service_health_check(struct ptlrpc_service *);
-void ptlrpc_hpreq_reorder(struct ptlrpc_request *req);
 void ptlrpc_server_drop_request(struct ptlrpc_request *req);
 
 #ifdef __KERNEL__