Whamcloud - gitweb
LU-11568 ldlm: Remove use of SLAB_DESTROY_BY_RCU for ldlm lock slab
[fs/lustre-release.git] / lustre / include / lustre_compat.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  */
32
33 #ifndef _LUSTRE_COMPAT_H
34 #define _LUSTRE_COMPAT_H
35
36 #include <linux/aio.h>
37 #include <linux/fs.h>
38 #include <linux/fs_struct.h>
39 #include <linux/namei.h>
40 #include <linux/pagemap.h>
41 #include <linux/bio.h>
42 #include <linux/xattr.h>
43 #include <linux/workqueue.h>
44 #include <linux/blkdev.h>
45
46 #include <libcfs/linux/linux-fs.h>
47 #include <lustre_patchless_compat.h>
48 #include <obd_support.h>
49
50 #ifdef HAVE_FS_STRUCT_RWLOCK
51 # define LOCK_FS_STRUCT(fs)     write_lock(&(fs)->lock)
52 # define UNLOCK_FS_STRUCT(fs)   write_unlock(&(fs)->lock)
53 #else
54 # define LOCK_FS_STRUCT(fs)     spin_lock(&(fs)->lock)
55 # define UNLOCK_FS_STRUCT(fs)   spin_unlock(&(fs)->lock)
56 #endif
57
58 #ifdef HAVE_FS_STRUCT_SEQCOUNT
59 # define WRITE_FS_SEQ_BEGIN(fs) write_seqcount_begin(&(fs)->seq)
60 # define WRITE_FS_SEQ_END(fs)   write_seqcount_end(&(fs)->seq)
61 #else
62 # define WRITE_FS_SEQ_BEGIN(fs)
63 # define WRITE_FS_SEQ_END(fs)
64 #endif
65 static inline void ll_set_fs_pwd(struct fs_struct *fs, struct vfsmount *mnt,
66                                  struct dentry *dentry)
67 {
68         struct path path;
69         struct path old_pwd;
70
71         path.mnt = mnt;
72         path.dentry = dentry;
73         path_get(&path);
74         LOCK_FS_STRUCT(fs);
75         WRITE_FS_SEQ_BEGIN(fs);
76         old_pwd = fs->pwd;
77         fs->pwd = path;
78         WRITE_FS_SEQ_END(fs);
79         UNLOCK_FS_STRUCT(fs);
80
81         if (old_pwd.dentry)
82                 path_put(&old_pwd);
83 }
84
85 #define current_ngroups current_cred()->group_info->ngroups
86 #define current_groups current_cred()->group_info->small_block
87
88 /*
89  * OBD need working random driver, thus all our
90  * initialization routines must be called after device
91  * driver initialization
92  */
93 #ifndef MODULE
94 #undef module_init
95 #define module_init(a)     late_initcall(a)
96 #endif
97
98 #ifndef MODULE_ALIAS_FS
99 #define MODULE_ALIAS_FS(name)
100 #endif
101
102 #ifdef HAVE_GENERIC_PERMISSION_2ARGS
103 # define ll_generic_permission(inode, mask, flags, check_acl) \
104          generic_permission(inode, mask)
105 #elif defined HAVE_GENERIC_PERMISSION_4ARGS
106 # define ll_generic_permission(inode, mask, flags, check_acl) \
107          generic_permission(inode, mask, flags, check_acl)
108 #else
109 # define ll_generic_permission(inode, mask, flags, check_acl) \
110          generic_permission(inode, mask, check_acl)
111 #endif
112
113 #ifdef HAVE_4ARGS_VFS_SYMLINK
114 #define ll_vfs_symlink(dir, dentry, mnt, path, mode) \
115                 vfs_symlink(dir, dentry, path, mode)
116 #else
117 #define ll_vfs_symlink(dir, dentry, mnt, path, mode) \
118                        vfs_symlink(dir, dentry, path)
119 #endif
120
121 #if !defined(HAVE_FILE_LLSEEK_SIZE) || defined(HAVE_FILE_LLSEEK_SIZE_5ARGS)
122 #define ll_generic_file_llseek_size(file, offset, origin, maxbytes, eof) \
123                 generic_file_llseek_size(file, offset, origin, maxbytes, eof);
124 #else
125 #define ll_generic_file_llseek_size(file, offset, origin, maxbytes, eof) \
126                 generic_file_llseek_size(file, offset, origin, maxbytes);
127 #endif
128
129 #ifdef HAVE_INODE_DIO_WAIT
130 /* inode_dio_wait(i) use as-is for write lock */
131 # define inode_dio_write_done(i)        do {} while (0) /* for write unlock */
132 #else
133 # define inode_dio_wait(i)              down_write(&(i)->i_alloc_sem)
134 # define inode_dio_write_done(i)        up_write(&(i)->i_alloc_sem)
135 #endif
136
137 #ifndef FS_HAS_FIEMAP
138 #define FS_HAS_FIEMAP                   (0)
139 #endif
140
141 #ifndef HAVE_SIMPLE_SETATTR
142 #define simple_setattr(dentry, ops) inode_setattr((dentry)->d_inode, ops)
143 #endif
144
145 #ifndef HAVE_INIT_LIST_HEAD_RCU
146 static inline void INIT_LIST_HEAD_RCU(struct list_head *list)
147 {
148         WRITE_ONCE(list->next, list);
149         WRITE_ONCE(list->prev, list);
150 }
151 #endif
152
153 #ifndef HAVE_DQUOT_SUSPEND
154 # define ll_vfs_dq_init             vfs_dq_init
155 # define ll_vfs_dq_drop             vfs_dq_drop
156 # define ll_vfs_dq_transfer         vfs_dq_transfer
157 # define ll_vfs_dq_off(sb, remount) vfs_dq_off(sb, remount)
158 #else
159 # define ll_vfs_dq_init             dquot_initialize
160 # define ll_vfs_dq_drop             dquot_drop
161 # define ll_vfs_dq_transfer         dquot_transfer
162 # define ll_vfs_dq_off(sb, remount) dquot_suspend(sb, -1)
163 #endif
164
165 #ifndef HAVE_BLKDEV_GET_BY_DEV
166 # define blkdev_get_by_dev(dev, mode, holder) open_by_devnum(dev, mode)
167 #endif
168
169 #ifdef HAVE_BVEC_ITER
170 #define bio_idx(bio)                    (bio->bi_iter.bi_idx)
171 #define bio_set_sector(bio, sector)     (bio->bi_iter.bi_sector = sector)
172 #define bvl_to_page(bvl)                (bvl->bv_page)
173 #else
174 #define bio_idx(bio)                    (bio->bi_idx)
175 #define bio_set_sector(bio, sector)     (bio->bi_sector = sector)
176 #define bio_sectors(bio)                ((bio)->bi_size >> 9)
177 #ifndef HAVE_BIO_END_SECTOR
178 #define bio_end_sector(bio)             (bio->bi_sector + bio_sectors(bio))
179 #endif
180 #define bvl_to_page(bvl)                (bvl->bv_page)
181 #endif
182
183 #ifdef HAVE_BVEC_ITER
184 #define bio_start_sector(bio) (bio->bi_iter.bi_sector)
185 #else
186 #define bio_start_sector(bio) (bio->bi_sector)
187 #endif
188
189 #ifndef HAVE_BLK_QUEUE_MAX_SEGMENTS
190 #define blk_queue_max_segments(rq, seg)                      \
191         do { blk_queue_max_phys_segments(rq, seg);           \
192              blk_queue_max_hw_segments(rq, seg); } while (0)
193 #else
194 #define queue_max_phys_segments(rq)       queue_max_segments(rq)
195 #define queue_max_hw_segments(rq)         queue_max_segments(rq)
196 #endif
197
198 #ifdef HAVE_BLK_PLUG
199 #define DECLARE_PLUG(plug)      struct blk_plug plug
200 #else /* !HAVE_BLK_PLUG */
201 #define DECLARE_PLUG(name)
202 #define blk_start_plug(plug)    do {} while (0)
203 #define blk_finish_plug(plug)   do {} while (0)
204 #endif
205
206 #ifdef HAVE_KMAP_ATOMIC_HAS_1ARG
207 #define ll_kmap_atomic(a, b)    kmap_atomic(a)
208 #define ll_kunmap_atomic(a, b)  kunmap_atomic(a)
209 #else
210 #define ll_kmap_atomic(a, b)    kmap_atomic(a, b)
211 #define ll_kunmap_atomic(a, b)  kunmap_atomic(a, b)
212 #endif
213
214 #ifndef HAVE_CLEAR_INODE
215 #define clear_inode(i)          end_writeback(i)
216 #endif
217
218 #ifndef HAVE_DENTRY_D_CHILD
219 #define d_child                 d_u.d_child
220 #endif
221
222 #ifdef HAVE_DENTRY_D_U_D_ALIAS
223 #define d_alias                 d_u.d_alias
224 #endif
225
226 #ifndef DATA_FOR_LLITE_IS_LIST
227 #define ll_d_hlist_node hlist_node
228 #define ll_d_hlist_empty(list) hlist_empty(list)
229 #define ll_d_hlist_entry(ptr, type, name) hlist_entry(ptr.first, type, name)
230 #define ll_d_hlist_for_each(tmp, i_dentry) hlist_for_each(tmp, i_dentry)
231 # ifdef HAVE_HLIST_FOR_EACH_3ARG
232 # define ll_d_hlist_for_each_entry(dentry, p, i_dentry) \
233         p = NULL; hlist_for_each_entry(dentry, i_dentry, d_alias)
234 # else
235 # define ll_d_hlist_for_each_entry(dentry, p, i_dentry) \
236         hlist_for_each_entry(dentry, p, i_dentry, d_alias)
237 # endif
238 #define DECLARE_LL_D_HLIST_NODE_PTR(name) struct ll_d_hlist_node *name
239 #else
240 #define ll_d_hlist_node list_head
241 #define ll_d_hlist_empty(list) list_empty(list)
242 #define ll_d_hlist_entry(ptr, type, name) list_entry(ptr.next, type, name)
243 #define ll_d_hlist_for_each(tmp, i_dentry) list_for_each(tmp, i_dentry)
244 #define ll_d_hlist_for_each_entry(dentry, p, i_dentry) \
245         list_for_each_entry(dentry, i_dentry, d_alias)
246 #define DECLARE_LL_D_HLIST_NODE_PTR(name) /* nothing */
247 #endif /* !DATA_FOR_LLITE_IS_LIST */
248
249 #ifndef QUOTA_OK
250 # define QUOTA_OK 0
251 #endif
252 #ifndef NO_QUOTA
253 # define NO_QUOTA (-EDQUOT)
254 #endif
255
256 #ifndef SEEK_DATA
257 #define SEEK_DATA      3       /* seek to the next data */
258 #endif
259 #ifndef SEEK_HOLE
260 #define SEEK_HOLE      4       /* seek to the next hole */
261 #endif
262
263 #ifndef FMODE_UNSIGNED_OFFSET
264 #define FMODE_UNSIGNED_OFFSET   ((__force fmode_t)0x2000)
265 #endif
266
267 #if !defined(_ASM_GENERIC_BITOPS_EXT2_NON_ATOMIC_H_) && !defined(ext2_set_bit)
268 # define ext2_set_bit             __test_and_set_bit_le
269 # define ext2_clear_bit           __test_and_clear_bit_le
270 # define ext2_test_bit            test_bit_le
271 # define ext2_find_first_zero_bit find_first_zero_bit_le
272 # define ext2_find_next_zero_bit  find_next_zero_bit_le
273 #endif
274
275 #ifdef ATTR_TIMES_SET
276 # define TIMES_SET_FLAGS (ATTR_MTIME_SET | ATTR_ATIME_SET | ATTR_TIMES_SET)
277 #else
278 # define TIMES_SET_FLAGS (ATTR_MTIME_SET | ATTR_ATIME_SET)
279 #endif
280
281 #ifndef XATTR_NAME_POSIX_ACL_ACCESS
282 # define XATTR_NAME_POSIX_ACL_ACCESS POSIX_ACL_XATTR_ACCESS
283 #endif
284
285 #ifndef XATTR_NAME_POSIX_ACL_DEFAULT
286 # define XATTR_NAME_POSIX_ACL_DEFAULT POSIX_ACL_XATTR_DEFAULT
287 #endif
288
289 #ifndef HAVE_LM_XXX_LOCK_MANAGER_OPS
290 # define lm_compare_owner       fl_compare_owner
291 #endif
292
293 /*
294  * After 3.1, kernel's nameidata.intent.open.flags is different
295  * with lustre's lookup_intent.it_flags, as lustre's it_flags'
296  * lower bits equal to FMODE_xxx while kernel doesn't transliterate
297  * lower bits of nameidata.intent.open.flags to FMODE_xxx.
298  * */
299 #include <linux/version.h>
300 static inline int ll_namei_to_lookup_intent_flag(int flag)
301 {
302 #if LINUX_VERSION_CODE >= KERNEL_VERSION(3, 1, 0)
303         flag = (flag & ~O_ACCMODE) | OPEN_FMODE(flag);
304 #endif
305         return flag;
306 }
307
308 #include <linux/fs.h>
309 #ifndef HAVE_PROTECT_I_NLINK
310 static inline void set_nlink(struct inode *inode, unsigned int nlink)
311 {
312         inode->i_nlink = nlink;
313 }
314 #endif
315
316 #ifdef HAVE_INODEOPS_USE_UMODE_T
317 # define ll_umode_t     umode_t
318 #else
319 # define ll_umode_t     int
320 #endif
321
322 #include <linux/dcache.h>
323 #ifndef HAVE_D_MAKE_ROOT
324 static inline struct dentry *d_make_root(struct inode *root)
325 {
326         struct dentry *res = d_alloc_root(root);
327
328         if (res == NULL && root)
329                 iput(root);
330
331         return res;
332 }
333 #endif
334
335 #ifdef HAVE_DIRTY_INODE_HAS_FLAG
336 # define ll_dirty_inode(inode, flag)    (inode)->i_sb->s_op->dirty_inode((inode), flag)
337 #else
338 # define ll_dirty_inode(inode, flag)    (inode)->i_sb->s_op->dirty_inode((inode))
339 #endif
340
341 #ifdef HAVE_FILE_F_INODE
342 # define set_file_inode(file, inode)    (file)->f_inode = inode
343 #else
344 # define set_file_inode(file, inode)
345 #endif
346
347 #ifndef HAVE_FILE_INODE
348 static inline struct inode *file_inode(const struct file *file)
349 {
350         return file->f_path.dentry->d_inode;
351 }
352 #endif
353
354 #ifdef HAVE_OLDSIZE_TRUNCATE_PAGECACHE
355 #define ll_truncate_pagecache(inode, size) truncate_pagecache(inode, 0, size)
356 #else
357 #define ll_truncate_pagecache(inode, size) truncate_pagecache(inode, size)
358 #endif
359
360 #ifdef HAVE_VFS_RENAME_5ARGS
361 #define ll_vfs_rename(a, b, c, d) vfs_rename(a, b, c, d, NULL)
362 #elif defined HAVE_VFS_RENAME_6ARGS
363 #define ll_vfs_rename(a, b, c, d) vfs_rename(a, b, c, d, NULL, 0)
364 #else
365 #define ll_vfs_rename(a, b, c, d) vfs_rename(a, b, c, d)
366 #endif
367
368 #ifdef HAVE_VFS_UNLINK_3ARGS
369 #define ll_vfs_unlink(a, b) vfs_unlink(a, b, NULL)
370 #else
371 #define ll_vfs_unlink(a, b) vfs_unlink(a, b)
372 #endif
373
374 #ifndef HAVE_INODE_LOCK
375 # define inode_lock(inode) mutex_lock(&(inode)->i_mutex)
376 # define inode_unlock(inode) mutex_unlock(&(inode)->i_mutex)
377 # define inode_trylock(inode) mutex_trylock(&(inode)->i_mutex)
378 #endif
379
380 #ifndef HAVE_RADIX_EXCEPTION_ENTRY
381 static inline int radix_tree_exceptional_entry(void *arg)
382 {
383         return 0;
384 }
385 #endif
386
387 #ifndef HAVE_TRUNCATE_INODE_PAGES_FINAL
388 static inline void truncate_inode_pages_final(struct address_space *map)
389 {
390         truncate_inode_pages(map, 0);
391 }
392 #endif
393
394 #ifndef HAVE_PTR_ERR_OR_ZERO
395 static inline int __must_check PTR_ERR_OR_ZERO(__force const void *ptr)
396 {
397         if (IS_ERR(ptr))
398                 return PTR_ERR(ptr);
399         else
400                 return 0;
401 }
402 #endif
403
404 #ifndef SIZE_MAX
405 #define SIZE_MAX        (~(size_t)0)
406 #endif
407
408 #ifdef HAVE_SECURITY_IINITSEC_CALLBACK
409 # define ll_security_inode_init_security(inode, dir, name, value, len, \
410                                          initxattrs, dentry)           \
411          security_inode_init_security(inode, dir, &((dentry)->d_name), \
412                                       initxattrs, dentry)
413 #elif defined HAVE_SECURITY_IINITSEC_QSTR
414 # define ll_security_inode_init_security(inode, dir, name, value, len, \
415                                          initxattrs, dentry)           \
416          security_inode_init_security(inode, dir, &((dentry)->d_name), \
417                                       name, value, len)
418 #else /* !HAVE_SECURITY_IINITSEC_CALLBACK && !HAVE_SECURITY_IINITSEC_QSTR */
419 # define ll_security_inode_init_security(inode, dir, name, value, len, \
420                                          initxattrs, dentry)           \
421          security_inode_init_security(inode, dir, name, value, len)
422 #endif
423
424 #ifndef bio_for_each_segment_all /* since kernel version 3.9 */
425 #ifdef HAVE_BVEC_ITER
426 #define bio_for_each_segment_all(bv, bio, it) \
427         for (it = 0, bv = (bio)->bi_io_vec; it < (bio)->bi_vcnt; it++, bv++)
428 #else
429 #define bio_for_each_segment_all(bv, bio, it) bio_for_each_segment(bv, bio, it)
430 #endif
431 #endif
432
433 #ifdef HAVE_PID_NS_FOR_CHILDREN
434 # define ll_task_pid_ns(task)   ((task)->nsproxy->pid_ns_for_children)
435 #else
436 # define ll_task_pid_ns(task)   ((task)->nsproxy->pid_ns)
437 #endif
438
439 #ifdef HAVE_FULL_NAME_HASH_3ARGS
440 # define ll_full_name_hash(salt, name, len) full_name_hash(salt, name, len)
441 #else
442 # define ll_full_name_hash(salt, name, len) full_name_hash(name, len)
443 #endif
444
445 #ifdef HAVE_STRUCT_POSIX_ACL_XATTR
446 # define posix_acl_xattr_header struct posix_acl_xattr_header
447 # define posix_acl_xattr_entry  struct posix_acl_xattr_entry
448 # define GET_POSIX_ACL_XATTR_ENTRY(head) ((void *)((head) + 1))
449 #else
450 # define GET_POSIX_ACL_XATTR_ENTRY(head) ((head)->a_entries)
451 #endif
452
453 #ifdef HAVE_IOP_XATTR
454 #ifdef HAVE_XATTR_HANDLER_FLAGS
455 #define ll_setxattr     generic_setxattr
456 #define ll_getxattr     generic_getxattr
457 #define ll_removexattr  generic_removexattr
458 #else
459 int ll_setxattr(struct dentry *dentry, const char *name,
460                 const void *value, size_t size, int flags);
461 ssize_t ll_getxattr(struct dentry *dentry, const char *name,
462                     void *buf, size_t buf_size);
463 int ll_removexattr(struct dentry *dentry, const char *name);
464 #endif /* ! HAVE_XATTR_HANDLER_FLAGS */
465 #endif /* HAVE_IOP_XATTR */
466
467 #ifndef HAVE_VFS_SETXATTR
468 const struct xattr_handler *get_xattr_type(const char *name);
469
470 static inline int
471 __vfs_setxattr(struct dentry *dentry, struct inode *inode, const char *name,
472                const void *value, size_t size, int flags)
473 {
474 # ifdef HAVE_XATTR_HANDLER_FLAGS
475         const struct xattr_handler *handler;
476         int rc;
477
478         handler = get_xattr_type(name);
479         if (!handler)
480                 return -EOPNOTSUPP;
481
482 #  if defined(HAVE_XATTR_HANDLER_INODE_PARAM)
483         rc = handler->set(handler, dentry, inode, name, value, size, flags);
484 #  elif defined(HAVE_XATTR_HANDLER_SIMPLIFIED)
485         rc = handler->set(handler, dentry, name, value, size, flags);
486 #  else
487         rc = handler->set(dentry, name, value, size, flags, handler->flags);
488 #  endif /* !HAVE_XATTR_HANDLER_INODE_PARAM */
489         return rc;
490 # else /* !HAVE_XATTR_HANDLER_FLAGS */
491         return ll_setxattr(dentry, name, value, size, flags);
492 # endif /* HAVE_XATTR_HANDLER_FLAGS */
493 }
494 #endif /* HAVE_VFS_SETXATTR */
495
496 #ifdef HAVE_IOP_SET_ACL
497 #ifdef CONFIG_FS_POSIX_ACL
498 #ifndef HAVE_POSIX_ACL_UPDATE_MODE
499 static inline int posix_acl_update_mode(struct inode *inode, umode_t *mode_p,
500                           struct posix_acl **acl)
501 {
502         umode_t mode = inode->i_mode;
503         int error;
504
505         error = posix_acl_equiv_mode(*acl, &mode);
506         if (error < 0)
507                 return error;
508         if (error == 0)
509                 *acl = NULL;
510         if (!in_group_p(inode->i_gid) &&
511             !capable_wrt_inode_uidgid(inode, CAP_FSETID))
512                 mode &= ~S_ISGID;
513         *mode_p = mode;
514         return 0;
515 }
516 #endif /* HAVE_POSIX_ACL_UPDATE_MODE */
517 #endif
518 #endif
519
520 #ifndef HAVE_IOV_ITER_TRUNCATE
521 static inline void iov_iter_truncate(struct iov_iter *i, u64 count)
522 {
523         if (i->count > count)
524                 i->count = count;
525 }
526 #endif
527
528 #ifndef HAVE_IS_SXID
529 static inline bool is_sxid(umode_t mode)
530 {
531         return (mode & S_ISUID) || ((mode & S_ISGID) && (mode & S_IXGRP));
532 }
533 #endif
534
535 #ifndef IS_NOSEC
536 #define IS_NOSEC(inode) (!is_sxid(inode->i_mode))
537 #endif
538
539 #ifndef MS_NOSEC
540 static inline void inode_has_no_xattr(struct inode *inode)
541 {
542         return;
543 }
544 #endif
545
546 #ifndef HAVE_FILE_OPERATIONS_READ_WRITE_ITER
547 static inline void iov_iter_reexpand(struct iov_iter *i, size_t count)
548 {
549         i->count = count;
550 }
551
552 static inline struct iovec iov_iter_iovec(const struct iov_iter *iter)
553 {
554         return (struct iovec) {
555                 .iov_base = iter->iov->iov_base + iter->iov_offset,
556                 .iov_len = min(iter->count,
557                                iter->iov->iov_len - iter->iov_offset),
558         };
559 }
560
561 #define iov_for_each(iov, iter, start)                                  \
562         for (iter = (start);                                            \
563              (iter).count && ((iov = iov_iter_iovec(&(iter))), 1);      \
564              iov_iter_advance(&(iter), (iov).iov_len))
565
566 static inline ssize_t
567 generic_file_read_iter(struct kiocb *iocb, struct iov_iter *iter)
568 {
569         struct iovec iov;
570         struct iov_iter i;
571         ssize_t bytes = 0;
572
573         iov_for_each(iov, i, *iter) {
574                 ssize_t res;
575
576                 res = generic_file_aio_read(iocb, &iov, 1, iocb->ki_pos);
577                 if (res <= 0) {
578                         if (bytes == 0)
579                                 bytes = res;
580                         break;
581                 }
582
583                 bytes += res;
584                 if (res < iov.iov_len)
585                         break;
586         }
587
588         if (bytes > 0)
589                 iov_iter_advance(iter, bytes);
590         return bytes;
591 }
592
593 static inline ssize_t
594 __generic_file_write_iter(struct kiocb *iocb, struct iov_iter *iter)
595 {
596         struct iovec iov;
597         struct iov_iter i;
598         ssize_t bytes = 0;
599
600         /* Since LLITE updates file size at the end of I/O in
601          * vvp_io_commit_write(), append write has to be done in atomic when
602          * there are multiple segments because otherwise each iteration to
603          * __generic_file_aio_write() will see original file size */
604         if (unlikely(iocb->ki_filp->f_flags & O_APPEND && iter->nr_segs > 1)) {
605                 struct iovec *iov_copy;
606                 int count = 0;
607
608                 OBD_ALLOC(iov_copy, sizeof(*iov_copy) * iter->nr_segs);
609                 if (!iov_copy)
610                         return -ENOMEM;
611
612                 iov_for_each(iov, i, *iter)
613                         iov_copy[count++] = iov;
614
615                 bytes = __generic_file_aio_write(iocb, iov_copy, count,
616                                                  &iocb->ki_pos);
617                 OBD_FREE(iov_copy, sizeof(*iov_copy) * iter->nr_segs);
618
619                 if (bytes > 0)
620                         iov_iter_advance(iter, bytes);
621                 return bytes;
622         }
623
624         iov_for_each(iov, i, *iter) {
625                 ssize_t res;
626
627                 res = __generic_file_aio_write(iocb, &iov, 1, &iocb->ki_pos);
628                 if (res <= 0) {
629                         if (bytes == 0)
630                                 bytes = res;
631                         break;
632                 }
633
634                 bytes += res;
635                 if (res < iov.iov_len)
636                         break;
637         }
638
639         if (bytes > 0)
640                 iov_iter_advance(iter, bytes);
641         return bytes;
642 }
643 #endif /* HAVE_FILE_OPERATIONS_READ_WRITE_ITER */
644
645 static inline void __user *get_vmf_address(struct vm_fault *vmf)
646 {
647 #ifdef HAVE_VM_FAULT_ADDRESS
648         return (void __user *)vmf->address;
649 #else
650         return vmf->virtual_address;
651 #endif
652 }
653
654 #ifdef HAVE_VM_OPS_USE_VM_FAULT_ONLY
655 # define ll_filemap_fault(vma, vmf) filemap_fault(vmf)
656 #else
657 # define ll_filemap_fault(vma, vmf) filemap_fault(vma, vmf)
658 #endif
659
660 #ifndef HAVE_CURRENT_TIME
661 static inline struct timespec current_time(struct inode *inode)
662 {
663         return CURRENT_TIME;
664 }
665 #endif
666
667 #ifndef time_after32
668 /**
669  * time_after32 - compare two 32-bit relative times
670  * @a: the time which may be after @b
671  * @b: the time which may be before @a
672  *
673  * time_after32(a, b) returns true if the time @a is after time @b.
674  * time_before32(b, a) returns true if the time @b is before time @a.
675  *
676  * Similar to time_after(), compare two 32-bit timestamps for relative
677  * times.  This is useful for comparing 32-bit seconds values that can't
678  * be converted to 64-bit values (e.g. due to disk format or wire protocol
679  * issues) when it is known that the times are less than 68 years apart.
680  */
681 #define time_after32(a, b)     ((s32)((u32)(b) - (u32)(a)) < 0)
682 #define time_before32(b, a)    time_after32(a, b)
683
684 #endif
685
686 #ifndef __GFP_COLD
687 #define __GFP_COLD 0
688 #endif
689
690 #ifndef alloc_workqueue
691 #define alloc_workqueue(name, flags, max_active) create_workqueue(name)
692 #endif
693
694 #ifndef READ_ONCE
695 #define READ_ONCE ACCESS_ONCE
696 #endif
697
698 #ifdef HAVE_BLK_INTEGRITY_ENABLED
699 static inline unsigned short blk_integrity_interval(struct blk_integrity *bi)
700 {
701 #ifdef HAVE_INTERVAL_EXP_BLK_INTEGRITY
702         return bi->interval_exp ? 1 << bi->interval_exp : 0;
703 #elif defined(HAVE_INTERVAL_BLK_INTEGRITY)
704         return bi->interval;
705 #else
706         return bi->sector_size;
707 #endif
708 }
709
710 static inline const char *blk_integrity_name(struct blk_integrity *bi)
711 {
712 #ifdef HAVE_INTERVAL_EXP_BLK_INTEGRITY
713         return bi->profile->name;
714 #else
715         return bi->name;
716 #endif
717 }
718 #else
719 static inline unsigned short blk_integrity_interval(struct blk_integrity *bi)
720 {
721         return 0;
722 }
723 static inline const char *blk_integrity_name(struct blk_integrity *bi)
724 {
725         /* gcc8 dislikes when strcmp() is called against NULL */
726         return "";
727 }
728 #endif
729
730 static inline unsigned int bip_size(struct bio_integrity_payload *bip)
731 {
732 #ifdef HAVE_BIP_ITER_BIO_INTEGRITY_PAYLOAD
733         return bip->bip_iter.bi_size;
734 #else
735         return bip->bip_size;
736 #endif
737 }
738
739 #ifdef HAVE_BLK_INTEGRITY_ENABLED
740 #ifndef INTEGRITY_FLAG_READ
741 #define INTEGRITY_FLAG_READ BLK_INTEGRITY_VERIFY
742 #endif
743
744 #ifndef INTEGRITY_FLAG_WRITE
745 #define INTEGRITY_FLAG_WRITE BLK_INTEGRITY_GENERATE
746 #endif
747
748 static inline bool bdev_integrity_enabled(struct block_device *bdev, int rw)
749 {
750         struct blk_integrity *bi = bdev_get_integrity(bdev);
751
752         if (bi == NULL)
753                 return false;
754
755 #ifdef HAVE_INTERVAL_EXP_BLK_INTEGRITY
756         if (rw == 0 && bi->profile->verify_fn != NULL &&
757             (bi->flags & INTEGRITY_FLAG_READ))
758                 return true;
759
760         if (rw == 1 && bi->profile->generate_fn != NULL &&
761             (bi->flags & INTEGRITY_FLAG_WRITE))
762                 return true;
763 #else
764         if (rw == 0 && bi->verify_fn != NULL &&
765             (bi->flags & INTEGRITY_FLAG_READ))
766                 return true;
767
768         if (rw == 1 && bi->generate_fn != NULL &&
769             (bi->flags & INTEGRITY_FLAG_WRITE))
770                 return true;
771 #endif
772
773         return false;
774 }
775 #else
776 static inline bool bdev_integrity_enabled(struct block_device *bdev, int rw)
777 {
778         return false;
779 }
780 #endif /* HAVE_BLK_INTEGRITY_ENABLED */
781
782 #ifdef HAVE_PAGEVEC_INIT_ONE_PARAM
783 #define ll_pagevec_init(pvec, n) pagevec_init(pvec)
784 #else
785 #define ll_pagevec_init(pvec, n) pagevec_init(pvec, n)
786 #endif
787
788 #endif /* _LUSTRE_COMPAT_H */