Whamcloud - gitweb
LU-16997 kfilnd: Correct RX buffer size 89/51789/2
authorChris Horn <chris.horn@hpe.com>
Thu, 27 Jul 2023 15:47:22 +0000 (09:47 -0600)
committerOleg Drokin <green@whamcloud.com>
Tue, 22 Aug 2023 06:42:25 +0000 (06:42 +0000)
commitaa8df6a4a3f50dc86554764f6ccb72db027633f8
treea0a210909d56041f8ac773a6914d96302006c243
parent0ae7ced635a11be55b07cf126070618255e7722d
LU-16997 kfilnd: Correct RX buffer size

The immediate receive buffers are large buffers where incoming
messages are byte packed into the buffer until all buffer space is
exhausted. The size of the buffer is kkfilnd module parameter
credits * 4096. The number of buffers is controlled by kkfilnd module
parameter immediate_rx_buf_count.

With the current defaults this results in only 1MiB of buffers per RX
context (i.e. CPT) to sync these messages. While kfilnd tries to
replenish these buffers as fast as possible, it may not be fast enough
and replenishing can be delayed based on CPU availability. Change
default credits to 512 so that we have have 8x 2MiB buffers.

Test-Parameters: trivial
HPE-bug-id: LUS-10548
Signed-off-by: Chris Horn <chris.horn@hpe.com>
Change-Id: I83f813ba2e295e6087131dcdfb12fc0feebb4834
Reviewed-on: https://review.whamcloud.com/c/fs/lustre-release/+/51789
Tested-by: jenkins <devops@whamcloud.com>
Tested-by: Maloo <maloo@whamcloud.com>
Reviewed-by: Ron Gredvig <ron.gredvig@hpe.com>
Reviewed-by: Ian Ziemba <ian.ziemba@hpe.com>
Reviewed-by: Oleg Drokin <green@whamcloud.com>
lnet/klnds/kfilnd/kfilnd_modparams.c