Whamcloud - gitweb
3e04aab88f7e6cb3a60a22f18c9abfd1fe304cc4
[fs/lustre-release.git] / lustre / tests / sanity-sec.sh
1 #!/bin/bash
2 #
3 # Run select tests by setting ONLY, or as arguments to the script.
4 # Skip specific tests by setting EXCEPT.
5 #
6
7 set -e
8
9 ONLY=${ONLY:-"$*"}
10 # bug number for skipped test:
11 ALWAYS_EXCEPT="              $SANITY_SEC_EXCEPT"
12 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
13
14 SRCDIR=$(dirname $0)
15 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
16 export NAME=${NAME:-local}
17
18 LUSTRE=${LUSTRE:-$(dirname $0)/..}
19 . $LUSTRE/tests/test-framework.sh
20 init_test_env $@
21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
22 init_logging
23
24 NODEMAP_TESTS=$(seq 7 26)
25
26 if ! check_versions; then
27         echo "It is NOT necessary to test nodemap under interoperation mode"
28         EXCEPT="$EXCEPT $NODEMAP_TESTS"
29 fi
30
31 [ "$SLOW" = "no" ] && EXCEPT_SLOW="26"
32
33 [ "$ALWAYS_EXCEPT$EXCEPT$EXCEPT_SLOW" ] &&
34         echo "Skipping tests: $ALWAYS_EXCEPT $EXCEPT $EXCEPT_SLOW"
35
36 RUNAS_CMD=${RUNAS_CMD:-runas}
37
38 WTL=${WTL:-"$LUSTRE/tests/write_time_limit"}
39
40 CONFDIR=/etc/lustre
41 PERM_CONF=$CONFDIR/perm.conf
42 FAIL_ON_ERROR=false
43 HOSTNAME_CHECKSUM=$(hostname | sum | awk '{ print $1 }')
44 SUBNET_CHECKSUM=$(expr $HOSTNAME_CHECKSUM % 250 + 1)
45
46 require_dsh_mds || exit 0
47 require_dsh_ost || exit 0
48
49 clients=${CLIENTS//,/ }
50 num_clients=$(get_node_count ${clients})
51 clients_arr=($clients)
52
53 ID0=${ID0:-500}
54 ID1=${ID1:-501}
55 USER0=$(getent passwd | grep :$ID0:$ID0: | cut -d: -f1)
56 USER1=$(getent passwd | grep :$ID1:$ID1: | cut -d: -f1)
57
58 NODEMAP_COUNT=16
59 NODEMAP_RANGE_COUNT=3
60 NODEMAP_IPADDR_LIST="1 10 64 128 200 250"
61 NODEMAP_ID_COUNT=10
62 NODEMAP_MAX_ID=$((ID0 + NODEMAP_ID_COUNT))
63
64 [ -z "$USER0" ] &&
65         skip "need to add user0 ($ID0:$ID0)" && exit 0
66
67 [ -z "$USER1" ] &&
68         skip "need to add user1 ($ID1:$ID1)" && exit 0
69
70 IDBASE=${IDBASE:-60000}
71
72 # changes to mappings must be reflected in test 23
73 FOPS_IDMAPS=(
74         [0]="$((IDBASE+3)):$((IDBASE+0)) $((IDBASE+4)):$((IDBASE+2))"
75         [1]="$((IDBASE+5)):$((IDBASE+1)) $((IDBASE+6)):$((IDBASE+2))"
76         )
77
78 check_and_setup_lustre
79
80 assert_DIR
81
82 # for GSS_SUP
83 GSS_REF=$(lsmod | grep ^ptlrpc_gss | awk '{print $3}')
84 if [ ! -z "$GSS_REF" -a "$GSS_REF" != "0" ]; then
85         GSS_SUP=1
86         echo "with GSS support"
87 else
88         GSS_SUP=0
89         echo "without GSS support"
90 fi
91
92 MDT=$(do_facet $SINGLEMDS lctl get_param -N "mdt.\*MDT0000" |
93         cut -d. -f2 || true)
94 [ -z "$MDT" ] && error "fail to get MDT device" && exit 1
95 do_facet $SINGLEMDS "mkdir -p $CONFDIR"
96 IDENTITY_FLUSH=mdt.$MDT.identity_flush
97 IDENTITY_UPCALL=mdt.$MDT.identity_upcall
98
99 SAVE_PWD=$PWD
100
101 build_test_filter
102
103 sec_login() {
104         local user=$1
105         local group=$2
106
107         $GSS_KRB5 || return
108         if ! $RUNAS_CMD -u $user krb5_login.sh; then
109                 error "$user login kerberos failed."
110                 exit 1
111         fi
112
113         if ! $RUNAS_CMD -u $user -g $group ls $DIR > /dev/null 2>&1; then
114                 $RUNAS_CMD -u $user lfs flushctx -k
115                 $RUNAS_CMD -u $user krb5_login.sh
116                 if ! $RUNAS_CMD -u$user -g$group ls $DIR > /dev/null 2>&1; then
117                         error "init $user $group failed."
118                         exit 2
119                 fi
120         fi
121 }
122
123 declare -a identity_old
124
125 sec_setup() {
126         for num in $(seq $MDSCOUNT); do
127                 switch_identity $num true || identity_old[$num]=$?
128         done
129
130         if ! $RUNAS_CMD -u $ID0 ls $DIR > /dev/null 2>&1; then
131                 sec_login $USER0 $USER0
132         fi
133
134         if ! $RUNAS_CMD -u $ID1 ls $DIR > /dev/null 2>&1; then
135                 sec_login $USER1 $USER1
136         fi
137 }
138 sec_setup
139
140 # run as different user
141 test_0() {
142         umask 0022
143
144         chmod 0755 $DIR || error "chmod (1)"
145         rm -rf $DIR/$tdir || error "rm (1)"
146         mkdir -p $DIR/$tdir || error "mkdir (1)"
147         chown $USER0 $DIR/$tdir || error "chown (2)"
148         $RUNAS_CMD -u $ID0 ls $DIR || error "ls (1)"
149         rm -f $DIR/f0 || error "rm (2)"
150         $RUNAS_CMD -u $ID0 touch $DIR/f0 && error "touch (1)"
151         $RUNAS_CMD -u $ID0 touch $DIR/$tdir/f1 || error "touch (2)"
152         $RUNAS_CMD -u $ID1 touch $DIR/$tdir/f2 && error "touch (3)"
153         touch $DIR/$tdir/f3 || error "touch (4)"
154         chown root $DIR/$tdir || error "chown (3)"
155         chgrp $USER0 $DIR/$tdir || error "chgrp (1)"
156         chmod 0775 $DIR/$tdir || error "chmod (2)"
157         $RUNAS_CMD -u $ID0 touch $DIR/$tdir/f4 || error "touch (5)"
158         $RUNAS_CMD -u $ID1 touch $DIR/$tdir/f5 && error "touch (6)"
159         touch $DIR/$tdir/f6 || error "touch (7)"
160         rm -rf $DIR/$tdir || error "rm (3)"
161 }
162 run_test 0 "uid permission ============================="
163
164 # setuid/gid
165 test_1() {
166         [ $GSS_SUP = 0 ] && skip "without GSS support." && return
167
168         rm -rf $DIR/$tdir
169         mkdir -p $DIR/$tdir
170
171         chown $USER0 $DIR/$tdir || error "chown (1)"
172         $RUNAS_CMD -u $ID1 -v $ID0 touch $DIR/$tdir/f0 && error "touch (2)"
173         echo "enable uid $ID1 setuid"
174         do_facet $SINGLEMDS "echo '* $ID1 setuid' >> $PERM_CONF"
175         do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
176         $RUNAS_CMD -u $ID1 -v $ID0 touch $DIR/$tdir/f1 || error "touch (3)"
177
178         chown root $DIR/$tdir || error "chown (4)"
179         chgrp $USER0 $DIR/$tdir || error "chgrp (5)"
180         chmod 0770 $DIR/$tdir || error "chmod (6)"
181         $RUNAS_CMD -u $ID1 -g $ID1 touch $DIR/$tdir/f2 && error "touch (7)"
182         $RUNAS_CMD -u$ID1 -g$ID1 -j$ID0 touch $DIR/$tdir/f3 && error "touch (8)"
183         echo "enable uid $ID1 setuid,setgid"
184         do_facet $SINGLEMDS "echo '* $ID1 setuid,setgid' > $PERM_CONF"
185         do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
186         $RUNAS_CMD -u $ID1 -g $ID1 -j $ID0 touch $DIR/$tdir/f4 ||
187                 error "touch (9)"
188         $RUNAS_CMD -u $ID1 -v $ID0 -g $ID1 -j $ID0 touch $DIR/$tdir/f5 ||
189                 error "touch (10)"
190
191         rm -rf $DIR/$tdir
192
193         do_facet $SINGLEMDS "rm -f $PERM_CONF"
194         do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
195 }
196 run_test 1 "setuid/gid ============================="
197
198 # bug 3285 - supplementary group should always succeed.
199 # NB: the supplementary groups are set for local client only,
200 # as for remote client, the groups of the specified uid on MDT
201 # will be obtained by upcall /sbin/l_getidentity and used.
202 test_4() {
203         local server_version=$(lustre_version_code $SINGLEMDS)
204
205         [[ $server_version -ge $(version_code 2.6.93) ]] ||
206         [[ $server_version -ge $(version_code 2.5.35) &&
207            $server_version -lt $(version_code 2.5.50) ]] ||
208                 { skip "Need MDS version at least 2.6.93 or 2.5.35"; return; }
209
210         rm -rf $DIR/$tdir
211         mkdir -p $DIR/$tdir
212         chmod 0771 $DIR/$tdir
213         chgrp $ID0 $DIR/$tdir
214         $RUNAS_CMD -u $ID0 ls $DIR/$tdir || error "setgroups (1)"
215         do_facet $SINGLEMDS "echo '* $ID1 setgrp' > $PERM_CONF"
216         do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
217         $RUNAS_CMD -u $ID1 -G1,2,$ID0 ls $DIR/$tdir ||
218                 error "setgroups (2)"
219         $RUNAS_CMD -u $ID1 -G1,2 ls $DIR/$tdir && error "setgroups (3)"
220         rm -rf $DIR/$tdir
221
222         do_facet $SINGLEMDS "rm -f $PERM_CONF"
223         do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
224 }
225 run_test 4 "set supplementary group ==============="
226
227 create_nodemaps() {
228         local i
229         local out
230         local rc
231
232         squash_id default 99 0
233         squash_id default 99 1
234         for (( i = 0; i < NODEMAP_COUNT; i++ )); do
235                 local csum=${HOSTNAME_CHECKSUM}_${i}
236
237                 if ! do_facet mgs $LCTL nodemap_add $csum; then
238                         return 1
239                 fi
240
241                 out=$(do_facet mgs $LCTL get_param nodemap.$csum.id)
242                 ## This needs to return zero if the following statement is 1
243                 [[ $(echo $out | grep -c $csum) == 0 ]] && return 1
244         done
245         return 0
246 }
247
248 delete_nodemaps() {
249         local i
250         local out
251
252         for ((i = 0; i < NODEMAP_COUNT; i++)); do
253                 local csum=${HOSTNAME_CHECKSUM}_${i}
254
255                 if ! do_facet mgs $LCTL nodemap_del $csum; then
256                         error "nodemap_del $csum failed with $?"
257                         return 3
258                 fi
259
260                 out=$(do_facet mgs $LCTL get_param nodemap.$csum.id 2>/dev/null)
261                 [[ $(echo $out | grep -c $csum) != 0 ]] && return 1
262         done
263         return 0
264 }
265
266 add_range() {
267         local j
268         local cmd="$LCTL nodemap_add_range"
269         local range
270         local rc=0
271
272         for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
273                 range="$SUBNET_CHECKSUM.${2}.${j}.[1-253]@tcp"
274                 if ! do_facet mgs $cmd --name $1 --range $range; then
275                         rc=$((rc + 1))
276                 fi
277         done
278         return $rc
279 }
280
281 delete_range() {
282         local j
283         local cmd="$LCTL nodemap_del_range"
284         local range
285         local rc=0
286
287         for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
288                 range="$SUBNET_CHECKSUM.${2}.${j}.[1-253]@tcp"
289                 if ! do_facet mgs $cmd --name $1 --range $range; then
290                         rc=$((rc + 1))
291                 fi
292         done
293
294         return $rc
295 }
296
297 add_idmaps() {
298         local i
299         local cmd="$LCTL nodemap_add_idmap"
300         local rc=0
301
302         echo "Start to add idmaps ..."
303         for ((i = 0; i < NODEMAP_COUNT; i++)); do
304                 local j
305
306                 for ((j = $ID0; j < NODEMAP_MAX_ID; j++)); do
307                         local csum=${HOSTNAME_CHECKSUM}_${i}
308                         local client_id=$j
309                         local fs_id=$((j + 1))
310
311                         if ! do_facet mgs $cmd --name $csum --idtype uid \
312                              --idmap $client_id:$fs_id; then
313                                 rc=$((rc + 1))
314                         fi
315                         if ! do_facet mgs $cmd --name $csum --idtype gid \
316                              --idmap $client_id:$fs_id; then
317                                 rc=$((rc + 1))
318                         fi
319                 done
320         done
321
322         return $rc
323 }
324
325 update_idmaps() { #LU-10040
326         [ $(lustre_version_code mgs) -lt $(version_code 2.10.55) ] &&
327                 skip "Need MGS >= 2.10.55" &&
328                 return
329         local csum=${HOSTNAME_CHECKSUM}_0
330         local old_id_client=$ID0
331         local old_id_fs=$((ID0 + 1))
332         local new_id=$((ID0 + 100))
333         local tmp_id
334         local cmd
335         local run
336         local idtype
337         local rc=0
338
339         echo "Start to update idmaps ..."
340
341         #Inserting an existed idmap should return error
342         cmd="$LCTL nodemap_add_idmap --name $csum --idtype uid"
343         if do_facet mgs \
344                 $cmd --idmap $old_id_client:$old_id_fs 2>/dev/null; then
345                 error "insert idmap {$old_id_client:$old_id_fs} " \
346                         "should return error"
347                 rc=$((rc + 1))
348                 return rc
349         fi
350
351         #Update id_fs and check it
352         if ! do_facet mgs $cmd --idmap $old_id_client:$new_id; then
353                 error "$cmd --idmap $old_id_client:$new_id failed"
354                 rc=$((rc + 1))
355                 return $rc
356         fi
357         tmp_id=$(do_facet mgs $LCTL get_param -n nodemap.$csum.idmap |
358                 awk '{ print $7 }' | sed -n '2p')
359         [ $tmp_id != $new_id ] && { error "new id_fs $tmp_id != $new_id"; \
360                 rc=$((rc + 1)); return $rc; }
361
362         #Update id_client and check it
363         if ! do_facet mgs $cmd --idmap $new_id:$new_id; then
364                 error "$cmd --idmap $new_id:$new_id failed"
365                 rc=$((rc + 1))
366                 return $rc
367         fi
368         tmp_id=$(do_facet mgs $LCTL get_param -n nodemap.$csum.idmap |
369                 awk '{ print $5 }' | sed -n "$((NODEMAP_ID_COUNT + 1)) p")
370         tmp_id=$(echo ${tmp_id%,*}) #e.g. "501,"->"501"
371         [ $tmp_id != $new_id ] && { error "new id_client $tmp_id != $new_id"; \
372                 rc=$((rc + 1)); return $rc; }
373
374         #Delete above updated idmap
375         cmd="$LCTL nodemap_del_idmap --name $csum --idtype uid"
376         if ! do_facet mgs $cmd --idmap $new_id:$new_id; then
377                 error "$cmd --idmap $new_id:$new_id failed"
378                 rc=$((rc + 1))
379                 return $rc
380         fi
381
382         #restore the idmaps to make delete_idmaps work well
383         cmd="$LCTL nodemap_add_idmap --name $csum --idtype uid"
384         if ! do_facet mgs $cmd --idmap $old_id_client:$old_id_fs; then
385                 error "$cmd --idmap $old_id_client:$old_id_fs failed"
386                 rc=$((rc + 1))
387                 return $rc
388         fi
389
390         return $rc
391 }
392
393 delete_idmaps() {
394         local i
395         local cmd="$LCTL nodemap_del_idmap"
396         local rc=0
397
398         echo "Start to delete idmaps ..."
399         for ((i = 0; i < NODEMAP_COUNT; i++)); do
400                 local j
401
402                 for ((j = $ID0; j < NODEMAP_MAX_ID; j++)); do
403                         local csum=${HOSTNAME_CHECKSUM}_${i}
404                         local client_id=$j
405                         local fs_id=$((j + 1))
406
407                         if ! do_facet mgs $cmd --name $csum --idtype uid \
408                              --idmap $client_id:$fs_id; then
409                                 rc=$((rc + 1))
410                         fi
411                         if ! do_facet mgs $cmd --name $csum --idtype gid \
412                              --idmap $client_id:$fs_id; then
413                                 rc=$((rc + 1))
414                         fi
415                 done
416         done
417
418         return $rc
419 }
420
421 modify_flags() {
422         local i
423         local proc
424         local option
425         local cmd="$LCTL nodemap_modify"
426         local rc=0
427
428         proc[0]="admin_nodemap"
429         proc[1]="trusted_nodemap"
430         option[0]="admin"
431         option[1]="trusted"
432
433         for ((idx = 0; idx < 2; idx++)); do
434                 if ! do_facet mgs $cmd --name $1 --property ${option[$idx]} \
435                      --value 1; then
436                         rc=$((rc + 1))
437                 fi
438
439                 if ! do_facet mgs $cmd --name $1 --property ${option[$idx]} \
440                      --value 0; then
441                         rc=$((rc + 1))
442                 fi
443         done
444
445         return $rc
446 }
447
448 squash_id() {
449         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
450                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
451                 return
452         local cmd
453
454         cmd[0]="$LCTL nodemap_modify --property squash_uid"
455         cmd[1]="$LCTL nodemap_modify --property squash_gid"
456
457         if ! do_facet mgs ${cmd[$3]} --name $1 --value $2; then
458                 return 1
459         fi
460 }
461
462 # ensure that the squash defaults are the expected defaults
463 squash_id default 99 0
464 squash_id default 99 1
465
466 test_nid() {
467         local cmd
468
469         cmd="$LCTL nodemap_test_nid"
470
471         nid=$(do_facet mgs $cmd $1)
472
473         if [ $nid == $2 ]; then
474                 return 0
475         fi
476
477         return 1
478 }
479
480 test_idmap() {
481         local i
482         local cmd="$LCTL nodemap_test_id"
483         local rc=0
484
485         echo "Start to test idmaps ..."
486         ## nodemap deactivated
487         if ! do_facet mgs $LCTL nodemap_activate 0; then
488                 return 1
489         fi
490         for ((id = $ID0; id < NODEMAP_MAX_ID; id++)); do
491                 local j
492
493                 for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
494                         local nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
495                         local fs_id=$(do_facet mgs $cmd --nid $nid      \
496                                       --idtype uid --id $id)
497                         if [ $fs_id != $id ]; then
498                                 echo "expected $id, got $fs_id"
499                                 rc=$((rc + 1))
500                         fi
501                 done
502         done
503
504         ## nodemap activated
505         if ! do_facet mgs $LCTL nodemap_activate 1; then
506                 return 2
507         fi
508
509         for ((id = $ID0; id < NODEMAP_MAX_ID; id++)); do
510                 for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
511                         nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
512                         fs_id=$(do_facet mgs $cmd --nid $nid    \
513                                 --idtype uid --id $id)
514                         expected_id=$((id + 1))
515                         if [ $fs_id != $expected_id ]; then
516                                 echo "expected $expected_id, got $fs_id"
517                                 rc=$((rc + 1))
518                         fi
519                 done
520         done
521
522         ## trust client ids
523         for ((i = 0; i < NODEMAP_COUNT; i++)); do
524                 local csum=${HOSTNAME_CHECKSUM}_${i}
525
526                 if ! do_facet mgs $LCTL nodemap_modify --name $csum \
527                      --property trusted --value 1; then
528                         error "nodemap_modify $csum failed with $?"
529                         return 3
530                 fi
531         done
532
533         for ((id = $ID0; id < NODEMAP_MAX_ID; id++)); do
534                 for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
535                         nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
536                         fs_id=$(do_facet mgs $cmd --nid $nid    \
537                                 --idtype uid --id $id)
538                         if [ $fs_id != $id ]; then
539                                 echo "expected $id, got $fs_id"
540                                 rc=$((rc + 1))
541                         fi
542                 done
543         done
544
545         ## ensure allow_root_access is enabled
546         for ((i = 0; i < NODEMAP_COUNT; i++)); do
547                 local csum=${HOSTNAME_CHECKSUM}_${i}
548
549                 if ! do_facet mgs $LCTL nodemap_modify --name $csum     \
550                      --property admin --value 1; then
551                         error "nodemap_modify $csum failed with $?"
552                         return 3
553                 fi
554         done
555
556         ## check that root allowed
557         for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
558                 nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
559                 fs_id=$(do_facet mgs $cmd --nid $nid --idtype uid --id 0)
560                 if [ $fs_id != 0 ]; then
561                         echo "root allowed expected 0, got $fs_id"
562                         rc=$((rc + 1))
563                 fi
564         done
565
566         ## ensure allow_root_access is disabled
567         for ((i = 0; i < NODEMAP_COUNT; i++)); do
568                 local csum=${HOSTNAME_CHECKSUM}_${i}
569
570                 if ! do_facet mgs $LCTL nodemap_modify --name $csum     \
571                                 --property admin --value 0; then
572                         error "nodemap_modify ${HOSTNAME_CHECKSUM}_${i} "
573                                 "failed with $rc"
574                         return 3
575                 fi
576         done
577
578         ## check that root is mapped to 99
579         for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
580                 nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
581                 fs_id=$(do_facet mgs $cmd --nid $nid --idtype uid --id 0)
582                 if [ $fs_id != 99 ]; then
583                         error "root squash expected 99, got $fs_id"
584                         rc=$((rc + 1))
585                 fi
586         done
587
588         ## reset client trust to 0
589         for ((i = 0; i < NODEMAP_COUNT; i++)); do
590                 if ! do_facet mgs $LCTL nodemap_modify          \
591                         --name ${HOSTNAME_CHECKSUM}_${i}        \
592                         --property trusted --value 0; then
593                         error "nodemap_modify ${HOSTNAME_CHECKSUM}_${i} "
594                                 "failed with $rc"
595                         return 3
596                 fi
597         done
598
599         return $rc
600 }
601
602 test_7() {
603         local rc
604
605         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
606         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
607                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
608                 return
609
610         create_nodemaps
611         rc=$?
612         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
613
614         delete_nodemaps
615         rc=$?
616         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 2
617
618         return 0
619 }
620 run_test 7 "nodemap create and delete"
621
622 test_8() {
623         local rc
624
625         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
626         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
627                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
628                 return
629
630         # Set up nodemaps
631
632         create_nodemaps
633         rc=$?
634         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
635
636         # Try duplicates
637
638         create_nodemaps
639         rc=$?
640         [[ $rc == 0 ]] && error "duplicate nodemap_add allowed with $rc" &&
641         return 2
642
643         # Clean up
644         delete_nodemaps
645         rc=$?
646         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 3
647
648         return 0
649 }
650 run_test 8 "nodemap reject duplicates"
651
652 test_9() {
653         local i
654         local rc
655
656         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
657         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
658                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
659                 return
660
661         rc=0
662         create_nodemaps
663         rc=$?
664         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
665
666         rc=0
667         for ((i = 0; i < NODEMAP_COUNT; i++)); do
668                 if ! add_range ${HOSTNAME_CHECKSUM}_${i} $i; then
669                         rc=$((rc + 1))
670                 fi
671         done
672         [[ $rc != 0 ]] && error "nodemap_add_range failed with $rc" && return 2
673
674         rc=0
675         for ((i = 0; i < NODEMAP_COUNT; i++)); do
676                 if ! delete_range ${HOSTNAME_CHECKSUM}_${i} $i; then
677                         rc=$((rc + 1))
678                 fi
679         done
680         [[ $rc != 0 ]] && error "nodemap_del_range failed with $rc" && return 4
681
682         rc=0
683         delete_nodemaps
684         rc=$?
685         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 4
686
687         return 0
688 }
689 run_test 9 "nodemap range add"
690
691 test_10a() {
692         local rc
693
694         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
695         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
696                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
697                 return
698
699         rc=0
700         create_nodemaps
701         rc=$?
702         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
703
704         rc=0
705         for ((i = 0; i < NODEMAP_COUNT; i++)); do
706                 if ! add_range ${HOSTNAME_CHECKSUM}_${i} $i; then
707                         rc=$((rc + 1))
708                 fi
709         done
710         [[ $rc != 0 ]] && error "nodemap_add_range failed with $rc" && return 2
711
712         rc=0
713         for ((i = 0; i < NODEMAP_COUNT; i++)); do
714                 if ! add_range ${HOSTNAME_CHECKSUM}_${i} $i; then
715                         rc=$((rc + 1))
716                 fi
717         done
718         [[ $rc == 0 ]] && error "nodemap_add_range duplicate add with $rc" &&
719                 return 2
720
721
722         rc=0
723         for ((i = 0; i < NODEMAP_COUNT; i++)); do
724                 if ! delete_range ${HOSTNAME_CHECKSUM}_${i} $i; then
725                         rc=$((rc + 1))
726                 fi
727         done
728         [[ $rc != 0 ]] && error "nodemap_del_range failed with $rc" && return 4
729
730         delete_nodemaps
731         rc=$?
732         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 5
733
734         return 0
735 }
736 run_test 10a "nodemap reject duplicate ranges"
737
738 test_10b() {
739         [ $(lustre_version_code mgs) -lt $(version_code 2.10.53) ] &&
740                 skip "Need MGS >= 2.10.53" && return
741
742         local nm1="nodemap1"
743         local nm2="nodemap2"
744         local nids="192.168.19.[0-255]@o2ib20"
745
746         do_facet mgs $LCTL nodemap_del $nm1 2>/dev/null
747         do_facet mgs $LCTL nodemap_del $nm2 2>/dev/null
748
749         do_facet mgs $LCTL nodemap_add $nm1 || error "Add $nm1 failed"
750         do_facet mgs $LCTL nodemap_add $nm2 || error "Add $nm2 failed"
751         do_facet mgs $LCTL nodemap_add_range --name $nm1 --range $nids ||
752                 error "Add range $nids to $nm1 failed"
753         [ -n "$(do_facet mgs $LCTL get_param nodemap.$nm1.* |
754                 grep start_nid)" ] || error "No range was found"
755         do_facet mgs $LCTL nodemap_del_range --name $nm2 --range $nids &&
756                 error "Deleting range $nids from $nm2 should fail"
757         [ -n "$(do_facet mgs $LCTL get_param nodemap.$nm1.* |
758                 grep start_nid)" ] || error "Range $nids should be there"
759
760         do_facet mgs $LCTL nodemap_del $nm1 || error "Delete $nm1 failed"
761         do_facet mgs $LCTL nodemap_del $nm2 || error "Delete $nm2 failed"
762         return 0
763 }
764 run_test 10b "delete range from the correct nodemap"
765
766 test_10c() { #LU-8912
767         [ $(lustre_version_code mgs) -lt $(version_code 2.10.57) ] &&
768                 skip "Need MGS >= 2.10.57" && return
769
770         local nm="nodemap_lu8912"
771         local nid_range="10.210.[32-47].[0-255]@o2ib3"
772         local start_nid="10.210.32.0@o2ib3"
773         local end_nid="10.210.47.255@o2ib3"
774         local start_nid_found
775         local end_nid_found
776
777         do_facet mgs $LCTL nodemap_del $nm 2>/dev/null
778         do_facet mgs $LCTL nodemap_add $nm || error "Add $nm failed"
779         do_facet mgs $LCTL nodemap_add_range --name $nm --range $nid_range ||
780                 error "Add range $nid_range to $nm failed"
781
782         start_nid_found=$(do_facet mgs $LCTL get_param nodemap.$nm.* |
783                 awk -F '[,: ]' /start_nid/'{ print $9 }')
784         [ "$start_nid" == "$start_nid_found" ] ||
785                 error "start_nid: $start_nid_found != $start_nid"
786         end_nid_found=$(do_facet mgs $LCTL get_param nodemap.$nm.* |
787                 awk -F '[,: ]' /end_nid/'{ print $13 }')
788         [ "$end_nid" == "$end_nid_found" ] ||
789                 error "end_nid: $end_nid_found != $end_nid"
790
791         do_facet mgs $LCTL nodemap_del $nm || error "Delete $nm failed"
792         return 0
793 }
794 run_test 10c "verfify contiguous range support"
795
796 test_10d() { #LU-8913
797         [ $(lustre_version_code mgs) -lt $(version_code 2.10.59) ] &&
798                 skip "Need MGS >= 2.10.59" && return
799
800         local nm="nodemap_lu8913"
801         local nid_range="*@o2ib3"
802         local start_nid="0.0.0.0@o2ib3"
803         local end_nid="255.255.255.255@o2ib3"
804         local start_nid_found
805         local end_nid_found
806
807         do_facet mgs $LCTL nodemap_del $nm 2>/dev/null
808         do_facet mgs $LCTL nodemap_add $nm || error "Add $nm failed"
809         do_facet mgs $LCTL nodemap_add_range --name $nm --range $nid_range ||
810                 error "Add range $nid_range to $nm failed"
811
812         start_nid_found=$(do_facet mgs $LCTL get_param nodemap.$nm.* |
813                 awk -F '[,: ]' /start_nid/'{ print $9 }')
814         [ "$start_nid" == "$start_nid_found" ] ||
815                 error "start_nid: $start_nid_found != $start_nid"
816         end_nid_found=$(do_facet mgs $LCTL get_param nodemap.$nm.* |
817                 awk -F '[,: ]' /end_nid/'{ print $13 }')
818         [ "$end_nid" == "$end_nid_found" ] ||
819                 error "end_nid: $end_nid_found != $end_nid"
820
821         do_facet mgs $LCTL nodemap_del $nm || error "Delete $nm failed"
822         return 0
823 }
824 run_test 10d "verfify nodemap range format '*@<net>' support"
825
826 test_11() {
827         local rc
828
829         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
830         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
831                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
832                 return
833
834         rc=0
835         create_nodemaps
836         rc=$?
837         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
838
839         rc=0
840         for ((i = 0; i < NODEMAP_COUNT; i++)); do
841                 if ! modify_flags ${HOSTNAME_CHECKSUM}_${i}; then
842                         rc=$((rc + 1))
843                 fi
844         done
845         [[ $rc != 0 ]] && error "nodemap_modify with $rc" && return 2
846
847         rc=0
848         delete_nodemaps
849         rc=$?
850         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 3
851
852         return 0
853 }
854 run_test 11 "nodemap modify"
855
856 test_12() {
857         local rc
858
859         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
860         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
861                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
862                 return
863
864         rc=0
865         create_nodemaps
866         rc=$?
867         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
868
869         rc=0
870         for ((i = 0; i < NODEMAP_COUNT; i++)); do
871                 if ! squash_id ${HOSTNAME_CHECKSUM}_${i} 88 0; then
872                         rc=$((rc + 1))
873                 fi
874         done
875         [[ $rc != 0 ]] && error "nodemap squash_uid with $rc" && return 2
876
877         rc=0
878         for ((i = 0; i < NODEMAP_COUNT; i++)); do
879                 if ! squash_id ${HOSTNAME_CHECKSUM}_${i} 88 1; then
880                         rc=$((rc + 1))
881                 fi
882         done
883         [[ $rc != 0 ]] && error "nodemap squash_gid with $rc" && return 3
884
885         rc=0
886         delete_nodemaps
887         rc=$?
888         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 4
889
890         return 0
891 }
892 run_test 12 "nodemap set squash ids"
893
894 test_13() {
895         local rc
896
897         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
898         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
899                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
900                 return
901
902         rc=0
903         create_nodemaps
904         rc=$?
905         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
906
907         rc=0
908         for ((i = 0; i < NODEMAP_COUNT; i++)); do
909                 if ! add_range ${HOSTNAME_CHECKSUM}_${i} $i; then
910                         rc=$((rc + 1))
911                 fi
912         done
913         [[ $rc != 0 ]] && error "nodemap_add_range failed with $rc" && return 2
914
915         rc=0
916         for ((i = 0; i < NODEMAP_COUNT; i++)); do
917                 for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
918                         for k in $NODEMAP_IPADDR_LIST; do
919                                 if ! test_nid $SUBNET_CHECKSUM.$i.$j.$k \
920                                        ${HOSTNAME_CHECKSUM}_${i}; then
921                                         rc=$((rc + 1))
922                                 fi
923                         done
924                 done
925         done
926         [[ $rc != 0 ]] && error "nodemap_test_nid failed with $rc" && return 3
927
928         rc=0
929         delete_nodemaps
930         rc=$?
931         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 4
932
933         return 0
934 }
935 run_test 13 "test nids"
936
937 test_14() {
938         local rc
939
940         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
941         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
942                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
943                 return
944
945         rc=0
946         create_nodemaps
947         rc=$?
948         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
949
950         rc=0
951         for ((i = 0; i < NODEMAP_COUNT; i++)); do
952                 for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
953                         for k in $NODEMAP_IPADDR_LIST; do
954                                 if ! test_nid $SUBNET_CHECKSUM.$i.$j.$k \
955                                         default; then
956                                         rc=$((rc + 1))
957                                 fi
958                         done
959                 done
960         done
961         [[ $rc != 0 ]] && error "nodemap_test_nid failed with $rc" && return 3
962
963         rc=0
964         delete_nodemaps
965         rc=$?
966         [[ $rc != 0 ]] && error "nodemap_del failed with $rc" && return 4
967
968         return 0
969 }
970 run_test 14 "test default nodemap nid lookup"
971
972 test_15() {
973         local rc
974
975         remote_mgs_nodsh && skip "remote MGS with nodsh" && return
976         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
977                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
978                 return
979
980         rc=0
981         create_nodemaps
982         rc=$?
983         [[ $rc != 0 ]] && error "nodemap_add failed with $rc" && return 1
984
985         rc=0
986         for ((i = 0; i < NODEMAP_COUNT; i++)); do
987                 if ! add_range ${HOSTNAME_CHECKSUM}_${i} $i; then
988                         rc=$((rc + 1))
989                 fi
990         done
991         [[ $rc != 0 ]] && error "nodemap_add_range failed with $rc" && return 2
992
993         rc=0
994         add_idmaps
995         rc=$?
996         [[ $rc != 0 ]] && error "nodemap_add_idmap failed with $rc" && return 3
997
998         rc=0
999         test_idmap
1000         rc=$?
1001         [[ $rc != 0 ]] && error "nodemap_test_id failed with $rc" && return 4
1002
1003         rc=0
1004         update_idmaps
1005         rc=$?
1006         [[ $rc != 0 ]] && error "update_idmaps failed with $rc" && return 5
1007
1008         rc=0
1009         delete_idmaps
1010         rc=$?
1011         [[ $rc != 0 ]] && error "nodemap_del_idmap failed with $rc" && return 6
1012
1013         rc=0
1014         delete_nodemaps
1015         rc=$?
1016         [[ $rc != 0 ]] && error "nodemap_delete failed with $rc" && return 7
1017
1018         return 0
1019 }
1020 run_test 15 "test id mapping"
1021
1022 wait_nm_sync() {
1023         local nodemap_name=$1
1024         local key=$2
1025         local value=$3
1026         local opt=$4
1027         local proc_param
1028         local is_active=$(do_facet mgs $LCTL get_param -n nodemap.active)
1029         local max_retries=20
1030         local is_sync
1031         local out1=""
1032         local out2
1033         local mgs_ip=$(host_nids_address $mgs_HOST $NETTYPE | cut -d' ' -f1)
1034         local i
1035
1036         if [ "$nodemap_name" == "active" ]; then
1037                 proc_param="active"
1038         elif [ -z "$key" ]; then
1039                 proc_param=${nodemap_name}
1040         else
1041                 proc_param="${nodemap_name}.${key}"
1042         fi
1043         (( is_active == 0 )) && [ "$proc_param" != "active" ] && return
1044
1045         if [ -z "$value" ]; then
1046                 out1=$(do_facet mgs $LCTL get_param $opt nodemap.${proc_param})
1047                 echo "On MGS ${mgs_ip}, ${proc_param} = $out1"
1048         else
1049                 out1=$value;
1050         fi
1051
1052         # wait up to 10 seconds for other servers to sync with mgs
1053         for i in $(seq 1 10); do
1054                 for node in $(all_server_nodes); do
1055                     local node_ip=$(host_nids_address $node $NETTYPE |
1056                                     cut -d' ' -f1)
1057
1058                     is_sync=true
1059                     if [ -z "$value" ]; then
1060                         [ $node_ip == $mgs_ip ] && continue
1061                     fi
1062
1063                     out2=$(do_node $node_ip $LCTL get_param $opt \
1064                                    nodemap.$proc_param 2>/dev/null)
1065                     echo "On $node ${node_ip}, ${proc_param} = $out2"
1066                     [ "$out1" != "$out2" ] && is_sync=false && break
1067                 done
1068                 $is_sync && break
1069                 sleep 1
1070         done
1071         if ! $is_sync; then
1072                 echo MGS
1073                 echo $out1
1074                 echo OTHER - IP: $node_ip
1075                 echo $out2
1076                 error "mgs and $nodemap_name ${key} mismatch, $i attempts"
1077         fi
1078         echo "waited $((i - 1)) seconds for sync"
1079 }
1080
1081 create_fops_nodemaps() {
1082         local i=0
1083         local client
1084         for client in $clients; do
1085                 local client_ip=$(host_nids_address $client $NETTYPE)
1086                 local client_nid=$(h2nettype $client_ip)
1087                 do_facet mgs $LCTL nodemap_add c${i} || return 1
1088                 do_facet mgs $LCTL nodemap_add_range    \
1089                         --name c${i} --range $client_nid || return 1
1090                 for map in ${FOPS_IDMAPS[i]}; do
1091                         do_facet mgs $LCTL nodemap_add_idmap --name c${i} \
1092                                 --idtype uid --idmap ${map} || return 1
1093                         do_facet mgs $LCTL nodemap_add_idmap --name c${i} \
1094                                 --idtype gid --idmap ${map} || return 1
1095                 done
1096
1097                 wait_nm_sync c$i idmap
1098
1099                 i=$((i + 1))
1100         done
1101         return 0
1102 }
1103
1104 delete_fops_nodemaps() {
1105         local i=0
1106         local client
1107         for client in $clients; do
1108                 do_facet mgs $LCTL nodemap_del c${i} || return 1
1109                 i=$((i + 1))
1110         done
1111         return 0
1112 }
1113
1114 fops_mds_index=0
1115 nm_test_mkdir() {
1116         if [ $MDSCOUNT -le 1 ]; then
1117                 do_node ${clients_arr[0]} mkdir -p $DIR/$tdir
1118         else
1119                 # round-robin MDTs to test DNE nodemap support
1120                 [ ! -d $DIR ] && do_node ${clients_arr[0]} mkdir -p $DIR
1121                 do_node ${clients_arr[0]} $LFS setdirstripe -c 1 -i \
1122                         $((fops_mds_index % MDSCOUNT)) $DIR/$tdir
1123                 ((fops_mds_index++))
1124         fi
1125 }
1126
1127 # acl test directory needs to be initialized on a privileged client
1128 fops_test_setup() {
1129         local admin=$(do_facet mgs $LCTL get_param -n nodemap.c0.admin_nodemap)
1130         local trust=$(do_facet mgs $LCTL get_param -n \
1131                 nodemap.c0.trusted_nodemap)
1132
1133         do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
1134         do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
1135
1136         wait_nm_sync c0 admin_nodemap
1137         wait_nm_sync c0 trusted_nodemap
1138
1139         do_node ${clients_arr[0]} rm -rf $DIR/$tdir
1140         nm_test_mkdir
1141         do_node ${clients_arr[0]} chown $user $DIR/$tdir
1142
1143         do_facet mgs $LCTL nodemap_modify --name c0 \
1144                 --property admin --value $admin
1145         do_facet mgs $LCTL nodemap_modify --name c0 \
1146                 --property trusted --value $trust
1147
1148         # flush MDT locks to make sure they are reacquired before test
1149         do_node ${clients_arr[0]} $LCTL set_param \
1150                 ldlm.namespaces.$FSNAME-MDT*.lru_size=clear
1151
1152         wait_nm_sync c0 admin_nodemap
1153         wait_nm_sync c0 trusted_nodemap
1154 }
1155
1156 # fileset test directory needs to be initialized on a privileged client
1157 fileset_test_setup() {
1158         local nm=$1
1159
1160         if [ -n "$FILESET" -a -z "$SKIP_FILESET" ]; then
1161                 cleanup_mount $MOUNT
1162                 FILESET="" zconf_mount_clients $CLIENTS $MOUNT
1163         fi
1164
1165         local admin=$(do_facet mgs $LCTL get_param -n \
1166                 nodemap.${nm}.admin_nodemap)
1167         local trust=$(do_facet mgs $LCTL get_param -n \
1168                 nodemap.${nm}.trusted_nodemap)
1169
1170         do_facet mgs $LCTL nodemap_modify --name $nm --property admin --value 1
1171         do_facet mgs $LCTL nodemap_modify --name $nm --property trusted \
1172                 --value 1
1173
1174         wait_nm_sync $nm admin_nodemap
1175         wait_nm_sync $nm trusted_nodemap
1176
1177         # create directory and populate it for subdir mount
1178         do_node ${clients_arr[0]} mkdir $MOUNT/$subdir ||
1179                 error "unable to create dir $MOUNT/$subdir"
1180         do_node ${clients_arr[0]} touch $MOUNT/$subdir/this_is_$subdir ||
1181                 error "unable to create file $MOUNT/$subdir/this_is_$subdir"
1182         do_node ${clients_arr[0]} mkdir $MOUNT/$subdir/$subsubdir ||
1183                 error "unable to create dir $MOUNT/$subdir/$subsubdir"
1184         do_node ${clients_arr[0]} touch \
1185                         $MOUNT/$subdir/$subsubdir/this_is_$subsubdir ||
1186                 error "unable to create file \
1187                         $MOUNT/$subdir/$subsubdir/this_is_$subsubdir"
1188
1189         do_facet mgs $LCTL nodemap_modify --name $nm \
1190                 --property admin --value $admin
1191         do_facet mgs $LCTL nodemap_modify --name $nm \
1192                 --property trusted --value $trust
1193
1194         # flush MDT locks to make sure they are reacquired before test
1195         do_node ${clients_arr[0]} $LCTL set_param \
1196                 ldlm.namespaces.$FSNAME-MDT*.lru_size=clear
1197
1198         wait_nm_sync $nm admin_nodemap
1199         wait_nm_sync $nm trusted_nodemap
1200 }
1201
1202 # fileset test directory needs to be initialized on a privileged client
1203 fileset_test_cleanup() {
1204         local nm=$1
1205         local admin=$(do_facet mgs $LCTL get_param -n \
1206                 nodemap.${nm}.admin_nodemap)
1207         local trust=$(do_facet mgs $LCTL get_param -n \
1208                 nodemap.${nm}.trusted_nodemap)
1209
1210         do_facet mgs $LCTL nodemap_modify --name $nm --property admin --value 1
1211         do_facet mgs $LCTL nodemap_modify --name $nm --property trusted \
1212                 --value 1
1213
1214         wait_nm_sync $nm admin_nodemap
1215         wait_nm_sync $nm trusted_nodemap
1216
1217         # cleanup directory created for subdir mount
1218         do_node ${clients_arr[0]} rm -rf $MOUNT/$subdir ||
1219                 error "unable to remove dir $MOUNT/$subdir"
1220
1221         do_facet mgs $LCTL nodemap_modify --name $nm \
1222                 --property admin --value $admin
1223         do_facet mgs $LCTL nodemap_modify --name $nm \
1224                 --property trusted --value $trust
1225
1226         # flush MDT locks to make sure they are reacquired before test
1227         do_node ${clients_arr[0]} $LCTL set_param \
1228                 ldlm.namespaces.$FSNAME-MDT*.lru_size=clear
1229
1230         wait_nm_sync $nm admin_nodemap
1231         wait_nm_sync $nm trusted_nodemap
1232         if [ -n "$FILESET" -a -z "$SKIP_FILESET" ]; then
1233                 cleanup_mount $MOUNT
1234                 zconf_mount_clients $CLIENTS $MOUNT
1235         fi
1236 }
1237
1238 do_create_delete() {
1239         local run_u=$1
1240         local key=$2
1241         local testfile=$DIR/$tdir/$tfile
1242         local rc=0
1243         local c=0 d=0
1244         local qused_new
1245         if $run_u touch $testfile >& /dev/null; then
1246                 c=1
1247                 $run_u rm $testfile && d=1
1248         fi >& /dev/null
1249
1250         local res="$c $d"
1251         local expected=$(get_cr_del_expected $key)
1252         [ "$res" != "$expected" ] &&
1253                 error "test $key, wanted $expected, got $res" && rc=$((rc + 1))
1254         return $rc
1255 }
1256
1257 nodemap_check_quota() {
1258         local run_u="$1"
1259         $run_u lfs quota -q $DIR | awk '{ print $2; exit; }'
1260 }
1261
1262 do_fops_quota_test() {
1263         local run_u=$1
1264         # fuzz quota used to account for possible indirect blocks, etc
1265         local quota_fuzz=$(fs_log_size)
1266         local qused_orig=$(nodemap_check_quota "$run_u")
1267         local qused_high=$((qused_orig + quota_fuzz))
1268         local qused_low=$((qused_orig - quota_fuzz))
1269         local testfile=$DIR/$tdir/$tfile
1270         $run_u dd if=/dev/zero of=$testfile oflag=sync bs=1M count=1 \
1271                 >& /dev/null || error "unable to write quota test file"
1272         sync; sync_all_data || true
1273
1274         local qused_new=$(nodemap_check_quota "$run_u")
1275         [ $((qused_new)) -lt $((qused_low + 1024)) -o \
1276           $((qused_new)) -gt $((qused_high + 1024)) ] &&
1277                 error "$qused_new != $qused_orig + 1M after write, " \
1278                       "fuzz is $quota_fuzz"
1279         $run_u rm $testfile || error "unable to remove quota test file"
1280         wait_delete_completed_mds
1281
1282         qused_new=$(nodemap_check_quota "$run_u")
1283         [ $((qused_new)) -lt $((qused_low)) \
1284                 -o $((qused_new)) -gt $((qused_high)) ] &&
1285                 error "quota not reclaimed, expect $qused_orig, " \
1286                       "got $qused_new, fuzz $quota_fuzz"
1287 }
1288
1289 get_fops_mapped_user() {
1290         local cli_user=$1
1291
1292         for ((i=0; i < ${#FOPS_IDMAPS[@]}; i++)); do
1293                 for map in ${FOPS_IDMAPS[i]}; do
1294                         if [ $(cut -d: -f1 <<< "$map") == $cli_user ]; then
1295                                 cut -d: -f2 <<< "$map"
1296                                 return
1297                         fi
1298                 done
1299         done
1300         echo -1
1301 }
1302
1303 get_cr_del_expected() {
1304         local -a key
1305         IFS=":" read -a key <<< "$1"
1306         local mapmode="${key[0]}"
1307         local mds_user="${key[1]}"
1308         local cluster="${key[2]}"
1309         local cli_user="${key[3]}"
1310         local mode="0${key[4]}"
1311         local SUCCESS="1 1"
1312         local FAILURE="0 0"
1313         local noadmin=0
1314         local mapped=0
1315         local other=0
1316
1317         [[ $mapmode == *mapped* ]] && mapped=1
1318         # only c1 is mapped in these test cases
1319         [[ $mapmode == mapped_trusted* ]] && [ "$cluster" == "c0" ] && mapped=0
1320         [[ $mapmode == *noadmin* ]] && noadmin=1
1321
1322         # o+wx works as long as the user isn't mapped
1323         if [ $((mode & 3)) -eq 3 ]; then
1324                 other=1
1325         fi
1326
1327         # if client user is root, check if root is squashed
1328         if [ "$cli_user" == "0" ]; then
1329                 # squash root succeed, if other bit is on
1330                 case $noadmin in
1331                         0) echo $SUCCESS;;
1332                         1) [ "$other" == "1" ] && echo $SUCCESS
1333                            [ "$other" == "0" ] && echo $FAILURE;;
1334                 esac
1335                 return
1336         fi
1337         if [ "$mapped" == "0" ]; then
1338                 [ "$other" == "1" ] && echo $SUCCESS
1339                 [ "$other" == "0" ] && echo $FAILURE
1340                 return
1341         fi
1342
1343         # if mapped user is mds user, check for u+wx
1344         mapped_user=$(get_fops_mapped_user $cli_user)
1345         [ "$mapped_user" == "-1" ] &&
1346                 error "unable to find mapping for client user $cli_user"
1347
1348         if [ "$mapped_user" == "$mds_user" -a \
1349              $(((mode & 0300) == 0300)) -eq 1 ]; then
1350                 echo $SUCCESS
1351                 return
1352         fi
1353         if [ "$mapped_user" != "$mds_user" -a "$other" == "1" ]; then
1354                 echo $SUCCESS
1355                 return
1356         fi
1357         echo $FAILURE
1358 }
1359
1360 test_fops_admin_cli_i=""
1361 test_fops_chmod_dir() {
1362         local current_cli_i=$1
1363         local perm_bits=$2
1364         local dir_to_chmod=$3
1365         local new_admin_cli_i=""
1366
1367         # do we need to set up a new admin client?
1368         [ "$current_cli_i" == "0" ] && [ "$test_fops_admin_cli_i" != "1" ] &&
1369                 new_admin_cli_i=1
1370         [ "$current_cli_i" != "0" ] && [ "$test_fops_admin_cli_i" != "0" ] &&
1371                 new_admin_cli_i=0
1372
1373         # if only one client, and non-admin, need to flip admin everytime
1374         if [ "$num_clients" == "1" ]; then
1375                 test_fops_admin_client=$clients
1376                 test_fops_admin_val=$(do_facet mgs $LCTL get_param -n \
1377                         nodemap.c0.admin_nodemap)
1378                 if [ "$test_fops_admin_val" != "1" ]; then
1379                         do_facet mgs $LCTL nodemap_modify \
1380                                 --name c0 \
1381                                 --property admin \
1382                                 --value 1
1383                         wait_nm_sync c0 admin_nodemap
1384                 fi
1385         elif [ "$new_admin_cli_i" != "" ]; then
1386                 # restore admin val to old admin client
1387                 if [ "$test_fops_admin_cli_i" != "" ] &&
1388                                 [ "$test_fops_admin_val" != "1" ]; then
1389                         do_facet mgs $LCTL nodemap_modify \
1390                                 --name c${test_fops_admin_cli_i} \
1391                                 --property admin \
1392                                 --value $test_fops_admin_val
1393                         wait_nm_sync c${test_fops_admin_cli_i} admin_nodemap
1394                 fi
1395
1396                 test_fops_admin_cli_i=$new_admin_cli_i
1397                 test_fops_admin_client=${clients_arr[$new_admin_cli_i]}
1398                 test_fops_admin_val=$(do_facet mgs $LCTL get_param -n \
1399                         nodemap.c${new_admin_cli_i}.admin_nodemap)
1400
1401                 if [ "$test_fops_admin_val" != "1" ]; then
1402                         do_facet mgs $LCTL nodemap_modify \
1403                                 --name c${new_admin_cli_i} \
1404                                 --property admin \
1405                                 --value 1
1406                         wait_nm_sync c${new_admin_cli_i} admin_nodemap
1407                 fi
1408         fi
1409
1410         do_node $test_fops_admin_client chmod $perm_bits $DIR/$tdir || return 1
1411
1412         # remove admin for single client if originally non-admin
1413         if [ "$num_clients" == "1" ] && [ "$test_fops_admin_val" != "1" ]; then
1414                 do_facet mgs $LCTL nodemap_modify --name c0 --property admin \
1415                         --value 0
1416                 wait_nm_sync c0 admin_nodemap
1417         fi
1418
1419         return 0
1420 }
1421
1422 test_fops() {
1423         local mapmode="$1"
1424         local single_client="$2"
1425         local client_user_list=([0]="0 $((IDBASE+3)) $((IDBASE+4))"
1426                                 [1]="0 $((IDBASE+5)) $((IDBASE+6))")
1427         local mds_i
1428         local rc=0
1429         local perm_bit_list="0 3 $((0300)) $((0303))"
1430         # SLOW tests 000-007, 010-070, 100-700 (octal modes)
1431         [ "$SLOW" == "yes" ] &&
1432                 perm_bit_list="0 $(seq 1 7) $(seq 8 8 63) $(seq 64 64 511) \
1433                                $((0303))"
1434
1435         # step through mds users. -1 means root
1436         for mds_i in -1 0 1 2; do
1437                 local user=$((mds_i + IDBASE))
1438                 local client
1439                 local x
1440
1441                 [ "$mds_i" == "-1" ] && user=0
1442
1443                 echo mkdir -p $DIR/$tdir
1444                 fops_test_setup
1445                 local cli_i=0
1446                 for client in $clients; do
1447                         local u
1448                         for u in ${client_user_list[$cli_i]}; do
1449                                 local run_u="do_node $client \
1450                                              $RUNAS_CMD -u$u -g$u -G$u"
1451                                 for perm_bits in $perm_bit_list; do
1452                                         local mode=$(printf %03o $perm_bits)
1453                                         local key
1454                                         key="$mapmode:$user:c$cli_i:$u:$mode"
1455                                         test_fops_chmod_dir $cli_i $mode \
1456                                                 $DIR/$tdir ||
1457                                                         error cannot chmod $key
1458                                         do_create_delete "$run_u" "$key"
1459                                 done
1460
1461                                 # check quota
1462                                 test_fops_chmod_dir $cli_i 777 $DIR/$tdir ||
1463                                         error cannot chmod $key
1464                                 do_fops_quota_test "$run_u"
1465                         done
1466
1467                         cli_i=$((cli_i + 1))
1468                         [ "$single_client" == "1" ] && break
1469                 done
1470                 rm -rf $DIR/$tdir
1471         done
1472         return $rc
1473 }
1474
1475 nodemap_version_check () {
1476         remote_mgs_nodsh && skip "remote MGS with nodsh" && return 1
1477         [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
1478                 skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
1479                 return 1
1480         return 0
1481 }
1482
1483 nodemap_test_setup() {
1484         local rc
1485         local active_nodemap=1
1486
1487         [ "$1" == "0" ] && active_nodemap=0
1488
1489         do_nodes $(comma_list $(all_mdts_nodes)) \
1490                 $LCTL set_param mdt.*.identity_upcall=NONE
1491
1492         rc=0
1493         create_fops_nodemaps
1494         rc=$?
1495         [[ $rc != 0 ]] && error "adding fops nodemaps failed $rc"
1496
1497         do_facet mgs $LCTL nodemap_activate $active_nodemap
1498         wait_nm_sync active
1499
1500         do_facet mgs $LCTL nodemap_modify --name default \
1501                 --property admin --value 1
1502         wait_nm_sync default admin_nodemap
1503         do_facet mgs $LCTL nodemap_modify --name default \
1504                 --property trusted --value 1
1505         wait_nm_sync default trusted_nodemap
1506 }
1507
1508 nodemap_test_cleanup() {
1509         trap 0
1510         delete_fops_nodemaps
1511         rc=$?
1512         [[ $rc != 0 ]] && error "removing fops nodemaps failed $rc"
1513
1514         do_facet mgs $LCTL nodemap_modify --name default \
1515                  --property admin --value 0
1516         wait_nm_sync default admin_nodemap
1517         do_facet mgs $LCTL nodemap_modify --name default \
1518                  --property trusted --value 0
1519         wait_nm_sync default trusted_nodemap
1520
1521         do_facet mgs $LCTL nodemap_activate 0
1522         wait_nm_sync active 0
1523
1524         export SK_UNIQUE_NM=false
1525         return 0
1526 }
1527
1528 nodemap_clients_admin_trusted() {
1529         local admin=$1
1530         local tr=$2
1531         local i=0
1532         for client in $clients; do
1533                 do_facet mgs $LCTL nodemap_modify --name c0 \
1534                         --property admin --value $admin
1535                 do_facet mgs $LCTL nodemap_modify --name c0 \
1536                         --property trusted --value $tr
1537                 i=$((i + 1))
1538         done
1539         wait_nm_sync c$((i - 1)) admin_nodemap
1540         wait_nm_sync c$((i - 1)) trusted_nodemap
1541 }
1542
1543 test_16() {
1544         nodemap_version_check || return 0
1545         nodemap_test_setup 0
1546
1547         trap nodemap_test_cleanup EXIT
1548         test_fops all_off
1549         nodemap_test_cleanup
1550 }
1551 run_test 16 "test nodemap all_off fileops"
1552
1553 test_17() {
1554         if $SHARED_KEY &&
1555         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1556                 skip "Need MDS >= 2.11.55"
1557         fi
1558
1559         nodemap_version_check || return 0
1560         nodemap_test_setup
1561
1562         trap nodemap_test_cleanup EXIT
1563         nodemap_clients_admin_trusted 0 1
1564         test_fops trusted_noadmin 1
1565         nodemap_test_cleanup
1566 }
1567 run_test 17 "test nodemap trusted_noadmin fileops"
1568
1569 test_18() {
1570         if $SHARED_KEY &&
1571         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1572                 skip "Need MDS >= 2.11.55"
1573         fi
1574
1575         nodemap_version_check || return 0
1576         nodemap_test_setup
1577
1578         trap nodemap_test_cleanup EXIT
1579         nodemap_clients_admin_trusted 0 0
1580         test_fops mapped_noadmin 1
1581         nodemap_test_cleanup
1582 }
1583 run_test 18 "test nodemap mapped_noadmin fileops"
1584
1585 test_19() {
1586         if $SHARED_KEY &&
1587         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1588                 skip "Need MDS >= 2.11.55"
1589         fi
1590
1591         nodemap_version_check || return 0
1592         nodemap_test_setup
1593
1594         trap nodemap_test_cleanup EXIT
1595         nodemap_clients_admin_trusted 1 1
1596         test_fops trusted_admin 1
1597         nodemap_test_cleanup
1598 }
1599 run_test 19 "test nodemap trusted_admin fileops"
1600
1601 test_20() {
1602         if $SHARED_KEY &&
1603         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1604                 skip "Need MDS >= 2.11.55"
1605         fi
1606
1607         nodemap_version_check || return 0
1608         nodemap_test_setup
1609
1610         trap nodemap_test_cleanup EXIT
1611         nodemap_clients_admin_trusted 1 0
1612         test_fops mapped_admin 1
1613         nodemap_test_cleanup
1614 }
1615 run_test 20 "test nodemap mapped_admin fileops"
1616
1617 test_21() {
1618         if $SHARED_KEY &&
1619         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1620                 skip "Need MDS >= 2.11.55"
1621         fi
1622
1623         nodemap_version_check || return 0
1624         nodemap_test_setup
1625
1626         trap nodemap_test_cleanup EXIT
1627         local x=1
1628         local i=0
1629         for client in $clients; do
1630                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1631                         --property admin --value 0
1632                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1633                         --property trusted --value $x
1634                 x=0
1635                 i=$((i + 1))
1636         done
1637         wait_nm_sync c$((i - 1)) trusted_nodemap
1638
1639         test_fops mapped_trusted_noadmin
1640         nodemap_test_cleanup
1641 }
1642 run_test 21 "test nodemap mapped_trusted_noadmin fileops"
1643
1644 test_22() {
1645         if $SHARED_KEY &&
1646         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ]; then
1647                 skip "Need MDS >= 2.11.55"
1648         fi
1649
1650         nodemap_version_check || return 0
1651         nodemap_test_setup
1652
1653         trap nodemap_test_cleanup EXIT
1654         local x=1
1655         local i=0
1656         for client in $clients; do
1657                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1658                         --property admin --value 1
1659                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1660                         --property trusted --value $x
1661                 x=0
1662                 i=$((i + 1))
1663         done
1664         wait_nm_sync c$((i - 1)) trusted_nodemap
1665
1666         test_fops mapped_trusted_admin
1667         nodemap_test_cleanup
1668 }
1669 run_test 22 "test nodemap mapped_trusted_admin fileops"
1670
1671 # acl test directory needs to be initialized on a privileged client
1672 nodemap_acl_test_setup() {
1673         local admin=$(do_facet mgs $LCTL get_param -n \
1674                       nodemap.c0.admin_nodemap)
1675         local trust=$(do_facet mgs $LCTL get_param -n \
1676                       nodemap.c0.trusted_nodemap)
1677
1678         do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
1679         do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
1680
1681         wait_nm_sync c0 admin_nodemap
1682         wait_nm_sync c0 trusted_nodemap
1683
1684         do_node ${clients_arr[0]} rm -rf $DIR/$tdir
1685         nm_test_mkdir
1686         do_node ${clients_arr[0]} chmod a+rwx $DIR/$tdir ||
1687                 error unable to chmod a+rwx test dir $DIR/$tdir
1688
1689         do_facet mgs $LCTL nodemap_modify --name c0 \
1690                 --property admin --value $admin
1691         do_facet mgs $LCTL nodemap_modify --name c0 \
1692                 --property trusted --value $trust
1693
1694         wait_nm_sync c0 trusted_nodemap
1695 }
1696
1697 # returns 0 if the number of ACLs does not change on the second (mapped) client
1698 # after being set on the first client
1699 nodemap_acl_test() {
1700         local user="$1"
1701         local set_client="$2"
1702         local get_client="$3"
1703         local check_setfacl="$4"
1704         local setfacl_error=0
1705         local testfile=$DIR/$tdir/$tfile
1706         local RUNAS_USER="$RUNAS_CMD -u $user"
1707         local acl_count=0
1708         local acl_count_post=0
1709
1710         nodemap_acl_test_setup
1711         sleep 5
1712
1713         do_node $set_client $RUNAS_USER touch $testfile
1714
1715         # ACL masks aren't filtered by nodemap code, so we ignore them
1716         acl_count=$(do_node $get_client getfacl $testfile | grep -v mask |
1717                 wc -l)
1718         do_node $set_client $RUNAS_USER setfacl -m $user:rwx $testfile ||
1719                 setfacl_error=1
1720
1721         # if check setfacl is set to 1, then it's supposed to error
1722         if [ "$check_setfacl" == "1" ]; then
1723                 [ "$setfacl_error" != "1" ] && return 1
1724                 return 0
1725         fi
1726         [ "$setfacl_error" == "1" ] && echo "WARNING: unable to setfacl"
1727
1728         acl_count_post=$(do_node $get_client getfacl $testfile | grep -v mask |
1729                 wc -l)
1730         [ $acl_count -eq $acl_count_post ] && return 0
1731         return 1
1732 }
1733
1734 test_23a() {
1735         [ $num_clients -lt 2 ] && skip "Need 2 clients at least" && return
1736         nodemap_version_check || return 0
1737         nodemap_test_setup
1738
1739         trap nodemap_test_cleanup EXIT
1740         # 1 trusted cluster, 1 mapped cluster
1741         local unmapped_fs=$((IDBASE+0))
1742         local unmapped_c1=$((IDBASE+5))
1743         local mapped_fs=$((IDBASE+2))
1744         local mapped_c0=$((IDBASE+4))
1745         local mapped_c1=$((IDBASE+6))
1746
1747         do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
1748         do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
1749
1750         do_facet mgs $LCTL nodemap_modify --name c1 --property admin --value 0
1751         do_facet mgs $LCTL nodemap_modify --name c1 --property trusted --value 0
1752
1753         wait_nm_sync c1 trusted_nodemap
1754
1755         # setfacl on trusted cluster to unmapped user, verify it's not seen
1756         nodemap_acl_test $unmapped_fs ${clients_arr[0]} ${clients_arr[1]} ||
1757                 error "acl count (1)"
1758
1759         # setfacl on trusted cluster to mapped user, verify it's seen
1760         nodemap_acl_test $mapped_fs ${clients_arr[0]} ${clients_arr[1]} &&
1761                 error "acl count (2)"
1762
1763         # setfacl on mapped cluster to mapped user, verify it's seen
1764         nodemap_acl_test $mapped_c1 ${clients_arr[1]} ${clients_arr[0]} &&
1765                 error "acl count (3)"
1766
1767         # setfacl on mapped cluster to unmapped user, verify error
1768         nodemap_acl_test $unmapped_fs ${clients_arr[1]} ${clients_arr[0]} 1 ||
1769                 error "acl count (4)"
1770
1771         # 2 mapped clusters
1772         do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 0
1773         do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 0
1774
1775         wait_nm_sync c0 trusted_nodemap
1776
1777         # setfacl to mapped user on c1, also mapped to c0, verify it's seen
1778         nodemap_acl_test $mapped_c1 ${clients_arr[1]} ${clients_arr[0]} &&
1779                 error "acl count (5)"
1780
1781         # setfacl to mapped user on c1, not mapped to c0, verify not seen
1782         nodemap_acl_test $unmapped_c1 ${clients_arr[1]} ${clients_arr[0]} ||
1783                 error "acl count (6)"
1784
1785         nodemap_test_cleanup
1786 }
1787 run_test 23a "test mapped regular ACLs"
1788
1789 test_23b() { #LU-9929
1790         [ $num_clients -lt 2 ] && skip "Need 2 clients at least" && return
1791         [ $(lustre_version_code mgs) -lt $(version_code 2.10.53) ] &&
1792                 skip "Need MGS >= 2.10.53" && return
1793
1794         export SK_UNIQUE_NM=true
1795         nodemap_test_setup
1796         trap nodemap_test_cleanup EXIT
1797
1798         local testdir=$DIR/$tdir
1799         local fs_id=$((IDBASE+10))
1800         local unmapped_id
1801         local mapped_id
1802         local fs_user
1803
1804         do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
1805         wait_nm_sync c0 admin_nodemap
1806         do_facet mgs $LCTL nodemap_modify --name c1 --property admin --value 1
1807         wait_nm_sync c1 admin_nodemap
1808         do_facet mgs $LCTL nodemap_modify --name c1 --property trusted --value 1
1809         wait_nm_sync c1 trusted_nodemap
1810
1811         # Add idmap $ID0:$fs_id (500:60010)
1812         do_facet mgs $LCTL nodemap_add_idmap --name c0 --idtype gid \
1813                 --idmap $ID0:$fs_id ||
1814                 error "add idmap $ID0:$fs_id to nodemap c0 failed"
1815         wait_nm_sync c0 idmap
1816
1817         # set/getfacl default acl on client 1 (unmapped gid=500)
1818         do_node ${clients_arr[0]} rm -rf $testdir
1819         do_node ${clients_arr[0]} mkdir -p $testdir
1820         # Here, USER0=$(getent passwd | grep :$ID0:$ID0: | cut -d: -f1)
1821         do_node ${clients_arr[0]} setfacl -R -d -m group:$USER0:rwx $testdir ||
1822                 error "setfacl $testdir on ${clients_arr[0]} failed"
1823         unmapped_id=$(do_node ${clients_arr[0]} getfacl $testdir |
1824                         grep -E "default:group:.*:rwx" | awk -F: '{print $3}')
1825         [ "$unmapped_id" = "$USER0" ] ||
1826                 error "gid=$ID0 was not unmapped correctly on ${clients_arr[0]}"
1827
1828         # getfacl default acl on client 2 (mapped gid=60010)
1829         mapped_id=$(do_node ${clients_arr[1]} getfacl $testdir |
1830                         grep -E "default:group:.*:rwx" | awk -F: '{print $3}')
1831         fs_user=$(do_node ${clients_arr[1]} getent passwd |
1832                         grep :$fs_id:$fs_id: | cut -d: -f1)
1833         [ -z "$fs_user" ] && fs_user=$fs_id
1834         [ $mapped_id -eq $fs_id -o "$mapped_id" = "$fs_user" ] ||
1835                 error "Should return gid=$fs_id or $fs_user on client2"
1836
1837         rm -rf $testdir
1838         nodemap_test_cleanup
1839         export SK_UNIQUE_NM=false
1840 }
1841 run_test 23b "test mapped default ACLs"
1842
1843 test_24() {
1844         nodemap_test_setup
1845
1846         trap nodemap_test_cleanup EXIT
1847         do_nodes $(comma_list $(all_server_nodes)) $LCTL get_param -R nodemap
1848
1849         nodemap_test_cleanup
1850 }
1851 run_test 24 "check nodemap proc files for LBUGs and Oopses"
1852
1853 test_25() {
1854         local tmpfile=$(mktemp)
1855         local tmpfile2=$(mktemp)
1856         local tmpfile3=$(mktemp)
1857         local tmpfile4=$(mktemp)
1858         local subdir=c0dir
1859         local client
1860
1861         nodemap_version_check || return 0
1862
1863         # stop clients for this test
1864         zconf_umount_clients $CLIENTS $MOUNT ||
1865             error "unable to umount clients $CLIENTS"
1866
1867         export SK_UNIQUE_NM=true
1868         nodemap_test_setup
1869
1870         # enable trusted/admin for setquota call in cleanup_and_setup_lustre()
1871         i=0
1872         for client in $clients; do
1873                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1874                         --property admin --value 1
1875                 do_facet mgs $LCTL nodemap_modify --name c${i} \
1876                         --property trusted --value 1
1877                 ((i++))
1878         done
1879         wait_nm_sync c$((i - 1)) trusted_nodemap
1880
1881         trap nodemap_test_cleanup EXIT
1882
1883         # create a new, empty nodemap, and add fileset info to it
1884         do_facet mgs $LCTL nodemap_add test25 ||
1885                 error "unable to create nodemap $testname"
1886         do_facet mgs $LCTL set_param -P nodemap.$testname.fileset=/$subdir ||
1887                 error "unable to add fileset info to nodemap test25"
1888
1889         wait_nm_sync test25 id
1890
1891         do_facet mgs $LCTL nodemap_info > $tmpfile
1892         do_facet mds $LCTL nodemap_info > $tmpfile2
1893
1894         if ! $SHARED_KEY; then
1895                 # will conflict with SK's nodemaps
1896                 cleanup_and_setup_lustre
1897         fi
1898         # stop clients for this test
1899         zconf_umount_clients $CLIENTS $MOUNT ||
1900             error "unable to umount clients $CLIENTS"
1901
1902         do_facet mgs $LCTL nodemap_info > $tmpfile3
1903         diff -q $tmpfile3 $tmpfile >& /dev/null ||
1904                 error "nodemap_info diff on MGS after remount"
1905
1906         do_facet mds $LCTL nodemap_info > $tmpfile4
1907         diff -q $tmpfile4 $tmpfile2 >& /dev/null ||
1908                 error "nodemap_info diff on MDS after remount"
1909
1910         # cleanup nodemap
1911         do_facet mgs $LCTL nodemap_del test25 ||
1912             error "cannot delete nodemap test25 from config"
1913         nodemap_test_cleanup
1914         # restart clients previously stopped
1915         zconf_mount_clients $CLIENTS $MOUNT ||
1916             error "unable to mount clients $CLIENTS"
1917
1918         rm -f $tmpfile $tmpfile2
1919         export SK_UNIQUE_NM=false
1920 }
1921 run_test 25 "test save and reload nodemap config"
1922
1923 test_26() {
1924         nodemap_version_check || return 0
1925
1926         local large_i=32000
1927
1928         do_facet mgs "seq -f 'c%g' $large_i | xargs -n1 $LCTL nodemap_add"
1929         wait_nm_sync c$large_i admin_nodemap
1930
1931         do_facet mgs "seq -f 'c%g' $large_i | xargs -n1 $LCTL nodemap_del"
1932         wait_nm_sync c$large_i admin_nodemap
1933 }
1934 run_test 26 "test transferring very large nodemap"
1935
1936 nodemap_exercise_fileset() {
1937         local nm="$1"
1938         local loop=0
1939
1940         # setup
1941         if [ "$nm" == "default" ]; then
1942                 do_facet mgs $LCTL nodemap_activate 1
1943                 wait_nm_sync active
1944         else
1945                 nodemap_test_setup
1946         fi
1947         if $SHARED_KEY; then
1948                 export SK_UNIQUE_NM=true
1949         else
1950                 # will conflict with SK's nodemaps
1951                 trap "fileset_test_cleanup $nm" EXIT
1952         fi
1953         fileset_test_setup "$nm"
1954
1955         # add fileset info to $nm nodemap
1956         if ! combined_mgs_mds; then
1957             do_facet mgs $LCTL set_param nodemap.${nm}.fileset=/$subdir ||
1958                 error "unable to add fileset info to $nm nodemap on MGS"
1959         fi
1960         do_facet mgs $LCTL set_param -P nodemap.${nm}.fileset=/$subdir ||
1961                error "unable to add fileset info to $nm nodemap for servers"
1962         wait_nm_sync $nm fileset "nodemap.${nm}.fileset=/$subdir"
1963
1964         # re-mount client
1965         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
1966                 error "unable to umount client ${clients_arr[0]}"
1967         # set some generic fileset to trigger SSK code
1968         export FILESET=/
1969         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
1970                 error "unable to remount client ${clients_arr[0]}"
1971         unset FILESET
1972
1973         # test mount point content
1974         do_node ${clients_arr[0]} test -f $MOUNT/this_is_$subdir ||
1975                 error "fileset not taken into account"
1976
1977         # re-mount client with sub-subdir
1978         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
1979                 error "unable to umount client ${clients_arr[0]}"
1980         export FILESET=/$subsubdir
1981         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
1982                 error "unable to remount client ${clients_arr[0]}"
1983         unset FILESET
1984
1985         # test mount point content
1986         do_node ${clients_arr[0]} test -f $MOUNT/this_is_$subsubdir ||
1987                 error "subdir of fileset not taken into account"
1988
1989         # remove fileset info from nodemap
1990         do_facet mgs $LCTL nodemap_set_fileset --name $nm --fileset clear ||
1991                 error "unable to delete fileset info on $nm nodemap"
1992         wait_update_facet mgs "$LCTL get_param nodemap.${nm}.fileset" \
1993                           "nodemap.${nm}.fileset=" ||
1994                 error "fileset info still not cleared on $nm nodemap"
1995         do_facet mgs $LCTL set_param -P nodemap.${nm}.fileset=clear ||
1996                 error "unable to reset fileset info on $nm nodemap"
1997         wait_nm_sync $nm fileset "nodemap.${nm}.fileset="
1998
1999         # re-mount client
2000         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2001                 error "unable to umount client ${clients_arr[0]}"
2002         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
2003                 error "unable to remount client ${clients_arr[0]}"
2004
2005         # test mount point content
2006         if ! $(do_node ${clients_arr[0]} test -d $MOUNT/$subdir); then
2007                 ls $MOUNT
2008                 error "fileset not cleared on $nm nodemap"
2009         fi
2010
2011         # back to non-nodemap setup
2012         if $SHARED_KEY; then
2013                 export SK_UNIQUE_NM=false
2014                 zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2015                         error "unable to umount client ${clients_arr[0]}"
2016         fi
2017         fileset_test_cleanup "$nm"
2018         if [ "$nm" == "default" ]; then
2019                 do_facet mgs $LCTL nodemap_activate 0
2020                 wait_nm_sync active 0
2021                 trap 0
2022                 export SK_UNIQUE_NM=false
2023         else
2024                 nodemap_test_cleanup
2025         fi
2026         if $SHARED_KEY; then
2027                 zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
2028                         error "unable to remount client ${clients_arr[0]}"
2029         fi
2030 }
2031
2032 test_27a() {
2033         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
2034                 skip "Need MDS >= 2.11.50" && return
2035
2036         for nm in "default" "c0"; do
2037                 local subdir="subdir_${nm}"
2038                 local subsubdir="subsubdir_${nm}"
2039
2040                 if [ "$nm" == "default" ] && [ "$SHARED_KEY" == "true" ]; then
2041                         echo "Skipping nodemap $nm with SHARED_KEY";
2042                         continue;
2043                 fi
2044
2045                 echo "Exercising fileset for nodemap $nm"
2046                 nodemap_exercise_fileset "$nm"
2047         done
2048 }
2049 run_test 27a "test fileset in various nodemaps"
2050
2051 test_27b() { #LU-10703
2052         [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
2053                 skip "Need MDS >= 2.11.50" && return
2054         [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 2 MDTs" && return
2055
2056         nodemap_test_setup
2057         trap nodemap_test_cleanup EXIT
2058
2059         # Add the nodemaps and set their filesets
2060         for i in $(seq 1 $MDSCOUNT); do
2061                 do_facet mgs $LCTL nodemap_del nm$i 2>/dev/null
2062                 do_facet mgs $LCTL nodemap_add nm$i ||
2063                         error "add nodemap nm$i failed"
2064                 wait_nm_sync nm$i "" "" "-N"
2065
2066                 if ! combined_mgs_mds; then
2067                         do_facet mgs \
2068                                 $LCTL set_param nodemap.nm$i.fileset=/dir$i ||
2069                                 error "set nm$i.fileset=/dir$i failed on MGS"
2070                 fi
2071                 do_facet mgs $LCTL set_param -P nodemap.nm$i.fileset=/dir$i ||
2072                         error "set nm$i.fileset=/dir$i failed on servers"
2073                 wait_nm_sync nm$i fileset "nodemap.nm$i.fileset=/dir$i"
2074         done
2075
2076         # Check if all the filesets are correct
2077         for i in $(seq 1 $MDSCOUNT); do
2078                 fileset=$(do_facet mds$i \
2079                           $LCTL get_param -n nodemap.nm$i.fileset)
2080                 [ "$fileset" = "/dir$i" ] ||
2081                         error "nm$i.fileset $fileset != /dir$i on mds$i"
2082                 do_facet mgs $LCTL nodemap_del nm$i ||
2083                         error "delete nodemap nm$i failed"
2084         done
2085
2086         nodemap_test_cleanup
2087 }
2088 run_test 27b "The new nodemap won't clear the old nodemap's fileset"
2089
2090 test_28() {
2091         if ! $SHARED_KEY; then
2092                 skip "need shared key feature for this test" && return
2093         fi
2094         mkdir -p $DIR/$tdir || error "mkdir failed"
2095         touch $DIR/$tdir/$tdir.out || error "touch failed"
2096         if [ ! -f $DIR/$tdir/$tdir.out ]; then
2097                 error "read before rotation failed"
2098         fi
2099         # store top key identity to ensure rotation has occurred
2100         SK_IDENTITY_OLD=$(lctl get_param *.*.*srpc* | grep "expire" |
2101                 head -1 | awk '{print $15}' | cut -c1-8)
2102         do_facet $SINGLEMDS lfs flushctx ||
2103                  error "could not run flushctx on $SINGLEMDS"
2104         sleep 5
2105         lfs flushctx || error "could not run flushctx on client"
2106         sleep 5
2107         # verify new key is in place
2108         SK_IDENTITY_NEW=$(lctl get_param *.*.*srpc* | grep "expire" |
2109                 head -1 | awk '{print $15}' | cut -c1-8)
2110         if [ $SK_IDENTITY_OLD == $SK_IDENTITY_NEW ]; then
2111                 error "key did not rotate correctly"
2112         fi
2113         if [ ! -f $DIR/$tdir/$tdir.out ]; then
2114                 error "read after rotation failed"
2115         fi
2116 }
2117 run_test 28 "check shared key rotation method"
2118
2119 test_29() {
2120         if ! $SHARED_KEY; then
2121                 skip "need shared key feature for this test" && return
2122         fi
2123         if [ $SK_FLAVOR != "ski" ] && [ $SK_FLAVOR != "skpi" ]; then
2124                 skip "test only valid if integrity is active"
2125         fi
2126         rm -r $DIR/$tdir
2127         mkdir $DIR/$tdir || error "mkdir"
2128         touch $DIR/$tdir/$tfile || error "touch"
2129         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2130                 error "unable to umount clients"
2131         keyctl show | awk '/lustre/ { print $1 }' |
2132                 xargs -IX keyctl unlink X
2133         OLD_SK_PATH=$SK_PATH
2134         export SK_PATH=/dev/null
2135         if zconf_mount_clients ${clients_arr[0]} $MOUNT; then
2136                 export SK_PATH=$OLD_SK_PATH
2137                 if [ -e $DIR/$tdir/$tfile ]; then
2138                         error "able to mount and read without key"
2139                 else
2140                         error "able to mount without key"
2141                 fi
2142         else
2143                 export SK_PATH=$OLD_SK_PATH
2144                 keyctl show | awk '/lustre/ { print $1 }' |
2145                         xargs -IX keyctl unlink X
2146         fi
2147 }
2148 run_test 29 "check for missing shared key"
2149
2150 test_30() {
2151         if ! $SHARED_KEY; then
2152                 skip "need shared key feature for this test" && return
2153         fi
2154         if [ $SK_FLAVOR != "ski" ] && [ $SK_FLAVOR != "skpi" ]; then
2155                 skip "test only valid if integrity is active"
2156         fi
2157         mkdir -p $DIR/$tdir || error "mkdir failed"
2158         touch $DIR/$tdir/$tdir.out || error "touch failed"
2159         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2160                 error "unable to umount clients"
2161         # unload keys from ring
2162         keyctl show | awk '/lustre/ { print $1 }' |
2163                 xargs -IX keyctl unlink X
2164         # invalidate the key with bogus filesystem name
2165         lgss_sk -w $SK_PATH/$FSNAME-bogus.key -f $FSNAME.bogus \
2166                 -t client -d /dev/urandom || error "lgss_sk failed (1)"
2167         do_facet $SINGLEMDS lfs flushctx || error "could not run flushctx"
2168         OLD_SK_PATH=$SK_PATH
2169         export SK_PATH=$SK_PATH/$FSNAME-bogus.key
2170         if zconf_mount_clients ${clients_arr[0]} $MOUNT; then
2171                 SK_PATH=$OLD_SK_PATH
2172                 if [ -a $DIR/$tdir/$tdir.out ]; then
2173                         error "mount and read file with invalid key"
2174                 else
2175                         error "mount with invalid key"
2176                 fi
2177         fi
2178         SK_PATH=$OLD_SK_PATH
2179         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2180                 error "unable to umount clients"
2181 }
2182 run_test 30 "check for invalid shared key"
2183
2184 cleanup_31() {
2185         # unmount client
2186         zconf_umount $HOSTNAME $MOUNT || error "unable to umount client"
2187
2188         # remove ${NETTYPE}999 network on all nodes
2189         do_nodes $(comma_list $(all_nodes)) \
2190                  "$LNETCTL net del --net ${NETTYPE}999 && \
2191                   $LNETCTL lnet unconfigure 2>/dev/null || true"
2192
2193         # necessary to do writeconf in order to de-register
2194         # @${NETTYPE}999 nid for targets
2195         KZPOOL=$KEEP_ZPOOL
2196         export KEEP_ZPOOL="true"
2197         stopall
2198         export SK_MOUNTED=false
2199         writeconf_all
2200         setupall || echo 1
2201         export KEEP_ZPOOL="$KZPOOL"
2202 }
2203
2204 test_31() {
2205         local nid=$(lctl list_nids | grep ${NETTYPE} | head -n1)
2206         local addr=${nid%@*}
2207         local net=${nid#*@}
2208
2209         export LNETCTL=$(which lnetctl 2> /dev/null)
2210
2211         [ -z "$LNETCTL" ] && skip "without lnetctl support." && return
2212         local_mode && skip "in local mode."
2213
2214         stack_trap cleanup_31 EXIT
2215
2216         # umount client
2217         if [ "$MOUNT_2" ] && $(grep -q $MOUNT2' ' /proc/mounts); then
2218                 umount_client $MOUNT2 || error "umount $MOUNT2 failed"
2219         fi
2220         if $(grep -q $MOUNT' ' /proc/mounts); then
2221                 umount_client $MOUNT || error "umount $MOUNT failed"
2222         fi
2223
2224         # check exports on servers are empty for client
2225         do_facet mgs "lctl get_param -n *.MGS*.exports.'$nid'.uuid 2>/dev/null |
2226                       grep -q -" && error "export on MGS should be empty"
2227         do_nodes $(comma_list $(mdts_nodes) $(osts_nodes)) \
2228                  "lctl get_param -n *.${FSNAME}*.exports.'$nid'.uuid \
2229                   2>/dev/null | grep -q -" &&
2230                 error "export on servers should be empty"
2231
2232         # add network ${NETTYPE}999 on all nodes
2233         do_nodes $(comma_list $(all_nodes)) \
2234                  "$LNETCTL lnet configure && $LNETCTL net add --if \
2235                   \$($LNETCTL net show --net $net | awk 'BEGIN{inf=0} \
2236                   {if (inf==1) print \$2; fi; inf=0} /interfaces/{inf=1}') \
2237                   --net ${NETTYPE}999" ||
2238                 error "unable to configure NID ${NETTYPE}999"
2239
2240         # necessary to do writeconf in order to register
2241         # new @${NETTYPE}999 nid for targets
2242         KZPOOL=$KEEP_ZPOOL
2243         export KEEP_ZPOOL="true"
2244         stopall
2245         export SK_MOUNTED=false
2246         writeconf_all
2247         setupall server_only || echo 1
2248         export KEEP_ZPOOL="$KZPOOL"
2249
2250         # backup MGSNID
2251         local mgsnid_orig=$MGSNID
2252         # compute new MGSNID
2253         MGSNID=$(do_facet mgs "$LCTL list_nids | grep ${NETTYPE}999")
2254
2255         # on client, turn LNet Dynamic Discovery on
2256         lnetctl set discovery 1
2257
2258         # mount client with -o network=${NETTYPE}999 option:
2259         # should fail because of LNet Dynamic Discovery
2260         mount_client $MOUNT ${MOUNT_OPTS},network=${NETTYPE}999 &&
2261                 error "client mount with '-o network' option should be refused"
2262
2263         # on client, reconfigure LNet and turn LNet Dynamic Discovery off
2264         $LNETCTL net del --net ${NETTYPE}999 && lnetctl lnet unconfigure
2265         lustre_rmmod
2266         modprobe lnet
2267         lnetctl set discovery 0
2268         modprobe ptlrpc
2269         $LNETCTL lnet configure && $LNETCTL net add --if \
2270           $($LNETCTL net show --net $net | awk 'BEGIN{inf=0} \
2271           {if (inf==1) print $2; fi; inf=0} /interfaces/{inf=1}') \
2272           --net ${NETTYPE}999 ||
2273         error "unable to configure NID ${NETTYPE}999 on client"
2274
2275         # mount client with -o network=${NETTYPE}999 option
2276         mount_client $MOUNT ${MOUNT_OPTS},network=${NETTYPE}999 ||
2277                 error "unable to remount client"
2278
2279         # restore MGSNID
2280         MGSNID=$mgsnid_orig
2281
2282         # check export on MGS
2283         do_facet mgs "lctl get_param -n *.MGS*.exports.'$nid'.uuid 2>/dev/null |
2284                       grep -q -"
2285         [ $? -ne 0 ] || error "export for $nid on MGS should not exist"
2286
2287         do_facet mgs \
2288                 "lctl get_param -n *.MGS*.exports.'${addr}@${NETTYPE}999'.uuid \
2289                  2>/dev/null | grep -q -"
2290         [ $? -eq 0 ] ||
2291                 error "export for ${addr}@${NETTYPE}999 on MGS should exist"
2292
2293         # check {mdc,osc} imports
2294         lctl get_param mdc.${FSNAME}-*.import | grep current_connection |
2295             grep -q ${NETTYPE}999
2296         [ $? -eq 0 ] ||
2297                 error "import for mdc should use ${addr}@${NETTYPE}999"
2298         lctl get_param osc.${FSNAME}-*.import | grep current_connection |
2299             grep -q ${NETTYPE}999
2300         [ $? -eq 0 ] ||
2301                 error "import for osc should use ${addr}@${NETTYPE}999"
2302 }
2303 run_test 31 "client mount option '-o network'"
2304
2305 cleanup_32() {
2306         # umount client
2307         zconf_umount_clients ${clients_arr[0]} $MOUNT
2308
2309         # disable sk flavor enforcement on MGS
2310         set_rule _mgs any any null
2311
2312         # stop gss daemon on MGS
2313         if ! combined_mgs_mds ; then
2314                 send_sigint $mgs_HOST lsvcgssd
2315         fi
2316
2317         # re-mount client
2318         MOUNT_OPTS=$(add_sk_mntflag $MOUNT_OPTS)
2319         mountcli
2320
2321         restore_to_default_flavor
2322 }
2323
2324 test_32() {
2325         if ! $SHARED_KEY; then
2326                 skip "need shared key feature for this test"
2327         fi
2328
2329         stack_trap cleanup_32 EXIT
2330
2331         # restore to default null flavor
2332         save_flvr=$SK_FLAVOR
2333         SK_FLAVOR=null
2334         restore_to_default_flavor || error "cannot set null flavor"
2335         SK_FLAVOR=$save_flvr
2336
2337         # umount client
2338         if [ "$MOUNT_2" ] && $(grep -q $MOUNT2' ' /proc/mounts); then
2339                 umount_client $MOUNT2 || error "umount $MOUNT2 failed"
2340         fi
2341         if $(grep -q $MOUNT' ' /proc/mounts); then
2342         umount_client $MOUNT || error "umount $MOUNT failed"
2343         fi
2344
2345         # start gss daemon on MGS
2346         if combined_mgs_mds ; then
2347                 send_sigint $mds_HOST lsvcgssd
2348         fi
2349         start_gss_daemons $mgs_HOST "$LSVCGSSD -vvv -s -g"
2350
2351         # add mgs key type and MGS NIDs in key on MGS
2352         do_nodes $mgs_HOST "lgss_sk -t mgs,server -g $MGSNID -m \
2353                                 $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2354                 error "could not modify keyfile on MGS"
2355
2356         # load modified key file on MGS
2357         do_nodes $mgs_HOST "lgss_sk -l $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2358                 error "could not load keyfile on MGS"
2359
2360         # add MGS NIDs in key on client
2361         do_nodes ${clients_arr[0]} "lgss_sk -g $MGSNID -m \
2362                                 $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2363                 error "could not modify keyfile on MGS"
2364
2365         # set perms for per-nodemap keys else permission denied
2366         do_nodes $(comma_list $(all_nodes)) \
2367                  "keyctl show | grep lustre | cut -c1-11 |
2368                                 sed -e 's/ //g;' |
2369                                 xargs -IX keyctl setperm X 0x3f3f3f3f"
2370
2371         # re-mount client with mgssec=skn
2372         save_opts=$MOUNT_OPTS
2373         if [ -z "$MOUNT_OPTS" ]; then
2374                 MOUNT_OPTS="-o mgssec=skn"
2375         else
2376                 MOUNT_OPTS="$MOUNT_OPTS,mgssec=skn"
2377         fi
2378         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
2379                 error "mount ${clients_arr[0]} with mgssec=skn failed"
2380         MOUNT_OPTS=$save_opts
2381
2382         # umount client
2383         zconf_umount_clients ${clients_arr[0]} $MOUNT ||
2384                 error "umount ${clients_arr[0]} failed"
2385
2386         # enforce ska flavor on MGS
2387         set_rule _mgs any any ska
2388
2389         # re-mount client without mgssec
2390         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS &&
2391                 error "mount ${clients_arr[0]} without mgssec should fail"
2392
2393         # re-mount client with mgssec=skn
2394         save_opts=$MOUNT_OPTS
2395         if [ -z "$MOUNT_OPTS" ]; then
2396                 MOUNT_OPTS="-o mgssec=skn"
2397         else
2398                 MOUNT_OPTS="$MOUNT_OPTS,mgssec=skn"
2399         fi
2400         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS &&
2401                 error "mount ${clients_arr[0]} with mgssec=skn should fail"
2402         MOUNT_OPTS=$save_opts
2403
2404         # re-mount client with mgssec=ska
2405         save_opts=$MOUNT_OPTS
2406         if [ -z "$MOUNT_OPTS" ]; then
2407                 MOUNT_OPTS="-o mgssec=ska"
2408         else
2409                 MOUNT_OPTS="$MOUNT_OPTS,mgssec=ska"
2410         fi
2411         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
2412                 error "mount ${clients_arr[0]} with mgssec=ska failed"
2413         MOUNT_OPTS=$save_opts
2414
2415         exit 0
2416 }
2417 run_test 32 "check for mgssec"
2418
2419 cleanup_33() {
2420         # disable sk flavor enforcement
2421         set_rule $FSNAME any cli2mdt null
2422         wait_flavor cli2mdt null
2423
2424         # umount client
2425         zconf_umount_clients ${clients_arr[0]} $MOUNT
2426
2427         # stop gss daemon on MGS
2428         if ! combined_mgs_mds ; then
2429                 send_sigint $mgs_HOST lsvcgssd
2430         fi
2431
2432         # re-mount client
2433         MOUNT_OPTS=$(add_sk_mntflag $MOUNT_OPTS)
2434         mountcli
2435
2436         restore_to_default_flavor
2437 }
2438
2439 test_33() {
2440         if ! $SHARED_KEY; then
2441                 skip "need shared key feature for this test"
2442         fi
2443
2444         stack_trap cleanup_33 EXIT
2445
2446         # restore to default null flavor
2447         save_flvr=$SK_FLAVOR
2448         SK_FLAVOR=null
2449         restore_to_default_flavor || error "cannot set null flavor"
2450         SK_FLAVOR=$save_flvr
2451
2452         # umount client
2453         if [ "$MOUNT_2" ] && $(grep -q $MOUNT2' ' /proc/mounts); then
2454                 umount_client $MOUNT2 || error "umount $MOUNT2 failed"
2455         fi
2456         if $(grep -q $MOUNT' ' /proc/mounts); then
2457         umount_client $MOUNT || error "umount $MOUNT failed"
2458         fi
2459
2460         # start gss daemon on MGS
2461         if combined_mgs_mds ; then
2462                 send_sigint $mds_HOST lsvcgssd
2463         fi
2464         start_gss_daemons $mgs_HOST "$LSVCGSSD -vvv -s -g"
2465
2466         # add mgs key type and MGS NIDs in key on MGS
2467         do_nodes $mgs_HOST "lgss_sk -t mgs,server -g $MGSNID -m \
2468                                 $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2469                 error "could not modify keyfile on MGS"
2470
2471         # load modified key file on MGS
2472         do_nodes $mgs_HOST "lgss_sk -l $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2473                 error "could not load keyfile on MGS"
2474
2475         # add MGS NIDs in key on client
2476         do_nodes ${clients_arr[0]} "lgss_sk -g $MGSNID -m \
2477                                 $SK_PATH/$FSNAME.key >/dev/null 2>&1" ||
2478                 error "could not modify keyfile on MGS"
2479
2480         # set perms for per-nodemap keys else permission denied
2481         do_nodes $(comma_list $(all_nodes)) \
2482                  "keyctl show | grep lustre | cut -c1-11 |
2483                                 sed -e 's/ //g;' |
2484                                 xargs -IX keyctl setperm X 0x3f3f3f3f"
2485
2486         # re-mount client with mgssec=skn
2487         save_opts=$MOUNT_OPTS
2488         if [ -z "$MOUNT_OPTS" ]; then
2489                 MOUNT_OPTS="-o mgssec=skn"
2490         else
2491                 MOUNT_OPTS="$MOUNT_OPTS,mgssec=skn"
2492         fi
2493         zconf_mount_clients ${clients_arr[0]} $MOUNT $MOUNT_OPTS ||
2494                 error "mount ${clients_arr[0]} with mgssec=skn failed"
2495         MOUNT_OPTS=$save_opts
2496
2497         # enforce ska flavor for cli2mdt
2498         set_rule $FSNAME any cli2mdt ska
2499         wait_flavor cli2mdt ska
2500
2501         # check error message
2502         $LCTL dk | grep "faked source" &&
2503                 error "MGS connection srpc flags incorrect"
2504
2505         exit 0
2506 }
2507 run_test 33 "correct srpc flags for MGS connection"
2508
2509 log "cleanup: ======================================================"
2510
2511 sec_unsetup() {
2512         ## nodemap deactivated
2513         do_facet mgs $LCTL nodemap_activate 0
2514
2515         for num in $(seq $MDSCOUNT); do
2516                 if [ "${identity_old[$num]}" = 1 ]; then
2517                         switch_identity $num false || identity_old[$num]=$?
2518                 fi
2519         done
2520
2521         $RUNAS_CMD -u $ID0 ls $DIR
2522         $RUNAS_CMD -u $ID1 ls $DIR
2523 }
2524 sec_unsetup
2525
2526 complete $SECONDS
2527 check_and_cleanup_lustre
2528 exit_status