Whamcloud - gitweb
LU-14808 utils: fix YAML support for DOM files
[fs/lustre-release.git] / lustre / tests / sanity-pfl.sh
index b39ea7c..36c72bd 100644 (file)
@@ -76,21 +76,116 @@ test_0b() {
 
        test_mkdir $DIR/$tdir
 
+       $LFS setstripe -E -1 -C $LOV_MAX_STRIPE_COUNT $comp_file ||
+               error "Create $comp_file failed"
+
+       local count=$($LFS getstripe -I1 -c $comp_file)
+       [ $count -eq $LOV_MAX_STRIPE_COUNT ] ||
+               error "stripe count of first component is shrinked to $count"
+
+       rm -f $comp_file || error "Delete $comp_file failed"
+
        # Create file with 1.1*LOV_MAX_STRIPE_COUNT stripes should succeed
        $LFS setstripe -E 1m -C $((LOV_MAX_STRIPE_COUNT / 10)) -E -1 \
                -C $LOV_MAX_STRIPE_COUNT $comp_file ||
-       error "Create $comp_file failed"
+               error "Create $comp_file failed"
+
+       local count=$($LFS getstripe -I2 -c $comp_file)
+       [ $count -eq $LOV_MAX_STRIPE_COUNT ] ||
+               error "stripe count of second component is shrinked to $count"
 
        rm -f $comp_file || error "Delete $comp_file failed"
 
-       # Create file with 2*LOV_MAX_STRIPE_COUNT stripes should fail
-       $LFS setstripe -E 1m -C $LOV_MAX_STRIPE_COUNT -E -1 -C $LOV_MAX_STRIPE_COUNT \
-               $comp_file && error "Create $comp_file succeeded"
+       # Create file with 3*LOV_MAX_STRIPE_COUNT stripes should fail
+       $LFS setstripe -E 200G -C $LOV_MAX_STRIPE_COUNT \
+               -E 500G -C $LOV_MAX_STRIPE_COUNT \
+               -E -1 -C $LOV_MAX_STRIPE_COUNT $comp_file &&
+               error "Create $comp_file succeeded"
 
        rm -f $comp_file || error "Delete $comp_file failed"
 }
 run_test 0b "Verify comp stripe count limits"
 
+test_0c() {
+       [[ $($LCTL get_param mdc.*.import |
+               grep "connect_flags:.*overstriping") ]] ||
+               skip "server does not support overstriping"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code $SEL_VER) ] &&
+               skip "skipped for lustre < $SEL_VER"
+
+       large_xattr_enabled || skip_env "no large xattr support"
+
+       local comp_file=$DIR/$tdir/$tfile
+
+       test_mkdir $DIR/$tdir
+
+       $LFS setstripe -E -1 -C $LOV_MAX_STRIPE_COUNT -z 128M $comp_file ||
+               error "Create $comp_file failed"
+
+       local count=$($LFS getstripe -I1 -c $comp_file)
+       [ $count -eq $LOV_MAX_STRIPE_COUNT ] ||
+               error "stripe count is shrinked to $count"
+}
+run_test 0c "Verify SEL comp stripe count limits"
+
+test_0d() {
+       (( $MDS1_VERSION > $(version_code 2.14.50.115) )) ||
+               skip_env "Need MDS version at least 2.14.50.115"
+
+       local td=$DIR/$tdir
+       local tf=$td/$tfile
+       local comp_end
+       local stripe_size
+
+       # Create parent directory
+       test_mkdir $td
+
+       # Component end must be a multiple of stripe size
+       # and a multiple of 64KiB to align with the minimum
+       # stripe size value.
+       # Values below 4096 are assumed to be in KiB units.
+       $LFS setstripe -E 127 $tf-1 > /dev/null 2>&1 &&
+               error "creating $tf-1 with '-E 127' should fail"
+
+       $LFS setstripe -E 128 -S 512 $tf-1 > /dev/null 2>&1 &&
+               error "creating $tf-1 with '-E 128 -S 512' should fail"
+
+       $LFS setstripe -E 128 $tf-1 ||
+               error "creating $tf-1 failed"
+
+       yes | dd bs=1K count=129 iflag=fullblock of=$tf-1 &&
+               error "writing to $tf-1 should fail"
+
+       yes | dd bs=1K count=128 iflag=fullblock of=$tf-1 ||
+               error "writing to $tf-1 failed"
+
+       comp_end=$($LFS getstripe -I1 -E $tf-1)
+       stripe_size=$($LFS getstripe -I1 -S $tf-1)
+
+       [[ $comp_end == $((128 * 1024)) ]] ||
+               error "incorrect component end '$comp_end' for $tf-1"
+
+       [[ $stripe_size == $((128 * 1024)) ]] ||
+               error "incorrect stripe size '$stripe_size' for $tf-1"
+
+       rm $tf-1 || error "removing $tf-1 failed"
+
+       # The stripe size must be a multiple of 64KiB.
+       # Values below 4096 are assumed to be in KiB units.
+       $LFS setstripe -E -1 -S 2047 $tf-2 > /dev/null 2>&1 &&
+               error "creating $tf-2 with '-S 2047' should fail"
+
+       $LFS setstripe -E -1 -S 2048 $tf-2 ||
+               error "creating $tf-2 failed"
+
+       stripe_size=$($LFS getstripe -I1 -S $tf-2)
+       [[ $stripe_size == $((2048 * 1024)) ]] ||
+               error "incorrect stripe size '$stripe_size' for $tf-2"
+
+       rm $tf-2 || error "removing $tf-2 failed"
+}
+run_test 0d "Verify comp end and stripe size"
+
 test_1a() {
        local comp_file=$DIR/$tdir/$tfile
        local rw_len=$((3 * 1024 * 1024))       # 3M
@@ -184,15 +279,19 @@ test_1c() {
 }
 run_test 1c "Test overstriping w/max stripe count"
 
-test_2() {
+base_test_2() {
        local comp_file=$DIR/$tdir/$tfile
        local rw_len=$((5 * 1024 * 1024))       # 5M
+       local params=$1
 
        test_mkdir $DIR/$tdir
        rm -f $comp_file
 
-       $LFS setstripe -E 1m -S 1m $comp_file ||
-               error "Create $comp_file failed"
+       multiop $comp_file oO_RDWR:O_CREAT:O_LOV_DELAY_CREATE:c ||
+               error "create failed $comp_file"
+
+       $LFS setstripe --component-add $params $comp_file ||
+               error "Add component to $comp_file failed"
 
        check_component_count $comp_file 1
 
@@ -220,7 +319,16 @@ test_2() {
 
        rm -f $comp_file || error "Delete $comp_file failed"
 }
-run_test 2 "Add component to existing file"
+
+test_2a() {
+       base_test_2 "-E 1m -S 1m"
+}
+run_test 2a "Add components to existing file"
+
+test_2b () {
+       base_test_2 "-E 1m -L mdt"
+}
+run_test 2b "Add components w/DOM to existing file"
 
 del_comp_and_verify() {
        local comp_file=$1
@@ -245,14 +353,14 @@ del_comp_and_verify() {
        $CHECKSTAT -s $size $comp_file || error "size != $size"
 }
 
-test_3() {
+base_test_3() {
        local comp_file=$DIR/$tdir/$tfile
+       local params=$1
 
        test_mkdir $DIR/$tdir
        rm -f $comp_file
 
-       $LFS setstripe -E 1M -S 1M -E 64M -c 2 -E -1 -c 3 $comp_file ||
-               error "Create $comp_file failed"
+       $LFS setstripe $params $comp_file || error "Create $comp_file failed"
 
        check_component_count $comp_file 3
 
@@ -273,9 +381,17 @@ test_3() {
        del_comp_and_verify $comp_file "^init" 1 0
        del_comp_and_verify $comp_file "init" 0 0
        rm -f $comp_file || error "Delete second $comp_file failed"
+}
+
+test_3a() {
+       base_test_3 "-E 1M -S 1M -E 64M -c 2 -E -1 -c 3"
+}
+run_test 3a "Delete components from existing file"
 
+test_3b() {
+       base_test_3 "-E 1M -L mdt -E 64M -S 1M -c 2 -E -1 -c 3"
 }
-run_test 3 "Delete component from existing file"
+run_test 3b "Delete components w/DOM from existing file"
 
 test_4() {
        skip "Not supported in PFL"
@@ -519,7 +635,7 @@ test_10() {
 }
 run_test 10 "Inherit composite template from root"
 
-test_11() {
+test_11a() {
        local comp_file=$DIR/$tdir/$tfile
        test_mkdir $DIR/$tdir
        rm -f $comp_file
@@ -570,7 +686,22 @@ test_11() {
 
        return 0
 }
-run_test 11 "Verify component instantiation with write/truncate"
+run_test 11a "Verify component instantiation with write/truncate"
+
+test_11b() {
+       [ $OSTCOUNT -lt 4 ] && skip "needs >= 4 OSTs"
+
+       local file=$DIR/$tdir/$tfile
+
+       test_mkdir $DIR/$tdir
+       rm -f $file
+
+       $LFS setstripe -E 1m -E 1g -c 4 -E eof $DIR/$tdir ||
+               error "setstripe dir $DIR/$tdir failed"
+       expand_truncate_test $file ||
+               error "expand_truncate_test failed on $file"
+}
+run_test 11b "truncate file set file size correctly"
 
 test_12() {
        [ $OSTCOUNT -lt 3 ] && skip "needs >= 3 OSTs"
@@ -886,6 +1017,37 @@ test_16c() {
 }
 run_test 16c "Verify setstripe/getstripe for SEL layout with YAML config file"
 
+test_16d() {
+       [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs"
+
+       local file=$DIR/$tdir/$tfile
+       local dir=$DIR/$tdir/dir
+       local temp=$DIR/$tdir/template
+       rm -rf $DIR/$tdir
+       test_mkdir $DIR/$tdir
+
+       #####################################################################
+       #                           1. DOM file
+       # set stripe for source file
+       $LFS setstripe -E1m -L mdt -E-1 -o1,0 $file ||
+               error "Create $file failed"
+
+       echo "1. DOM file"
+       verify_yaml_layout $file $file.copy $temp "1. DOM file"
+
+       #####################################################################
+       #                           2. DOM dir
+       # set stripe for source dir
+       test_mkdir $dir
+       $LFS setstripe -E1m -L mdt -E-1 -o1,0 $dir || error "Create $dir failed"
+
+       test_mkdir $dir.copy
+       echo "2. DOM dir"
+       verify_yaml_layout $dir $dir.copy $temp.dir "2. DOM dir"
+}
+run_test 16d "Verify setstripe/getstripe for DOM layout with YAML config file"
+
+
 test_17() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs"
        local file=$DIR/$tdir/$tfile
@@ -2270,6 +2432,53 @@ test_24a() {
 }
 run_test 24a "FIEMAP upon PFL file"
 
+test_25() {
+       local pfl_f=$DIR/$tdir/"$tfile"_pfl
+       local dom_f=$DIR/$tdir/"$tfile"_dom
+       local common_f=$DIR/$tdir/"$tfile"_common
+       local stripe_count
+       local stripe_size
+
+       mkdir -p $DIR/$tdir || error "mkdir $DIR/$tdir failed"
+       $LFS setstripe -E 10M -S 64k -c -1 -E 20M -S 1M -E -1 -S 2M -c 1 \
+               $pfl_f || error "setstripe $pfl_f failed"
+       $LFS setstripe -E 256k -L mdt -E -1 -S 1M $dom_f ||
+               error "setstripe $dom_f failed"
+       $LFS setstripe -S 512K -c -1 $common_f ||
+               error "setstripe $common_f failed"
+
+       #verify lov_getstripe_old with PFL file
+       stripe_count=$(lov_getstripe_old $pfl_f |
+                       awk '/stripe_count/ { print $2 }')
+       stripe_size=$(lov_getstripe_old $pfl_f |
+                       awk '/stripe_size/ { print $2 }')
+       [ $stripe_count -eq 1 ] ||
+               error "stripe_count $stripe_count !=1 for $pfl_f"
+       [ $stripe_size -eq 2097152 ] ||
+               error "stripe_size $stripe_size != 2097152 for $pfl_f"
+
+       #verify lov_getstripe_old with DoM file
+       stripe_count=$(lov_getstripe_old $dom_f |
+                       awk '/stripe_count/ { print $2 }')
+       stripe_size=$(lov_getstripe_old $dom_f |
+                       awk '/stripe_size/ { print $2 }')
+       [ $stripe_count -eq 1 ] ||
+               error "stripe_count $stripe_count !=1 for $dom_f"
+       [ $stripe_size -eq 1048576 ] ||
+               error "stripe_size $stripe_size != 1048576 for $dom_f"
+
+       #verify lov_getstripe_old with common file
+       stripe_count=$(lov_getstripe_old $common_f |
+                       awk '/stripe_count/ { print $2 }')
+       stripe_size=$(lov_getstripe_old $common_f |
+                       awk '/stripe_size/ { print $2 }')
+       [ $stripe_count -eq $OSTCOUNT ] ||
+               error "stripe_count $stripe_count !=$OSTCOUNT for $common_f"
+       [ $stripe_size -eq 524288 ] ||
+               error "stripe_size $stripe_size != 524288 for $common_f"
+}
+run_test 25 "Verify old lov stripe API with PFL files"
+
 complete $SECONDS
 check_and_cleanup_lustre
 exit_status