Whamcloud - gitweb
LU-12611 lnet: continue adding routes
[fs/lustre-release.git] / lustre / scripts / lmc2csv.pl
1 #!/usr/bin/perl
2
3 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
4
5 #
6 # convert an lmc batch file to a csv file for lustre_config
7 #
8 use strict; use warnings;
9
10 use Data::Dumper;
11
12 sub get_arg_val {
13     my $arg = shift;
14     my ($aref) = @_;
15     for (my $i = 0; $i <= $#$aref; $i++) {
16         if ($$aref[$i] eq "--" . $arg) {
17             my @foo = splice(@$aref, $i, 2);
18             return $foo[1];
19         }
20     }
21     return undef;
22 }
23
24 sub get_arg {
25     my $arg = shift;
26     my ($aref) = @_;
27     for (my $i = 0; $i <= $#$aref; $i++) {
28         if ($$aref[$i] eq "--" . $arg) {
29             splice(@$aref, $i, 1);
30             return 1;
31         }
32     }
33
34     return 0;
35 }
36
37 sub add_net {
38     my $net = {};
39     $net->{"node"} = get_arg_val("node", \@_);
40     $net->{"nid"} = get_arg_val("nid", \@_);
41     $net->{"nettype"} = get_arg_val("nettype", \@_);
42     $net->{"port"} = get_arg_val("port", \@_);
43     # note that this is not standard lmc syntax.  it's an extension to it
44     # to handle something that lmc never had to deal with.
45     $net->{"iface"} = get_arg_val("iface", \@_);
46     if ($#_ > 0) {
47         print STDERR "Unknown arguments to \"--add net\": @_\n";
48         exit(1);
49     }
50     return $net;
51 }
52
53 sub add_mds {
54     my $mds = {};
55     $mds->{"node"} = get_arg_val("node", \@_);
56     $mds->{"name"} = get_arg_val("mds", \@_);
57     $mds->{"fstype"} = get_arg_val("fstype", \@_);
58     $mds->{"dev"} = get_arg_val("dev", \@_);
59     $mds->{"size"} = get_arg_val("size", \@_);
60     $mds->{"lmv"} = get_arg_val("lmv", \@_);
61     $mds->{"failover"} = get_arg("failover", \@_);
62     $mds->{"failout"} = get_arg("failout", \@_);
63     $mds->{"inode_size"} = get_arg_val("inode_size", \@_);
64     if ($#_ > 0) {
65         print STDERR "Unknown arguments to \"--add mds\": @_\n";
66         exit(1);
67     }
68     return $mds;
69 }
70
71 sub add_lov {
72     my $lov = {};
73     $lov->{"name"} = get_arg_val("lov", \@_);
74     $lov->{"mds"} = get_arg_val("mds", \@_);
75     $lov->{"lmv"} = get_arg_val("lmv", \@_);
76     $lov->{"stripe_sz"} = get_arg_val("stripe_sz", \@_);
77     $lov->{"stripe_cnt"} = get_arg_val("stripe_cnt", \@_);
78     $lov->{"stripe_pattern"} = get_arg_val("stripe_pattern", \@_);
79     if ($#_ > 0) {
80         print STDERR "Unknown arguments to \"--add lov\": @_\n";
81         exit(1);
82     }
83     return $lov;
84 }
85
86 sub add_ost {
87     my $ost = {};
88     $ost->{"node"} = get_arg_val("node", \@_);
89     $ost->{"name"} = get_arg_val("ost", \@_);
90     $ost->{"fstype"} = get_arg_val("fstype", \@_);
91     $ost->{"dev"} = get_arg_val("dev", \@_);
92     $ost->{"size"} = get_arg_val("size", \@_);
93     $ost->{"lov"} = get_arg_val("lov", \@_);
94     $ost->{"mountfsoptions"} = get_arg_val("mountfsoptions", \@_);
95     $ost->{"failover"} = get_arg("failover", \@_);
96     $ost->{"failout"} = get_arg("failout", \@_);
97     $ost->{"inode_size"} = get_arg_val("inode_size", \@_);
98     if ($#_ > 0) {
99         print STDERR "Unknown arguments to \"--add ost\": @_\n";
100         exit(1);
101     }
102     return $ost;
103 }
104
105 sub add_mtpt {
106     my $mtpt = {};
107     $mtpt->{"node"} = get_arg_val("node", \@_);
108     $mtpt->{"path"} = get_arg_val("path", \@_);
109     $mtpt->{"mds"} = get_arg_val("mds", \@_);
110     $mtpt->{"lov"} = get_arg_val("lov", \@_);
111     $mtpt->{"lmv"} = get_arg_val("lmv", \@_);
112     if ($#_ > 0) {
113         print STDERR "Unknown arguments to \"--add mtpt\": @_\n";
114         exit(1);
115     }
116     return $mtpt;
117 }
118
119 no strict 'refs';
120
121 sub find_objs {
122     my $type = shift;
123     my $key = shift;
124     my $value = shift;
125     my @objs = @_;
126
127     my @found_objs;
128     foreach my $obj (@objs) {
129         if (defined($obj->{$key}) && defined($value)
130             && $obj->{$key} eq $value) {
131             push(@found_objs, $obj);
132         }
133     }
134
135     return @found_objs;
136 }
137
138 sub lnet_options {
139     my $net = shift;
140
141     my $networks = $net->{"nettype"};
142     if (defined($net->{"iface"})) {
143         my $iface = $net->{"iface"};
144         $networks .= "($iface)";
145     }
146     my $options_str = "options lnet networks=" . $networks .
147                    " accept=all";
148     if (defined($net->{"port"})) {
149         $options_str .= " accept_port=" . $net->{"port"};
150     }
151     return $options_str;
152
153 }
154
155 # main
156
157 my %objs;
158 my @mgses;
159
160 my $MOUNTPT = "/mnt";
161 if (defined($ENV{"MOUNTPT"})) {
162     $MOUNTPT = $ENV{"MOUNTPT"};
163 }
164
165 while(<>) {
166     my @args = split;
167
168     for (my $i = 0; $i <= $#args; $i++) {
169         if ($args[$i] eq "--add") {
170             my $type = "$args[$i + 1]";
171             my $subref = "add_$type";
172             splice(@args, $i, 2);
173             push(@{$objs{$type}}, &$subref(@args));
174             last;
175         }
176         if ($i == $#args) {
177             print STDERR "I don't know how to handle @args\n";
178             exit(1);
179         }
180     }
181 }
182
183 # link lovs to mdses
184 foreach my $lov (@{$objs{"lov"}}) {
185     foreach my $mds (find_objs("mds", "name", $lov->{"mds"}, @{$objs{"mds"}})) {
186         if ($mds) {
187             $mds->{"lov"} = $lov;
188         }
189     }
190     # try via lmvs as well
191     foreach my $mds (find_objs("mds", "lmv", $lov->{"lmv"}, @{$objs{"mds"}})) {
192         if ($mds) {
193             $mds->{"lov"} = $lov;
194         }
195     }
196 }
197
198 # create lmvs and link them to mdses
199 foreach my $mds (@{$objs{"mds"}}) {
200     my $lmv;
201     my @lmvs = find_objs("lmv", "name", $mds->{"lmv"}, @{$objs{"lmv"}});
202     if ($#lmvs < 0) {
203         $lmv = {};
204         $lmv->{"name"} = $mds->{"lmv"};
205         push(@{$objs{"lmv"}}, $lmv);
206     } else {
207         $lmv = pop(@lmvs);
208     }
209     $mds->{"lmv"} = $lmv;
210 }
211
212 # link mtpts to lovs and lmvs or mdses
213 foreach my $mtpt (@{$objs{"mtpt"}}) {
214     foreach my $mds (find_objs("mds", "name", $mtpt->{"mds"}, @{$objs{"mds"}})) {
215         if ($mds) {
216             $mds->{"mtpt"} = $mtpt;
217         }
218     }
219     foreach my $lmv (find_objs("lmv", "name", $mtpt->{"lmv"}, @{$objs{"lmv"}})) {
220         if ($lmv) {
221             $lmv->{"mtpt"} = $mtpt;
222         }
223     }
224     foreach my $lov (find_objs("lov", "name", $mtpt->{"lov"}, @{$objs{"lov"}})) {
225         if ($lov) {
226             $lov->{"mtpt"} = $mtpt;
227         }
228     }
229 }
230
231 # XXX could find failover pairs of osts and mdts here and link them to
232 # one another and then fill in their details in the csv generators below
233 my $COUNT = 1;
234 foreach my $mds (@{$objs{"mds"}}) {
235     # find the net for this node
236     my @nets = find_objs("net", "node", $mds->{"node"}, @{$objs{"net"}});
237     my $lmv = $mds->{"lmv"};
238     my $lov = $mds->{"lov"};
239     my $mtpt;
240     if ($lmv) {
241         $mtpt = $mds->{"lmv"}->{"mtpt"};
242     } else {
243         $mtpt = $mds->{"mtpt"};
244     }
245     my $fmt_options="";
246     if (defined($lov->{"stripe_sz"})) {
247         $fmt_options .= "lov.stripesize=" . $lov->{"stripe_sz"} . " ";
248     }
249     if (defined($lov->{"stripe_cnt"})) {
250         $fmt_options .= "lov.stripecount=" . $lov->{"stripe_cnt"} . " ";
251     }
252     if (defined($lov->{"stripe_pattern"})) {
253         $fmt_options .= "lov.stripetype=" . $lov->{"stripe_pattern"} . " ";
254     }
255     if (defined($mds->{"failover"}) & $mds->{"failover"}) {
256         $fmt_options .= "failover.mode=failover" . " ";
257     }
258     if (defined($mds->{"failout"}) & $mds->{"failout"}) {
259         $fmt_options .= "failover.mode=failout" . " ";
260     }
261     chop($fmt_options);
262     if ($fmt_options ne "") {
263         $fmt_options = " --param=\"$fmt_options\"";
264     }
265
266     my $mkfs_options="";
267     if (defined($mds->{"inode_size"})) {
268         $mkfs_options .= "-I " . $mds->{"inode_size"} . " ";
269     }
270     chop($mkfs_options);
271
272     my $fs_name="";
273     my $mount_point = "$MOUNTPT/" . $mds->{"name"};
274     if (defined($mtpt->{"node"})) {
275         $fs_name = $mtpt->{"node"};
276         $mount_point .= "_" . $mtpt->{"node"};
277     }
278
279     if ($COUNT == 1) {
280         # mgs/mdt
281         printf "%s,%s,%s,%s,mgs|mdt,%s,,,--device-size=%s --noformat%s,%s,\n", 
282         $mds->{"node"},
283         lnet_options($nets[0]),
284         $mds->{"dev"},
285         $mount_point,
286         $fs_name,
287         $mds->{"size"},
288         $fmt_options,
289         $mkfs_options;
290
291         push(@mgses, $nets[0]->{"nid"});
292     } else {
293         # mdt
294         printf "%s,%s,%s,%s,mdt,%s,\"%s\",,--device-size=%s --noformat%s,%s,\n",
295         $mds->{"node"},
296         lnet_options($nets[0]),
297         $mds->{"dev"},
298         $mount_point,
299         $fs_name,
300         join(",", @mgses),
301         $mds->{"size"},
302         $fmt_options,
303         $mkfs_options;
304     }
305     $COUNT++;
306 }
307
308 foreach my $ost (@{$objs{"ost"}}) {
309     my $mount_opts="";
310     if (defined($ost->{"mountfsoptions"})) {
311         $mount_opts .= "\"" . $ost->{"mountfsoptions"} . "\"";
312     }
313     my $fmt_options="";
314     if (defined($ost->{"failover"}) & $ost->{"failover"}) {
315         $fmt_options .= "failover.mode=failover" . " ";
316     }
317     if (defined($ost->{"failout"}) & $ost->{"failout"}) {
318         $fmt_options .= "failover.mode=failout" . " ";
319     }
320     chop($fmt_options);
321     if ($fmt_options ne "") {
322         $fmt_options = " --param=\"$fmt_options\"";
323     }
324     
325     my $mkfs_options="";
326     if (defined($ost->{"inode_size"})) {
327         $mkfs_options .= "-I " . $ost->{"inode_size"} . " ";
328     }
329     chop($mkfs_options);
330
331     $ost->{"lov"} = (find_objs("lov", "name", $ost->{"lov"}, @{$objs{"lov"}}))[0];
332     my $fs_name="";
333     my $mount_point = "$MOUNTPT/" . $ost->{"name"}, 
334     my $mtpt = $ost->{"lov"}->{"mtpt"};
335     if (defined($mtpt->{"node"})) {
336         $fs_name = $mtpt->{"node"};
337         $mount_point .= "_" . $mtpt->{"node"};
338     }
339     # find the net for this node
340     my @nets = find_objs("net", "node", $ost->{"node"}, @{$objs{"net"}});
341     printf "%s,%s,%s,%s,ost,%s,\"%s\",,--device-size=%s --noformat%s,%s,%s\n", 
342     $ost->{"node"},
343     lnet_options($nets[0]),
344     $ost->{"dev"},
345     $mount_point,
346     $fs_name,
347     join(",", @mgses),
348     $ost->{"size"},
349     $fmt_options,
350     $mkfs_options,
351     $mount_opts;
352 }