b=8007
update to b_rel_146

file tcp-zero-copy-2.6.5-7.244.patch was added on branch b1_4_mountconf on 2006-04-17 21:30:25 +0000

file tcp-zero-copy-2.6.12.6.patch was added on branch b1_4_mountconf on 2006-04-17 21:30:25 +0000

Branch b1_4_mountconf
b=9861
Use common code to parse params from mkfs.lustre and from lctl:
 mkfs.lustre --mdt --param="default_stripe_size=1114112" /dev/sda
or
 lctl conf_param lustre-MDT0000 default_stripe_size=1114112
Implemented so far:
default_stripe_size
default_stripe_count
default_stripe_offset
default_stripe_pattern
obd_timeout
failnode

Branch b1_4_mountconf
b=8007
Have to set the mds_max_mdsize for a recovery startup as well.
This patch does it "late", after the recovery completes -- this may not be
sufficient for replay.

Branch b1_4_mountconf
b=9861
change client mount command from
mount uml1:/lustre-client
to
mount uml1:/lustre
at Braam's request.

Branch b1_4_mountconf
b=9846
add ability to change failover nodes or stripe params via lctl:
mgs> ./lctl conf_param lustre-OST0000 failnode=3@elan,192.168.0.3@tcp0
any client> cat /proc/fs/lustre/osc/lustre-OST0000-osc/ost_conn_uuid
mgs> ./lctl conf_param lustre-mdtlov default_stripe_size=1114112
mgs> ./lctl conf_param lustre-mdtlov default_stripe_count=2
mgs> ./lctl conf_param lustre-mdtlov default_stripe_offset=3
mgs> ./lctl conf_param lustre-mdtlov default_stripe_pattern=0
cat /proc/fs/lustre/lov/lustre-mdtlov/stripe*

Branch b1_4_mountconf
b=9861
make mgsnids and failover nids part of string parameters
(e.g. mgsnode=<nid_list>), to simplify mkfs/mount, and to provide a
distinction between multiple nids per node, and multiple nodes.  String
parsing moves into kernel.  Arbitrary params can be added to mkfs.lustre
with --param key=value, hopefully preventing any need to ever change the
lustre_disk_data.

Branch b1_4_mountconf
b=9858
remove llrmount

file tcp-rto_proc-2.6.9.patch was added on branch b1_4_mountconf on 2006-04-05 01:14:57 +0000

file lustre_idl.h was added on branch b1_4_mountconf on 2006-04-26 18:45:46 +0000

Branch b1_4_mountconf
b=4482
if there are no osc's, we don't know how big to make the page size

Branch b1_4_mountconf
b=9861
add method to describe multiple failover nodes each with multiple nids to mkfs.lustre.

file lustre_types.h was added on branch b1_4_mountconf on 2006-04-26 18:45:44 +0000

file lustre_types.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

Branch b1_4_mountconf
b=8007
allow old clients to reconnect to a newly-restarted MGS
(plus some minor cleanups)

Branch b1_4_mountconf
b=8007
Check early for double-mount

Branch b1_4_mountconf
b=8007
use random uuid for MGC so that MGS doesn't deny reconnection after parition.

Branch b1_4_mountconf
b=9861
plumb in "add new failover nids"

file tcp-zero-copy-2.6.9-rhel4.patch was added on branch b1_4_mountconf on 2006-04-05 01:14:57 +0000

Branch b1_4_mountconf
b=9846
add global lctl set_timeout

file lustre_ver.h.in was added on branch b1_4_mountconf on 2006-04-26 18:45:41 +0000

Branch b1_4_mountconf
b=8007
change sense of umount -f for servers:
umount = failover (next mount will go into recovery)
umount -f = force (non-failover, try to clean up)

Branch b1_4_mountconf
b=8007
Use force/failover flags in mgc shutdown to prevent waiting around

Branch b1_4_mountconf
b=8214
replay-single updates (and fixes for problems found thereby)

Branch b1_4_mountconf
b=8007
Kick the mgs import a little harder.  If an mgs/mdt was restarted on a node
with a live mgc, the mgc wouldn't reconnect to the newly restarted
mgs. Throwing the ptlrpc_invalidate_import in there gives it a little more
incentive to reconnect - the mgs mount still gets EIO the first time, but
if you try it again it works.  I need help from somebody with more
knowledge of all these ptlrpc_ fns.

Branch b1_4_mountconf
b=9858 regression test mods
b=8007 need refcount around config_llog_data for arbitrary cleanup

Branch b1_4_mountconf
b=9858
-sanity test fixes
-brief nap before updating to new configs

Branch b1_4_mountconf
b=8007
get rid of unneeded lustre_mgs.h

Branch b1_4_mountconf
b=8007
Hunt down some memory leaks:
1. There are problems with the llog_finish/init pair in mds_lov_add_ost.
   Firstly, they must be atomic as a pair.
   Secondly, the setup sets up more than the cleanup cleans up (see
   note in llog_setup), so we hackishly fix that.
2. Make sure we don't exit the umount until after we've dropped all our
   references to the mount.  Class_cleanup isn't synchronous, and we can't
   exit the umount and risk our sb getting destroyed until we're really done.
   So added a polling check.  Also, move the MDS/OSS cleanup check until after
   the poller, since I'm just looking at the class refcount.

Branch b1_4_mountconf
b=8007
going after the memory leaks:
1. problems with the llog_finish / reinitialize in mds_lov_add_ost -
   the pair must be atomic in case someone else is adding
   the cleanup doesn't clean up as much as the setup sets up.  This is
   falloout

Branch b1_4_mountconf
b=9863 - record timestamp in config log markers for future 9863 use
b=8192 - don't match existing locks in mgc_enqueue
b=9846 - fix client lov name for lctl conf_param

Branch b1_4_mountconf
b=9846
Add lctl conf_param path via ioctl to MGS to set LCFG_PARAMs in logs.
Specifically, this allows things like:
./lctl conf_param lustre-mdtlov default_stripe_size=1055000
to be added to the MDT and client logs.

Branch b1_4_mountconf
b=9860
upgrading from 1.4.6 - don't copy the old client log, just the old mdt log.
Regen client log as osts/mdt re-register after upgrade.
This means that new clients won't know about all the old osc's that the mdt
knows about, so don't start them until after all servers are upgraded.
But this also means no frankenstein hybrid old/new client log, and we don't
need to know the client name.
Use the old uuids parsed out of last_rcvd for the upgrading servers.
We can go back to 1.4.6 with no action required.

Branch b1_4_mountconf
b=9860
namespace cleanup, new flags for upgrading from 146

Branch b1_4_mountconf
b=9853
little cleanups

Branch b1_4_mountconf
move mass_config scripts to subdir and rename

Branch b1_4_mountconf

file platform.h was added on branch b1_4_mountconf on 2006-04-26 18:46:11 +0000

Branch b1_4_mountconf
b=9866, 9843
9866 mount ost exclusion list:
mount -o exclude=lustre-OST0000:lustre-OST0001 -t lustre
uml1:/lustre-client /mnt/lustre
will start a client with selected osc's in "inactive" state, allowing
nonblocking (degraded) filesystem usage.
Also adds foundation for 9843 skipping of so-marked config commands.

file ext3-htree-path-ops.patch was added on branch b1_4_mountconf on 2006-04-05 01:14:57 +0000

Branch b1_4_mountconf
b=10164
- reinterpret failover nid list as list of nids for the one failover
- get rid of mkfs inode size warning
target, not a list of different failover targets.

Branch b1_4_mountconf
b=8007
- change screaming plethora of debug "error" messages to loudly-shouting
plethora of debug "warn" messages.
- stop a bare MGS more quickly

Branch b1_4_mountconf
b=10161
writeconf - all servers re-send registration info whenever they're told to
update their config logs.  MGS can then regenerate the logs for a live fs.

b=9853
add some options, providing the following functionality:
- verifying network conectivity and hostnames in the cluster
- producing HA software configuration files
- using --reformat to format Lustre target
- verbose mode

A script for generating the Heartbeat HA software's configuration files.

A script for generating the Red Hat's Cluster Manager HA software's
configuration files.

Branch b1_4_mountconf
b=8007
don't set default mount opts if user specifies their own

Branch b1_4_mountconf
b=8007
- put a sem around log writing
- get a mgc ref during process log
- try harder to reactivate a failed-connect mgs import
- be smarter about when we try to copy the mgs logs locally
- make servers always register at startup, so mgs can do some sanity checking
- groundwork for "writeconf"-like regenerate logs

file 2.6-rhel4-kgdb-ga.patch was added on branch b1_4_mountconf on 2006-04-05 01:14:57 +0000

A script for verifying the service IP and the real interface IP
in a remote host are in the same subnet.

A script for Lustre cluster network verification.

Branch b1_4_mountconf
b=8007
misc cleanups

Branch b1_4_mountconf
- b=9860 change COMMON_LR to an incompat flag
- add server name to config markers
- b=9861 add lov stripe info when MDT is added
- b=9861 add workaround for dealing with extents to mkfs.lustre

Branch b1_4_mountconf
b=9861
mballoc/extents prevent plain-ext3 pre-mount. So if pre-mount ext3 fails,
try ldiskfs pre-mount.

Branch b1_4_mountconf
b=9861
- update mkfs opts to reflect recent lconf changes
- fix get_device_size

Branch b1_4_mountconf
b=8007
-fix potential lbug in target_handle_connect
-connect flags cleanup
-begin porting sanity.sh

Branch b1_4_mountconf
b=9851
reactivate MGS import if we're trying to reconnect to the import after
it has previously failed, and we want to try another "one shot" connection.

Branch b1_4_mountconf
b=9851
copy remote MGS llogs locally onto server disks, so that servers
can start up even if the MGS is no longer present.
(Note that this leads to the possibility of servers started using
out-of-date logs, and without taking an config lock.)

Branch b1_4_mountconf
b=4482
Problem with the mds notify method of online ost addition - lov_notify
can't notify the mds until the mds is set up, due to a check of obd_set_up
in obd_notify.  But obd_set_up isn't set until
mds_postrecov/mds_postsetup/mds_setup returns to class_setup.

(This can be seen by adding ost's before adding the mdt - the other
order doesn't have the problem because there are no osc's in the lov
during mds_postrecov at that point, so no notifies.)

So I hacked in an additional flag check to obd_notify that happens only to
be set for the mds at this point in it's life: obd_async_recov.  Don't hurt
me.

Branch b1_4_mountconf
b=9861
add local nids to mgsnid list at runtime (for MGS's), so that we don't need
to figure out the mgsnids at mkfs.lustre time.  Now we don't need LNET at
all at mkfs time, and we always try the local MGS when running on backup
nodes as well, so this is a big win.

Branch b1_4_mountconf
b=9861
- add failover NIDs
- some unused code cleanup

Branch b1_4_mountconf
b=9860
interop with 1.4.6
- add "optional" lcfg command flag
- add ldd feature compat flags
- add old client connect hack

Branch b1_4_mountconf
b=9860
interoperability with 1.4.6:
keep old uuids but new server names when ungrading old logs -
names are local, connects all happen through uuids.
(partially hardcoded for now)
- don't change config log magic, header size
- add uuid to disk data
- copy old client and mds log from LOGS to new names under CONFIGS, MGS
  will then modify the logs.
- index number and uuid taken from last_rcvd (1.4.6)
- llog_filp_open must take directory path now (MDT will still serve old
  logs to old client from old LOGS dir.)

Branch b1_4_mountconf
b=8007
- check for already running target
- check for already registered mdt
- mdt index assignment prep for CMD

Branch b1_4_mountconf
b=8007
update from b_rel_146

Branch b1_4_mountconf
b=4482

During an ost_add, mds_lov_sync might be calling clearorphans on all osc's
before the mds has a chance to tell the osc what it's last transno is, in
which case clearorphans resets it to 0.
So change mds_lov_sync to only sync a single target at a time; then the
clearorphans call can only sync something the mds knows about.
This also allows syncing of all osc's in parallel, and removes all
requirements for an mds_lov_desc lock in the sync.

Branch b1_4_mountconf
b=4482
move the mds_conn after the ost addition, like bz9926
identified but not fixed another ost_add problem: can't clearorphans
 on any tgt that mds doesn't know about yet.
fixup mkfs verbiage

Branch b1_4_mountconf
b=9861
- add lov info to mkfs.lustre
- add failover nids to registration
b=4482
- connect flags for online ost add
- better locking in mds_lov_sync
- adilger's dirty objids patch
- various fixme's

(warning: this is completely untested code, may not work)

Branch b1_4_mountconf
b=9861
add tunefs.lustre
original patch by Yu Jian
r=nathan

Branch b1_4_mountconf
b=4482
live ost add of an old ost

Branch b1_4_mountconf
b=4482
live ost addition
adilger, can you look at the comment in mds_notify?

Branch b1_4_mountconf
b=8192
config log updates working (continue parsing log from last step (per
instance) when server cancels config lock)

file linux-module.c was added on branch b1_4_mountconf on 2006-04-26 18:46:02 +0000

file darwin-module.c was added on branch b1_4_mountconf on 2006-04-26 18:46:02 +0000

file obd_support.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file obd_class.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file obd.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lvfs.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_user.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_quota.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_net.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_mds.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_log.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_lite.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_lib.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_handles.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_fsfilt.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_dlm.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_debug.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_compat.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lprocfs_status.h was added on branch b1_4_mountconf on 2006-04-26 18:45:42 +0000

file lustre_quota.h was added on branch b1_4_mountconf on 2006-04-26 18:45:41 +0000

Branch b1_4_mountconf
b=9851
- moving towards live ost addition
- encode fsname in config log resource
- more robust error cleanup from server_fill_super
- D_TRACE entry/exits

Branch b1_4_mountconf
b=9851
start of trying to allow ost addition after mds is setup

Branch b1_4_mountconf
b=8192,9867
- move llog parsing into mgc
- track "used" logs to keep config generation info
- add statfs for df info on the server mounts - just report underlying disk
info (huanghua)
- more LCFG_MARKER processing

Branch b1_4_mountconf
b=8192
- add config lock (finally!) (still need to do updates)
- keep old mds_last_rcvd file format if it already exists
- clean up mgs's filesystem db
- beginning of CFG_MARKERs

Remove "device size" element, and add "mkfs options" element.

A shell script to add lnet options line to modprobe.conf or modules.conf

A shell script to parse csv file and format massive Lustre targets in parallel