Whamcloud - gitweb
b=2330
[fs/lustre-release.git] / lustre / ChangeLog
1 tbd         Cluster File Systems, Inc. <info@clusterfs.com>
2        * version 1.0.1
3        * bug fixes
4         - remove now-unused request->rq_obd (278)
5         - if an allocation fails, print out how much memory we've used (1933)
6         - use PORTAL_SLAB_ALLOC for structures, to get GFP_MEMALLOC (1933)
7         - add the "configurable stack size" patch to most series files (1256)
8         - ability to write large log records, for 100+ OST configs (2306)
9         - fix NULL deref when filter_prep fails (2314)
10         - fix operator precedence error in filter_sync
11         - dynamic allocation of socknal TX descriptors (2315)
12         - fix a missed case in the GFP_MEMALLOC patch, can cause deadlock (2310)
13         - fix gcc 2.96 compilation problem in xattr kernel patch (2294)
14         - ensure that CWARN messages in Portals always get to the syslog
15         - __init/__exit are not for prototype decls (ldlm_init/exit)
16         - x86-64 compile warning fixes
17         - fix gateway LMC keyword conflict (2318)
18         - fix MDS lock inversions in getattr/reint paths (1844)
19         - fix a rare lock re-ordering bug, which caused deadlock (2322)
20         - fix i_sem/journal inversion in fsfilt_ext3_write_record (2306)
21         - protect MDS inode fsdata with stronger locking (2313)
22         - better error messages when a client is rejected during recovery (1505)
23         - avoid cancelling locks which were never granted, after failure (2330)
24        * miscellania
25         - allow configurable automake binary, for testing new versions
26         - small update to the lfs documentation
27
28 2003-12-03  Cluster File Systems, Inc. <info@clusterfs.com>
29        * version 1.0.0
30        * fix negative export reference count in fsfilt_sync (2312)
31
32 2003-12-01  Cluster File Systems, Inc. <info@clusterfs.com>
33        * release candidate 0.9.1
34        * bug fixes
35         - orphans are moved into the PENDING directory for possible recovery
36         - replayed opens now open by fid for orphan/rename safety (1042)
37         - last close of an orphan inode generates a transno (683)
38         - chdir() and mount() now pin the directory entry (1020)
39         - avoid CERROR in normal ll_setattr_raw() error case (1500)
40         - discard very old requests without processing them (1502)
41         - remove some common, well-understood CERRORs (1505)
42         - require O_DIRECT I/O to be page-sized to workaround IA64 crash (1609)
43         - clear "grant" flags in OST replies until OST grant code lands (1644)
44         - fix read performance by not clobbering i_blksize on client (1598)
45         - fix __ldlm_handle2lock oops by not dereferencing lock after PUT (1625)
46         - make LRU size a /proc tunable, clears locks when reduced (707)
47         - fix some lprocfs rot that prevented ptlbd from loading (1732)
48         - server locks take references on exports now (1558)
49         - build fixes for 2.4.20-rh trees (1663)
50         - return an error from lov_create if all OSCs are inactive (1751)
51         - fix import levels when a reconnect happens without a timeout (1597)
52         - exit early from mds_open if we get a lookup error (1749)
53         - partial page read at EOF wouldn't wait for disk before sending (1642)
54         - avoid NULL deref in obdfilter when reading page past EOF (1592)
55         - avoid LASSERT in ll_intent_lock if server failed very early (1090)
56         - fix LBUG in ll_it_open_error with rc = -2 (1861)
57         - write/truncate lock inversion (1639)
58         - Don't auto-load obdclass, portals modules during cleanup (1495)
59         - fix timestamps from jumping to "now" (1763)
60         - extra journal assertions (1648)
61         - add an extra multiunlink test (1771)
62         - fix read_record/write_record API (1776)
63         - fix leak of offset_extent, possible incorrect i_size later (1772)
64         - fix lasserts in mis-matched transnos during open-unlink testing (1541)
65         - Debugging for the kqswnal_get_idle_tx problems (1820)
66         - Allow recovery to be attempted multiple times (1536)
67         - Write out MDS last_rcvd file after it is first created (1600)
68         - Fix tx_descriptor leak in failed transmit situations (1827)
69         - ext3 journaling fixes for assertion failure after IO error (1871)
70         - class_export_put() on freed export after completion AST error (1896)
71         - Fix revalidate looping in VFS (1322)
72         - Don't access a freed export during MDS_REINT timeout (1521)
73         - Add open-unlink recovery support on the MDS (1673,1764)
74         - Return an error if no MDS data was read from last_rcvd (1946)
75         - Fix for lookup "." or ".." crash on error (1932,1931,1935)
76         - Don't setup a disk device that doesn't match exported UUID (317)
77         - Reduce bulk RPC timeout to avoid cascading client/OST failures (1845)
78         - avoid committing NULL handle in force close
79         - local.sh is now a one-stripe LOV configuration
80         - POSIX utime.4 -EPERM on FIFO not owned by user (56)
81         - fix ext3 htree duplicate directory entry corruption (1516)
82         - POSIX creat.13, fstat.1, open.18, stat.3 new file atime/mtime (2020)
83         - update to new LOV EA format (2097)
84         - interoperability for different PAGE_SIZE/wordsize (686,1821,1343,2042)
85
86 2003-06-15  Phil Schwan  <phil@clusterfs.com>
87        * version v0_7
88        * bug fixes
89         - imports and exports cleanup too early, need refcounts (349, 879, 1045)
90         - per-import/export recovery handling (958, 931, 959)
91         - multiple last-rcvd slots, for serving multiple FSes (949)
92         - connections are again shared between multiple imp/exports (963, 964)
93         - "umount -f" would hang if any requests needed to be sent (393, 978)
94         - avoid pinning large req buffer by copying for queued messages (989)
95         - add "uuid" to "lctl device" command to help upcalls (991)
96         - "open" RPCs with transnos would confuse recovery counters (1037)
97         - do proper endian conversion of all wire messages (288, 340, 891)
98         - remove OST bulk get LBUGs, fix ost_brw_write cleanup (1126)
99         - call waiting locks callback from LDLM recovery thread (1127, 1151)
100         - fix ptlrpc_connection leak in target_handle_connect (1174)
101         - fix import refcounting bug in OST and MDS cleanup (1134)
102         - if an invalid-at-open-time OSC returned before close(), LBUG (1150)
103         - fix very unlikely obd_types race condition (501)
104         - remove osc_open hack for echo_client (1187)
105         - we leaked exports/dlmimps for forcibly disconnected clients (1143)
106         - a failure in read_inode2 leads to deadlock (1139)
107         - cancel ack-locks as soon as transaction is committed (1072)
108         - fix major leaks and crashes in the bulk I/O path (937, 1057)
109         - make sure to commitrw after any preprw to avoid deadlock (1162)
110         - failing to execute a file in a lustre FS would lock inode (1203)
111         - small DEBUG_REQ fix to avoid dereferencing a NULL (1227)
112         - don't ASSERT while cleaning up an incompletely-setup obd (1248)
113         - obd_uuid2tgt would walk off the end of the list (1255)
114         - on IA64 the osc would give portals incorrect bulk size (1258)
115         - fix debug daemon ioctl interface; allows daemon on ia64 (1274)
116         - fix lock inversion caused by new llite matching code (1282)
117         - limit the number of dirty pages on a client to 10MB (1286)
118         - timed out locks were not being corrected cancelled (1289)
119         - fix O_DIRECT above 4GB on IA-32 (1292)
120        * major user-visible changes
121         - fail out/fail over policy now controlled by the upcall (993)
122        * protocol changes
123         - add OBD_PING to check server availability and failure (954)
124         - lustre messages are now sent in sending host order (288, 340, 891)
125         - add eadatalen to MDS getattr reply (340)
126         - OST read replies may contain second buffer, with per-page status (593)
127
128 2003-03-11  Phil Schwan  <phil@clusterfs.com>
129        * version v0_6
130        * bug fixes
131         - LDLM_DEBUG macro fix, for gcc 3.2 (850)
132         - failed open()s could cause deadlock; fixed (867, 869)
133         - stop cancelling OST locks when files are closed (481)
134         - overlapping XID spaces caused network corruption (851, 853)
135         - fix unsafe fsfilt counter arithmetic; change to atomic_t
136         - setattr_raw added, to do single-RPC, server-side setattrs
137         - lmc/lconf syntax change for OST UUIDs
138         - fix crashy race condition between ptlrpc_free_req and osc_close
139         - don't use request in mdc_enqueue if we hit a timeout (889)
140         - don't set the inode i_size for regular files from the MDS (896)
141         - handle out of order completion AST (842)
142         - don't LBUG if a lock request times out after receiving AST (913)
143         - avoid d_rehash race in ll_find_alias by rehashing inside dcache_lock
144         - if a bad lock AST arrives, send an error instead of dropping entirely
145         - return 0 from revalidate2 if ll_intent_lock returns -EINTR (912)
146         - fix leak in bulk IO when only partially completed (899, 900, 926)
147         - fix O_DIRECT for ia64 (55)
148         - (almost) eliminate Lustre-kernel-thread effects on load average (722)
149         - C-z after timeout could hang a process forever; fixed (977)
150        * Features
151         - client-side I/O cache (678, 924, 929, 941, 970)
152        * protocol changes
153         - READPAGE and SETATTRs which don't take server-side locks get
154           their own portal
155
156 2003-02-11  Phil Schwan  <phil@clusterfs.com>
157         * version v0_5_20
158         * bug fixes
159          - Fix ldlm_lock_match on the MDS to avoid matching remote locks (592)
160          - Fix fsfilt_extN_readpage() to read a full page of directory
161            entries, or fake the remainder if PAGE_SIZE != blocksize (500)
162          - Avoid extra mdc_getattr() in ll_intent_lock when possible (534, 604)
163          - Fix imbalanced LOV object allocation and out-of-bound access (469)
164          - Most intent operations were removed, in favour of a new RPC mode
165            that does a single RPC to the server and bypasses most of the VFS
166          - All LDLM resource ID arrays were removed in favour of ldlm_res_id
167          - Aggressively cancel local locks on DLM servers
168          - mds_reint_unlink sends EA to the client if it's the last nlink.
169            client uses that EA to unlink OST objects.
170          - mds_reint_{rename,unlink,link} were rewritten to take ordered locks
171          - recursive symlinks were fixed (439)
172          - fixed NULL deref in DEBUG_REQ
173          - filter_update_lastobjid no longer calls sync, which annoyed extN
174          - fixed multi-client small-writes to a single file problem (445)
175          - fixed mtime updates during file writes (607)
176          - fixed vector writes on obdfilter causing problems when ENOSPC (670)
177          - fixed bug in obd_brw_read/write() (under guise of testing 367)
178          - fixed Linux OST size reporting problem (444, 656)
179          - OST now updates object mtime with writes or setattr (607, 619)
180          - client verifies file size before zeroing page past EOF (445)
181          - OST now writes last allocated objid to disk with allocation (108)
182          - LOV on echo now works (409)
183         * protocol changes
184          - mds_reint_unlink sends a new buffer, with the EA included.  this
185            buffer is only valid if body->valid & OBD_MD_FLEASIZE, which is only
186            set if a regular file was being unlinked, and it was the last link
187          - use PtlGet from the target for bulk writes (315)
188          - OST now updates object mtime with writes or setattr (607, 619)
189          - LDLM now has a grant-time callback to revalidate locked items, if
190            necessary (604)
191          - Many MDS operations were reorganized to combat race conditions
192         * other changes
193          - Merge b_intel branch (updated lprocfs code) - now at /proc/fs/lustre
194          - configure check to avoid gcc version 2.96 20000731-2.96-98) (606)
195
196 2003-01-06  Andreas Dilger  <adilger@clusterfs.com>
197         * version v0_5_19
198         * bug fixes
199          - Fully reactivate OST imports after reconnection (512, others)
200          - Make sure client sees our -ENOTCONN from mds_handle (513 - partial)
201          - More graceful error handling for truncating on dead OST (515)
202          - Don't error out unless we're actually accessing dead stripes (474)
203          - Fix garbage sizes when stripes are missing (410)
204          - LRU counters were broken, causing constant lock purge (433, 432)
205          - garbage on read from stripes with failed OSTs (441)
206          - mark OSCs as active before reconnecting during recovery (438)
207          - lov_enqueue and lov_cancel need to handle inactive OSTs (403)
208          - lfind did not preserve OST order in output (443)
209          - symlinks cause hung clients, incorrect data (439)
210          - stop dereferencing request after dropping refcount (457)
211          - don't LASSERT(spin_is_locked) on non-SMP (455)
212          - fixes for many rename() bugs
213          - fstat didn't correctly synchronize attributes (399)
214          - server must handle lock cancellation during blocking AST prep (487)
215          - bulk descriptors were free()d too soon (511)
216          - fix paths in lconf, which would load incorrect modules (451, 507)
217          - fix confusing lconf 'host not found' error message (386)
218          - fix lock order deadlock on OST (O/R i_sem before journal ops, 478)
219          - fix race condition in mdc_blocking_ast() for inode access (526)
220          - fix lov_unpackmd() unpacking wrong number of stripes (537)
221          - fix lov_set_osc_active() marking wrong OSC inactive (440)
222          - fix bad lstripe lov_unpackmd() assertion (fix layering too) (527)
223          - fix multiple writes of stripe MD to MDS (358, maybe 519)
224          - fix lstripe in several ways (kernel side) (527)
225          - fix request leak in ldlm_cli_enqueue (262)
226          - incorrect OSC was marked inactive after OST failure
227          - call mds_fs_cleanup before unmounting filesystem (524)
228          - fix races between taking ns_lock and ldlm_lock_change_resource
229          - fix races updating LOV export open file list
230          - fix lov_enqueue error path, avoid decref-ing bad lock handle
231          - fix recovery NULL deref in ldlm_cli_cancel_unused
232          - fix some DLM races by using new hash table for lock handles (419)
233          - permit the client to specify desired inodes, at replay
234          - duplicate requests when we queue them for replay reintegration
235          - fix last_rcvd offset calculation
236          - sync after each recovered transaction, so we always make progress
237          - never, not always, ERESTART requests without transnos
238          - store the lov_desc in the MDS, so we don't depend on getlovinfo to
239            set it
240          - skip replay if the MDS says that the client is already connected
241          - don't check for a recovery-enabled export to match lctl's UUID
242          - don't INC_USE_COUNT for phantom exports
243          - don't crash when cleaning up phantom exports (567)
244          - don't double-finish or set replay data for errored mdc_open requests
245          - abort requests when they time out, so we don't get old replies
246          - send/receive replies for AST messages again
247          - if the client says that it doesn't have the lock, cancel it on the
248            server
249          - if we timeout during I/O, don't try to cancel an in-use lock; instead
250            mark it as destroyed, it will all work out when decref is called
251          - fix module use counts (22, 581)
252         * protocol changes
253          - ASTs now expect a reply (server cancels lock on error reply)
254
255 2002-12-02  Andreas Dilger  <adilger@clusterfs.com>
256         * version v0_5_18
257         * bug fixes
258           - fix many simultaneous client startup (392)
259           - fix dentry->d_it clobbering
260           - credentials weren't being shipped for readdir/getattr operations
261           - remove invalid assertions triggered during some concurrent MD
262             updates
263           - proper Lustre versions added (336, 389)
264           - fix memory leak for create error case (398)
265           - fix LOV locking bug that would get cli/srv out of sync
266           - fix echo client over LOV (409)
267           - fix dbench 2, extN refcount problem (170, 258, 356, 418)
268           - fix double-O_EXCL intent crash (424)
269           - avoid sending multiple lock CANCELs (352)
270         * Features 
271           - MDS can do multi-client recovery (modulo bugs in new code)
272         * Documentation 
273           - many updates, edits, cleanups
274
275 2002-11-18  Phil Schwan  <phil@clusterfs.com>
276         * version v0_5_17
277         * bug fixes
278           - fix null d_it dereference (346)
279           - fix full OST/dbench hang (333)
280           - fix permission problem with file removal (286)
281           - fix removal of OSCs from LOV when they fail
282           - fix NULL deref during bulk timeout (214)
283           - fix problems related to multiple filesystems on one MDS (241)
284           - fixed serious subtle metadata locking bugs
285           - free locks on clients when inodes are removed due to memory
286             pressure (201)
287           - fix inode pointer in lock data (285)
288           - partial support for multiple MDS on a single host (241)
289           - data locks weren't cancelled at clear_inode time (290, 311)
290           - intent locks could lead to unbounded lock growth (205)
291           - added a maximum lock count, an LRU list, and a flusher
292           - fix multiple rename (365)
293           - properly abstracted the echo client
294           - OSC locked 1 byte too many; fixed
295           - rewrote brw callback code:
296             - fixed recovery bugs related to LOVs (306)
297             - fixed too-many-pages-in-one-write crash (191)
298             - fixed (again) crash in sync_io_timeout (214)
299             - probably fixed callback-related race (385)
300         * protocol change
301           - Add capability to MDS protocol
302           - LDLM cancellations and callbacks on different portals
303
304 2002-10-28  Andreas Dilger  <adilger@clusterfs.com>
305         * version v0_5_16
306         * bug fixes:
307           - limit client IOV size to PTL_MD_MAX_IOV (611336, 191)
308           - defer open object destruction to close time (601981, 138)
309           - open/close OST file handle in obdo (OBD_MD_FLHANDLE) (601981, 138)
310           - move LDLM_ENQUEUE/CONVERT back to MDS portal (625069)
311           - abstract ll_lookup2, fix ll_revalidate2 to use abstraction (256)
312           - don't call obd_setattr in ll_file_release for destroyed objects
313         * protocol change to lustre_msg: move |version| and add |flags|
314         * protocol change to osc_punch: "start" in "o_size", "end" in "o_blocks"
315         * lock replay: for LDLM_FL_REPLAY trust client to do right thing
316         * added replay of create, unlink, link and rename operations during
317           MDS failover; recovery should be much more robust now
318         * remove failed OSCs from LOVs (only lov_create uses this so far)
319         * the lustre-HOWTO was brought (more) up to date (582544)
320
321 2002-10-23  Phil Schwan  <phil@clusterfs.com>
322         * version v0_5_15
323         * bug fixes:
324           - in-use dentries weren't being reused properly (617851)
325           - prevent multiple LDLM setup (599178)
326           - fix LOV size calculations for truncate (617853)
327           - fix client handling of MDS intent errors (POSIX)
328           - fix permission bug in lovstripe.c test (624321)
329           - fix MDS thread deadlock - move LDLM handler to DLM portal (625069)
330           - truncate past end of file could corrupt data
331           - proper cleanup after timeouts, crashes, etc (592524, 550815)
332           - a race in recovery could return ETIMEDOUT to apps (623947)
333           - building outside the source directory was fixed
334         * the lustre-HOWTO was brought (more) up to date (582544)
335         * major progress was made on recovery functionality
336
337 2002-10-10  Phil Schwan  <phil@clusterfs.com>
338         * version v0_5_14
339         * bug fixes:
340           - recovery deadlock fix
341           - rm -rf causes LBUG fix (617817)
342           - file open by multiple tasks fix (618962)
343           - directory permissions bugs (602707 and 620007)
344           - journal_stop fixed with locking (611313)
345           - O_APPEND failures resolved (618273, perhaps 614459)
346           - lconf PATH fix (619770)
347           - IA64 build fix (621450)
348           - RPC buffer sizes scale with amount of memory
349
350 2002-10-01  Phil Schwan  <phil@clusterfs.com>
351         * version v0_5_13
352         * bug fixes:
353           - locks would be cancelled without throwing away data pages,
354             resulting in inconsistent data (605627)
355           - inode attributes were not always being refreshed (605627, 612449)
356           - lconf now continues to cleanup after lctl reports an error
357           - MDS now enforces user permissions (602707)
358           - lprocfs cleanup fixed, but not yet enabled (614157)
359           - fixed infinite server hang, should a client not respond to an AST
360           - avoid going into recovery if user calls readlink() with a buffer
361             that's too small (613941)
362           - AST RPCs no longer require replies (614867) -- this may be changed
363           - don't crash server if client sends an IOV that's too big (611336)
364           - fixed lock conversion deadlock (611892)
365           - fixed the following of symlinks (614622)
366         * recovery: the server can remove locks from a client that dies, other
367           clients can make progress
368         * more extN patch fixes
369         * compile-time configurable ptlrpc buffer allocations
370         * documentation
371           - collaborative read cache document
372           - Lustre Lite Performance CDR document-in-progress
373
374 2002-09-20  Andreas Dilger  <adilger@clusterfs.com>
375         * version v0_5_12
376         * bug fix
377           - fix typo in patch-2.4.18
378
379 2002-09-20  Andreas Dilger  <adilger@clusterfs.com>
380         * version v0_5_11
381         * bug fixes
382           - clear ptlrpc request each time in handle_incoming_request()
383           - unlink of files now destroys the object on the OST
384
385 2002-09-19  Peter Braam  <braam@clusterfs.com>
386         * version 0_5_10
387         * add hard link support
388         * change obdfile creation method
389         * kernel patch changed
390         
391 2002-09-19  Peter Braam  <braam@clusterfs.com>
392         * version 0_5_9
393         * bug fix
394           - stack overflow bug in extN fixed
395
396 2002-09-18  Andreas Dilger  <adilger@clusterfs.com>
397         * version 0_5_8
398         * documentation updates
399           - add man pages for config tools
400           - update tests/README to describe testing with new config tools
401           - finish metadata API descriptions
402         * bug fixes and cleanups
403           - statfs workaround for 16TB limit
404           - LOV stripe allocation improved, can stripe on subset of OSTs
405           - LOV file size/IO offset was wrong for files > 4GB in size
406           - object EA data was being dropped, caused files to be unreadable
407           - memory overflow with non-LOV OST caused memory corruption
408           - fixed regression tests to work with new config tools, obdfilter
409           - fixed bug when directory size became larger than 1 block
410           - fixed bug (for single client case) when PWD was deleted
411           - invalidate local directory pages when doing intent-based ops
412           - avoid LDLM oops when lock callback contained bad data
413
414 2002-09-09  Andreas Dilger  <adilger@clusterfs.com>
415         * version 0_5_7
416         * documentation updates
417         * bug fixes and cleanups
418           - configuration tools
419           - LOV
420           - imports/exports
421           - 64-bit compile warnings
422           - 64-bit internal statfs data
423           - many more
424         * test_brw on persistent OST devices
425         * MDS recovery
426         * lprocfs (disabled)
427
428 2002-09-04  Andreas Dilger  <adilger@clusterfs.com>
429         * version 0_5_6
430         * documentation updates
431         * bug fixes and cleanups
432         * configuration tools
433
434 2002-08-30  Peter J. Braam  <braam@clusterfs.com>
435
436         * version v0_5_5
437         * many small fixes to 0_5_4
438         * io/network handling
439         * thinkos in MDS operations
440
441 2002-08-24  Peter J. Braam  <braam@clusterfs.com>
442
443         * version v0_5_4
444         * crucial basic fixes to 0.5.3
445         * IOR, Iozone work over Elan
446         * EOF locks added
447
448 2002-08-07  Phil Schwan  <phil@clusterfs.com>
449         * version 0_5_3, our first alpha
450         * we use the new Portals iovs
451         * documentation updates
452         * bug fixes and cleanups
453         * small changes in the DLM wire protocol
454
455 2002-07-25  Peter J. Braam  <braam@clusterfs.com>
456         * version 0_5_1 with some initial stability, 
457         * locking on MD and file I/O. 
458         * documentation updates
459         * several bug fixes since 0.5.0
460         * small changes in wire protocol
461
462 2002-07-18  Phil Schwan  <phil@clusterfs.com>
463         * version v0_4_5
464         * delivered as Lustre Light Alpha
465         * fixed a crash after handling invalid MDS requests
466         * fixed directory pages for architectures with non-4k pages sizes
467
468 2002-07-11  Andreas Dilger  <adilger@clusterfs.com>
469         * release version v0_4_4
470         * Moves TCP acceptor to be on port 2432 (unused Coda port) instead
471           of 1234.
472         * Fixes a number of interruption problems with OST operations.
473         * Update documentation for portals header changes
474         * Move all wire protocol structs/defines to lustre_idl.h
475         * Fixes symlink length bug.
476         * Add tcpdump to repository.
477
478 2002-07-05  Andreas Dilger  <adilger@clusterfs.com>
479         * release version v0_4_3
480         * Fixes statfs for inodes on extN.
481         * Fixes bug in runtests which would delete /etc/hosts.
482         * Use 64-bit object IDs wherever possible (not into VFS though)
483           Remove ost_get_info, which is unused by lustre, and out of date.
484
485 2002-07-03  Peter Braam  <braam@clusterfs.com>
486         * release version v0_4_2   Fixes a lookup error (type not passed)
487         * move forward to head of Portals
488         * move forward to latest Lustre kernel
489
490 2002-06-25  Peter Braam  <braam@clusterfs.com>
491         * release version v0_4_1.  Hopefully stable on single node use.