config: fix address list parsing

Skip past comma, whitespace.

Signed-off-by: Sage Weil <sage@newdream.net>

osd: fix recovery_primary loop on local clone

When we take the clone branch, we update the missing map.  This invalidates
our current iterator, which can cause badness.  Instead, increment the
iterator near the top of the loop so we don't have to worry about it.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix meta attr setting when doing copy operation

osd: remove assertion

mds: always pass pick_inode_snap the head

This fixes a possible infinite loop in handle_client_caps().  We need to
_always_ pass the head inode in.

mon: return errors (not 0) from MonitorStore::get_bl_ss()

Checked callers, should be fine.

msgr: do no open connection when policy indicates we are lossy server

We should not initiate a connection if we are a lossy server; just drop
the message.

rgw: url_decode url prefix

rgw: url_decode delimiter

mds: do full pre_dirty()/mark_dirty() on cowed dentries

The dir commit/fetch and LogSegment::try_to_expire() rely on any new or
items in the directory getting new versions that correspond to a bump in
the dirfrag version.  This must include dentries/inodes that are created
by the cow process, or else we have problems during dir commit/fetch or
segment expire.

Change the dirty list in the Mutation to include the pv so that we can
properly mark them dirty later.

Leave the inode one alone.  We could theoretically do the same for the
dirty inodes, but this way we avoid projecting them and copying stuff
around.  Any dirty cowed inode will also have a dirty dentry, so it will
still get saved regardless.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: only return pdnvec for full path_traverse

We should only return the pdnvec for a full traverse.  i.e., either a
success, or a failure in which we instantiate a null dn for the trailing
entry.  This makes pdnvec well defined, and allows callers like
rdlock_path_pin_ref() to reply with a null lease when appropriate.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: don't instantiate null dentries for snapped namespace

The dentry needs a [first,last] range and we don't know what first is when
we miss a lookup.  And part of the point of instantiating null dentires is
to issue leases against them, which we don't do.  The client will cache
the null result.

v0.21.3

client: increase default cache size to 16K dentries and lru insertion point .25

debian: allow builddebs.sh build a specific dist

rgw: get_data should not be initialized after being set

rgw: make gateway dns name configurable

mds: drop x/wrlocks before, rdlocks after sending reply

This lets us issue the most leases/caps possible.  It also ensure we can
issue caps in the snapped namespace when we are still on the head inode
(previously, releasing the rdlock twiddled the state, the client didn't
get say Frc, and hung indefinitely).

mds: touch missed dentry when fetching dir on path traverse

We can get into a loop when doing a path traverse if we miss on a large
directory and then end up trimming the result we need before handling the
original request.  To avoid this, we simply put the wanted dentry at the
top of the LRU (instead of midpoint).

Signed-off-by: Sage Weil <sage@newdream.net>

client: Make truncation work properly
The previous if block didn't work because inode->size was usually
changed well before handle_cap_trunc was ever invoked, so it never
did the truncation in the objectcacher! This was okay if you just truncated
a file and then closed it, but if you wrote a file, truncated part of it out,
and then wrote past the (new) end you would get reads that returned
the previously-truncated data out of what should have been a hole.

Now, we do the actual objectcacher truncation in update_inode_file_bits,
because all methods of truncation will move through there and this maintains
proper ordering.

osd: copy truncate_seq et al to clone oi

These fields are logically object attributes that should be preserved
across the clone COW process.  (Not copying truncate_seq in particular
corrupts snapshot file data, depending on the order of arrival of racing
trimtrunc and writes.

osd: fix is_pool_snaps_mode() for empty pools

The data pool in particular has seq 0 and (initially) no removed snaps.  We
must not return true for that case, or else the OSD will use an empty
pool snap context and not the user/mds provided one.

Signed-off-by: Sage Weil <sage@newdream.net>

rgw: fix cleanup for certain ops

This fixes bug #412

config: fix buffer overrun in env_to_{vec,deq}()

osd: fix osdcaps parsing negative return value

filestore: handle error opening fsid on mkjournal

filestore: handle error reading current_op_seq_fn

filestore: return on error creating fsid file

filestore: fix error paths for _clone()

moncaps: fix array out of bounds in parsing

osd: handle nonexistant file in ager

osd: check for errors in open, write in write_meta()

str_list: fix buffer index when start<0

find_first_no_of() can return a negative value.

mon: less log noise

osdmap: allow blacklist of an entire ip

We can backlist either a specific instance (1.2.3.4:1234/5678) or an
entire IP, in which case the table has something like "1.2.3.4:0/0" (a port
and nonce of 0).

mon: add 'osd blacklist ls'

common: close fd after parsed config file

Signed-off-by: Sage Weil <sage@newdream.net>

mount.ceph: exit with error code from mount

Signed-off-by: Sage Weil <sage@newdream.net>

mon: 'osd blacklist (add|rm) addr [duration]'

Manipulate the OSDMap blacklist.

mon: fix up variable names to be more clear this is an inclusive range

mon: fix osdmap subscribe range

Send incremental starting with the next map they want, not the one they
already have.

mon: fix send_incremental ranges; behave when sending just 1 inc.

The build_incremental range is inclusive.  And we should behave when
sending a single inc map to get up to date.

mon: handle subscribe to osdmap=1

We would send an incremental for anything >1, or the latest map, but not
osdmap e1 itself.  Fix the condition, and make send_incremental() smart
about starting with the full map at 1 as needed.

mds: fix journal replay of session close->open after reconnect

If the client reconnects, the journal 'close' replay doesn't remove the
session, which leaves the session state intact.  It needs to reset it in
that case, or else we get problems if the session is reopened and the
state doesn't match up.

Reported-by: Nat N <phenisha@gmail.com>
Signed-off-by: Sage Weil <sage@newdream.net>

objectcacher: fix use-after-free atomic_sync_readx

readx() releases rd; copy snapid so we can use it later.

mds: fix use-after-free

We copied the name, but forgot to use it.

mds: fix use-after-free in snaprealm_create_finish

We pass mut's log segment to snapclient->commit().

objectcacher: cleanup release(), just to be clear

objecter: add missing return in list_objects

This fixes a use-after-free, and generally bad behavior.

objectcacher: fix use-after-free

Move waiter check above close_object(ob) call.

mount: fix scope of secret[]

We use value pointer outside of this block; move declaration up to function
level.

crushtool: fix bucket type array bound check

rados: fix delete[] in aio_bencher

Merge branch 'uclient_readdir' into testing

client: move readdir code around

client: reimplement getdir() with readdir_r_cb()

More efficient.

client: reimplement readdir

Reimplement core readdir (readdir_r_cb), using kclient as a template.
Reimplement all other readdir variants in terms of readdir_r_cb.

Main change is support for frag chunking, and hopefully lots of subtle bugs
that have been fixed in the kclient code we're based on.

cfuse: use readdir_r_cb

uclient: implement readdir_r_cb (callback based readdir)

This lets us know whether the caller is able to consume an entry before
advancing our position.

Merge branch 'mds_replay_lock_states' into testing

mds: rename process_reconnected_caps()

mds: make is_dirty() const in parent and child

Otherwise we're overriding the wrong method!  Der.

mds: choose lock states for nestlock and dftlock too

All scatterlocks need it, in case we replay dirty scatterlock data.

mds: choose lock states on all inodes, not just those with caps

This is necessary because we want to select lock states for inodes with
no caps that got replayed scatterlock dirty state from the journal.

mds: choose LOCK if !replicated and dirty scatterlock

mds: fix bad iterator usage in process_reconnected_caps()

We use p->second, so don't increment p++ early in the loop block.

ceph v0.21.2

osd: less log noise

osd: mark down old _from connections too; and fix old _from debug output

osd: don't mark down old _to peers that are still _from peers

It's harmless, but not ideal.

osd: always mark down old hb peers; send map update via cluster link

If we don't mark down the hb link immediately, we'll forget about it
because it won't be in the from or to set anymore, and if it does go down
later we'll end up with garbage in the logs.

Instead, always mark it down.  Since we want to share our map with old
peers that are still up, do that via the cluster link instead, which is
reliably marked down if/when the peer goes down.

Signed-off-by: Sage Weil <sage@newdream.net>

filejournal: clean up journal initialization sequence, error codes, output

EOPNOTSUPP was getting returned to the user without much explanation.  This
should fix that!

debian: don't need to add .git_version in release script

makefile: include .git_version in tarball

mon: error out gracefully when we can't read the magic

msgr: release dispatch_throttle on reset connection

Signed-off-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop old thrash_exports time limit

osdmaptool: print useful error instead of crashing if osdmap is corrupt

crush: return error instead of BUGing on bad forcefed mapping

The forcefed mapping relies on a parent map.  However, the current
implementation assumes that the parent mapping is unique for all rules. If
that is not the case (i.e., some osd exists in multiple hierarchies) then
we cannot assert that the TAKE matches the calculated force_context.

For now, we can just fail the mapping in that case (we don't use forcefed
mappings yet).  The real solution is probably to define parent maps for
all possible hierarchies (i.e., starting at each unique TAKE starting
point).

Signed-off-by: Sage Weil <sage@newdream.net>

mds: return error to client on invalid mds op

e.g., if the client sends a filelock request and we don't support it :)

mds: fix ENOTEMPTY checking on rmdir/rename

We can't trust the inode rstat size without holding the locks.  We can
look at our auth frags and though without fear of a false positive
ENOTEMPTY, however.

Rename the function, introduce a helper for the locked check, update
comments, etc.

osd: disable potentially dangerous dead code

Greg got a segfault accessing the OSDOP& first reference. Not clear why,
but this whole block is dead code.

osd: carry ondisk write lock for cloned objects

This fixes a race when reading and deleting objects, as evidenced by

 cp bigfile a
 mkdir .snap/foo
 rmdir a
 diff bigfile .snap/foo/a    <-- reads cloned object before it hits disk

Reproduced by snaptest-snap-rm-cmp.sh.

Signed-off-by: Sage Weil <sage@newdream.net>

auth: fix skipping of ~/ if $HOME subst fails

We were breaking out of the loop entirely, and failing to check the rest
of the items in the path list.  Doh!

client: fix xattr cap writeback

client: fix capsnap writeback of uid/gid/mode/xattrs

Some metadata wasn't making it into CapSnap and was subsequently getting
written back zeroed to the MDS.

Signed-off-by: Sage Weil <sage@newdream.net>

filestore: fix throttling on journal, op_queue for parallel and writeahead

filestore: fix race in op enqueuing to ensure throttle limit is honors

objectstore: fix transaction get_num_bytes

The separate bytes field isn't used; use encoded bytes count for now.

msgr: don't leak message when sending to a closed connection

osd: log push ops as push, not pull

logger: fix logger counter reset

Reset inc keys after each line; reset all keys on full reset.

Signed-off-by: Sage Weil <sage@newdream.net>

ceph v0.21.1

Makefile: include logrotate.conf in tarball

mds: fix send_message_client_counted helper

Don't use the outgoing message connection (usually there is none!).. use
the connection argument.  Der.  Broken since 6d770abe.

makefile: define docdir for old automake versions

Notably centos5.

Reported-by: Thomas Mueller <thomas@chaschperli.ch>
Signed-off-by: Sage Weil <sage@newdream.net>

monmaptool: man page typo fix

Signed-off-by: Sage Weil <sage@newdream.net>

rados: -i and -o are still there for other commands

Signed-off-by: Sage Weil <sage@newdream.net>

ceph.spec.in: fix docdir paths

_docdir is /usr/share/doc, not /usr/share/doc/ceph (as it is with debian).

ceph.spec.in: fix sample.ceph.conf chown

Reported-by: Xiaoguang Liu <syslxg@gmail.com>