mds: add scatterpins

backtrace: include ceph version

qa: add simple rgw test

mds: fix eval_gather() for non-auth inodes

For non-auth nodes, we want a can_* policy that's < AUTH, not <= AUTH.
Adjust macro accordingly.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

mon: return errors (not 0) from MonitorStore::get_bl_ss()

Checked callers, should be fine.

mon: move election start reset to starting_election() helper

An election can start either because we call it, or because someone else
calls it.  Either way, we need to reset our state, so move that code into
the election_starting() callback, which is called by the elector's
start()/call_election() anyway.

This hopefully fixes a case where we see a timeout expire on the monitor
and fail the assertion

mon/Paxos.cc: In function 'void Paxos::lease_timeout()':
mon/Paxos.cc:684: FAILED assert(mon->is_peon())
 1: (SafeTimer::EventWrapper::finish(int)+0x259) [0x52da29]
 2: (Timer::timer_entry()+0x8e3) [0x52f523]
 3: (Timer::TimerThread::entry()+0xd) [0x46d45d]
 4: (Thread::_entry_func(void*)+0xa) [0x458aca]
 5: (()+0x6a3a) [0x7fe0bd6a4a3a]
 6: (clone()+0x6d) [0x7fe0bc8c277d]

The Paxos::election_starting() hook resets the timer, and will at least
close this possible cause.

Reported-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>
Signed-off-by: Sage Weil <sage@newdream.net>

mds: distribute flocklock properly!

Previously we weren't handling it in a lot of our distributed system
areas, which would have broken stuff if it were being used.

mds: Make SimpleLock wait shift bits unique like they should be.

This wasn't actually breaking stuff before, but it did mean
we woke up stuff we didn't need to.

mon: Fix infinite looping, if failed_notes is empty.

Reported-by: Henry C Chang <henry_c_chang@tcloudcomputing.com>

mon: add debug output

msgr: do no open connection when policy indicates we are lossy server

We should not initiate a connection if we are a lossy server; just drop
the message.

rgw: url_decode url prefix

rgw: url_decode delimiter

Makefile: move tcmalloc checks outside of FUSE checks. Whoops.

Merge branch 'profiling' into unstable

Conflicts:
src/Makefile.am

mds: enable tcmalloc profiling on MDSes. Add commands to start/dump/stop.

osd: enable tcmalloc profiling on OSDs. Add commands to start/dump/stop.

config: build infrastructure for handling tcmalloc's profiling.

qa: add snaptest-git-ceph.sh

mds: correctly set straydn->first for rename target

Make sure the straydn->first matches the rename target (destdnl->inode).
Unfortunately the cow happens _after_ the destdn->first is set, so instead
of trivially copying it, we dup the MAX calculation.  Add some temp
variables to clean up similar code in this method.

Signed-off-by: Sage Weil <sage@newdream.net>

Merge branch 'testing' into unstable

Conflicts:
src/mds/MDCache.cc

mds: do full pre_dirty()/mark_dirty() on cowed dentries

The dir commit/fetch and LogSegment::try_to_expire() rely on any new or
items in the directory getting new versions that correspond to a bump in
the dirfrag version.  This must include dentries/inodes that are created
by the cow process, or else we have problems during dir commit/fetch or
segment expire.

Change the dirty list in the Mutation to include the pv so that we can
properly mark them dirty later.

Leave the inode one alone.  We could theoretically do the same for the
dirty inodes, but this way we avoid projecting them and copying stuff
around.  Any dirty cowed inode will also have a dirty dentry, so it will
still get saved regardless.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: only return pdnvec for full path_traverse

We should only return the pdnvec for a full traverse.  i.e., either a
success, or a failure in which we instantiate a null dn for the trailing
entry.  This makes pdnvec well defined, and allows callers like
rdlock_path_pin_ref() to reply with a null lease when appropriate.

Signed-off-by: Sage Weil <sage@newdream.net>

mds: don't instantiate null dentries for snapped namespace

The dentry needs a [first,last] range and we don't know what first is when
we miss a lookup.  And part of the point of instantiating null dentires is
to issue leases against them, which we don't do.  The client will cache
the null result.

rgw: url_decode delimiter

makefile: build cfuse with tcmalloc

Merge remote branch 'origin/objecter_ratelimit' into unstable

librados: throttle messages via the objecter

objecter: enable automatic throttling of all messages

objecter: add accounting to keep track of total in-flight messages.

If the user wishes, they can call throttle_op to hold an operation
until it fits within the limits. The user is responsible for
consistency guarantees and making sure the locking will work!

Revert "throttle: make count an atomic_t"

Sage doesn't think this is likely to matter and doesn't want to risk such
a large change.

This reverts commit 3f8b3f7dc1023342ceb355bd09eab1db5d57703c.

Merge branch 'testing' into unstable

Conflicts:
configure.ac

v0.21.3

cauthtool: update man page

client: increase default cache size to 16K dentries and lru insertion point .25

debian: allow builddebs.sh build a specific dist

rgw: get_data should not be initialized after being set

rgw: make gateway dns name configurable

debian: make update_pbuilder.sh update a single dist at a time

makefile: add some flags recommended for use with tcmalloc.

mkcephfs: use new cauthtool --cap syntax

vstart.sh: use new cauthtool --cap syntax

cauthtool: add simpler '--cap key val' syntax

This lets you avoid creating a temp filename and doing '--caps filename'.
Instead, add each cap individually, like

--cap mon 'allow *' --cap mds 'allow' --cap osd 'allow rwx'

Signed-off-by: Sage Weil <sage@newdream.net>

mds: drop x/wrlocks before, rdlocks after sending reply

This lets us issue the most leases/caps possible.  It also ensure we can
issue caps in the snapped namespace when we are still on the head inode
(previously, releasing the rdlock twiddled the state, the client didn't
get say Frc, and hung indefinitely).

mds: touch missed dentry when fetching dir on path traverse

We can get into a loop when doing a path traverse if we miss on a large
directory and then end up trimming the result we need before handling the
original request.  To avoid this, we simply put the wanted dentry at the
top of the LRU (instead of midpoint).

Signed-off-by: Sage Weil <sage@newdream.net>

qa: update snaptests, add snaptest-multi-capsnaps.sh

client: Make truncation work properly
The previous if block didn't work because inode->size was usually
changed well before handle_cap_trunc was ever invoked, so it never
did the truncation in the objectcacher! This was okay if you just truncated
a file and then closed it, but if you wrote a file, truncated part of it out,
and then wrote past the (new) end you would get reads that returned
the previously-truncated data out of what should have been a hole.

Now, we do the actual objectcacher truncation in update_inode_file_bits,
because all methods of truncation will move through there and this maintains
proper ordering.

Merge branch 'testing' into unstable

Conflicts:
src/osd/ReplicatedPG.cc

osd: copy truncate_seq et al to clone oi

These fields are logically object attributes that should be preserved
across the clone COW process.  (Not copying truncate_seq in particular
corrupts snapshot file data, depending on the order of arrival of racing
trimtrunc and writes.

osd: fix is_pool_snaps_mode() for empty pools

The data pool in particular has seq 0 and (initially) no removed snaps.  We
must not return true for that case, or else the OSD will use an empty
pool snap context and not the user/mds provided one.

Signed-off-by: Sage Weil <sage@newdream.net>

throttle: make count an atomic_t

This means we don't need to take a mutex (and possibly force
ourselves to sleep!) in order to take or put. This is about to
be important since we're adding accounting to the Objecter.

update TODO

init-ceph: fix log_dir creation

Use do_cmd so that it works for remote hosts.

rgw: fix cleanup for certain ops

This fixes bug #412

rgw: fix cleanup for certain ops

This fixes bug #412

mds: update realm parent pointer and pin parent inode changing realm past_parents

All open past_parents need to be pinned.  Also the realm parent pointer
needs to be correct.

mds: need_snapflush for all snaps intersecting cowed inode range

If the inode is [2,3], and the realm has snaps 2,3 both defined, then we
expect flushed snap info for both 2 and 3.

time: format dates based on ISO 8601

e.g., 2010-09-14 16:33:34.280735

mds: include tid in MClientCaps printout

throttle: add non-blocking get_or_fail method

addr_parsing: make more resilient; turn down debugging

monclient: parse named addresses, not just IPs

client: in choose_target_mds, break parent lookup if inode is unlinked.

This can happen now with the recent frag changes and there's no way around it.

mon: only remove laggy standby mds's; mark others laggy

This fixes botched ad8a0d9b364ce4c1e3ac0b0f29d23a135f53a37e.

mds: don't suppress cap on eval following do_cap_update

Case in point:
 - client updates wanted, and writes back data.
 - do_cap_update journals something
 - suppress
 - eval issues wanted caps
 - unsuppress
 - do_cap_update does flush

I think this is just old code.  What does the flush_ack have to do with
what eval() does here?  They're unrelated!

Revert "msgr: Test reconnect protocol changes."

This reverts commit 7349bce8a304231855468503eb32d0167d6955bb.
Only testing; we don't want it live! But keep in-tree.

Merge branch 'msgr' into unstable

objecter: remove unused bufferlist

Merge branch 'unstable' into msgr

objecter: remove unused bufferlist

msgr: Test reconnect protocol changes.

msgr: when both ends support it, exchange in_seq values on reconnect
to prevent gratuitously re-sending messages.

This adds a new feature "CEPH_FEATURE_RECONNECT_SEQ" which goes into
the defaul msgr features, as well as a CEPH_MSGR_TAG_SEQ which indicates
this step is being taken and substitutes for CEPH_MSGR_TAG_READY.

msgr: Let requeue_sent remove items completely, given a seq to remove from.

msgr: If one Connection/Pipe replaces an old one that faulted, fully replace.

We were previously losing messages because they were associated with an old
Connection that had lost its Pipe.

client: don't crash on cache readdir of empty dir

client: implement readdir from cache

This largely mirrors the kclient implementation (but simpler, due to
simpler locking).

client: maintain dn->offset

In preparation for readdir from cache.

client: remove stray dcache items while insert readdir results

Walk the dir entry map while we parse the directory results and remove
old entries (while inserting/updating existing entries).

client: buffer name->ino linkage only; do stat at time of readdir

This makes the results more correct/consistent with the current state of
the cache at the time of the readdir(plus).  It also means we buffer less
data for the readdir result.  And pin inodes for the duration.

client: only parse readdir result once

..when inserting into the cache.  Set up our result cache at the same time.

client: keep map<> _and_ hash_map<> of dir names

This will give us a sorted map (good for readdir) and fast lookup.

client: avoid trivial helper _readdir_add_dirent

Merge branch 'testing' into unstable

Conflicts:
src/mon/ClassMonitor.cc
src/mon/Session.h

config: fix buffer overrun in env_to_{vec,deq}()

osd: fix osdcaps parsing negative return value

filestore: handle error opening fsid on mkjournal

filestore: handle error reading current_op_seq_fn

filestore: return on error creating fsid file

filestore: fix error paths for _clone()

moncaps: fix array out of bounds in parsing

osd: handle nonexistant file in ager

osd: check for errors in open, write in write_meta()

str_list: fix buffer index when start<0

find_first_no_of() can return a negative value.

mon: remove laggy standby nodes (instead of marking laggy)

This will implicitly clean out old standby nodes that go away.  Laggy
cmds's that don't will just re-add themselves.  Since the laggy flag is
a map change, this creates no more or less map churn.

mds: re-add if standby and removed from mdsmap

Instead of shutting down, we should stay alive and try to re-add ourselves
to the MDSMap.

This paves the way for the monitor to remove laggy standby nodes instead
of just marking them laggy.

osd: don't create clone_obc on replica

We don't need the clone_obc on the replica, since we don't read from there.
We don't have head obc's either.

We do, however, keep the snapset_obc, since there are a few paths that
depend on whether it exists on disk (to clean it up) and that information
isn't currently fed through from the primary.

osd: don't leak map_in_progress_cond

mon: less log noise

init-ceph: mkdir log_sym_dir only if not default