GOPHERSPACE.DE - P H O X Y
gophering on hngopher.com
HN Gopher Feed (2017-08-31) - page 1 of 10
 
___________________________________________________________________
LogDevice: a distributed data store for logs
76 points by vquemener
https://code.facebook.com/posts/357056558062811/logdevice-a-dist...
ce-a-distributed-data-store-for-logs/
___________________________________________________________________
 
polskibus - 3 hours ago
How does it differ from Apache Kafka?
 
  prohor - 1 hours ago
  For me the difference seems to be in handling large number of
  distinct logs. In Kafka every log & partition is a separate file
  and moreover it keeps it open. So, storing multiple logs results
  in writing to many files so eventually random write IO; and also
  you may hit limits of open files. You can multiplex logical logs
  in each Kafka log, but then you read unnecessarily other
  logs.Keeping SS tables makes it more sequential write and
  reasonably sequential write, as long as you have enough RAM to
  get multiple records of each log, so they constitute a continues
  blocks in flashed file.Actually you could get very similar result
  using Cassandra, which also uses SS tables. The difference is
  that Cassandra keeps merging files, which actually makes much
  more IO traffic than clients. Cassandra will typically need 16x
  more IO for merging then actual data write rate. You can limit it
  a bit if you create time shard tables.
 
  qaq - 2 hours ago
  written in C++ :)
 
borlum - 3 hours ago
This looks similar to Humio
 
politician - 1 hours ago
At this stage, the only thing I care about is which license they
are going to apply to this project. That'll be enough for me to
know if I should bother investing any further time here.
 
  unkown-unknowns - 57 minutes ago
  Exactly. Specifically, whether it'll include the usual patent
  clause. I am sure it will and as such it will be of no interest
  to me.
 
mleonard - 23 minutes ago
>> We ensure that only one copy of every record is read from disk
and delivered over the network by including the copy set in the
header of every record copy. A simple server-side filtering scheme
based on copy sets coupled with a dense copy set index guarantees
that in steady state only one node in the copy set would read and
delivery a copy of the record to a particular reader.Can someone
explain/expand on the above please? I've read the article a couple
of times and tried to understand the above paragraph in context but
I don't get it.
 
eternalban - 2 hours ago
~OT but it would be excellent to hear HN feedback on
https://bookkeeper.apache.org/ and Twitter's DistributedLog and
Manhattan projects.
 
shock - 3 hours ago
> We continue to iterate on LogDevice with the ultimate goal of
contributing it to the open source community later in 2017.Frankly,
if it's the same license as React (BSD + PATENTS), I'm not
interested.Edit: Here come the facebook fanboys with the downvotes.
 
  amelius - 2 hours ago
  Frankly, if this comes from a company that treats its users as
  products, I'm not interested no matter what the license says.
 
    shock - 2 hours ago
    These days I get the impression that there are fewer and fewer
    companies that don't see users as products. I hope I'm wrong.
 
  sctb - 2 hours ago
  We've had many discussions about licensing issues, but this isn't
  one of them. Please don't post off topic and then complain about
  downvotes?it breaks the
  guidelines.https://news.ycombinator.com/newsguidelines.html
 
    kordless - 1 hours ago
    > we've had many> don't post off topicUsers of HN, please note
    "we" is Facebook and Facebook, or a representative of Facebook,
    is telling us what we can and can't discuss here.This is why I
    quit posting here and use /r/hackernews on Reddit for my links.
    However, I occasionally make an appearance when I see patterns
    emerge, such as control where we didn't assume control existed.
 
      grzm - 55 minutes ago
      'sctb is an HN mod and does not work for Facebook nor is a
      representative of Facebook.
 
    shock - 2 hours ago
    I never imagined that the project's license would be off-topic.
    To me a project's license is very material, a deciding factor
    if I'm using it or not. That's what I was trying to express.
 
      sctb - 1 hours ago
      The project under discussion doesn't have a license.
 
        shock - 27 minutes ago
        I'm assuming you mean it doesn't have a license because
        it's not released. By that same logic we shouldn't be
        discussing the project because it doesn't exist.
 
    shock - 20 minutes ago
    > We've had many discussions about licensing issues, but this
    isn't one of them.Why do you decide what we discuss? Since you
    squashed my comment about licensing, another one popped up. It
    means people do think licensing is important to discuss.
 
  shock - 2 hours ago
  I want to elaborate a bit why I dislike Facebook's BSD + PATENTS
  license:I believe Facebook was built, in part, using software
  under MIT, BSD, Apache, etc ? I see it as immoral when they turn
  around and release OSS software under BSD + PATENTS.BSD + PATENTS
  sounds like a  great idea in theory ? if every company released
  under BSD + PATENTS it would essentially render the patent system
  toothless, except for the patent trolls who would still be free
  to sue whomever they want. In practice, however, it would be hard
  for BSD + PATENTS to have widespread adoption because it would be
  seen as a loss of value to shareholders, especially as for some
  companies their patent portfolio is an important part of their
  valuation.IANAL.
 
    TAForObvReasons - 2 hours ago
    What you are describing is essentially "ladder kicking", which
    was the top comment from the discussion a few months ago:
    https://news.ycombinator.com/item?id=14779881> Having known so
    many people involved with Facebook for so long, I have come up
    with a phrase to describe the cultural phenomenon I?ve
    witnessed among them ? ladder kicking. Basically, people who
    get a leg up from others, and then do everything in their power
    to ensure nobody else manages to get there. No, it?s not ?human
    nature? or ?how it works.? Silicon Valley and the tech industry
    at large weren?t built by these sorts of people, and we need to
    be more active in preventing this mind-virus from spreading.
 
      shock - 2 hours ago
      Thank you for linking the other discussion, it is much more
      eloquent than my own comment. The bit that worries me is:
      They?ve built their entire business on the back of open
      source software that wasn?t ever encumbered with the sort of
      nonsense they?ve attached to their own projects. And this
      industry is just going to let them have it, because the stuff
      they are putting out is shiny and ?convenient? and free?Are
      we really allowing them to do this for the sake of
      convenience?
 
  jasonwatkinspdx - 2 hours ago
  I'm not a facebook fanboy, but I did vote this down because it's
  a derailment based on an assumption. This isn't released yet and
  no one knows the terms.Atop that, I'm just getting really tired
  of seeing the patent issue trotted out any and every time
  facebook or react are mentioned here.
 
  qaq - 2 hours ago
  In this case since main alternatives are under licenses that come
  with less restrictive patent grants this is a very valid
  criticism. In case of React not so much.
 
jbit84 - 1 hours ago
Reading the blog its not clear to me how they deal with gaps in the
LSN sequence. The scalability & performance properties derive from
1) Using a separate sequencer that issues increasing sequence
numbers, 2) Uncoordinated distributed writes of actual record value
to storage nodes, 3) reconstitution of ordered log at consumer
side.How does a consumer that have retrieved N and N+2 know if N+1
is not yet written, or if it failed and will never be written?
Perhaps they write-through the sequencer with subsequent writes
waiting on acknowledgements, so 'gaps' only occur on epoch changes?