GOPHERSPACE.DE - P H O X Y
gophering on hngopher.com
HN Gopher Feed (2017-08-12) - page 1 of 10
 
___________________________________________________________________
Show HN: Extension-blocking domains removed by threat from other
blacklists
386 points by paulgb
https://github.com/paulgb/BarbBlock
___________________________________________________________________
 
est - 7 hours ago
> used DMCA takedowns to force removal from other blacklistsCould a
hashed tld blacklist help? Each person downloads a unique hashed
tld blacklist. Browser would calculate tld against list of hashes
(or bloomfilters for what's worth)>
https://github.com/easylist/easylist/commit/a4d380ad1a3b33a0...In
this case, what if a rule says- domain starts with "functio"-
domain ends with "onalclam.com"- domain is no longer than 18
bytes.Instead of cleartext?
 
  AndyMcConachie - 7 hours ago
  You have an extra "o" in your string :)
 
  stordoff - 6 hours ago
  As the claim is regarding circumventing access control, I doubt
  the specific technical means by which it is blocked is relevant -
  Admiral's interpretation of the DMCA considers the outcome (the
  domain is blocked), not that the list includes a domain which
  they own.
 
    est - 6 hours ago
    How about split the blacklist into multiple entities (like
    Shamir's Secret Sharing) with absolute no affiliation with each
    other.Each one downloaded can not block anythingBut if a user
    combines some of the data, certain website gets blocked.
 
      zb3 - 3 hours ago
      This time I really don't understand why you've been
      downvoted. Now it feels like some powerful users know
      something I don't, but they won't tell
 
        khedoros1 - 2 hours ago
        Because it was a response to a statement that the result
        matters more than the implementation details that consisted
        of achieving the same effect by cleverly modifying the
        implementation..
 
          zb3 - 1 hours ago
          Result matters, but who's to attack when it's in fact the
          user who mixes some theoretically unrelated things to
          achieve such result? Sadly I know it wouldn't work in
          practice, but that's how I understood that comment
 
  foodstances - 5 hours ago
  https://github.com/openbsd/src/blob/master/sys/dev/acpi/dsdt...ht
  tps://github.com/openbsd/src/blob/master/sys/dev/acpi/dsdt...
 
dvfjsdhgfv - 8 hours ago
Kudos to the author for this. I wonder what the reaction of Admiral
will be.
 
  troisx - 1 hours ago
  Considering that the CEO of Admiral considers himself a "beloved
  VC" (literally his words), I'm guessing he'll keep stepping up
  his agressive tactics. Typical sociopathic behavior from the type
  that believes that money trumps everything and that everyone
  worships him.
 
  marksomnian - 7 hours ago
  "Well, st."
 
    jwilk - 7 hours ago
    I think your comment fell victim to an asterisk eating monster.
 
      marksomnian - 6 hours ago
      Well, st.
 
acdjuiamadfn - 7 hours ago
Can we go one step further and block websites which serve contents
from these domains? This would be good first step towards
eliminating toxic advertisements.We'll give up a bit first but may
win eventually.
 
  bitshiffed - 23 minutes ago
  I've put together a list of sites using Admiral's services (the
  domains this extension blocks) here:
  https://gist.github.com/daumiller/114989e6967eb0d4c54b9ab9ff...
  .I do not know how complete it may be. It was interesting putting
  the list together to see how most (but not all) of the users
  appear just as sleezy as Admiral itself.(Blocking these sites
  automatically should be done based on requests pointing to the
  original list, rather than this derived one, but it's here for
  reference.)
 
2ion - 7 hours ago
Hosting such a project on Github, a US-based company which responds
to DMCA requests, is perhaps not the most sensible choice.
 
  tokenizerrr - 5 hours ago
  It's invalid use of the DMCA. If the author is willing to fight
  it is a great choice.
 
    [deleted]
 
  shmageggy - 6 hours ago
  I think it's intentional, because the whole idea is that these
  kinds of requests are invalid and an abuse of the DMCA, so if
  someone were to issue a request the author would fight it to
  prove its invalidity.
 
    paulgb - 4 hours ago
    Exactly :)
 
  aaron_m04 - 6 hours ago
  Are there any good non-US Git hosting companies?
 
    gruez - 5 hours ago
    Self hosted gitlab?
 
    pishpash - 45 minutes ago
    Git doesn't need hosting... It's distributed for a reason.
 
loeg - 7 hours ago
Why not just distribute a list, like easylist, that can be added to
existing extensions like uBlock Origin?
 
CodeWriter23 - 4 hours ago
I take it as a good sign a player in the online ad industry is
starting to squirm.
 
cyphar - 8 hours ago
As the author notes, the Streisand effect at work. But more
importantly, I am quite happy that someone actually decided to
stand their ground and call the bluff of future malware
distributors (sorry, advertising companies). I've seen the chilling
effects the DMCA has had on reasonable discourse in the YouTube
community, but it extending it to what people can block in their
browsers is absolute insanity.
 
  reificator - 4 hours ago
  Youtube's setup, where anyone can claim any video, and the first
  line of defense creators have is to plead innocent to the same
  party making the claim, is the most user hostile (creator
  hostile?) thing I've ever seen.
 
    spaceribs - 3 hours ago
    I've always found it funny that piracy still totally exists on
    youtube, but the pirates just add obfuscation techniques to
    prevent immediate takedowns.Then you watch the "Important
    Videos" playlist (https://www.youtube.com/playlist?list=PL7XlqX
    4npddfrdpMCxBnN...) and half the videos are taken down because
    the account had too many strikes. It's really sad.
 
      _jal - 2 hours ago
      Funny in a terrible sort of way. The legacy copyright
      industry follows the same logic as various drug war
      participants - winning means a loss of leverage to ask for
      more power.
 
        ethbro - 1 hours ago
        Same discrepancy between reality and rhetoric. Stated goal:
        eliminate all of a thing for moral reasons. Actual goal:
        eliminate the easiest majority of a thing for economic
        reasons.
 
jrwr - 3 hours ago
Why not just switch to something like md5 for matching some domains
that do this
 
  Grollicus - 2 hours ago
  The argument is not "they are spreading our trademark" but "they
  are circumventing our copy protection" and that would happen
  regardless of the way it is technologically done.This is a huge
  attack on the way we all consume the web, because in the end it
  leads to a society where we are forced to consume ads to
  participate in the society.
 
discreditable - 7 hours ago
This seems to be a list of other admiral-owned domains:
https://pgl.yoyo.org/adservers/admiral-domains.txt
 
  tofof - 6 hours ago
  As I note in the Github for this project, that list is woefully
  incomplete.See my analysis at the Anti-Adblock Killer repo for
  more detail -  https://github.com/reek/anti-adblock-
  killer/pull/2502#issuec...Admiral has thousands of domains across
  Google Cloud and AWS hosts.
 
oelmekki - 7 hours ago
Wouldn't put those domains in a blockchain be the proper answer? It
could not be "took down", then (if it's a solid one, like btc or
eth).
 
  michaelmrose - 5 hours ago
  Please go and read the actual article.
 
    oelmekki - 5 hours ago
    What article? The readme of the of the github repos? I read it.
    If you have a point to make, please make it.
 
  drraid0 - 5 hours ago
  That's a stupid idea. What if you ever wanted to start a
  revocation list, when a domain is added genuinely by mistake?
  You'd have to use the same priv key for signing those as well, at
  which point you might as well have a single text file with
  provenance (aka git)
 
    oelmekki - 4 hours ago
    Well, maybe that if it sounds stupid to you, you didn't think
    about it enough (that's usually the case).Make a address which
    creates transactions containing the domains blocked. To find
    the list, check the transactions from this address. If an error
    is made, then you can just use an other address to build the
    list again without the domains you want to remove, and make
    adblocks look for transactions from this address. The
    adblockers only reference an address so they have no illegal
    content. Domains can't be removed from transactions. Adblockers
    can use an other address as basis if they agree too.
 
      drraid0 - 4 hours ago
      Then go ahead and build it. Maybe it'll get adopted like name
      coin by dozens of people. Actually, name coin was actually a
      decent idea because dns needs to be decentralized. Text files
      like this do not, at least no more than git already is.
 
      davidgerard - 3 hours ago
      or ... don't try to "but with blockchain!!" an idea with no
      use for it and which would be ridiculously infeasible and
      fragile with it.
 
      jlgaddis - 2 hours ago
      I wonder if there's ever been a better real-world
      illustration of Maslow's hammer at work.
 
        yadenoyad - 36 minutes ago
        So is your use of the term "Maslow's hammer". Using the
        block chain for maintaining a list of domains that is not
        subject to the whims of DMCA seems like a good use of the
        technology to me.
 
    stale2002 - 3 hours ago
    Github can take down your single text file.Nobody can take down
    your signed blockchain message that was published on bitcoin,
    unless they physically find you, and force you to sign a
    revoked list.
 
josteink - 7 hours ago
Firefox also supports webextensions.Please consider publishing a
version at addons.mozilla.org too.The tool web-ext makes this
almost effortless.https://github.com/mozilla/web-ext
 
  paulgb - 7 hours ago
  Thanks, I plan to, the main reason I targeted Chrome at first is
  that I've heard the review period is in months for Firefox.
 
    kbrosnan - 7 hours ago
    You can self host a signed extension in minutes. Just upload it
    and then download the signed extension from the developer
    portal and add it to the github releases for the project.
    https://developer.mozilla.org/en-US/Add-ons/WebExtensions/Pu...
 
    paulgb - 2 hours ago
    Update: I've submitted it for review by Mozilla.
 
      orclev - 35 minutes ago
      Considering all the commentary about how fast/slow the
      process is, please post an update when it gets approved, it
      will be very interesting to have another data point to
      reference.
 
    josteink - 7 hours ago
    That's FUD. It's automated and takes minutes at tops.Edit: in
    my experience.
 
      Akkuma - 1 hours ago
      This isn't true if you use uglify at all. I literally had to
      go into IRC and try and figure out why a hotfix for our
      extension was taking so long to get through the process (we
      had been sitting in it for at least 3 days if not a week
      IIRC). The response I got in IRC was that I would have to
      literally come and ask for someone's assistance to bump up
      the review on my company's extension each time we hotfixed,
      as we got placed in a special queue that required an admin
      and not just any volunteer in part due to our use of uglify
      causing the code to be obfuscated.The worse part is that
      uglify is required for us to even get the extension signed,
      due to Firefox's arbitrary individual file size limit.Prior
      to Mozilla getting their act together it literally was over a
      month of waiting for them to review our extension, so we just
      bailed altogether as their entire process is terrible for
      pretty much no real gain. I then tried again once the queue
      had dropped from ~400 to ~150 and the wait time finally
      became reasonable.I mean the process was/is so bad, they
      literally had an issue on github to just automatically
      approve extensions based on some criteria due to the huge
      backlog. I cannot get an unlisted extension released with the
      same version as a listed extension, so we completely bailed
      on using Mozilla's hosting at all, since all it does is cause
      a liability until we can push out fixes the same day without
      manual intervention.To top this off, every single time we
      make a new release, we'd have to explain the extension, how
      to build it, etc. and provide sources to the code. Our
      extension is also a regular web extension.
 
        orclev - 40 minutes ago
        I'm curious to know what extension you're creating that's
        so massive it needs a minifier/obfuscator to be run on it
        so that it's small enough to fit under the file size
        limits. Also just to clarify, what is the file size you're
        being requested to be under? Are we talking kilobytes, or
        megabytes here, because a megabyte of JS is an awful lot of
        code in a single file.Taking a look at mozilla's publishing
        guidelines they're quite clear that you can publish an
        addon in obfuscated or minified form, but that you need to
        provide them an unobfuscated/unminified copy of the of the
        source code to review as well as instructions on how you
        performed the obfuscation/minification (presumably to run
        it themselves and compare the output). All of that seems
        fairly reasonable since you don't want people distributing
        malware on AMO. One thing I don't see mentioned anywhere in
        there is a size limit on files though, so I'm very
        interested to hear what this apparently undocumented
        requirement is.
 
      OzzyB - 7 hours ago
      No, it takes months, stop FUDing the FUD.
 
        josteink - 7 hours ago
        Last time I checked publishing and signing was even built
        into the tooling itself, making it much more seamless and
        CI-friendly than the Chrome counter-part.And the amo team
        is super responsive on email.What am I missing?
 
          detaro - 7 hours ago
          not sure about details, but AFAIK there's two steps: an
          automated review when you sign an extension. You then can
          distribute that extension yourself. But if you want it to
          be hosted on Mozilla Addons, it needs human review, which
          takes more time.
 
          orclev - 37 minutes ago
          Reading their process and guidelines I'm guessing that
          human review is highly variable as well, mostly depending
          on the size and complexity of the addon. Something
          massive that's structured poorly is going to take a long
          time to review since the poor person doing the review
          needs to actually be able to understand the code. A small
          addon or one that's structured very cleanly on the other
          hand should be a fairly fast review.
 
      anon1385 - 7 hours ago
      As far as I can see it takes over 5 days at least 50% of the
      time: https://discourse.mozilla.org/t/queue-weekly-
      status-2017-08-...(E: and that's currently; go back a few
      months and it's nearly 90% taking over 10 days. Possibly well
      over 10 days. https://discourse.mozilla.org/t/queue-weekly-
      status-2017-05-...)
 
        josteink - 7 hours ago
        I'm curious. Does this statistic mix old XUL based add-ons
        with the new web extension standard addins?As far as I can
        see the new web extensions based approached has much better
        tooling with automatic analysis and reviewing.
 
        DiThi - 7 hours ago
        It doesn't show which one are web extensions. Even then,
        users can access the unreviewed versions of addons, IIRC.
 
    s_kilk - 5 hours ago
    Nah, I've had extensions reviewed in a few hours
 
appleflaxen - 3 hours ago
the original DCMA take-down was against a uBlock Origin list.why
make an entirely new plugin when you can simply make a new list? As
cool as your idea is, I don't need two browser extensions to manage
when the first one will happily incorporate your list.
 
  paulgb - 2 hours ago
  To be honest? Because I was on a plane without internet, and I
  didn't know how to create a blacklist but I had another extension
  I'd created to use as reference :)I'm not opposed to doing both,
  once I have an hour to sit down and figure out what is actually
  involved. There's an issue to track it here:
  https://github.com/paulgb/BarbBlock/issues/5
 
AdmiralAsshat - 7 hours ago
I'm a fan of "Code as protest", but it seems like the more
practical solution would be to simply have a separately maintained
domain list that could be easily integrated into the adblockers
that already used EasyList.
 
  [deleted]
 
  sergers - 7 hours ago
  Believe e that's how it was originally maintained, off GitHub,
  was just a http link to a text file that gets imported(still the
  same but off GitHub now).Just make the Ad blocking extension
  retrieve an extra file outside of github automatically(default
  on, but leave it configurable like the other filter lists in
  options) or I am sure there are custom lists based on easylist or
  other lists available already on the net that include/can
  includeBut props to the creator of this, great ingenuity.
 
  paulgb - 7 hours ago
  I'm not sure how that would be done but I'm open to pull
  requests!
 
    maxerickson - 7 hours ago
    You just publish a set of rules like https://easylist-
    downloads.adblockplus.org/easylist.txt
 
      paulgb - 1 hours ago
      Does this work for you? https://raw.githubusercontent.com/pau
      lgb/BarbBlock/master/Ba...
 
        contravariant - 11 minutes ago
        That should work, you might want to add a link to "abp:subs
        cribe?location=h||ps://raw.githubusercontent.com/paulgb/Bar
        bBlock/master/BarbBlock.txt&title=BarbBlock" in your readme
        to allow people to easily install the list by clicking that
        link.Edit: replaced https with h||ps to prevent it from
        showing up as a link (which are apparently cut off if
        they're too long).
 
      nileshtrivedi - 6 hours ago
      And the file could be published on IPFS so hosting it is not
      relevant. Hash would ensure that you're getting the right
      file - from any IPFS node. There is even an HTTP bridge for
      IPFS content.
 
        ballenf - 6 hours ago
        That may be great as a parallel project, but the point of
        this one is to take head on legally any challenges. At
        least that's my reading of his explanation.He's blazing a
        trail that others who may be more risk averse or have more
        to lose can then follow. Actually blocking these domains is
        kind of a side benefit, especially since the most likely
        people to download the extension are those who could just
        as easily achieve the end result themselves in other
        ways.Unfortunately there is no legal concept of waiver in
        this situation: the other side can pick and choose weak
        targets at will and avoid someone who will fight back. Just
        one more critical flaw in the DMCA system. Contrast this
        with trademark law where one must universally enforce the
        mark or risk losing it entirely.
 
        StavrosK - 6 hours ago
        There are many HTTP bridges, I run one:
        https://www.eternum.io/Latest easylist:https://www.eternum.
        io/ipfs/QmdDtvs1QaQQG6NMpc2cpncA4zVZqgUK...If you decide to
        use IPFS for distribution of your list, I'd be happy to
        donate some Eternum credits so you can pin it.
 
        xorcist - 1 hours ago
        If you can distribute the hash to all users, you can
        probably distribute the blocklist as well. The size isn't
        the problem.
 
  aaron_m04 - 6 hours ago
  The author mentioned in the readme that having it in the Chrome
  Store makes it easy to quantify the damage it's doing to these
  sites.
 
    WD-42 - 2 hours ago
    Couldn't you achieve the same thing by tracking http requests
    to a regular list?  I'm not sure why I would use this extension
    because I already have the excellent ublock which I can add any
    list I want to. I think more people would benefit if this was
    published as a list instead of a totally new extension.
 
      Zyst - 1 hours ago
      Agreed. If it were a list I'd gladly tick it over. But I am
      hesitant to add a new extension.
 
        paulgb - 1 hours ago
        I understand the hesitation. A user has submitted a text-
        based version:https://raw.githubusercontent.com/paulgb/Barb
        Block/master/Ba...
 
          [deleted]
 
suresh70 - 7 hours ago
This is one of the many situations where website owners,content
creators and individuals being intimidated by using DMCA take down
notice. Sometimes there are even fake notices as in
here(https://www.eff.org/deeplinks/2016/10/samsung-sets-its-
reput...).There should be proper checks to avoid misuse of DMCA
take down notice.
 
jwilk - 7 hours ago
> This is not my first DMCA-takedown rodeoWhat's the story?
 
  paulgb - 6 hours ago
  tl;dr I found a major ticketing vendor was vulnerable to data
  interception because of a faulty HTTPS setup. They issued a DMCA
  takedown of a private video I had sent them. I fought it and they
  threatened to sue but they backed down after the EFF sent a
  response on my behalf.
 
    jlgaddis - 2 hours ago
    Things like this is why I continue to give to the EFF.
 
    snakeanus - 3 hours ago
    To be frank these videos should be public.
 
ishitatsuyuki - 7 hours ago
DMCA is targeted at service provider. Unless the code is self
hosted, there's a risk that GitHub can take it down to avoid
lawsuits.
 
  littlecranky67 - 2 hours ago
  Thats why it would make more sense to create a list (not a custom
  extension), and host that list outside of github on a non-US
  server, where DMCA takedown notices can just be safely ignored.
 
  paulgb - 7 hours ago
  Yep, but I can file a counter-takedown. I know the process from
  past experience.
 
snakeanus - 3 hours ago
I wonder, why is it an extension for a specific browser instead of
a blacklist that can be used in any browser that has a blocker?
 
rocky1138 - 7 hours ago
A much easier solution is to just add those domains to your hosts
file. Then it'll work across any program or browser you use.
 
  [deleted]
 
visarga - 7 hours ago
What if Samsung issues another bogus DMCA? Would you dare blacklist
Samsung? If the inconvenience level is high enough, almost nobody
would use the blacklist. This only works for small players.
 
  michaelmrose - 5 hours ago
  Its not the businesses primary website that would normally be the
  target of blacklists.  Its domains serving undesirable content
  like ads.For samsung.com to be added to the list first an ad-
  blocker would have to list samsung.com THEN Samsung would have to
  use legal shenanigans to get samsung.com removed from blacklists
  THEN it would get added.It seems pretty unlikely.  Its likely in
  fact that if samsung had content worthy of blocking it would be
  served in a way that would be easy to block without blocking
  samsung.com. Example nonsense.samsung.com or
  samsung.com/whatever.
 
dweekly - 5 hours ago
FYI there appear to be a much longer set of Domains owned by this
company, all of the same format of nonsensical word pairings.https:
//www.google.com/amp/s/amp.reddit.com/r/uBlockOrigin/c...
 
  jwilk - 7 minutes ago
  Direct link:https://www.reddit.com/r/uBlockOrigin/comments/6swfvi
  /ad_dom...
 
dvl - 7 hours ago
Not first time, it's stupid how GitHub accepts anything as DMCA
request.
 
  paulgb - 7 hours ago
  Don't blame GitHub, blame the DMCA!
 
    dvl - 3 hours ago
    I blame both. Even without any copyright violation GitHub takes
    the DMCA request.
 
      WillPostForFood - 1 hours ago
      You have to take the DMCA request or else you lose safe
      harbor.
 
    hungerstrike - 6 hours ago
    I can still blame GitHub for not fighting against the DMCA with
    us.
 
  maxerickson - 7 hours ago
  How much flexibility do they have?It's a real question, can they
  easily challenge some requests and maintain their safe harbor
  status?
 
    jlgaddis - 2 hours ago
    It's not up to Github to challenge them. It's up to the
    person(s) responsible for the "violation". In this case, Github
    is just the messenger (AIUI).
 
      maxerickson - 1 hours ago
      My question is whether there is even a provision in the law
      that enables Github to challenge the notice.
 
    shmageggy - 6 hours ago
    I mean, they could probably challenge requests that are
    obviously invalid like the Admiral one.
    http://lmgtfy.com/?q=can+you+copyright+a+domain+name (No, you
    can't)
 
      maxerickson - 6 hours ago
      I'm asking a specific question about the workings of the
      DMCA.Does your link address that question? Is your opinion on
      the DMCA well informed?
 
        [deleted]
 
        shmageggy - 4 hours ago
        The lmgtfy was meant towards github's lawyers, not you. My
        point was that this is so obviously invalid that they
        should absolutely have flexibility to challenge it.
 
      pbhjpbhj - 1 hours ago
      If you think this is about copyright in a domain name you're
      missing the point. The DMCA is being used because uBlock is
      blocking a technology [script download] that is used to
      prevent access. uBlock is working like a DRM remover (the
      argument goes) and so is committing contributory copyright
      infringement.Modifying uBlock mitigates the argument but
      doesn't entirely remove it. For example if the people who
      control uBlock control a third-party source that allows the
      same preventions to be implemented then technological changes
      have been made but the situation is legally homologous (AIUI,
      IANAL).IMO uBlock need to provide facility for a domain to be
      blocked but say "search online to find blocklists" and have
      no legal associations with the blocklist maintainers; akin to
      how emulator sites manage ROMs, they stay as legal separated
      from them as possible. Putting Google in the middle makes
      getting sued harder, in theory Google is linking the people
      to the tech/info that enables the alleged
      infringement.Remember DMCA is strongly weighted towards the
      accuser in the initial instance and that a service provider
      has to take down content in order to maintain their safe-
      harbour protections, leaving it to the alleged infringer to
      counter the accusation (guilt until claim of innocence).
 
smegel - 1 hours ago
Thank you good Sir.
 
[deleted]
 
0x10101 - 53 minutes ago
Next step is to just build a script that parses the DMCA takedown
notices here[1] and automatically builds a block list out of those
domains. https://github.com/github/dmca
 
JackC - 6 hours ago
As a legal fine point: the list I want isn't just "sites which have
used DMCA takedowns to force removal from other blacklists," but
more like "sites which allege that they are legally required to be
loaded if embedded in other sites."This would include all Admiral-
owned domains (including those that haven't been included in DMCA
takedowns yet), and all domains owned by any other companies that
believe there is some legal obligation to load their trackers. It's
an important list to have.Echoing other comments, this list should
be in a standard .txt form so it can be included by other
extensions, so I can pick an extension that does what I want when
it encounters such a site (e.g., decline to visit the page that
embeds the site).
 
k__ - 4 hours ago
doesn't stuff like privacy badger generate these lists on the fly
locally?