GOPHERSPACE.DE - P H O X Y
gophering on hngopher.com
HN Gopher Feed (2017-10-16) - page 1 of 10
 
___________________________________________________________________
The Neural Net Tank Urban Legend
95 points by JoshTriplett
https://www.gwern.net/Tanks
___________________________________________________________________
 
zodPod - 17 minutes ago
This kind of stuff is fairly normal actually.  I don't really agree
that it couldn't happen.  Neural Networks train for the wrong
features all of the time.  It's part of what happens when you're
training unsupervised.  You load in a lot of data and then you find
the bias.  Sure, as the article purports, if done perfectly it
wouldn't happen.  But that's like saying "If you build a bridge
perfectly it won't fall down." before building the first bridge.
This was supposedly an old tale so I'm not sure why the author
would assume the people working on the original theoretical NN were
data experts who knew the correct ways to train NNs.
 
gok - 2 hours ago
I always heard the version that went the other way around. After it
was shown that single layer perceptrons were unable to deal with
data sets that weren't linearly separable, there was an effort to
figure out how the single layer tank classifier was working.
 
  gwern - 36 minutes ago
  That's an interesting variant - none of the versions I've seen so
  far link it to Minsky's perceptron book. Any chance you recall
  where you saw that one?
 
akavel - 1 hours ago
Umm, but then a story linked from the article as "alternative
example" (thus presumably "better" than the tank story), and it
being one from HN by the way, seems to have a nearly identical
gist, at least for me as a layman:
https://news.ycombinator.com/item?id=6269114 - only not about
neural nets, but genetic/evolutionary algorithms. Or is it somehow
drastically different and I just don't understand that?
 
  gwern - 37 minutes ago
  The difference is that api (Adam Ierymenko, 17k karma, 10 year
  old account) there says he did it himself - he is not retelling
  'a friend of a grad student of a professor told me about some
  NNs'... I am willing to believe that a HN user who says something
  happened to himself, that it actually happened.And there is a big
  difference between something that happened and something that did
  not happen.
 
thanatropism - 55 minutes ago
Scare-quotes dataset bias (in science we say "selection bias") is
the bread and butter of any field that doesn?t get an opportunity
to fine-tune sample design issues.There's even hierarchical models
with an equation giving the probability that an item will be
observed at all, conditioned to known features.Those who don't know
their statistical models are bound to reinvent statistical theory.
 
RodgerTheGreat - 2 hours ago
I think the author's conclusion- that this scenario is unrealistic
and would never happen given today's understanding of machine
learning techniques- is extremely optimistic. NNs are
demonstrably[1] not robust image classifiers.In my opinion, it's
far more dangerous to downplay the limitations of this technology
and embolden snake-oil purveyors than it is to demand an
inconvenient degree of rigor and caution in reporting results.[1]
https://arxiv.org/abs/1707.07397#
 
  gwern - 2 hours ago
  >  I think the author's conclusion- that this scenario is
  unrealistic and would never happen given today's understanding of
  machine learning techniques- is extremely optimistic. NNs are
  demonstrably[1] not robust image classifiers.I am well-aware of
  adversarial examples, and they are not the same thing as dataset
  bias, and I am very troubled by them. If you look at the section
  on whether we should tell the tank story as a cautionary story, I
  already say:> I also fear that telling the tank story tends to
  promote complacency and underestimation of the state of the art
  by implying that NNs and AI in general are toy systems which are
  far from practicality and cannot work in the real world
  (particularly the story variants which date the tank story
  recently), or that such systems will fail in easily diagnosed and
  visible ways, ways which can be diagnosed by a human just
  comparing the photos or applying some political reasoning to the
  outputs, when what we actually see with deep learning are failure
  modes like "adversarial examples" which are quite as inscrutable
  as the neural nets themselves (or AlphaGo's one misjudged move
  resulting in its only loss to Lee Sedol).To expand a little:
  dataset bias at least has the tendency to expose itself as soon
  as you try to apply it. You waste your time, but that's generally
  the worst part. I'm more worried about stuff like adversarial
  examples, which will work great in the field right up until a
  hacker comes by with a custom adversarial example (eg the
  adversarial car sign work showing you can trick simple CNNs into
  misclassifying speed limits and stop signs using adversarial
  examples pasted onto walls or signs or streets). This is not
  dataset bias; you can collect images of every single stop sign in
  the world and that will not stop adversarial examples.>  embolden
  snake-oil purveyors than it is to demand an inconvenient degree
  of rigor and caution in reporting results.I think it's ironic to
  say that doing the very simplest level of fact-checking like 'did
  this story ever actually happen' is an 'inconvenient degree of
  rigor and caution' and 'emboldens snake-oil purveyors'.
 
tyingq - 3 hours ago
The big takeway for me is that even if untrue, similar situations
are true.  Like this one from the article: "Gender-From-Iris or
Gender-From-Mascara?" https://arxiv.org/pdf/1702.01304.pdf
 
dontreact - 3 hours ago
It's funny, I heard this legend a bunch, but stopped hearing it
after the 2012 AlexNet paper.
 
  eltoozero - 3 hours ago
  For reference:AlexNet[1] is the name of a convolutional neural
  network, originally written with CUDA to run with GPU support,
  which competed in the ImageNet Large Scale Visual Recognition
  Challenge in 2012. The network achieved a top-5 error of 15.3%,
  more than 10.8 percentage points ahead of the runner up. AlexNet
  was designed by the SuperVision group, consisting of Alex
  Krizhevsky, Geoffrey Hinton, and Ilya Sutskever.AlexNet
  Paper(PDF)[0][0]:
  http://vision.stanford.edu/teaching/cs231b_spring1415/slides...
  [1]: https://en.wikipedia.org/wiki/AlexNet
 
Rotten194 - 3 hours ago
I get the author's feelings about why we shouldn't tell this story,
but I still disagree. It's a pithy, funny example of GIGO in
machine learning. People could read conclusions about the abilities
of neural networks from the story, but they're wrong to do so --
it's a PEBKAC error, not a technology one.  "Truthy" cautionary
tales are a near-universal feature of human cultures -- why
shouldn't machine learning have some?
 
  robotresearcher - 2 hours ago
  It's a plausible story. Fine to present as a parable, but we
  should stop presenting it as true unless we can find a reliable
  source for it.Until today, I believed it was true. It was told to
  me as an undergrad, by a professor who believed it himself.
 
  lgas - 3 hours ago
  > I suggest that dataset bias is real but exaggerated by the tank
  story, giving a misleading indication of risks from deep learning
  and that it would be better to not repeat it but focus on
  established risks like AI systems optimizing for wrong utility
  functions.He's not arguing against having cautionary tales, he's
  arguing that we should base them on actual problems instead of
  imaginary ones.
 
    Rotten194 - 2 hours ago
    But ensuring correct datasets is a problem that people new to
    machine learning have to be made aware of. It's easy for people
    to see that NNs are good with 'noisy' data and incorrectly
    assume they can throw any data at it and get good results. And
    I think the quote is a false dilemma -- its not like we can't
    have multiple different stories for different problems. Make up
    / find a "truthy" story to spread for misoptimized utility
    functions if one doesn't exist, but there's no need to kill
    this useful story in the process.
 
      goialoq - 2 hours ago
      If a failure mode has never been reported in the wild, why is
      it so important to tell a juicy story about it, at the
      expense of attention to empirically observed failure modes?
 
teraflop - 1 hours ago
I first encountered this idea in a sci-fi story (I want to say it
was one of Peter Watts' "Rifters" novels, but I can't find it now).
The idea was that someone trained a neural network to look at live
video feeds of passengers moving through a subway station, and
control the station's ventilation system. Unfortunately, the
movements of individual people were fairly random, whereas the
large-scale traffic patterns were extremely regular and periodic.
So instead of basing its output on the actual crowd patterns, the
neural net decided it was more accurate to look at the hands of an
analog clock that happened to be visible through one of its
cameras.All well and good, until the clock stopped working during
rush hour, and people started asphyxiating.
 
kainolophobia - 3 hours ago
>I suggest that dataset bias is real but exaggerated by the tank
story, giving a misleading indication of risks from deep learningI
don't see how this story gives a "misleading" view of deep
learning. From my (admittedly limited) experience with self-driving
RC cars, this type of mistake is quite easy for a neural net to
make while being quite difficult to detect. In our case, after
utilizing a visual back-prop method, we realized our car was using
the lights above to direct itself rather than the lanes on the
road.Now, you can refute this and say "well clearly your data
wasn't extensive enough" or "your behavioral model is too simple
for a complicated task like driving" however as these tools become
easier to use, more and more organizations will put them into
practice without as much care as the researchers behind most of the
current production efforts.
 
  gwern - 3 hours ago
  I assume you're referring to some simple lane-keeping CNN where
  the CNN predicts steering angle from a video recording+human
  inputs: and yes, your dataset isn't extensive enough, and you'll
  never have enough data either, not due to some amusing bias in
  your CNN or taking shortcuts, but because it's a reinforcement
  learning problem and not a classification problem - your RC CNN
  could learn a better model of the road which doesn't involve
  lights at all and it won't make any real difference, it'll still
  be unable to correct for its errors or adapt to new situations
  and crash.
 
    semi-extrinsic - 2 hours ago
    I did the human version of this when I was a newbie driver. I
    learned to predict traffic lights changing to red by watching
    the pedestrian signals as I approached an intersection. All the
    lights all over the city followed the same pattern. Then one
    day I happened upon one where the pattern was different, and I
    stopped for no reason at a green light, like an idiot.
 
  ml_thoughts - 1 hours ago
  Another more modern and well-documented example of this would
  seem to occur in a 2015 write-up of the "Right Whale" competition
  in Kaggle: http://felixlaumon.github.io/2015/01/08/kaggle-right-
  whale.h...Contrary to this author's claims, despite using data
  augmentation and a fancy modern CNN, a neural network trained to
  identify whales hit a local optimum where it looked at patterns
  in waves on the water to identify the whale instead of
  distinctive markings on the whale's body.I don't buy the "this
  isn't a problem in real world applications" argument being made
  in this article.
 
    vilhelm_s - 29 minutes ago
    He says that his first attempt at whale recognition looked at
    waves instead of whales, but> This naive approach yielded a
    validation score of just ~5.8 (logloss, lower the better) which
    was barely better than a random guess.which is different from
    the tank story. For the tanks, the neural network appeared to
    perform well, but was actually not looking at the tanks. Here,
    it never performed well, and when debugging why not he found
    that it was not looking at the whales.
 
1024core - 2 hours ago
All this speculation is silly. Just generate your own data set
(since the story is from the early 90s, if not earlier, the number
of training examples would have been quite small compared to
today's data sets) and see if today's networks make the same
mistake.
 
  gwern - 4 minutes ago
  Tanks are already in ImageNet: http://image-
  net.org/synset?wnid=n04389033
 
[deleted]
 
haeffin - 3 hours ago
> a common preprocessing step in computer vision (and NNs in
general) is to whiten the image by standardizing or transforming
pixels to a normal distribution; this would tend to wipe global
brightness levels, promoting invariance to illuminationIs there
anybody still doing this?
 
  gwern - 3 hours ago
  Seems to still be pretty common:
  https://scholar.google.com/scholar?hl=en&as_sdt=0%2C21&as_yl...
  Am I wrong?
 
    haeffin - 2 hours ago
    "normalizing" is a bad search term, it can mean a lot of
    things. And whitening images is pretty much dead. What is done
    is subtracting mean colors from each pixel, but those are means
    over the whole database, not per-image, so that keeps
    brightness shifts intact.
 
      gwern - 2 hours ago
      In searches you should err on the side of broadness. If you
      cut it down to just 'whitening', as you can see from the
      snippets as well, there are plenty of hits. You may not like
      whitening, but it does still seem to be common.
 
        haeffin - 2 hours ago
        Using your search, at least for me, none of the snippets on
        the first page use normalization in the sense that you are
        in this context. So including that term just got you a lot
        of noise. And the only reference to whitening on that
        search page is not using it in an input pipeline, it is
        using ZCA to detect images that are modified to be
        adversarial.If you want some better data than unreliable
        searches, go download pretrained models for popular
        architectures and popular frameworks and look at the input
        pipelines for them. You'll find that whitening is
        absolutely not common for image classification/detection
        today (yes, there are still some cases where it is used,
        but typically on smaller datasets where you can't get that
        invariance from data, which is the way you prefer it to be
        - if one class actually is more likely to be present in
        dark images, you don't want to kill that information).
 
andreasvc - 2 hours ago
For a better, actual example of this problem, see the leopard sofa:
http://rocknrollnerd.github.io/ml/2015/05/27/leopard-sofa.ht...
 
  tomelders - 2 hours ago
  That comment section took an immediate and unexpected turn for
  the worse.
 
    KVFinn - 1 hours ago
    >That comment section took an immediate and unexpected turn for
    the worse.What the heck is going on there?
 
      eric_h - 1 hours ago
      Terry Davis - he occasionally chimes in here with similarly
      themed posts (but only if you have show dead enabled).He's
      schizophrenic, is famous for TempleOS and infamous for the
      contents of his posts on the internet.
 
        [deleted]
 
Nomentatus - 1 hours ago
For those who say we shouldn't pay too much attention to urban
legends about neural network failures, here's a real-life example
of neural networks translating "inorganic cat litter" as "in
organic cat litter" and thereby creating a real-life half-billion-
dollar dirty bomb that genuinely
exploded.https://jonathanturley.org/2014/11/21/kitty-litter-dirty-
bom...This is a hasty link, IIRC the error happened when someone
read out instructions aloud to someone else took who was taking
notes.Yes, that badly behaving neural network(s) was human, and
therefore far more sophisticated than any we can build yet. Which
makes the problem worse and more real, not better or less real.