GOPHERSPACE.DE - P H O X Y
gophering on hngopher.com
HN Gopher Feed (2017-11-07) - page 1 of 10
 
___________________________________________________________________
Feature Visualization: How neural nets build up their understanding
of images
162 points by rrherr
https://distill.pub/2017/feature-visualization/
___________________________________________________________________
 
nnfy - 3 hours ago
Awesome, but to me this stuff is also terrifying, and I can't quite
place why.Something about dissecting intelligence, and the
potential that our own minds process things similarly. Creepy how
our reality is distilled into these uncanny valley type
matrices.Also, I suspect it says something that these images look
like what people report seeing on psychedelic trips...
 
  osullivj - 3 hours ago
  I remember friends telling me back in 88 [1] about driving round
  London from one rave to another high on MDMA & LSD. Back then I
  thought driving on acid was insane. This sounds like driving
  while the car is on acid! Which is a terrifying thought...[1]
  https://en.wikipedia.org/wiki/Second_Summer_of_Love
 
    Florin_Andrei - 2 hours ago
    No, the acid simply lets you see "how the sausage is made". You
    get temporary access to intermediate layers that should
    probably remain hidden (and for good reasons).With AI it's
    trivial to get access to the inner workings of the intermediate
    layers.
 
colah3 - 4 hours ago
Hey! I'm one of the authors, along with Alex and Ludwig. We're
happy to answer any questions! :)
 
  cs702 - 2 hours ago
  As always, THANK YOU. You and your coauthors' attention to even
  the smallest details everywhere in this piece are evident. I've
  added it to my reading list, to read through it and look at the
  visualizations slowly :-)That said, after skimming the piece and
  thinking about the amount of work that went into it, one question
  popped up in my mind: do you think it would be possible to train
  a DNN to learn to visualize the "most important" neuron
  activations / interactions of another DNN?
 
    colah3 - 37 minutes ago
    We're glad you enjoyed it! :D> do you think it would be
    possible to train a DNN to learn to visualize the "most
    important" neuron activations / interactions of another
    DNN?That sounds like a really hard problem. I'm not entirely
    sure what it would mean even, but it would not surprise me at
    all if there was some refinement that could turn into an
    interesting research direction! :)
 
      cs702 - 15 minutes ago
      Thanks. I asked the question in such an open-ended way just
      to see if you had any crazy ideas. It does sound like a hard
      problem.In terms of what it could mean, one idea I just had
      is to take a trained model, randomly remove (e.g., zero out)
      neurons, and then train a second model to predict how well
      the trained model continues to work without those removed
      neurons. The goal would not be to 'thin out' the first model
      to reduce computation, but to train the second one learn to
      identify important neurons/interactions. Perhaps the second
      model can learn to predict which neurons/interactions are
      most important to the first model, as a stepping stone for
      further analysis?
 
  breckinloggins - 3 hours ago
  Many of the visualizations seem interpretable even though they
  are (essentially, I presume) projections of a very high
  dimensional space onto 2d position + 3d color space. Is there any
  research on projecting these visualizations into 6-dimensions as
  well (3d position + 3d color in VR) or even higher dimensions by
  substituting other sensory modalities for extra spacial or color
  dimensions?
 
    shancarter - 3 hours ago
    I suspect the extra fidelity won't have much payoff for high
    dimensions considering the large cognitive overhead required
    for a person to make sense of it. Even a six dimensional
    approximation of a 1,000 dimensional space is quite crude, and
    we're pretty confused by spaces larger than three.
 
  amitp - 40 minutes ago
  I wanted to thank you not only for this new page but also for
  your blog and distill.pub, especially the research debt page!
 
    colah3 - 13 minutes ago
    Our pleasure -- very glad our work is helpful. ;)
 
  TheAlchemist - 2 hours ago
  No questions. Just a big thank you !distill.pub is really a
  really amazing place to learn.
 
shancarter - 4 hours ago
There?s also an appendix where you can browse all the layers.
https://distill.pub/2017/feature-visualization/appendix/goog...
 
chillingeffect - 55 minutes ago
Are the layer names the same ones referred to in this paper?
https://arxiv.org/abs/1409.4842And how can e.g. layer3a be
generated from layer conv2d0?  By convolving with a linear kernel?
Or by the entire Inception Module including the linear and the non-
linear operations?Thank you.  Outstanding work breaking it
down.Here's another paper people might enjoy.  The author generates
an example for "Saxophone," which includes a player...  Which is
fascinating, bc it implies that our usage of the word in real
practice implies a player, even though the Saxophone is an
instrument only.  This highlights the difference between our
denotative language and our experience of language!
https://www.auduno.com/2015/07/29/visualizing-googlenet-
clas...Also, for those curious about the DepthConcat operation,
it's described here:
https://stats.stackexchange.com/questions/184823/how-does-
th...Edit: I'll be damned if there isn't something downright
Jungian about these prototypes!  There are snakes!  Man-made
objects!  Shelter structures!  Wheels!  Animals!  Sexy legs!  The
connection between snakes and guitar bodies is blowing my mind!
 
dandermotj - 3 hours ago
Hi Chris, firstly thanks for all the work you've done publishing
brilliant articles on supervised and unsupervised methods and
visualisation on your old blog and now in Distill.This question
isn't about feature visualisation, but I though I'd take the chance
to ask you, what do you think of Hinton's latest paper and his move
away from neural network architectures?
 
  colah3 - 3 hours ago
  Capsules are cool! I spent several days hanging out with Geoff &
  co a few months back -- they're exploring really exciting
  directions. I don't feel like I have anything particularly
  exciting to add, though.
 
    dandermotj - 3 hours ago
    Thanks :D
 
chillingeffect - 47 minutes ago
Is there any way to run images from a camera real-time into
GoogLeNet?E.g. like if I want to scan areas around me to see if
there are any perspectives in my environment that light up the
"snake" neurons or the dog neurons???
 
[deleted]
 
aj_g - 2 hours ago
Wow. That's incredible how psychedelic these images are. I'd be
really curious to learn more about the link between these two
seemingly distant subjects.
 
  AElsinore77 - 1 hours ago
  Check out this: https://www.ted.com/talks/anil_seth_how_your_brai
  n_hallucina...Neural nets are doing something that the mind does
  too - it takes visual input, then it "predicts" and "fills in the
  blanks" (aka hallucinates) so that you "see" what you expect to
  see. Its why you dont notice your blind spot.Its also interesting
  to note that this process appears to change as we age:
  https://www.npr.org/2016/04/17/474569125/your-brain-on-lsd-l...
 
muxator - 1 hours ago
Looking at the finger instead of the moon: I like the HTML layout
(responsive, inline images with captions, lateral notes).Any
insights on how it's generated? Markdown, Rst, Latex -> HTML? I
would love to produce my documentation in this way.Edit: I was too
hurried. Everything is explained in https://distill.pub/guide/, the
template is at https://github.com/distillpub/template
 
  spiderfarmer - 54 minutes ago
  I logged in to comment on the superb design as well. The design
  doesn?t only make it look good, every aspect is in full support
  of the content. And technically it?s executed perfectly as well.
  Very impressive.
 
    colah3 - 38 minutes ago
    I'm incredibly lucky to be working with a number of people who
    have an amazing intersection of design skills and scientific
    knowledge.Ludwig is fantastic and put an incredible amount of
    work into polishing this article. And my co-editor Shan (who
    used to do data vis at the New York Times) seems like he has
    super powers half the time. We also get lots of outstanding
    advice from Ian Johnson and Arvind Satyanarayan.
 
      JorgeGT - 13 minutes ago
      Minor note, you should add the field
      DOI={10.23915/distill.00007} to the BibTeX citation. This is
      also missing from Google scholar, and is a particular pat
      peeve of mine now that DOIs are practically mandatory
      (copying the helpfully-formatted citation but then having to
      look around the page to find the DOI).