GOPHERSPACE.DE - P H O X Y
gophering on hngopher.com
HN Gopher Feed (2017-07-24) - page 1 of 10
 
___________________________________________________________________
Agents that imagine and plan
64 points by interconnector
https://deepmind.com/blog/agents-imagine-and-plan/
___________________________________________________________________
 
GuiA - 1 hours ago
Why do we need to explicitly design architectures such as the
"imagination encoder" the article describes? A proposed long term
goal of deep learning is to have AI that surpasses human cognition
(e.g. DeepMind's About page touts that they are "developing
programs that can learn to solve any complex problem without
needing to be taught how"), which was not explicitly designed in
terms of architectural components such as an "imagination
encoder".Shouldn't imagination and planning be observed
spontaneously as emergent properties of a sufficiently complex
neural network? Conversely, if we have to explicitly account for
these properties and come up with specific designs to emulate them,
how do we know that we are on the right track to beyond human
levels of cognition, and not just building "one-trick networks"?
 
  hacker_9 - 1 hours ago
  Imagination doesn't seem learnt to me. Instead learning new
  concepts adds to the toolbox so to speak.
 
  eli_gottlieb - 1 hours ago
  >Shouldn't imagination and planning be observed spontaneously as
  emergent properties of a sufficiently complex neural network?No!
  There's never been any scientific guarantee that "sufficiently
  complex" neural networks will give rise to anything in specific
  as an "emergent property", let alone human cognitive abilities
  like imagination and planning.>how do we know that we are on the
  right track to beyond human levels of cognition, and not just
  building "one-trick networks"?Steps to write a deep learning
  paper (from the Cynic's Guide to Artificial Intelligence):1) Use
  a training set orders of magnitude larger than a human could
  learn from, build a one-trick network that gets superhuman
  performance on its one trick of a task.2) Hype it up.3) Research
  funding and/or profit and/or world domination!(World domination
  has never been supplied when requested.)
 
  tpeo - 1 hours ago
  Well, nobody is forced to create models they don't believe in.But
  besides some models being useful, as that old adage says, some
  are also useful-er than others. Adding stuff such as
  "imagination" functions as a constraint on the number of
  behavioral patterns that we are willing to consider, and that
  might lead us to find that one which we're looking for (i.e.
  "intelligent behavior") faster than a na?ve approach.Besides, it
  might not be the case that the likelihood of observing
  "intelligent behavior" increases over the complexity of the
  behavior generating process.
 
  eduren - 1 hours ago
  >Shouldn't imagination and planning be observed spontaneously as
  emergent properties of a sufficiently complex neural network?Not
  necessarily. I think it comes down to what you mean by
  "sufficiently complex". If we took a classic feedforward Multi-
  Layer Perceptron and gave it massive amounts of good data, a long
  time to train, and a nearly unbounded network size, I'm not sure
  it would ever develop architecture within itself to plan or
  develop a robust internal model.Our neurology took millions of
  years/generations to get where it is today though natural
  selection. We might want to tip the scales a bit by engineering
  the broad architectural pieces and letting emergent behavior fill
  the gaps.Although it would be fun to try producing human level
  intelligence by seeding a physics simulation of primordial soup
  and letting it run for millions of "years", I don't think that's
  feasible for most researchers.
 
    virtuabhi - 56 minutes ago
    > Although it would be fun to try producing human level
    intelligence by seeding a physics simulation of primordial soup
    and letting it run for millions of "years", I don't think
    that's feasible for most researchers.And what would be the seed
    for random number generator?
 
      eduren - 45 minutes ago
      "Let there be light"
 
  habitue - 1 hours ago
  The human brain has specialized structures in it, it isn't a
  homogeneous mass from which all parts of human cognition emerge
  once you have enough brain cells (see elephant brain size vs.
  human brain size). If you've ever seen anything else designed by
  evolution, you'll know it generally tends to be a grab-bag of
  weird tricks all combined together in a way that somehow works.
  We don't know what all the tricks are, nor which are necessary or
  sufficient to create human-like intelligence.There are also a lot
  of indications that ultimately you need some tricks (i.e.
  specialized portions of the architecture that bias the kinds of
  solutions the AI can learn) to be able to learn effectively in
  the environments we're interested in. For example, we know that
  there is a time dimension to agent tasks, and that objects don't
  pop in and out of existence, they tend to exist continuously.
  These are biases we are free to add to a learning system without
  worrying about it limiting the ultimate intelligence of the
  system.In the limit, the No Free Lunch theorems indicate that
  there's no such thing as a general learning system that doesn't
  sacrifice performance on some kinds of tasks. The goal of AI
  research is to sacrifice performance on tasks that we'll never
  encounter in favor of getting good performance on tasks we care
  about.
 
    GuiA - 1 hours ago
    > If you've ever seen anything else designed by evolution,
    you'll know it generally tends to be a grab-bag of weird tricks
    all combined together in a way that somehow works. We don't
    know what all the tricks are, nor which are necessary or
    sufficient to create human-like intelligence.That is precisely
    the core of my interrogation. The papers mentioned in the
    article seem to be about "hand designing" the weird tricks;
    shouldn't the goal be to build a system that enables the
    emergence of these weird tricks without involving human design?
 
      PeterisP - 57 minutes ago
      > shouldn't the goal be to build a system that enables the
      emergence of these weird tricks without involving human
      designIt depends on your goals - if your goal is to build a
      system that can create smart actions (e.g. build/simulate
      something comparable to a brain), then that's not required
      (it may happen to be useful, or not); if your goal is to
      build a system that can create and build systems that can
      create smart actions (e.g. build/simulate something
      comparable to the evolution process of an intelligent
      species) then it should.
 
      eduren - 49 minutes ago
      Hand designing is the only feasible option available to us. A
      system that could architect itself would either need:A
      bootstrap intelligence in order to self-plan, self-
      experiment, and self-modify. Escher hands drawing each other
      basically... orSimilar conditions to our only known
      spontaneous intelligence (us). That includes some sort of
      base code (genetics), competitive environments for rewarding
      good architectures, and lots of time in simulation. No
      guarantee this would work either.
 
      habitue - 24 minutes ago
      > shouldn't the goal be to build a system that enables the
      emergence of these weird tricks without involving human
      design?Two comments:1. Just because evolution came up with
      them for humans, doesn't mean if we run an evolutionary
      algorithm we'll come up with an intelligent system in any
      reasonable amount of time. There's no reason to believe it's
      easy to evolve such systems given that we only know of one
      human-level intelligence in the universe, and it seems to
      have taken billions of years to come about.2. This is
      unnecessarily tying our hands. Evolution often builds very
      inefficient, overly complicated versions of things that can
      be simplified dramatically once humans understand the
      underlying principles behind why they work. In addition we
      have a huge body of theoretical work on planning, decision
      theory etc that improves dramatically on our natural learning
      processes that we can take advantage of. We get no points for
      not "cheating" here.
 
aqsalose - 54 minutes ago
The obvious caveat: this is quite far away from my field of
expertise. Doubly so, because I'm not an expert in neural net ML
and neither in cognitive science. So take this with spoonful of
salt. But anyhow, I don't like the word "imagine" here. It seems
suggest cognitive capabilities that their model probably does not
have.As far as I do understand the papers, their model builds (in
unsupervised fashion which sounds very cool) an internal simulation
of the agent's environment and runs it to evaluate different
actions, so I can see why they'd call it imagination / planning,
because that's the obvious inspiration for the model and so it sort
of fits. But in common parlance, "imagination" [1] also means
something that relatively conscious agents do, often with
originality, and it does not seem that their models are yet that
advanced.I'm tempted to compare the choice of terminology to
DeepDream, which is not exactly a replication of the mental states
associated with human sleep, either.[1]
https://en.wikipedia.org/wiki/Imagination
 
  PeterisP - 2 minutes ago
  Can you elaborate on what qualitative difference do you see
  between imagination-as-you-understand-it and an internal
  simulation of a nonexistent (maybe future, maybe never happening)
  state of an agent's environment or inputs?  There's an obvious
  quantitative difference - their environment is much simpler than
  ours, and their "imagination" is bound to imagining the near
  future (unlike us), but conceptually, where do you see the
  biggest difference?Originality seems not to be the boundary,
  since even this simple model seems to imagine world states that
  they never saw, never will see, and possibly even aren't possible
  in their environment, i.e. they are "original" in some sense.If I
  look at the common understanding of "imagination" and myself,
  what can I imagine? I can imagine 'what-if' scenarios of my
  future, e.g. what could be the outcome if I do this or that, or
  if something particular happens; I can imagine scenarios of my
  past, i.e., "replay" memories; I can imagine counterfactual
  scenarios that never happened and never will; I can imagine
  various senses - i.e. how a particular melody (which I'm
  "building" with right now with the help of this imagination)
  might sound when played in a band, or how something I'm drawing
  might look like when it's completed - all of this seems different
  variations on essentially the same thing, which is an internal
  simulation (model) generating data about various hypothetical
  states.This might be used to evaluate different actions, but it
  might also be used to simply experience these states (i.e.
  daydream) or do something else - that's more of a question on how
  the agent would want to use the "imagination module", not a
  particular property of the imagination/internal simulation model
  itself.
 
[deleted]
 
ansgri - 1 hours ago
https://en.wikipedia.org/wiki/Model_predictive_controlOf course
imagining possible outcomes before executing is useful! And it has
many uses outside deep learning. No reason to reinvent new words,
really. At least without referring to the established ones.Maybe
there is a serious novel idea, but I've missed it.Basically, if you
need to control a complex process (i.e. bring some future outcome
in accordance to your plan), you can build a forward model of the
system under control (which is simpler than a reverse model), and
employ some optimization techniques (combinatorial, i.e. graph-
based; numeric derivative-free, i.e. pattern-search; or
differential) to find the optimal current action.
 
  PeterisP - 1 hours ago
  The link between imagining and deep learning is rather in the
  opposite direction - it has always been obvious that imagining
  possible outcomes before executing would be useful, but the
  novelty is that deep learning has allowed them to actually make
  "imagination" that works.MPC is an useful concept if you have a
  predictive model that's at least vaguely close to the actual
  behavior. In some contexts (e.g. modeling of particular
  industrial systems) programmers could build such a model, but in
  the general case that's absolutely not feasible, the world is
  full with problems where, practically speaking, you can not
  manually build a forward model of the system under control.So
  this article is about initial research on systems that can
  construct such a predictive model/imagination from experience,
  with a proof of concept that the current deep learning approaches
  allow us to build systems that can learn such predictive models
  (which wasn't really possible before) and further development of
  this concept seems to be the way how we can actually apply things
  like MPC to problems where we won't build a forward model
  ourselves; and in the long run, that means pretty much all
  problems.
 
    habitue - 50 minutes ago
    > systems that can construct such a predictive
    model/imagination from experienceI just want to emphasize this
    point as the crux here. We have many many techniques for AI
    that involve doing roll-outs once a smart human with domain
    knowledge hands the system a fully-formed model of the
    dynamics. Not so many where the dynamics are learned