Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis
Akarsh Kumar, Jeff Clune, Joel Lehman, Kenneth O. Stanley
现代人工智能的大部分兴奋是由扩大现有系统导致更好的性能的观察所推动的。 但是,更好的表现是否必然意味着更好的内部表示? 虽然表示乐观主义者认为必须这样做,但本立场文件挑战了这一观点。 我们将通过开放式搜索过程进化的神经网络与通过传统随机梯度下降(SGD)训练的网络进行比较,这些网络可以生成单个图像的简单任务。 这种最小的设置提供了一个独特的优势:每个隐藏神经元的全部功能行为可以很容易地可视化为图像,从而揭示网络的输出行为如何由神经元内部构建神经元。 结果是惊人的:虽然两个网络都产生相同的输出行为,但其内部表示差异很大。 SGD训练的网络表现出一种混乱的形式,我们将其称为断裂纠缠表示(FER)。 有趣的是,进化的网络基本上缺乏FER,甚至接近统一因子表示(UFR)。 在大型模型中,FER可能会降低广义、创造力和(持续)学习等核心模型能力。 因此,理解和减轻FER可能对代表性学习的未来至关重要。
Much of the excitement in modern AI is driven by the observation that scaling up existing systems leads to better performance. But does better performance necessarily imply better internal representations? While the representational optimist assumes it must, this position paper challenges that view. We compare neural networks evolved through an open-ended search process to networks trained via conventional stochastic gradient descent (SGD) on the simple task of generating a single image. This mi...