我们研究了使用替代梯度下降法（Surrogate GD）训练的脉冲神经网络（SNNs），无论是否包含延迟学习，能够在多大程度上从精确的脉冲时序中学习而不仅仅是脉冲发放率。我们首先设计了合成任务，在匹配的脉冲计数下分离神经元内脉冲间隔和跨神经元同步性。在更复杂的基于脉冲的语音识别数据集（Spiking Heidelberg Digits (SHD)和Spiking Speech Commands (SSC)）上，我们构建了消除脉冲计数信息、仅保留时序信息的变体，结果表明使用替代梯度下降训练的SNNs能够显著超越随机水平的表现，而纯速率模型的表现仅处于随机水平。我们进一步评估了在生物启发的扰动下的鲁棒性——包括每个脉冲或每个神经元的高斯抖动以及脉冲删除——揭示了持续但特定于扰动的性能下降。当脉冲序列在时间上反转时，网络表现出明显的性能下降，其中使用延迟训练的SNNs性能下降更大，表明这些网络在行为上更接近人类。为了促进时序编码的进一步研究，我们已经发布了修改后的SHD和SSC数据集。
目标：在低收入国家，由于神经科医生稀缺和诊断工具昂贵，癫痫的诊断率仍然偏低。我们提出了一种基于图的深度学习框架，用于从低成本脑电图(EEG)硬件中检测癫痫，并在尼日利亚和几内亚比绍的 recordings 上进行了测试。我们的重点是公平、可获取的自动评估和可解释性，以揭示癫痫的生物标志物。方法：我们将EEG信号建模为时空图，使用图注意力网络(GAT)对其进行分类，并识别通道间关系和时间动态。为了强调连接性生物标志物，我们调整了原本关注节点的GAT来分析边。我们还设计了适用于低保真 recordings 的信号预处理方法，以及一个轻量级GAT架构，该架构在Google Colab上训练并部署在RaspberryPi设备上。结果：该方法取得了有前景的分类性能，在多次会话中，其准确性和鲁棒性优于基于随机森林和图卷积网络的标准分类器，同时还突出了额颞区的特定连接。结论：这些结果突显了GAT在服务不足地区为癫痫提供有洞察力且可扩展的诊断支持的潜力，为经济实惠且可获取的神经诊断工具铺平了道路。
系统组合化 - 构建和理解已知构建模块的新组合 - 仍然是人工智能系统的核心挑战。 人类认知通过海马体(HPC)和前额叶皮层(PFC)的相互作用来实现这种灵活性:海马体快速编码发作,前额叶皮层将它们合并为可重复使用的原理图进行推理。 借鉴这些见解,我们介绍了MIRAGE(Meta-Inference with Rules and Abstractions from Generalized Experience),这是一个实现组合任务的系统概括的框架。 MIRAGE有两个相互作用的模块,反映了大脑的深思熟虑的HPC-PFC循环和直观的新皮质模式识别。 (1)元训练的Transformer Neural Decomposer,并行新皮质“系统1”计算,在随机抽样组合语法的任务不可知论流上训练,并应用每个通法一个分解步骤,连续通过迭代地改进序列表示。 (2) Schema Engine,类似于HPC-PFC“系统2”循环,动态提取,排列和应用可重复使用的架构,在偶发存储器中存储变量绑定,并在需要时扩展它们。 通过明确地将MIRAGE的Transformer组件与主动管理的原理图结构,我们的模型通过显式模式应用程序和转换执行系统组成操作,在解决完全新颖的任务时仅依靠冻结权重。 这种方法在SCAN基准上展示了系统的组合概括,实现了> 99
回声态网络(ESNs)提炼了一个关键的神经生物学见解:丰富的循环但固定的电路与自适应线性读出相结合,可以以显着的效率改变时间流。 然而,关于稳定、记忆和表达能力的基本问题仍然分散在各个学科之间。 我们提出了一个统一的,动态系统的治疗,将功能分析,随机吸引物理论和最近的神经科学发现编织在一起。 首先,在紧凑的多元输入字母表上,我们证明回声状态属性(初始条件的洗脱)以及全球Lipschitz动力学必然产生褪色记忆属性(远程输入的几何遗忘)。 紧密的代数测试将激活特异性Lipschitz常数转化为经过认证的光谱规范边界,涵盖饱和和纠正非线性。 其次,采用Stone-Weierstrass策略,我们给出了一个简化的证明,即具有多项式水库和线性读出的ESN在因果,时间不变的褪色记忆过滤器的Banach空间中很密集,将普遍性扩展到随机输入。 第三,我们通过内存容量频谱量化计算资源,展示拓扑和泄漏率如何重新分配特定延迟容量,并将这些权衡与混乱边缘的Lyapunov光谱联系起来。 最后,将ESN作为斜体产品随机动力学系统,我们建立了单顿回调吸引器的存在,并得出有条件的Lyapunov边界,为皮质临界度提供了严格的模拟。 该分析产生了具体的设计规则 - 光谱半径,输入增益,激活选择同时在数学和神经科学中接地,并澄清了为什么中等大小的水库通常在实践中与完全训练的循环网络相媲美。
概念探测最近引起了越来越多的兴趣,作为帮助解释人工神经网络的一种方式,处理它们通常的大尺寸和亚符号性质,最终使它们无法直接解释人类。 概念探测工作通过训练额外的分类器来将模型的内部表示映射到人类定义的兴趣概念中,从而使人类能够在人工神经网络中窥视。 对概念探测的研究主要集中在正在探测的模型或探测模型本身,对训练此类探测模型所需的数据的关注有限。 在本文中,我们解决了这一差距。 专注于图像分类任务中的概念探测,我们研究用于训练探测模型的数据对其性能的影响。 我们还为两个广泛使用的数据集提供概念标签。
系统组合化 - 构建和理解已知构建模块的新组合 - 仍然是人工智能系统的核心挑战。 人类认知通过海马体(HPC)和前额叶皮层(PFC)的相互作用来实现这种灵活性:海马体快速编码发作,前额叶皮层将它们合并为可重复使用的原理图进行推理。 借鉴这些见解,我们介绍了MIRAGE(Meta-Inference with Rules and Abstractions from Generalized Experience),这是一个实现组合任务的系统概括的框架。 MIRAGE有两个相互作用的模块,反映了大脑的深思熟虑的HPC-PFC循环和直观的新皮质模式识别。 (1)元训练的Transformer Neural Decomposer,并行新皮质“系统1”计算,在随机抽样组合语法的任务不可知论流上训练,并应用每个通法一个分解步骤,连续通过迭代地改进序列表示。 (2) Schema Engine,类似于HPC-PFC“系统2”循环,动态提取,排列和应用可重复使用的架构,在偶发存储器中存储变量绑定,并在需要时扩展它们。 通过明确地将MIRAGE的Transformer组件与主动管理的原理图结构,我们的模型通过显式模式应用程序和转换执行系统组成操作,在解决完全新颖的任务时仅依靠冻结权重。 这种方法在SCAN基准上展示了系统的组合概括,实现了> 99
回声态网络(ESNs)提炼了一个关键的神经生物学见解:丰富的循环但固定的电路与自适应线性读出相结合,可以以显着的效率改变时间流。 然而,关于稳定、记忆和表达能力的基本问题仍然分散在各个学科之间。 我们提出了一个统一的,动态系统的治疗,将功能分析,随机吸引物理论和最近的神经科学发现编织在一起。 首先,在紧凑的多元输入字母表上,我们证明回声状态属性(初始条件的洗脱)以及全球Lipschitz动力学必然产生褪色记忆属性(远程输入的几何遗忘)。 紧密的代数测试将激活特异性Lipschitz常数转化为经过认证的光谱规范边界,涵盖饱和和纠正非线性。 其次,采用Stone-Weierstrass策略,我们给出了一个简化的证明,即具有多项式水库和线性读出的ESN在因果,时间不变的褪色记忆过滤器的Banach空间中很密集,将普遍性扩展到随机输入。 第三,我们通过内存容量频谱量化计算资源,展示拓扑和泄漏率如何重新分配特定延迟容量,并将这些权衡与混乱边缘的Lyapunov光谱联系起来。 最后,将ESN作为斜体产品随机动力学系统,我们建立了单顿回调吸引器的存在,并得出有条件的Lyapunov边界,为皮质临界度提供了严格的模拟。 该分析产生了具体的设计规则 - 光谱半径,输入增益,激活选择同时在数学和神经科学中接地,并澄清了为什么中等大小的水库通常在实践中与完全训练的循环网络相媲美。
概念探测最近引起了越来越多的兴趣,作为帮助解释人工神经网络的一种方式,处理它们通常的大尺寸和亚符号性质,最终使它们无法直接解释人类。 概念探测工作通过训练额外的分类器来将模型的内部表示映射到人类定义的兴趣概念中,从而使人类能够在人工神经网络中窥视。 对概念探测的研究主要集中在正在探测的模型或探测模型本身,对训练此类探测模型所需的数据的关注有限。 在本文中,我们解决了这一差距。 专注于图像分类任务中的概念探测,我们研究用于训练探测模型的数据对其性能的影响。 我们还为两个广泛使用的数据集提供概念标签。
裂纹检测是计算机视觉中一项重要任务。 尽管数据集内性能令人印象深刻,但基于深度学习的方法仍然难以概括到看不见的领域。 裂缝的薄结构特性通常被以前的方法所忽视。 在这项工作中,我们介绍了CrackCue,这是一种基于粗细裂纹线索生成的坚固裂纹检测的新方法。 核心概念在于利用薄结构属性来产生强大的裂纹线索,引导裂纹检测。 具体来说,我们首先在裂纹图像上采用简单的最大池化和向上采样操作。 这导致粗无裂背景,基于该背景可以通过重建网络获得精细无裂纹背景。 原始图像和无裂缝背景之间的差异提供了一个精细的裂缝提示。 这个精细的提示嵌入了强大的裂缝前置信息,不受复杂背景,阴影和各种照明的影响。 作为即插即用方法,我们将提议的CrackCue纳入三个先进的裂纹检测网络。 广泛的实验结果表明,拟议的CrackCue显着提高了基线方法的概括能力和稳健性。 源代码将公开。
推荐系统,特别是那些基于图形神经网络(GNN)的系统,在捕获用户-项目交互模式方面取得了显着的成功。 然而,他们仍然容易受到流行偏见的影响 - 过度推荐流行物品的倾向 - 导致内容多样性减少并损害公平性。 在本文中,我们提出了基于正则化的损失函数PBiLoss,旨在明确抵消基于图形的推荐模型中的人气偏差。 PBiLoss通过惩罚模型对流行项目的倾向来增强传统的培训目标,从而鼓励推荐不那么受欢迎但可能更个性化的内容。 我们引入了两种采样策略:Popular Positive(PopPos)和Popular Negative(PopNeg),它们分别调节训练过程中正负流行项目的贡献。 我们进一步探索了两种方法来区分流行项目:一种基于固定的人气阈值,另一种基于任何阈值,使方法灵活和自适应。 我们提出的方法是与模型无关的,可以无缝集成到最先进的基于图形的框架中,如LightGCN及其变体。 跨多个真实世界数据集的综合实验表明,PBiLoss显着提高了公平性,如用户流行度等级相关性(PRU)和物品流行度排名相关性(PRI)的减少,同时保持甚至提高了标准推荐准确性和排名指标。 这些结果突出了将公平目标直接嵌入优化过程的有效性,为平衡现代推荐系统中的准确性和公平内容曝光提供了一个实用且可扩展的解决方案。
概念探测最近越来越受欢迎,作为人类窥视人工神经网络中编码的一种方式。 在概念探测中,训练了额外的分类器,将模型的内部表示映射到人类定义的兴趣概念中。 然而,这些探针的性能高度依赖于它们探测的内部表征,从而确定适当的层来探测一项基本任务。 在本文中,我们提出了一种方法,用于在探索给定的人类定义的兴趣概念时,根据该概念的信息性和规律性,在探索给定的人类定义的兴趣概念时,应考虑在神经网络模型中的表示。 我们通过针对不同神经网络模型和数据集的详尽经验分析来验证我们的发现。
神经形态计算(NMC)越来越被视为传统冯·诺依曼架构(如中央处理单元(CPU)和图形处理单元(GPU))的低功耗替代品,但计算价值主张很难准确定义。 在这里,我们解释了NMC应该如何被视为通用和可编程的,即使它与传统存储程序架构有很大不同。 我们表明,NMC的时间和空间缩放相当于理论上无限的处理器常规系统,但能量缩放明显不同。 具体来说,传统系统的能量以绝对算法工作而缩放,而神经形态系统的能量则随着算法状态的导数而缩放。 NMC架构的独特特性使其非常适合于不同类别的算法,而不是传统的多核系统,如GPU,这些系统已针对线性代数等致密数值应用进行了优化。 相比之下,NMC的独特特性使其非常适合可扩展和稀疏的算法,其活动与客观函数成正比,例如迭代优化和大规模采样(例如蒙特卡洛)。
由Valiant(2009)引入的可进化理论将进化形式化为一种约束学习算法,无需标记示例或结构知识即可运行。 虽然理论工作已经确立了理想化条件下特定函数类的可进化性,但该框架在很大程度上仍未经过实证检验。 在本文中,我们实现了一种遗传算法,忠实地模拟Valiant的模型,并在六个布尔函数类中进行广泛的实验:单调的通量结合,单调的解离,奇偶数,多数,一般结合和一般分离。 我们的研究研究了均匀和非均匀分布下的可进化性,研究了固定的初始假设和中性突变的去除的影响,并强调了这些约束如何改变收敛行为。 我们验证了已知结果(例如,单调的通量合的可进化性,均等的不可进化性),并提供了大多数和一般布尔类的可进化性的第一个经验证据。 我们的发现揭示了中间维度的剧烈性能下降,并揭示了中性突变在逃离健身高原中的重要作用。 我们还证明,可进化性可以强烈依赖于输入分布。 这些见解澄清了进化搜索的实际极限,并为理论工作提出了新的方向,包括对可进化性定义和界限的潜在改进。 我们的实施为实证分析提供了一个严格的、可扩展的框架,并作为未来通过进化探索学习的试验台。
由于股票市场的高度波动性,股票交易一直是一项具有挑战性的任务。 在这种情况下,做出合理的交易决策以产生利润尤其困难。 为了解决这个问题,我们提出了四种新的损失功能,以推动股票组合的决策。 这些功能解释了购买或做空股票的潜在利润或损失,使潜在的任何人工神经网络能够直接学习有效的交易策略。 尽管股市波动率随着时间的推移而大幅波动,但对这些损失函数的变压器等培训时间序列模型产生了交易策略,与基准再加训练学习技术和基线买入和持有方法相比,在50个不同的S P 500公司股票组合中产生了可观的利润。 例如,使用2021年,2022年和2023年作为三个测试期,采用我们最佳损失功能的Crossformer模型最一致,导致回报率为51.42
这项工作提供了一种方法,通过将它们分解为子组件来最大限度地提高固定点乘数单元的功率效率。 首先,编码器块将操作数从两个互补转换为符号大小表示,然后是一个乘数模块,该模块执行计算操作并以原始格式输出结果值。 这允许利用符号量级编码的功率效率进行乘法。 为了确保计算格式不改变,这两个组件是单独合成和优化的。 我们的方法为以零为中心的输入值节省了大量电力,正如在AI工作负载中常见的那样。 在标准差为3.0的实观输入流下,4位乘数设计的合成后模拟显示高达12.9
外向神经网络(FFNN)容易受到输入噪声的影响,降低了预测性能。 现有的正则化方法,如dropout,通常会改变网络架构或忽略神经元的相互作用。 这项研究旨在通过修改反向传播,解释为多智能游戏,并探索受控目标变量噪声来增强FFNN噪声稳健性。 我们的“梯度辍学”选择性地将隐藏层神经元梯度与概率1-p在反向传播期间无效,同时保持向前传递活跃。 这是在构图博弈论中。 此外,目标变量受到白噪声或稳定分布的干扰。 对十个不同表格数据集的实验显示了不同的影响:根据数据集和超参数,提高或降低稳健性和准确性。 值得注意的是,在回归任务中,梯度跳出(p = 0.9)与稳定的分布目标相结合,显着提高了输入噪声稳健性,通过平坦的MSE曲线和更稳定的SMAPE值证明了这一点。 这些结果突出了该方法的潜力,强调了自适应参数调优的关键作用,并为分析神经网络开辟了新的途径,因为复杂的自适应系统在游戏理论框架内表现出新兴行为。
Spiking Neural Networks(SNN)从生物神经元中汲取灵感,为类似大脑的计算创建逼真的模型,展示了以能源效率和生物现实主义处理时间信息的有效性。 大多数现有的SNN假设神经元膜电压动力学的单时常数,由具有马尔可维特征的第一顺序普通微分方程(ODE)建模。 因此,任何时候的电压状态都完全取决于其直接的过去值,可能会限制网络的表现力。 然而,真正的神经元表现出复杂的动力学,受到长期相关性和分形树突结构的影响,表明非马尔可维行为。 受此激励,我们提出了分形SPIKE微分方程神经网络(fspikeDE),它通过分数顺序动力学捕获膜电压和尖峰列车的长期依赖。 这些分数动力学使超出整数序模型能力的更富有表现力的时间模式。 为了有效地训练fspikeDE,我们引入了一种梯度下降算法,通过使用相邻灵敏度方法及时解决增强的分数顺序ODE(FDE)来优化参数。 对各种图像和图形数据集进行的广泛实验表明,fspikeDE始终优于传统的SNN,实现了卓越的精度,可比的能源效率,减少了训练内存的使用,并增强了对噪声的鲁棒性。 我们的方法为分数顺序的SNN提供了一个新的开源计算工具箱,广泛适用于各种现实世界的任务。
我们引入了Pareto-NRPA,这是一种新的蒙特卡洛算法,专为离散搜索空间的多目标优化问题而设计。 扩展最初针对单一目标问题制定的嵌套滚动策略适应(NRPA)算法,Pareto-NRPA将嵌套搜索和政策更新机制推广到多目标优化。 该算法使用一组策略来同时探索解决方案空间的不同区域,并在每个搜索级别保持非主导的前列。 在帕累托战线内序列的多样性和隔离方面,进行了政策调整。 我们针对两类问题对Parto-NRPA进行了基准测试:旅行销售员问题与时间Windows问题(MO-TSPTW)的新双目标变体,以及知名基准的神经架构搜索任务。 结果表明,Pareto-NRPA在解决方案的融合和多样性方面,与最先进的多目标算法相比实现了竞争表现。 特别是,Pareto-NRPA在受限搜索空间上的表现优于最先进的进化多目标算法。 据我们所知,这项工作是NRPA对多目标设置的首次适应。
介绍了基于监督机器学习(ML)的计算方法,用于设计具有所需导热性(TC)的颗粒多功能复合材料。 设计变量是材料微观结构的物理描述符,直接将微观结构与材料的性质联系起来。 基于Sobol序列生成了一个足够大且均匀采样的数据库。 微结构是使用高效的密集包装算法实现的,TC是使用我们之前开发的Fast Fourier Transform(FFT)同质化方法获得的。 我们优化的 ML 方法通过生成的数据库进行训练,并建立了结构和属性之间的复杂关系。 最后,讨论了经过训练的ML模型在一种新型复合材料的逆向设计中的应用,即液态金属(LM)弹性体,并期望TC。 结果表明,替代模型在预测高保真FFT模拟的微观结构行为方面是准确的,逆向设计在根据案例研究找到微观结构参数方面是稳健的。
最近提出的Kolmogorov-Arnold网络(KAN)是用于数据驱动建模的多层感知器(MLP)的有希望的替代方案。 虽然原始的 KAN 层仅能够代表加法运算符,但最近提出的 MultKAN 层结合了加法和乘法子节点,以提高表示性能。 在这里,我们发现MultKAN层存在一些关键缺点,包括输出层的适用性有限,具有无关激活的笨重参数化,以及包含复杂的超参数。 为了解决这些问题,我们提出了LeanKAN,这是MultKAN和传统AddKAN层的直接模块化替代品。 LeanKAN通过作为输出层的一般适用性来解决MultKAN的这三个缺点,显着减少了给定网络结构的参数计数,以及一组较小的超参数。 作为标准AddKAN和MultKAN层的一对一层替换,LeanKAN能够为传统的KAN学习问题以及作为骨干的增强KAN结构提供这些好处,例如KAN普通差分方程(KAN-ODEs)或深度操作员KAN(DeepOKAN)。 我们展示了LeanKAN在一系列针对标准KAN玩具问题的演示以及通过KAN-ODE学到的普通和偏微分方程中的简单和效率,我们发现其稀疏的参数化和紧凑的结构可以提高其表达能力和学习能力,导致它在各种任务中优于相似甚至更大的MultKAN。
本文初步研究了生成模型中的流匹配与进化计算中的粒子群优化(PSO)之间的二元性。 通过理论分析,我们揭示了这两种方法在其数学公式和优化机制方面的内在联系:流匹配中的矢量场学习与PSO中的速度更新规则共享相似的数学表达式;两种方法都遵循从初始到目标分布的渐进式进化的基本框架;两者都可以作为由普通微分方程控制的动力学系统来配制。 我们的研究表明,流量匹配可以被视为PSO的连续泛化,而PSO提供了群体智能原理的离散实现。 这种二元性理解为开发新型混合算法建立了理论基础,并创建了一个用于分析这两种方法的统一框架。 虽然本文仅进行了初步讨论,但透露的对应关系提出了几个有希望的研究方向,包括基于流量匹配原则改进群体智能算法,并使用群体智能概念增强生成模型。
依赖于时间的服务成本(CARPTDSC)的电容式弧线路由问题是一个具有挑战性的组合优化问题,源于冬季磨砂应用程序。 CARPTDSC在时间消耗方面有两个主要挑战。 首先,这是一个NP难题。 其次,任务的依赖于时间的服务成本需要在搜索过程中频繁评估,从而大大增加了计算工作量。 这些挑战使得现有算法难以执行高效的搜索,往往导致效率有限。 为了解决这些问题,本文提出了一种具有黄金部分搜索和负相关搜索(KGMA-GN)的知识引导记忆算法,其中引入了两种知识引导策略以提高搜索效率。 首先,提出了知识引导的初始化策略(KGIS),以产生高质量的初始解决方案,以加快融合。 其次,建议采用知识引导的小步大小本地搜索策略(KGSLSS),以过滤掉无效的动作,从而减少不必要的评估并节省计算时间。 五个基准测试集(包括小型和大规模实例)的实验结果表明,KGMA-GN比最先进的方法实现了更高的搜索效率。 而且,消融研究进一步证实,与传统运营商相比,KGSLSS中知识引导的本地搜索运营商可以显著降低运行时,特别是对于知识引导的交换操作者,其速度提高了十倍以上。
尽管在不同的任务中取得了成功,但目前的人工循环网络架构主要依赖于隐式隐藏状态记忆,限制了它们的可解释性和对远程依赖关系进行建模的能力。 相比之下,生物神经系统使用明确的关联记忆痕迹(即engrams)通过Hebbian突触可塑性加强,并在回忆过程中稀疏地激活。 在这些神经生物学见解的激励下,我们引入了英格拉姆神经网络(ENN),这是一种新颖的循环架构,结合了显式,可区分的内存矩阵,具有Hebbian可塑性和稀疏,注意力驱动的检索机制。 ENN通过动态Hebbian跟踪显式建模内存形成和回忆,与传统RNN变体相比,提高了透明度和可解释性。 我们在三个规范基准上评估 ENN 架构:MNIST 位数分类、CIFAR-10 图像序列建模和 WikiText-103 语言建模。 我们的经验结果表明,ENN实现了与经典RNN,GRU和LSTM架构大致相当的准确性和泛化性能,所有模型在大规模WikiText-103任务上与类似的精度和困惑性相融合。 同时,ENN通过可观察的内存动力学在可解释性方面提供了显著的增强。 Hebbian跟踪可视化进一步揭示了生物学上合理的结构化记忆形成过程,验证了神经科学启发机制的潜力,为开发更可解释和强大的深度学习模型提供信息。
许多动物物种可以一目了然地判断视觉场景中的物体数量,人类可以通过部署系统计数程序进一步确定一组的确切基数。 相比之下,人们观察到,即使是最先进的人工智能系统也具有非常有限的枚举技能。 在这项工作中,我们提出了两个受认知科学启发的基准任务,这些任务允许精确评估多模态基础模型的视觉枚举能力,从而提供其数量感知和计数水平的客观测量。 我们考虑流行的视觉问题回答模型(BLIP,LLaVA和ViLT)以及高级图像到文本(双子座,GPT和Qwen)和文本到图像(DALL-E,FLUX和稳定扩散)AI系统。 我们的分析表明,即使是最先进的模型也无法可靠地命名简单视觉刺激中的对象数量,也无法生成包含目标数量物品的图像,因为它们在两种类型的任务中的准确性都很低。 特别是对于子化范围之外的数字,它们的反应往往远离目标数字,而且,与人类行为形成鲜明对比的是,在许多情况下,误差的分布取决于对象类别。 我们还观察到一些引人注目的错误,数量很少。 我们的研究结果表明,对人工智能模型进行直观的视觉理解仍然具有挑战性,仅仅增加模型规模可能不是促进系统计数技能出现的可行策略。 我们发布基准的完整代码,以促进对未来人工智能系统中枚举技能的评估。
多目标组合优化问题(MOCOP)经常出现在需要同时优化冲突目标的实际应用中。 虽然传统的进化算法可以有效,但它们通常依赖于域知识和重复的参数调整,当应用于看不见的MOCOP实例时,它们限制了灵活性。 最近,大型语言模型(LLM)集成到进化计算中,利用其先进的语言理解和代码合成功能,为自动生成创造了新的途径。 然而,大多数现有方法主要侧重于单目标任务,往往忽略了关键考虑因素,如运行时效率和多目标环境中的人文多样性。 为了弥补这一差距,我们通过Paryto-Grid-guided Evolution of LLMs(MPaGE)为MOCOP引入了多异构论,这是利用LLM和Pareto Front Grid(PFG)技术的简单进化多目标优化(SEMO)框架的新增强。 通过将客观空间划分为网格并保留表现最佳的候选者来指导人种,MPaGE利用LLM在变化过程中优先考虑具有语义上不同的逻辑结构的人为重修,从而促进多样性并减轻人群中的冗余。 通过广泛的评估,MPaGE展示了优于现有基于LLM的框架的卓越性能,并实现了与传统多目标进化算法(MOEA)的竞争结果,具有显着更快的运行时。 我们的代码可在:https://github.com/langkhachhoha/MPaGE。
