近年来,神经网络已经变得无处不在,吉他失真效果建模。 尽管它们能够产生具有感知说服力的模型,但它们在高频和高增益输入驱动时容易受到频率别名的影响。 非线性激活函数既会产生所需的谐波失真,又产生不需要的别名失真,因为信号的带宽扩展超出了Nyquist频率。 在这里,我们提出了一种通过师生微调方法减少神经模型中别名的方法,其中教师是一个预先训练的模型,其权重被冻结,学生是具有可学习参数的副本。 学生对通过原始模型传递正弦并从输出光谱中去除非谐波组件生成的无别名数据集进行了微调。 我们的结果表明,这种方法显着抑制了长短期记忆网络(LSTM)和时间卷积网络(TCN)的别名。 在我们的大多数案例研究中,别名的减少大于两次过度抽样。 提议方法的一个副作用是谐波失真组件也受到影响。 这种不利影响被认为是与模型相关的,LSTM模型在抗锯齿和保持与模拟参考设备的感知相似性之间提供了最佳平衡。
在过去的几十年里,人们对研究高维数据中的低维结构产生了浓厚的兴趣。 统计因子模型 - 即低等级加上对角线协方差结构 - 为建模此类结构提供了强大的框架。 然而,用于拟合统计因子模型的传统方法,如主成分分析(PCA)或假设数据为高斯的最大可能性估计,对观察到的数据中的重尾和异常值高度敏感。 在本文中,我们提出了一种新的期望最大化(EM)算法,用于稳健拟合统计因子模型。 我们的方法基于Tyler对椭圆分布的散点矩阵的M估计器,包括解决Tyler的最大可能性估计问题,同时施加结构约束,强制执行低等级加对角协方差结构。 我们介绍了合成和真实示例的数值实验,展示了我们在非均匀噪声和子空间恢复中到达方向估计方法的稳健性。
为了支持使用分散和异构计算资源的基于语言的新兴应用程序,混合语言模型(HLM)提供了一个有前途的架构,其中设备上的小语言模型(SLM)生成由远程大语言模型(LLM)验证和纠正的令牌草稿。 然而,最初的HLM遭受了大量的沟通开销,因为LLM要求SLM上传每个令牌的完整词汇分布。 此外,当LLM验证极有可能被接受的令牌时,通信和计算资源都会浪费。 为了克服这些限制,我们提出了通信高效和不确定性感知的HLM(CU-HLM)。 在CU-HLM中,SLM仅在输出不确定性高时传输截断的词汇分布。 我们通过发现SLM的不确定性与LLM的拒绝概率之间存在很强的相关性来验证这种机会性传播的可行性。 此外,我们理论上得出了最优的不确定性阈值和最优的词汇截断策略。 模拟结果表明,与标准HLM相比,CU-HLM通过跳过74.8保持97.4实现高达206×更高的代币吞吐量。
现代开放和软化系统(如O-RAN电信网络和云计算平台)托管独立开发的应用程序,具有不同的、可能相互冲突的目标。 协调此类应用程序的行为以确保稳定的系统运行带来了重大挑战,特别是当每个应用程序的实用程序只能通过昂贵的黑箱评估访问时。 在本文中,我们考虑了一个集中优化框架,其中系统控制器向代表不同应用程序的多个战略参与者建议联合配置,目标是将其激励机制调整为稳定的结果。 为了模拟这种交互,我们制定了一个Stackelberg游戏,其中中央优化器无法访问分析实用函数,而是必须通过顺序的多保真评估来学习它们。 为了应对这一挑战,我们提出了MF-UCB-PNE,这是一种新颖的多保真贝叶斯优化策略,利用预算受限的采样过程来近似纯纳什均衡(PNE)解决方案。 MF-UCB-PNE系统地平衡了低成本近似的勘探与高保真开采步骤,从而实现与激励兼容配置的高效融合。 我们为查询成本与均衡准确性之间的权衡提供了理论和实证见解,证明了MF-UCB-PNE在有限成本预算下确定有效均衡解决方案的有效性。
状态空间模型(SSM)已被证明是用于在顺序数据中模拟远程依赖的强大工具。 虽然最近被称为HiPPO的方法已经显示出强劲的性能,并构成了机器学习模型S4和Mamba的基础,但它仍然受到一些特定,表现良好的基础的封闭式解决方案的限制。 SaFARi框架概括了这种方法,使SSM能够从任意帧(包括非正交和冗余框架)构建SSM,从而允许SSM家族中可能存在的“物种”的无限多样性。 在本文中,我们介绍了WaLRUS(使用SSM的远程表示的Wavelets),这是由Daucheies小波构建的SaFARi的新实现。
在过去的几十年里,人们对研究高维数据中的低维结构产生了浓厚的兴趣。 统计因子模型 - 即低等级加上对角线协方差结构 - 为建模此类结构提供了强大的框架。 然而,用于拟合统计因子模型的传统方法,如主成分分析(PCA)或假设数据为高斯的最大可能性估计,对观察到的数据中的重尾和异常值高度敏感。 在本文中,我们提出了一种新的期望最大化(EM)算法,用于稳健拟合统计因子模型。 我们的方法基于Tyler对椭圆分布的散点矩阵的M估计器,包括解决Tyler的最大可能性估计问题,同时施加结构约束,强制执行低等级加对角协方差结构。 我们介绍了合成和真实示例的数值实验,展示了我们在非均匀噪声和子空间恢复中到达方向估计方法的稳健性。
状态空间模型(SSM)已被证明是用于在顺序数据中模拟远程依赖的强大工具。 虽然最近被称为HiPPO的方法已经显示出强劲的性能,并构成了机器学习模型S4和Mamba的基础,但它仍然受到一些特定,表现良好的基础的封闭式解决方案的限制。 SaFARi框架概括了这种方法,使SSM能够从任意帧(包括非正交和冗余框架)构建SSM,从而允许SSM家族中可能存在的“物种”的无限多样性。 在本文中,我们介绍了WaLRUS(使用SSM的远程表示的Wavelets),这是由Daucheies小波构建的SaFARi的新实现。
高效调整大型基础模型至关重要,特别是在计算和内存预算紧张的情况下。 参数效率微调(PEFT)方法,如LoRA,在低参数方案中提供有限的粒度和有效性。 我们提出了Wavelet Fine-Tuning(WaveFT),这是一种新颖的PEFT方法,可以在残余矩阵的小波域中学习高度稀疏的更新。 WaveFT允许精确控制可训练参数,提供细粒度的容量调整,并以极低的参数计数表现出色,可能远低于LoRA的最小值 - 非常适合极端参数效率的场景。 为了证明小波变换的效果,我们将WaveFT与一个名为SHiRA的特殊情况进行了比较,该特殊情况需要直接在权重域中应用稀疏更新。 WaveFT使用稳定扩散XL作为基线对图像的个性化文本到图像生成进行评估,显著优于LoRA和其他PEFT方法,特别是在低参数计数下;实现卓越的主体保真度,快速对齐和图像多样性。
大规模随机访问是在下一代无线通信系统中实现超大规模连接的重要技术。 它旨在解决初始访问阶段的主要挑战,包括活跃用户检测(AUD)、信道估计(CE)和数据检测(DD)。 本文研究了大规模多输入多输出(MIMO)系统中的大规模访问,其中深度学习用于解决具有挑战性的AUD,CE和DD功能。 首先,我们引入了针对可变试点长度访问量身定做的Transformer-AUD方案。 这种方法将飞行员长度信息和空间相关性模块集成到基于变压器的探测器中,使单个模型能够跨各种试点长度和天线号进行概括。 接下来,我们提出了一个生成扩散模型(GDM)驱动的迭代CE和DD框架。 GDM采用评分功能来捕获大量MIMO通道和数据符号的后验分布。 分数函数的一部分是通过神经网络从通道数据集中学习的,而剩余的分数组件则通过应用符号前置星座分布和已知传输模型以封闭形式导出。 利用这些后验,我们设计了一个异步交替CE和DD框架,该框架采用预测校正器采样技术,在反向扩散过程中迭代生成通道估计和数据检测结果。 模拟结果表明,我们提出的方法在 AUD、CE 和 DD 方面显著优于基线方法。
空中计算(AirComp)已成为一项有前途的技术,通过无线信道实现同步传输和计算。 在本文中,我们调查了多个集群中的网络化AirComp,允许进行多样化的数据计算,这还受到收发器协调和干扰管理的挑战。 特别是,我们的目标是最大限度地提高多组加权和AirComp速率,其中传输标量和接收波束成形在解决干扰问题时共同调查。 从优化的角度来看,我们分解了制定的问题,并采用迭代过程的交替优化技术来近似解决方案。 然后,我们通过算法展开的原理重新解释迭代,其中通道条件和AirComp网络中的相互干扰构成了一个底层图形。 因此,拟议的展开架构学习图形神经网络参数化的权重,该神经网络通过随机梯度下降方法进行训练。 模拟结果表明,我们的建议优于常规方案,拟议的展开图学习大大减轻了干扰,并实现了卓越的计算性能,并具有强大而高效的适应动态和可扩展的网络。
在本文中,提出了一个无监督的递归小波概率神经网络(RWPNN),旨在通过使用非参数密度估计网络对时间特征进行建模来检测非静止环境中的异常。 新颖的框架由两个组件组成,一个堆栈递归解码器(SREnc-Decder)模块,用于捕获潜在空间中的时间特征,以及一个多受体场小波概率网络(MRWPN),它创建了一个集成的概率模型来表征潜在空间。 这种配方将标准小波概率网络扩展到小波深度概率网络,可以处理更高的数据维度。 MRWPN模块可以适应不同数据集中不同的数据变化率,而不会强加强大的分布假设,从而为非静态环境中的时间序列异常检测(TSAD)任务提供更稳健和准确的检测。 我们对来自各个领域的45个真实世界时间序列数据集进行评估,验证RWPNN在TSAD任务中的表现,并显示其为异常事件提供早期预警的能力。
随着最近巨型低地球轨道(LEO)卫星星座的快速发展,多天线网关站(MAGS)已成为通过大规模馈线链路支持极高系统容量的关键推动因素。 然而,空间和地面部分的致密度导致链接之间的空间分离减少,从而带来了前所未有的干扰加剧挑战。 本文研究了基于图形着色的频率分配方法,用于大型LEO系统的干扰缓解(IM)。 我们首先揭示MAGS干扰模式的特征,并使用自适应阈值方法将IM问题制定成K着色问题。 然后我们提出两种量身定制的图形着色算法,即广义全球(GG)和基于Clique的Tabu搜索(CTS),以解决这个问题。 GG采用低复杂性贪婪的避冲突策略,而CTS则利用MAGS带来的独特集团结构来提高IM性能。 随后,我们创新地修改它们,以实现时间连续的频率分配,这对于确保支线链路的稳定性至关重要。 此外,我们进一步设计了两种巨型星座分解方法,以减轻卫星运营商的复杂性负担。 最后,我们提出基于列表着色的空置子通道利用方法,进一步提高频谱效率和系统容量。 第一代和第二代的Starlink星座与34396颗卫星的模拟结果表明了拟议方法的有效性和优势。
我们为嘈杂通信下的联邦学习(FL)中的模型参数提出了一种健壮的聚合方法。 FL是一个分布式机器学习范式,其中中央服务器聚合来自多个客户端的本地模型参数。 这些参数在客户端和服务器之间的数据收集、训练和通信过程中经常嘈杂和/或缺少值。 这可能会导致模型精度大幅下降。 为了解决这个问题,我们学习了一个图形,它表示在聚合过程中客户端的模型参数之间的成对关系。 我们通过图形学习和信号(即模型参数)恢复的共同问题来实现它。 这个问题被表述为凸差(DC)优化,通过近端DC算法有效地解决。 MNIST和CIFAR-10数据集的实验结果表明,在有偏见的数据分布和嘈杂条件下,拟议的方法在分类精度方面优于现有方法高达2-5%。
我们考虑一个完全分布式无线网络控制系统(WNCS)的联合上行和下行调度问题,频率通道数量有限。 使用随机系统理论的元素,我们得出了WNCS的足够稳定性条件,该条件用控制和通信系统参数表示。 一旦条件得到满足,就存在一个固定和确定性的调度策略,可以稳定WNCS的所有植物。 通过分析和表示WNCS的每一步成本函数,我们以有限长度的可计数向量状态制定最佳传输调度问题,并将其开发基于深度强化学习(DRL)的框架来解决它。 为了应对DRL中大型动作空间的挑战,我们提出了新的动作空间减少和动作嵌入方法,用于可以应用于各种算法,包括Deep Q-Network(DQN),Deep Deterministic Policy Gradient(DDPG)和Twin Delayed Deep Deterministic Policy Gradient(TD3)。 数值结果显示,提议的算法明显优于基准策略。
在本文中,我们解决了多智能网络中分布式学习的两个实际挑战,即个性化和弹性。 个性化是异构代理需要学习针对自己的数据和任务量身定制的本地模型,同时仍然很好地推广;另一方面,学习过程必须具有抵御网络攻击或异常训练数据的能力,以避免中断。 受这两个需求之间概念上的亲和力的激励,我们设计了一种分布式学习算法,该算法结合了分布式梯度下降和Friedkin-Johnsen意见动力学模型,以满足它们。 我们量化其收敛速度和包含最终学习模型的邻域,可以通过调整算法参数以强制更个性化/弹性的行为轻松控制。 我们在数字上展示了我们的算法在合成和现实世界的分布式学习任务上的有效性,与标准策略相比,它为个性化模型和恶意代理实现了高全球精度。
在本文中,我们将物理知识纳入基于学习的高精度目标传感,使用多个基站(BS)和用户设备(UE)之间的多视图通道状态信息(CSI)。 这种多视图传感问题可以自然地投射到条件生成框架中。 为此,我们设计了一个双部分神经网络架构,第一部分使用精心设计的编码器来融合嵌入在多视图CSI中的潜在目标特征,然后第二部分将它们用作强大的生成模型的调节输入,以指导目标的重建。 具体来说,编码器旨在捕获CSI和目标之间的物理相关性,并且还可以适应BS-UE对的数量和位置。 其中,CSI的视图特定性质通过引入空间位置嵌入方案来同化,该方案利用电磁(EM)波传播通道的结构。 最后,使用具有加权损失的条件扩散模型从融合特征生成目标的点云。 广泛的数值结果表明,拟议的生成式多视图(Gen-MV)传感框架在目标形状和EM性能的重建质量上表现出出色的灵活性和显着的性能改进。
本文介绍了VaN3Twin - 第一个开源的全栈网络数字孪生(NDT)框架,用于模拟通过光线跟踪精确物理层建模的多个车辆到所有(V2X)通信技术的共存。 VaN3Twin通过在循环中集成Sionna Ray Tracer(RT)来扩展ms-van3t模拟器,实现无线传播的高保真表示,包括不同的视线(LoS)条件,由于其他车辆的网格,多普勒效应和站点依赖效应而专注于LoS阻塞,例如散射和衍射。 与传统仿真工具不同,拟议的框架支持跨跨跨跨跨共享频谱运行的跨跨跨跨运行频谱的实时共存分析。 专用的干扰跟踪模块可捕获时间频率资源块级别的跨技术干扰,并通过消除单独的LoS / NLoS传播模型诱导的双模态行为等工件来增强信与干扰加噪声比(SINR)估计。 与现场测量相比,VaN3Twin减少了50个环境在现有最先进的仿真工具方面的应用层分歧,证明了其对可扩展和准确的基于数字的基于双X的V2X共存模拟的价值。
我们展示了反射外对角线可配置智能表面(BD-RIS)的第一个实验原型,即具有可重新配置元素间连接的RIS。 我们的BD-RIS由天线阵列组成,其端口由可调负载网络终止。 后者可以用三个不同的单个负载终止每个天线端口或将其连接到相邻的天线端口。 在分散丰富的环境中进行广泛的性能评估验证元素间连接是有益的。 此外,我们观察到,我们提到的可调负载网络的硬件约束显着影响,第一,可实现的性能,第二,具有元素间连接的好处,第三,优化过程中相互耦合意识的重要性。
时间序列基础模型擅长通过利用信息波形表示来预测各种数据类型等任务。 然而,可穿戴传感数据由于其模式和频段的可变性,特别是医疗保健相关结果的可变性,因此带来了独特的挑战。 主要障碍在于制作可通用的表示,这些表示可以有效地适应异构传感配置和应用。 为了解决这个问题,我们提出了NormWear,这是第一个多模态和无处不在的基础模型,旨在从可穿戴传感数据中提取广义和信息化表示。 具体来说,我们设计了一个具有共享特殊联络[CLS]令牌的通道感知注意力机制,以检测传感器内部和传感器间的信号模式。 这有助于模型提取更有意义的信息,同时考虑时间序列本身和输入传感器之间的关系。 这有助于模型与各种传感器设置广泛兼容。 NormWear基于各种公共数据集的多种生理信号进行预训练,包括PPG,ECG,EEG,GSR和IMU。 我们的模型在11个公共可穿戴传感数据集中表现出卓越的可推广性,涵盖心理健康,身体状态推理,生命体征估计和疾病风险评估的18种应用。 它在零射、偏射和全镜头设置下始终优于竞争基线,表明在现实健康应用中具有广泛的适用性。
在世界各地,人们对新的波形,特别是Zak-OTFS以及空中实施越来越感兴趣。 OFDM和Zak-OTFS之间的选择与其说是波形之间的选择,不如说它是防止载波间干扰(ICI)和拥抱ICI之间的架构选择。 在OFDM中,一旦知道输入输出(I/O)关系,均等化就相对简单,至少在没有ICI的情况下。 然而,在ICI的存在下,I/O关系是不可预知的,其获取是非微不足道的。 相比之下,由于符号间干扰(ISI),Zak-OTFS中更多地涉及均衡,但I/O关系是可以预测的,其获取很简单。 Zak-OTFS在双倍传播的6G用例中表现出卓越的性能,具有高延迟/多普勒通道扩散(即高移动性和/或大单元),但架构选择受当今和未来的典型用例的约束。 典型的东西在某种程度上取决于地理位置,因为大延迟差是大型电池的特征,这是许多重要无线市场中的规则而不是例外。 本文提供了循环前缀OFDM(CP-OFDM)和Zak-OTFS在6G传播环境中的全面性能比较。 性能结果提供了对基本架构选择的见解。
背景:肝病面临重大的全球健康挑战,通常需要昂贵的侵入性诊断。 心电图(ECG)是一种广泛可用且非侵入性的工具,可以通过捕获心血管-肝相互作用来检测肝病。 方法:我们在心电图功能上训练基于树的机器学习模型,使用两个大型数据集来检测肝脏疾病:MIMIC-IV-ECG(467,729名患者,2008-2019)和心电图-View II(775,535名患者,1994-2013)。 该任务被设定为二进制分类,通过接收器操作特征曲线(AUROC)下的区域评估性能。 为了提高可解释性,我们应用了可解释性方法来识别关键预测特征。 研究结果:这些模型显示出强大的预测性能,具有良好的可推广性。 例如,酒精性肝病(K70)的AUROCs外部为0.8025(95 CI,0.7641-0.7649);对于肝功能衰竭(K72),分数为0.7404(95可解释性分析一致确定年龄和延长QTc间隔(校正QT,反映心室再极化)作为关键预测因子。 与自主调节和电传导异常相关的特征也突出,支持已知的心血管 - 肝脏连接,并建议QTc作为潜在的生物标志物。 解释:基于心电图的机器学习为肝病检测提供了一种有前途的可解释方法,特别是在资源有限的环境中。 通过揭示临床相关的生物标志物,该方法支持在靶向临床评估之前进行非侵入性诊断,早期检测和风险分层。
故障检测、识别和重建(FDIR)的传统解决方案需要集中决策机制,这些机制通常具有组合性质,需要设计一种适用于多智能体应用的高效分布式FDIR机制。 为此,我们开发了一个通用框架,用于通过非线性测量有效地重建通过传感器网络观察到的稀疏矢量。 拟议的框架用于设计基于顺序凸编程(SCP)和乘数(ADMM)优化方法的交替方向方法的组合的分布式多代理FDIR算法。 拟议的分布式FDIR算法可以处理各种代理间测量(包括距离,轴承,相对速度以及代理之间的偏置角度),以识别有缺陷的代理并恢复其真实状态。 拟议的分布式多代理FDIR方法的有效性通过考虑一个数值示例来证明该示例,其中代理间距离用于识别多智能体配置中的故障代理,并重建其错误向量。
我们提出了一种用于地面状态能量(GSE)估计的混合量子-经典算法,该算法对高度嘈杂的数据保持稳健,并且对超参数调优表现出低灵敏度。 我们的方法 - 傅里叶去噪可观测动态模式分解(FDODMD) - 结合基于傅里叶的去噪阈值,以抑制假噪声模式与可观测的动态模式分解(ODMD),一种量子类信号子空间方法。 通过将ODMD应用于一系列取消时间域的轨迹,FDODMD可靠地估计了系统的特征频率。 我们还提供了 FDODMD 的错误分析。 分子系统的数字实验表明,FDODMD在有限的量子计算预算下实现了基线方法无法进入的高噪声机制的收敛,同时加速了中间噪声机制中的光谱估计。 重要的是,这种性能增益是完全经典的,不需要额外的量子开销,并显着降低整体量子资源需求。
我们考虑从多属性数据推断高维高斯向量的条件独立图(CIG)的问题。 大多数现有的图形估计方法基于单属性模型,其中将标量随机变量与每个节点相关联。 在多属性图形模型中,每个节点表示一个随机向量。 在本文中,我们使用惩罚的日志-相似性客观函数对多属性图学习进行了统一的理论分析。 我们考虑convex(sparse-group lasso)和sum-group non-convex(log-sum和平稳剪切的绝对偏差(SCAD)惩罚/正则化函数。 提出了乘数(ADMM)方法的交替方向方法,加上局部线性近似与非凸惩罚,用于优化目标函数。 对于非凸惩罚,在两组充分条件下提供理论分析,在高维设置中建立局部一致性支持恢复,局部凸度和精度矩阵估计:有和没有一些不可呈现的条件。 我们使用合成和真实数据数值示例来说明我们的方法。 在合成数据示例中,稀疏组log-sum惩罚的客观函数大大优于套索惩罚以及SCAD以F_1分数和Hamming距离作为性能指标的处罚目标函数。
作为连接人脑和外部设备的方法,脑机接口(BCI)正受到广泛的研究关注。 最近,通信理论与BCI的整合已成为一种流行趋势,为提高系统性能和塑造下一代通信提供了潜力。 该领域的一个关键挑战是模拟颅内电灿(EcoG)发射神经元和颅内脑电图(EEG)接收电极之间的大脑无线通信通道。 然而,大脑的复杂生理学挑战了传统渠道建模方法的应用,使相关研究处于起步阶段。 为了解决这一差距,我们提出了一个频率划分的多输入多输出(MIMO)估计框架,利用同时使用猕猴EEG和ECoG记录,同时使用神经生理学知识的正则化来抑制噪声干扰。 这种方法揭示了神经信号传播和多天线通信系统之间的深刻相似之处。 实验结果表明,与传统方法相比,估计精度提高了,同时突出了由信号持续时间确定的频率分辨率和时间稳定性之间的权衡。 这项工作在神经接口和通信理论之间建立了概念桥梁,加速了这两个领域的协同发展。