Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
Philipp Anthes, Dominik Sobania, Franz Rothlauf
Transformer Semantic Genetic Programming(TSGP)是一种语义搜索方法,它使用预训练的Neurman模型作为变体运算符来生成具有与给定父体有控制语义相似性的后代程序。 与其他依赖固定句法转换的语义GP方法不同,TSGP旨在学习不同的结构变化,从而找到具有类似语义的解决方案。 我们发现,在数百万个程序上训练的单个变压器模型能够泛化不同维度的符号回归问题。 在24个真实世界和合成数据集上进行评估,TSGP明显优于标准GP,SLIM_GSGP,深度符号回归和去噪自动代码GP,在所有基准测试中平均排名为1.58。 此外,TSGP生产比SLIM_GSGP更紧凑的解决方案,尽管它的精度更高。 此外,目标语义距离SD_t能够控制语义空间中的步进大小:SD_t的小值使健身能力得到一致的改进,但通常会导致更大的程序,而较大的值则促进更快的收敛和紧凑性。 因此,SD_t为平衡探索和开发提供了有效的机制。
Transformer Semantic Genetic Programming (TSGP) is a semantic search approach that uses a pre-trained transformer model as a variation operator to generate offspring programs with controlled semantic similarity to a given parent. Unlike other semantic GP approaches that rely on fixed syntactic transformations, TSGP aims to learn diverse structural variations that lead to solutions with similar semantics. We find that a single transformer model trained on millions of programs is able to generaliz...