一、概述本文提出一种基于代理进化神经网络结构搜索的HSIC方法。该方法将多尺度谱空间注意融合网络编码为ENAS个体。基于逻辑回归的代理模型可以减少搜索过程中大量结构评估的开销提升模型预测能力减少初始化时间。为此本文以染色体间的优势关系为预测目标设计了一种新的代理辅助进化方案还根据染色体中碱基类型对表型影响的不同对代理模型进行了扩展。二、方法图1. EMSAFN流程图EMSAFN的模型搜索流程如图1所示是一个标准的ENAS搜索流程。由框架从候选操作中生成候选模型编码然后使用编码实例化模型使用代理模型评估最后保留优势种群循环往复。2.1模型结构图2. EMSAFN模型结构本模型采用传统的patch方法其结构图如图2所示。首先以目标像素为中心提取一个包含周围像素的patch块然后使用PCA对patch块进行降维。完成降维后的patch块会经过3个分支。上方的分支使用3x3卷积核、下方的分支使用5x5卷积核。最后还有一个跳跃连接。从图中可知在上面两个分支中2D卷积、3D卷积、DW卷积被编码为可选操作由基因序列O和T控制其启用。另外文中的多尺度融合主要依赖于2D卷积核3D卷积的切换来实现。2D卷积主要提取平面信息3D卷积则沿着光谱深度方向滑动可以显式提取光谱-空间关系。基因序列G控制两个分支的融合方式包含三个可选项求和、加权求和、拼接。基因序列A则控制注意力类型包含三个候选操作空间注意力、光谱注意力、交叉注意力。基因序列J控制是否启动跳跃连接基因序列P控制选择2x2最大池化/平均池化。2.2基因编码如图2所示基因编码包含以下几个类型其内容和含义如图3所示。图3.基因编码及其含义原文将基因划分为离散型和有序型离散型主要改变网络结构如模型通路配置、卷积尺寸等有序型则主要指输入尺寸、输入维度、输出维度等。2.3代理模型图4. 代理模型结构架构训练可描述为式子其中为染色体为准确率。本文的创新之处是将改为“架构是否优于架构”可以对应为公式。该代理模型可以构建为文中的逻辑回归logistic regression的实现方式实际为MLP。可以表达为下式从任务本质看它是基于 MLP 的成对二分类器。公式2用二分类交叉熵训练若真实标签为 1模型输出越接近 1损失越小若输出接近 0损失很大。真实标签为 0 时则相反。2.4变异增强图5.变异增强规则如上图所示左边是较优架构将输出通道从 48 改为 40右边是较差架构将输入 patch 尺寸从 31 改为 33得到两个新架构仍把“左边优于右边”作为标签。新架构没有经过真实训练因此这是伪标签。假设两个架构真实性能差距足够大时保持主要结构不变仅扰动少数特征规模基因通常不会颠倒优劣关系。在特征规模相关的子空间中选择一个基因进行邻域修改。更清楚的解释性表达为其中表示只修改第个位置超过允许范围时将值截断到边界。从这些集合中选择基准架构在其附近生成样本意图是让代理加强学习被“看反”的优劣关系。若所有排序都正确正文说可使用全部真实架构作为基准。2.5进化搜索设架构搜索空间为一个候选架构染色体为由这个染色体解码得到的分类网络为该分类网络的准确度为。则搜索目标可以定义为网络结构由进化算法驱动代理模型获得每个候选网络的权重依旧由随机梯度下降获得。染色体为定长染色体可以描述为其中为输入patch尺寸为输入光谱通道为三个网络块。其中每个网络块可以被编码为每个部分的含义如下表每个块有13个基因染色体长度23x1341。2.6代理模型建立在正式开始架构搜索前本文先用一批真实训练结果建立代理模型整个流程可描述为随机采样架构-解码并训练-获取准确率-建立档案。初始档案记录为随后利用档案中的架构构造比较样本将两个架构的编码拼接、转换为二进制特征训练MLP代理模型可以学习两个架构之间的优劣关系从而将学到的内容用于后续的进化架构搜索以决定那个候选模型应该被留下。在进化搜索时代理模型通过“预测排序少量真实反馈”来更新模型。该模式的主要收益是大量候选只需要进行成本较低的 MLP 推理而不必全部训练分类网络。其步骤可以描述为对合并候选进行成对优劣预测。将比较关系转换为候选排名。真实训练并评估预测排名最好和最差的架构。将新增真实结果加入档案。更新代理模型。根据排名进行选择形成下一代整个训练过程可以描述为伪代码随机采样初始架构真实训练建立档案 A 利用 A 中的架构对和局部增强样本训练排序代理 初始化种群 P 重复至最大代数 对 P 执行交叉和变异得到后代 Q 合并候选 U P ∪ Q 获取排序可靠性 c 和适应度范围 r 如果 r ≥ 0.01 且 c ≥ 0.8 用代理比较 U 中的架构并生成排名 真实评估预测最好和最差的架构 将真实结果加入 A更新代理 按排名选择下一代 P 否则 真实训练并评估后代 Q 将真实结果加入 A更新代理 按真实适应度进行轮盘赌选择更新 P 真实评估最后一代 输出其中准确率最高的架构