Fuzzy System1.摘要2.引言3. algorithm3.1 TSK介绍见前面的论文3.2 均匀正则化3.3 Batch NormalizationBN4 实验结果4.1数据集介绍本文相对简单创新点主要为实际问题的解决1.摘要TSK模糊系统作为一种高度可解释性的机器学习方法在处理大数据或者高维度数据上存在一定的缺陷。因此本文提出了一个新的TSK模糊系统算法来高效的处理这些数据。本文主要创新点有两个一个是引入了均匀正则化UR)强迫所有的规则有着相似的输出这提升了模型的泛化性。另一个是引入了批处理归一化BN它将BN从深度神经网络扩展到TSK模糊分类器以加快收敛速度提高泛化性能。经过十二个数剧集的验证得到了良好的效果。2.引言针对TSK模糊系统处理大数据或者高维度的数问题许多人做出了努力包括使用降维算法、特征提取等。哈有一些人聚焦于学习原始的稀疏子空间特征从而减少每个模糊规则的参数量。MGDB自从被应用与TSK模糊系统后许多人进行了改进包括adding a momentum Adam前两者的结合以及AdaBound本文实验发现AdaBound更好。但尽管这样的MGDB-TSK模糊系统有着较好的性能但是容易陷入局部最优以及梯度消失问题基于此在深度学习解决类似问题的适合提出了UR和BN本文则跟随实验室之前的研究继续优化TSK模糊系统将BN和UR与TSK模糊系统结合解决大数据以及局部最优的问题。贡献如下1、提出了针对交叉熵cross-entropy loss的UR公式迫使所有的规则平均以提高泛化性。2、扩展BN进入TSK模糊系统展示了其快速收敛性以及准确率。3、整合BN和UR得到了良好的性能。3. algorithm3.1 TSK介绍见前面的论文此处不再赘述 ,点击 TSK Fuzzy System3.2 均匀正则化混合专家系统与TSK模糊系统类似当多个专家共同决策时如果某一个或多个专家的准确率更高则偏向于某个或某几个专家的决策给与他/他们更高的权重。但也因此造成了富者越富的情况损失了其余专家给出的评判信息不能很好的应对各种情况。在TSK模糊系统存在类似的情况因此我们提出均匀正则化将所有专家给出的意见权重统一这样就能最大程度的适用于各种情况提升泛化性。具体公式如下因此我们的损失函数变成了这个类似于L2正则化但是L2正则化是增加了惩罚项这个是增加了统一正则化操作。3.3 Batch NormalizationBNBN主要作用是引入两个参数将每一个数进行归一化操作加速训练过程这里的mb和δb是一批样本的均值和标准差γ和β是学习的参数∈是参数1*10-8避免标准差为0由图中可知将训练阶段模糊规则计算完之后在输出阶段对所有模糊规则结果使用BN这样就可以将其贡献归一化在计算输出则解决了模型的泛化性问题。在测试阶段具体介绍如下同时我们也可以对输入数据进行归一化操作将数据分布归一化后送入TSK模糊系统运行基于此也可以减少不同数据之间所产生的各异性公式如下。不同的BN操作对TSK模糊系统的影响如下图4 实验结果4.1数据集介绍不同算法之间原始准确率RCA)对比DT: Decision treeRF: Random forestPART : The PART (partial decision tree) classifierJRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifierTSK-FCM-LSETSK-MBGD: We used MBGD and AdaBoundTSK-MBGD-UR: MBGD, AdaBound and URTSK-MBGD-BN: We used MBGD, AdaBound and BNTSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR平衡准确率the mean of the per-class RCAsp值检验差异性首先对于非常高维的数据输入空间的模糊划分变得非常复杂当使用乘积t-范数时可能会发生数值下流。进一步的研究应考虑自动选择最相关的属性作为前提的规则。其次我们将研究如何提高数据驱动的TSK模糊系统的可解释性。这也与第一个问题部分相关联因为减少前因子的数量可以提高规则的可解释性。最后我们需要指出的是我们没有考虑到数据中的各种不确定性如缺失值、错误值、噪声、异常值等这在现实应用中经常发生。一些技术例如粗糙集可以与模糊集集成来处理它们。或者本文中使用的1型TSK模糊系统也可以扩展到区间或一般的2型模糊系统以应对更多的不确定性。