当前机器学习技术已经在大量领域得到广泛应用,然而仍面临许多亟待解决的问题:依赖大量的训练数据和训练技巧、难以适应环境变化、数据隐私/所有权的保护、灾难性遗忘等等.最近,学件范式使得上述问题同时得到系统性地解决成为可能.在该...当前机器学习技术已经在大量领域得到广泛应用,然而仍面临许多亟待解决的问题:依赖大量的训练数据和训练技巧、难以适应环境变化、数据隐私/所有权的保护、灾难性遗忘等等.最近,学件范式使得上述问题同时得到系统性地解决成为可能.在该范式下,用户面临新的机器学习任务时可以通过学件基座系统方便地复用他人的结果,而不必从头开始.学件范式的核心在于规约,规约使得学件基座系统在不接触原始数据的情况下,可以根据用户的需求快速识别出对用户任务有帮助的学件.近期研究均通过缩略核均值嵌入(Reduced Kernel Mean Embedding,RKME)为模型构造规约,并通过构建学件原型系统验证了范式的有效性.在实际中,学件基座系统中往往包含在各种领域任务、数据类型上构建的机器学习模型,而传统的RKME规约面临维度灾难的问题,难以适用于高维数据,例如图像场景.为了拓展RKME规约的适用范围,本文引入神经切线核进行RKME规约构造.为提升方法的高效性,本文进一步通过神经网络高斯过程与随机特征近似,快速为各种模型生成RKME规约.最后,本文在真实数据构建的销量预测、图像分类场景的学件基座系统中进行大量实验验证了所提出方法的有效性和高效性,所提出方法相比于传统RKME规约查搜准确率显著提升近9%,且实验结果表明改进后的规约在图像任务上具有良好的隐私保护性质.代码见:.展开更多
文摘当前机器学习技术已经在大量领域得到广泛应用,然而仍面临许多亟待解决的问题:依赖大量的训练数据和训练技巧、难以适应环境变化、数据隐私/所有权的保护、灾难性遗忘等等.最近,学件范式使得上述问题同时得到系统性地解决成为可能.在该范式下,用户面临新的机器学习任务时可以通过学件基座系统方便地复用他人的结果,而不必从头开始.学件范式的核心在于规约,规约使得学件基座系统在不接触原始数据的情况下,可以根据用户的需求快速识别出对用户任务有帮助的学件.近期研究均通过缩略核均值嵌入(Reduced Kernel Mean Embedding,RKME)为模型构造规约,并通过构建学件原型系统验证了范式的有效性.在实际中,学件基座系统中往往包含在各种领域任务、数据类型上构建的机器学习模型,而传统的RKME规约面临维度灾难的问题,难以适用于高维数据,例如图像场景.为了拓展RKME规约的适用范围,本文引入神经切线核进行RKME规约构造.为提升方法的高效性,本文进一步通过神经网络高斯过程与随机特征近似,快速为各种模型生成RKME规约.最后,本文在真实数据构建的销量预测、图像分类场景的学件基座系统中进行大量实验验证了所提出方法的有效性和高效性,所提出方法相比于传统RKME规约查搜准确率显著提升近9%,且实验结果表明改进后的规约在图像任务上具有良好的隐私保护性质.代码见:.
