文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
论文第一作者唐灵 ， 张拳石老师课题组的博二学生 。
今天要聊的是个硬核技术 —— 如何给神经网络刻上抹不掉的 \"身份证\" 。 现在大模型抄袭纠纷不断 ， 这事儿特别应景 。
所谓神经网络指纹技术 ， 是指使用神经网络内部如同人类指纹一样的特异性信息作为身份标识 ， 用于判断模型的所有权和来源 。 传统方法都在玩 \"贴标签\"：往模型里塞各种人造指纹 。 但问题是 ， 模型微调（fine-tuning）就像给整容 —— 参数一动 ， \"整张脸\" 就变了 ， 指纹自然就糊了 。
面对神经网络微调训练的威胁 ， 现有方案都在修修补补 ， 而我们上升到理论层面重新思考：神经网络是否先天存在某种对微调鲁棒的特征？如果存在 ， 并将该固有特征作为网络指纹 ， 那么无论对模型参数如何微调 ， 该指纹就能始终保持不变 。 在这一视角下 ， 前人的探索较为有限 ， 没有从理论上证明出神经网络内部对微调天然鲁棒的特征 。
论文地址：https://arxiv.org/pdf/2505.01007 论文标题：Towards the Resistance of Neural Network Watermarking to Fine-tuning方法介绍
这里我们发现了一个颠覆性事实：卷积核的某些频率成分根本不怕微调 。 就像给声波做 DNA 检测 ， 我们把模型参数转换到频率域 ， 找到了那些 \"焊死\" 在频谱上的特征点 —— 我们拓展了离散傅里叶变换 ， 从而定义了神经网络一个卷积核所对应的频谱 ， 并进一步证明：当输入特征仅包含低频成分时 ， 卷积核的某些特定频率成分在微调过程中能够保持稳定 。
实验
最后 ， 我们开展了一系列实验 ， 以评估所提出神经网络指纹方法对微调操作的鲁棒性 。 实验结果表明 ， 相较于现有主流的模型指纹与模型溯源方法 ， 在所有数据集和微调使用的学习率设置下 ， 我们的方法在模型溯源任务中均取得了最优表现 ， 尤其在高学习率条件下展现出显著优势 。
【把指纹焊死在频率上：抗微调神经网络指纹的硬核方案来了】
推荐阅读
- 从数字人到有温度的机器人，京东把 AI 深度应用的路线图「摸透」了
- 把汽车产线搬进光储，行业“另类”华昱欣
- 硬核「吵」了30分钟：这场大模型圆桌，把AI行业的分歧说透了
- 把百亿大模型装进终端，存算一体如何“破局”端边算力困局？
- 谷歌这款实验性产品，要把人人可编程变为现实
- OPPO手机大改变，全系直屏+全新定位，这操作把我给看懵了
- 小巧有料的哈趣H3，把百元投影仪做出了轻旗舰质感
- 6100mAh+120W，骁龙8Gen3+超声波指纹，国补后成为真香千元神机
- 诺基亚发了台169元的新机，这操作把网友们整不会了
- 下代中端机配置大提升：超声波指纹与金属中框全给安排上