一水 发自 凹非寺量子位 | 公众号 QbitAI
防不胜防！黑客通过显示器数据线泄露的信号，就能偷窥你的屏幕内容。
具体来说，是HDMI数据线的电磁辐射，会把一些显示信号泄露到周围空气中。本来也没什么，但是结合AI就可逆向得到原始画面内容。
来自乌拉圭共和国大学工程学院的团队提出了一种端到端模型，专注于文本恢复，能将泄露信号（如HDMI）的字符错误率（CER）降至30%左右。
比如对照看下面这张图，最右为原始屏幕内容，中间为模型最终输出结果。
![]()
要知道，与模拟信号（如VGA）相比，数字信号（如HDMI）更难恢复，因为10位编码导致带宽增大和信号与像素强度之间的非线性映射。
而降至这一水平，原文内容基本也能解密了。
为了更直观，咱们来看团队演示的其中一种攻击方法。
简单提示，团队用天线拦截HDMI电磁信号，然后用AI尝试“复原”原始数据。
好家伙，最后这还原度是不是有点太可怕了！
![]()
用上了AI模型
具体咋做到的呢？相关研究论文已发在arXiv上。
![]()
首先，团队使用天线来捕捉由HDMI电缆和连接器发出的电磁波。
接下来，使用SDR（软件定义无线电）设备接收这些电磁信号，并将它们转换成数字形式的样本，这些样本包含了原始视频信号的信息，但同时也可能包含噪声和失真。
然后，利用gr-temest这样的软件工具，对SDR捕获的信号进行进一步的处理，以提取出图像数据。
这个步骤可能会包括滤波、采样率调整等操作，目的是尽可能地恢复图像的原始形态。
最后，将经过上述步骤处理得到的信号输入到一个AI模型中，这个模型可以识别和增强图像中的关键特征，从而提高图像的清晰度和可读性。
概括而言，整个过程包括捕获电磁信号、使用开源软件处理电磁信号，使用端到端模型进一步处理等。
![]()
可以看到，这项研究的关键提升在于最后利用了深度学习技术。
团队使用了深度残差UNet（DRUNet），这是一种具有编码器-解码器结构的卷积神经网络，适用于图像恢复任务。
通过优化网络结构和训练过程，DRUNet能够显著提高图像恢复的质量，特别是在文本的可读性方面。
![]()
错误率下降约60%
那么，这一端到端模型具体表现如何呢？
为了测试，他们构建了一个包含约3500个样本的数据集，其中大约1300个是真实捕获的信号，其余为模拟信号。
真实样本是通过实验设置获得的，模拟样本则是使用基于分析模型的GNU Radio模拟器生成的，这些样本被用来训练和评估模型。
研究显示，在真实数据集上，使用复数样本的Pure Model在所有评估指标（PSNR、SSIM、CER）上均展现出最佳性能。
具体而言，使用原始图像幅度的传统gr-tempest方法在真实数据集上的CER超过90%，而Pure Model（使用复数样本）的CER降至35.3%。
![]()
同时，在合成数据上训练的模型在真实数据上可能会遇到性能下降的问题。
不过，通过模型微调（Fine-Tuning），即使只用10%的真实样本，也能达到与使用全部真实样本训练的Pure Model相近的性能。
![]()
为了验证鲁棒性，模型采用了不同采样率和显示器分辨率，结果表明部分配置变化可能导致性能显著下降。
![]()
虽然团队用新模型大大提高了HDMI“破解率”，但为了预防风险，团队最后也提出了相应对策。
通过在显示器图像上添加低级噪声或使用背景渐变，可以有效降低成功率。
![]()
目前相关研究和数据集已开源，感兴趣可以进一步阅读论文。
论文：https://arxiv.org/abs/2407.09717GitHub：https://github.com/emidan19/deep-tempest?tab=readme-ov-file参考链接：[1]https://www.tomshardware.com/tech-industry/cyber-security/ai-can-snoop-on-your-computer-screen-using-signals-leaking-from-hdmi-cables[2]https://x.com/papers_anon/status/1813145993334100015
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
![]()
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
防不胜防！黑客通过显示器数据线泄露的信号，就能偷窥你的屏幕内容。
具体来说，是HDMI数据线的电磁辐射，会把一些显示信号泄露到周围空气中。本来也没什么，但是结合AI就可逆向得到原始画面内容。
来自乌拉圭共和国大学工程学院的团队提出了一种端到端模型，专注于文本恢复，能将泄露信号（如HDMI）的字符错误率（CER）降至30%左右。
比如对照看下面这张图，最右为原始屏幕内容，中间为模型最终输出结果。
要知道，与模拟信号（如VGA）相比，数字信号（如HDMI）更难恢复，因为10位编码导致带宽增大和信号与像素强度之间的非线性映射。
而降至这一水平，原文内容基本也能解密了。
为了更直观，咱们来看团队演示的其中一种攻击方法。
简单提示，团队用天线拦截HDMI电磁信号，然后用AI尝试“复原”原始数据。
好家伙，最后这还原度是不是有点太可怕了！
用上了AI模型
具体咋做到的呢？相关研究论文已发在arXiv上。
首先，团队使用天线来捕捉由HDMI电缆和连接器发出的电磁波。
接下来，使用SDR（软件定义无线电）设备接收这些电磁信号，并将它们转换成数字形式的样本，这些样本包含了原始视频信号的信息，但同时也可能包含噪声和失真。
然后，利用gr-temest这样的软件工具，对SDR捕获的信号进行进一步的处理，以提取出图像数据。
这个步骤可能会包括滤波、采样率调整等操作，目的是尽可能地恢复图像的原始形态。
最后，将经过上述步骤处理得到的信号输入到一个AI模型中，这个模型可以识别和增强图像中的关键特征，从而提高图像的清晰度和可读性。
概括而言，整个过程包括捕获电磁信号、使用开源软件处理电磁信号，使用端到端模型进一步处理等。
可以看到，这项研究的关键提升在于最后利用了深度学习技术。
团队使用了深度残差UNet（DRUNet），这是一种具有编码器-解码器结构的卷积神经网络，适用于图像恢复任务。
通过优化网络结构和训练过程，DRUNet能够显著提高图像恢复的质量，特别是在文本的可读性方面。
错误率下降约60%
那么，这一端到端模型具体表现如何呢？
为了测试，他们构建了一个包含约3500个样本的数据集，其中大约1300个是真实捕获的信号，其余为模拟信号。
真实样本是通过实验设置获得的，模拟样本则是使用基于分析模型的GNU Radio模拟器生成的，这些样本被用来训练和评估模型。
研究显示，在真实数据集上，使用复数样本的Pure Model在所有评估指标（PSNR、SSIM、CER）上均展现出最佳性能。
具体而言，使用原始图像幅度的传统gr-tempest方法在真实数据集上的CER超过90%，而Pure Model（使用复数样本）的CER降至35.3%。
同时，在合成数据上训练的模型在真实数据上可能会遇到性能下降的问题。
不过，通过模型微调（Fine-Tuning），即使只用10%的真实样本，也能达到与使用全部真实样本训练的Pure Model相近的性能。
为了验证鲁棒性，模型采用了不同采样率和显示器分辨率，结果表明部分配置变化可能导致性能显著下降。
虽然团队用新模型大大提高了HDMI“破解率”，但为了预防风险，团队最后也提出了相应对策。
通过在显示器图像上添加低级噪声或使用背景渐变，可以有效降低成功率。
目前相关研究和数据集已开源，感兴趣可以进一步阅读论文。
论文：https://arxiv.org/abs/2407.09717GitHub：https://github.com/emidan19/deep-tempest?tab=readme-ov-file参考链接：[1]https://www.tomshardware.com/tech-industry/cyber-security/ai-can-snoop-on-your-computer-screen-using-signals-leaking-from-hdmi-cables[2]https://x.com/papers_anon/status/1813145993334100015
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~