软硬件一体化大数据访存行为深度追踪分析工具集

1 引言

在当今信息技术飞速发展的时代，大数据与云计算应用犹如浪潮般席卷而来，让“数据”成为决定系统效能的关键要素。因此，如何巧妙地组织和访问数据以提升整体性能已成为研究热点，而这其中的核心环节就是对内存系统中数据存储及读写行为的深入剖析。为满足这一需求，我们创新性地提出了一种软硬件无缝对接的大数据访存踪迹收集分析工具集，它能够高速、精准且无损地捕获并解读具有丰富语义信息的访存行为，同时为大数据实时安全监控提供了切实可行的解决方案。

2 软硬件一体化访存踪迹收集分析工具集

面对Spark为代表的内存计算框架兴起所带来的挑战，以及新型非易失性内存技术的应用深化与日益严峻的数据安全问题，传统访存行为分析工具显然无法跟上大数据应用复杂多变的步伐。为此，我们设计研发了HMTT——一款高效融合了软硬件优势的访存踪迹工具集，其特点概括如表所示。

HMTT由四大部分构成：一是基于FPGA技术的高性能访存踪迹采集卡，通过监听DDR总线，实时抓取并传输包含物理地址、访存时延等关键信息的访存踪迹；二是被测系统软件信息同步模块，它如同一位忠诚的记录者，在系统运行过程中时刻同步并传递重要的程序元信息；三是高速接收和海量存储设备，确保TB级以上的访存踪迹数据得以完整、迅速地保存；四是强大的离线标注工具包，它将基础访存信息与软件层面的页表、锁、函数调用等多元信息有机结合，提炼出具有高级语义的程序访存行为特征。

3 应用场景与案例分析

HMTT已广泛应用于多个体系结构研究领域，并展现出广阔的应用前景，包括DMA缓冲区优化、LLC缺失分析、TLB效率提升、多线程锁冲突检测、程序对象跟踪、虚拟地址映射、功耗评估，以及非易失性内存的研究等。

例如，在DMA缓冲区场景下，通过插入定制API，可以精确区分处理器访存与DMA访存行为，为优化DMA访存提供一手数据支持。对于LLC和TLB，则能借助HMTT提供的详尽访存时序数据，指导内存分配策略改进和TLB算法优化。在多线程并发环境下，HMTT可轻松定位锁冲突，助力开发更为高效的并发程序。而在数据安全方面，HMTT更是独树一帜，能够悄无声息地实时监控敏感数据区域的访问情况，为大数据安全防护打开新的视角。

4 实验评测与结果展示

依托Intel E5 2620 V2处理器搭建的HMTT3实验平台，选取大内存测试集中的典型应用进行行缺失率统计分析。实验结果显示，HMTT成功揭示了不同应用间的显著差异，如SAP HANA内存数据库的行缺失率高达54.7%，而Bayes应用则相对较低，仅为24.24%（参见图2）。

图2 访存行缺失率对比

5 结论

本文提出的软硬件一体化大数据访存踪迹收集分析工具集，凭借其完整性、快速性、低干扰性和丰富的语义信息提取能力，有力支撑了大数据系统访存行为特征分析、新型非易失性内存技术的研发，以及实时大数据安全监控的需求。

作者简介

李作骏（1990- ），男，中国科学院大学博士生，专注于计算机系统结构领域的研究工作。

潘海洋（1990- ），男，中国科学院大学博士生，主要研究方向同样为计算机系统结构。

陈明宇（1972- ），男，博士，现任中国科学院计算技术研究所研究员，专攻高性能计算机体系结构、操作系统及并行算法优化领域。

包云岗（1980- ），男，博士，现任中国科学院计算技术研究所研究员，计算机体系结构国家重点实验室教授，先进计算机系统研究中心主任，中国科学院大学岗位教授，同时担任多项重要学术职务。其主要研究方向为计算机系统结构，主持研制了一系列国际先进水平的系统，在国内外享有高度声誉。

《大数据》期刊简介

《大数据（Big Data Research，BDR）》是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的双月刊中文科技核心期刊。