分布式数据采集系统中的时钟同步

在高速数据传输的分布式数据采集系统中，各个组成单元间的时钟同步是保证系统正常工作的关键。由于系统工作于局域网，于是借鉴了IEEE1588时钟同步协议的原理，设计出简易、高效的时钟同步方案，并在基于局域网的分布式数据采集系统中实现微秒级的精确同步。鉴于方案的高可行性和高效性，可将其推广到其他分布式局域网系统中。

关键词  分布式数据采集系统  时钟同步  IEEE1588  FPGA

引言

　　随着网络技术的发展，各种分布式的网络和局域网都得到了广泛的应用[1]。分布式数据采集系统广泛应用于船舶、飞机等采集数据多、实时性要求较高的地方。同步采集是这类分布式数据采集系统的一个重要要求，数据采集的实时性、准确性和系统的高效性都要求系统能进行实时数据通信。因此，分布式数据采集系统中的一个关键技术就是实现数据的同步传输。

　　由于产生时钟的晶振具有频率漂移的特性，故对于具有多个采集终端的分布式系统，如果仅仅在系统启动时进行一次同步，数据的同步传输将会随着系统运行时间的增长而失步。因此时钟的同步就是保证数据同步传输的关键所在。2002年提出的IEEE1588标准旨在解决网络的时钟同步问题。它制定了将分散在测量和控制系统内的分离节点上独立运行的时钟，同步到一个高精度和高准确度时钟上的协议。

　　由于分布式数据采集系统工作于局域网的环境中，于是借鉴IEEE1588标准中的思想，设计出一种针对基于局域网的分布式系统的时钟同步的机制，成功地在分布式数据采集系统中实现了μs级的同步。

1  时钟同步原理及实现

　　时钟同步原理借鉴了IEEE1588协议中的同步原理。IEEE1588 定义了一个在工业自动化系统中的精确同步时钟协议(PTP 协议)，该协议与网络交流、本地计算和分配对象有关。IEEE1588 时钟协议规定，在进行时钟同步时,先由主设备通过多播形式发出时钟同步报文,所有与主设备在同一个域中的设备都将收到该同步报文。从设备收到同步报文后,根据同步报文中的时间戳和主时钟到从时钟的线路延时计算出与主时钟的偏差,对本地的时钟进行调整[2]。

　　系统由各个单元的系统控制板（简称“系统板”）来完成同步的工作。同步模型与IEEE1588时钟协议一致，采用主从结构。主从单元采用相同频率的晶振，此时时钟同步的关键就是解决时钟相位对准问题和时钟漂移的问题。

　　系统中采用的时间同步算法，是借鉴IEEE1588的同步原理，主要是采用约定固定周期同步的算法。和IEEE1588同步算法一样，同步过程分为两个阶段: 延迟测量阶段和偏移测量阶段。下面以一主一从模式为例介绍其原理。

1.1  延迟测量

　　延迟测量阶段用来测量网络传输造成的延迟时间[3]。定义一个延迟请求信息包(Delay Request Packet) ,简称“Delay_Req”。延迟测量示意图如图1所示。

图1  延迟测量示意图

　　为了简化程序，采用固定的周期测量网络延迟，一般系统每工作一个小时进行一次测量。从属时钟TSd 时刻发出延迟请求信息包Delay_Req ,主时钟收到Delay_ Req 后再立刻返回一个延时响应包delay_back发送给从属时钟,因此从属时钟就可以非常准确地计算出网络延时:

　　TM2 →TS2∶Delay1 = TS2-Offset-TM2 TS3 →TM3∶Delay2 = TM3-(TS3 - Offset)

　　其中的Offset为从时钟与主时钟之间的时间偏差。

　　因为网络延迟时间是对称相等的,所以:

　　Delay =（Delay1 + Delay2）/2=（（TS2-TM2）+（TM3-TS3））/2

　　需要说明的是,在这个测量过程中,假设传输介质是对称均匀的，且线路是对称的[4]。

1.2  时钟修正

　　时钟修正用来修正主时钟和从属时钟的时间差。在这个时间修正过程中,IEEE1588中主时钟周期性地发出一个确定的同步信息包(Sync) (一般为每2秒1次) ,它包含一个时间印章(time stamp) ,精确地描述了数据包的发出时刻[3]。本案采用的简单同步模式，主要就是约定了同步修正包的发出时刻，整秒时刻，系统会在整秒时刻不做其他工作，这样就可以省掉IEEE1588中用于发送同步包预计发包时间的同步跟随包。

　　假设同步前主时钟的时间为发出时钟Tm1=2 000 s,而从属时钟的接收时间为Ts1=2 001 s。如果主从时钟是同步的，则同步的接收时钟是：Tm1+Delay=2 000+0.5=2 000.5。只需将时钟调整为2 000.5，即Ts′＝Tm1+Delay。

　　简易时钟同步的关键就在此。同步包内可包含主端发出的时刻。从端收到后，即可与测得的Delay相加为自己的该时刻时钟。

　　这里要说明的是:

　　①  上式中的Delay 就是主时钟与从属时钟之间的传输延迟时间,从上面的延迟测量阶段得到。
　　②  如果收到的同步包信息出错，从单元可以根据自己的时刻，依据临近取整原则推知主端发出的整秒时刻时间，与接收包进行对比。因为时间偏移一般都在μs级，如果误差太大，则舍弃该包。

1.3  同步实现

　　如图2所示,从端发出延迟统计包，主端反馈后，从端求得Delay。在每个整秒左右时刻收到同步包后，进行时钟修正，即从属时钟与主时钟实现了精确同步[5]。

2  分布式数据采集系统简介

　　分布式数据采集系统属于局域网构架，单元间通过网络进行数据交互,由集线器和微采集系统组成，每个微采集器成为一个独立“单元”。可以支持一主多从的分布式模型：设置其中一个微采集系统作为主单元，其他的作为从单元。分布数据采集系统结构框图如图3所示。

　　各个单元的设计完全相同，均由一个系统控制板和多个功能板构成。系统控制板是采集器的核心，它控制着单元内的各个功能卡的配置和单元内的数据传输，同时保持与外部通信。功能板用以实现A/D、FIFO处理等功能，用于数据采集和传送。各个单元中的所有板卡皆采用独立时钟。

　　此分布式采集系统中各个单元构成一个星形网。系统控制板成为星形网络中的节点，节点间用网线相连。系统符合协议IEEE802.3、CSMA/CD标准，可以与标准的以太网完美兼容。

3  基于FPGA的实现

3.1  分布式系统中各个单元的体系结构

　　由于FPGA开发灵活，精度上能达到系统要求，开发周期短，且成本低。系统中各个系统控制板采用FPGA技术，即采用微控制器及其对应的外设接口和相应的软件来实现[6]。利用Nios II处理体系，将系统划分为各个功能模块，并考虑到系统所需的资源和生成代码的大小。设计的系统由以下几部分组成：Altera的Cyclone系列芯片，包括嵌入Nios II软核、系统定时器、同步时钟定时器、DM9000A以及Avalon总线等设计。

　　网络接口芯片DM9000A实现以太网媒体介质访问层(MAC)和物理层(PHY)的功能。系统采用无链接的UDP通信，且采用多个定时器，用于时钟同步和工作周期的制定。

图2  同步过程

图3  分布数据采集系统结构框图

3.2  具体软件设计流程

　　同步定时器每秒钟产生一次中断。作为同步时钟，另一个定时器将一个同步周期划分为几个等时段，为工作周期。主从单元通过网络互相交换数据，在每一个系统周期内将各自的数据发送到网络中。为了预防发送时刻点的冲突，在配置信息中注明每个周期该单元的发送时刻。

　　系统有以下几种状态:初始状态、预同步状态、实时工作状态。

　　①  初始状态：分布式系统上电后,主从单元进入初始状态对各项参数进行初始化，注册timer中断和网络中断等。初始化后进入预同步状态。
　　②  预同步状态：主要是每小时进行一次网络延时的测量，然后从端会将自己与主端的一次传输时延保存起来。
　　③  实时工作状态：预同步完毕后各单元进入实时工作状态。一小时后又再次进入预同步状态。实时工作状态将处理多个线程。

（1）  同步线程

　　①  主单元，将同步timer的周期置为1 s的同步约定周期，即每1 s产生1次中断。主单元会在每秒到来时刻（中断），发出同步包（syns）。
　　②  从端在接收到同步包后，调整定时器时钟为同步包内时刻与时延之和。

（2）  数据传输

　　线程系统在避开同步阶段的时刻进行实时数据的传输，主要是根据系统对各个工作周期的划定。

（3）  数据采集和处理线程

　　由系统中各单元的各自任务来决定，不占用网络。对传感器采集数据进行处理，同时也处理网络传送来的数据。

4  同步测试

　　在系统的实时工作状态下，验证其同步效果。由于同步定时器产生的脉冲为一个系统时钟宽度（32 MHz）,不便于观察。为了便于演示，主从端都在定时器产生的同步时钟上升沿到达时将同步信号置1,主单元在发送完同步包后将同步信号置0；从单元则在收到同步包后将同步信号置0。这样得到的信号与定时器产生的同步时钟是同频的，只是放宽了脉冲宽度。同步效果如图4所示。

图4  同步效果

　　图4（a)中，每个栅格为500 ms；图4（b）将其放大1 000倍，每栅格为500 μs。每幅图中，上面的1通道为主单元同步信号，下面的2通道为从单元同步信号。由图4(a)可见，同步时钟周期为1 024 ms。

　　由于从单元是在收到同步包后，将信号置0，必定滞后于主单元发送同步包时刻（主端将同步信号置0时刻）,从图4(b)中可见，从单元脉冲宽度比主单元宽，因此只需比对同步信号的上升沿。图4（b）是将图像保持时间置为无限，信号上升沿处阴影表示运行时间以来的偏移情况。测试时间为24 h(小时)，测量阴影的长度Δx＝20 μs（上升沿偏移），即为同步效果最大的同步偏差可以控制在20 μs以内。

5  结论

　　由于系统工作于局域网，借鉴IEEE1588协议思想，提出并实现了简易时钟同步的设想；占用资源少，精度高，可行性高。验证是在实时工作状态下测试的，并将同步偏差控制在20 μs，满足时钟同步的要求；同时，以FPGA技术为载体，软件开发平台为Nios II，易于系统移植和功能扩展。鉴于方案的高效和高可行性，可以进一步推广到其他分布式局域网的应用系统中。