从Facebook学习八大数据中心管理经验

任何希望打造高效率数据中心或者进一步为现有设施削减成本的企业，都不妨了解了解这套由Facebook与OCP携手奉献的系统优化大餐。这些已经公开的秘密没准会在大家自己的项目中发挥意料之外的指导作用。

Facebook作为开源开放计算项目的发起者，Facebook在数据中心的创建及运维方面可谓睥睨天下;而最近他们刚刚在项目中公开了其基础设施运作效率如此之高的几大诀窍。OCP为我们提供了详细的资料，例如高效服务器组件的规格细节及运行准则——从主板到机箱——以及硬件设施，包括供电及冷却等信息。在俄勒冈州的Prineville耸立着Facebook堪称艺术品的最新数据中心，而这一整套系统正是在这里为全世界范围内的用户提供服务。

任何希望打造高效率数据中心或者进一步为现有设施削减成本的企业，都不妨了解了解这套由Facebook与OCP携手奉献的系统优化大餐。这些已经公开的秘密没准会在大家自己的项目中发挥意料之外的指导作用。

英特尔主板

OCP此次曝光了两套英特尔主板设计及管理规范，它们在性能全面优化之余还采用了极为简单的工程设计方案，这使得能源利用率大大提高。V 1.0是拥有18个DIMM槽位的双插槽主板(采用英特尔至强5500或英特尔至强5600处理器)。而V 2.0则在一块主板上采用两块下一代至强处理器，等于拥有了双倍计算密度。为了节约能源，像PCIe通道、PCI通道、USB接口、SATA/SAS端口等很少用到的功能都被直接禁用。BIOS同样经过严格调整，以确保系统功耗始终处于最低水平。根据规范要求，BIOS还在设定方面做出了有针对性的修改，进而使各组件以特定的速度及功率运转。主板上配有五个热敏元件，负责监测CPU、PCH、输入接口及输出接口的温度。若侦测到温度过高，这些元件还会自动控制风扇转速，以确保冷却效果与运行状态相吻合。

AMD主板

与英特尔主板一样，OCP公布了两套AMD主板规范。V 1.0规范详细描述了拥有24个DIMM槽位的双插槽AMD皓龙6100系列主板。而V2.0则在单块主板上配备了两个AMD Magny-Cours或Interlagos CPU，借以提高计算密度。AMD与英特尔主板规范中有许多相同的内容，包括针对供电优化进行的BIOS设置以及内部热敏元件等。两套规范都为供电系统提供了直接接口，而且都配备了供电延迟机制——这就避免了同一台服务器两块主板的用电量同时提高所导致的短时电流过强现象。经过优化的CPU VRM(即电压调整模块)则提高了电力转换系统的运作效率。

94.5 %高效供电系统

OCP的450瓦供电系统通过优化设计消除了电力转换过程中造成的能源浪费量。它采用单电压12.5伏直流供电、封闭式框架、自冷却系统以及两个输入接口。其中主连接器用于接收277伏交流供电，这比传统的208伏交流供电系统在执行效率上更具优势。次要连接器则接收48伏直流供电，主要用于在停电时保持设施运转。总而言之，这套新型供电系统的能源使用率高达94.5%。

简洁明快、易于管理的服务器机箱

OCP机箱的主要设计特色在于简洁明快，通过简单的结构为两块定制主板及一套供电系统提供运行环境。由于不需要螺丝的快速装拆组件的广泛应用，数据中心管理员在主板安装工作方面可谓得心应手。硬盘驱动器与冷却风扇利用嵌入式滑轨实现位置变动。整个机箱高度为1.5U，充足的空间能够容纳体积更大的散热片，进而提高设备组件的散热效率。这套设计还允许管理员在降低功耗的同时使用尺寸更大的风扇。OCP设计的这套服务器重约6磅，甚至低于标准的1U服务器。而且根据OCP工程经理Amir Michael的说法，管理人员可以在9分钟之内不借助任何工具完成服务器的装配工作。

弹簧承载下的三层机架易于移动

聊完了OCP服务器，我们再来看看Facebook为其配备的三层机架。每套三层机架由相邻的三个42U机架纵列构成，每套三层机架都在顶端布置了两台交换机。三个机架纵列共能容纳最多30台服务器，也就是说三层机架的最大设备容纳能力为90台。

Facebook不希望额外的网络端口带来设计外的开支，“因此每套机架中所容纳的服务器数量是经过严格计算的，为的就是保证服务器与交换机端口之间保持一对一的匹配关系，”Michael解释道。

与OCP服务器类似，机架在设计过程中也考虑到了实际应用中的维护工作：一般来说大家都会利用滑轨装置实现服务器的滑入滑出，但Facebook的管理人员选择的是弹簧式柱塞方案。他们将服务器插入钣金机架后，再利用这些柱塞加以固定。

电池柜帮助服务器高效备份

独立电池柜由多块电池构成，能够在交流电池发生中断时为备份系统提供直流供电。通过由线缆与插座组成的简单连接系统，每个电池柜与两套三层机架相连。电池柜中包含一个交/直流整流器用以为电池充电，同时还配备了电池状态监测器。当某块电池需要被换掉时，监测器会自动通过网络发送提醒，这样技术人员就能够有针对性地解决问题。这套电池系统的执行效率为99.5%，Michael告诉我们;而传统的UPS系统则只能达到90%到95%。

电路系统：减少电力转换过程中的浪费

Facebook为俄勒冈州Prineville数据中心采用的是OCP的高效电路系统。整个体系由一套48伏直流UPS系统与一套227伏交流服务器供电系统组合而成。它最大的特色在于将配电工作从变电站转移到数据中心内部，这样一来整个转换过程所造成的能源损耗大大降低。根据Facebook的测算，传统电力转换过程所损失掉的电量为21%到27%，而Prineville数据中心这套自给自足的方案则只带来7.5%的能源损耗。

系统中还包括大量其它设计元素，例如备份用柴油发电机、电池监控、服务器-电池备份以及能源利用率更高的LED照明系统。总体来说，这套系统的设计水平达到甚至超过了绝大多数现有执行标准，包括国家电器设计规范、国家防火规范、电气及电子工程师协会和保险商实验室提出的规定等等。

却系统大大超过ASHRAE(即美国采暖、制冷与空调工程师学会)的规定

Facebook的Prineville数据中心还展示了由OCP设计的高效冷却系统，这套系统利用蒸发冷却系统实现现场散热，达成了100%全风冷的绿色发展目标。方案没有借助任何制冷机或者冷却塔设施。Facebook官方宣称，这套方案通过无管道式顶棚引导模式根据现场温、湿度情况进行冷风分配，其优异的冷却效果及令人赞叹的低运转功耗大大超过了ASHRAE的相关规定。