中国IDC产业联盟网和C114中国通信网联合承办的“2010中国绿色数据中心发展与实践高峰论坛”于9月16日在北京新世纪日航饭店隆重召开。

以下为中国电信广州研究院网络运行支撑部主任赖世能的演讲实录。

中国电信广州研究院网络运行支撑部主任 赖世能

赖世能：各位代表、各位同行，下午好！

我是来自中国电信广州研究院，也是中国电信集团、电研维护技术中心的。

今天讲的内容是有关数据机房节能减排应用方面的方案和经验、教训的介绍。大体上讲两到三方面的内容，先讲节能减排的主要措施。大家知道，上午很多专家、代表对IDC在发展过程中碰到的一些问题，大家都已经做了比较详细的介绍。我们碰到一个最大的难题是能耗的问题，是目前我们的一个瓶颈问题，节能减排已经是必须要面临的一个难题。

我们为什么出现这个问题，我们是从电信运营商发展过来的，在电信运营时代，特别是PDF网络，固定网络的时代下，包括经济效益比较好的。直接来看，单位每万元产值的耗电量来看是比较理想的。现在数据中心IP业务万元产值的数据量是原来固定网络的十倍以上，这样来看给我们很大的迷惑场景，为什么出现耗电这么大，是必须这么大，还是有浪费的空间？我们说IDC产业发展出现了严重的瓶颈。

早期IDC机房建设的时候大家还是简单化处理，把大量的机房堆积起来，大量的机柜堆积起来，把布线、工电解决好就好了，而真正的难点是在冷却方面出现了更大的问题。所以，在机房里出现了很严重的现象是什么，我们一个机房可能能够放400多个柜子，实际上我们用了一百个柜子之后就不能再用了，最极端的已经达到这个程度，还有300个机柜空在这儿，是不能用的，这给领导带来很大的困惑，为什么还有300个柜子放在那儿不让用？这个矛盾就是因为空调的问题。这个问题到目前为止，大概在03、04年起，我们就一直在跟踪这个问题，到现在把这个问题基本得到解决。同样在空调中还有一个气流组织严重不合理的问题，包括原来我们一直说我们要做上送风，要做开放机柜等问题，从气流组织来说，这是严重的不合理的可能性的存在。

我们采取一些专门性的针对措施，这些措施严格来讲，我们可以说是节能减排措施，也可以说不完全是节能减排措施。很多措施的出发点并不是节能减排，而是说要把IDC机房充分利用起来合理化的应用好他，我们才有这个措施。当然这个措施的结果，也就是得到了节能减排的结果。第一个问题是能源选择，能源选择对于在机房来讲，我们要使用哪一类空调，机房的布局、格局也做了一些考虑。从能源考虑来讲，我们选择了一些运行效率比较高的，效率高并不是说简单的对比值，而是说在通信机房环境场景下效率高。有一些空调效率高是指什么，比如说普通的舒适性空调效率高吗？实际上按照标准的更换去测算他，效率是很高的。如果把普通舒适型空调用在IDC场景下他的效率就不高。这个矛盾可能在很多的产品上是体现不出来的，一旦拿到我们的应用产品上就暴露出来了。所以说效率高，是指在IDC环境下高的空调。

第二个考虑是气流组织，应该说气流组织的考虑是中国电信这六七年来在机房里边非常重要的、非常热点的一个话题。这个地方应该说我们也做了一些工作，为了解决第一个难点，能不能使用下送风的问题。在这个问题上，如果一直跟踪电信行业的数据中心来讲应该是知道这个问题的难度。因为在2000年左右，整个国家的行业相关部门发布了一个规定，所有的通信机房不能使用下送风，这有文件规定，使所有的通信机房必须使用上送风，这跟我们所有的矛盾就暴露出来了。

空调的制冷量可以达到设备耗电量的3倍，温度偏高。这是什么原因？气流组织严重不合理，导致整个大量的冷气是没有利用上。在这个问题上我们做了比较多的艰苦工作。如何说服领导、说服相关部门，允许在IDC机房采取下送风。最后达到一个平衡点，一个大家妥协的结果，就是大家在通信机房中、电信机房中最普通的一个现象，下送风上走线。在美国、欧洲等所有地方都没有，他们只有下送风上走线，只有中国这样一个特殊的怪胎，下送风上走线。这是典型的中国特色的案例。在这个案例下，所以出现一个现象，我们要解决这个气流组织，我们要解决好这个下送风的气流组织，我们也设计了很多的关系，关于下送风网络关系的情况。

我们在考虑网络机柜功率和上位能力的时候有三部曲，第一步，在04、05年发布第一版本的IDC空调制冷要求，我们的要求是4000伏安。每个机柜的做法只能放4000瓦左右的服务器。如果机柜中有很大的空间，可能说放十个服务器就能把4000瓦放掉，本来还有一半的空间再增加，这也是不允许的，目前我们只允许放4000瓦服务器，尽管浪费很大，但代价必须要付出。到目前为止，所有的机房都是按照这个标准设计。接下来我们准备第二步，准备把这个提高到六个，在机柜和整个气流组织再进行优化，我们的目标是做到6000瓦一个机柜。一个机房四五百个机柜，都是这个量，这个量非常可怕。目前为止，一个机房中每个机柜有4000千瓦，而且能放几百个机柜的机房目前中国没有出现。第三步，配合服务器的大规模应用，应该是20千瓦。20千瓦冷冻水或者说其他液体要进入机房，这是我们最大的瓶颈。

这是IDC机房的应用问题，作为中国电信来讲，我们有一个独创的考虑，我们使用了一种专门的冷气通道的网络机柜。我们的思路、出发点很简单，我们要做到冷通道和热通道的分离。我们要做到每一个机柜根据发电量大小控制冷气浏量。在我们的机柜里边就有冷通道和热通道，而且冷通道是抽泣式的闸门。如果里边没有设备，可以把下面的抽板全部盖死，如果设备很多的话可以打的很开，是很灵活的控制。所有的冷气密闭在服务器的前面，因为冷气只有到服务器的前面才是有价值的冷气，如果冷气没有被服务器吸收，要这个冷气干什么，是多余的。一些好的单位可以做的非常密闭，用多少服务器，就用多少面板把服务器填空进去。能够维持我绿通道的密闭性是关键，如果不能维持密闭性，要打折扣。

在工电本身来讲，像空调，传统的中央空调主机都是采用380负荷工电，效率比较低一些，包括配电、基础效率等等都会比较低，因为电流太大。几百安的电流，现在我们考虑中央的，所有的机房中都是用380伏以上，现在用10000伏，谁能保证他不出问题，引入10000伏效率是显著的，我们的工况会好很多。

发电系统，既然要引入一万伏的中央空调主机，我们的后备供电面临一个问题，如果用380机去供电，市电停了没有办法保证中央空调主机的供电。相对应来说，我们要采用一万伏的高压柴油发电机。很超大型的IDC机房引入高压的柴油机，高压的中央空调主机。在其他机房中还会考虑，原来用220伏工电的所有感应器现在基本上可以用240伏。机房最主要的改造是做精确送风，把上边冷气来源改成专门的冷气通道。因为他没有整个机柜的改造，他是先天不足，弥补通道是支撑不起他的。

因为我们早期来讲，上送风是一个必须选择的方式，因为国家有文件规定不能采用上送风，原来有柜门、密闭的门。没有门也不够，因为服务器像万里长城一样，摆在一起，哪里能上任，这种上任这种改版是很快的。这里边出现的问题，现在的案例是说这个机房可以放几百个柜子，但放了一半不能再放了。

为什么我们要做改造？去年在广东做了350个机柜改造，这还不算大的，我们还有一个2000个机柜，这也不算大。每一个机柜都有冷气通道往下走，管子是走入网络机柜里边。每个机柜的柜门做了改造，本来是平的，故意伸出去，要抢出一个冷气通道来。本来柜子是平的，不可能有冷气通道。人为的做了一个假门，把冷气通道抢出来。

一个空调主机把上送风管道送过来，到网络机柜口子上，网络机柜开了口子可以把冷气直接灌到网络机柜中去。这种情况下相对提高了一定的制冷效率。从这里来看，我们的发展情况对比，在机柜中，风口的冷气很足，整个冷气通道是可以建立的。上升是开放机柜，整个环境比较热。从节能效率来讲也是比较有一定的改造，在先天不足的情况下做一些改造，这些改造是有一定难度，或者说有一些困难的场景，这个效率也不能太高，大概是百分之十几。在一个大机房里，每年耗电量是好几百万。送风改造相对原来传统的开放式机柜来讲还是有一些优点，这些优点是，利用冷气准确输送到机柜，而且可以调整，哪些地方要多，那些敌方少一些。

在20千瓦高机柜密度下怎么来做，我们在广州做一个亚太引擎，机房06年进的时候是亚洲第一大，现在不知道是亚洲第几了，比较小了。我们做了一批冷冻水直接进机柜的产品。现在一直瞩目这些问题，冷冻机水这些都是比较赞同的，但我必须提醒大家也要注意，从运营商的角度来说，我们更关注的是有没有一些安全隐患方面的问题。冷冻水进机房，冷冻水现在是进机柜，在这样的情况下，跟原来的整个安全规定直接有冲突。

安全规定，所有的设备机房不能有水，所有的地方都做了水电暖的高级系统，原来是说不能有水，万一有水漏进来都是很严重的问题，要提前报警。现在碰到的难度，现在主动把水引进来，干不干这个事情，这是要决策的问题。每次这个问题都要上升到最高领导决策，有最高领导拍板。我们把水放进来干不干，老板也不是这么好当的，不是随便跟你说说就行了。初次建水，如果上边有漏的情况，会不会漏到服务器上，导致服务器起火。即使不漏到服务器，漏到服务器上面的隔热板，板里边有海绵，海绵吸收了水以后又怎么把水弄出来，这是没有办法的。这两种我们都在选用，但是哪一种更好，目前我们好像还没有办法评估，但厂家都说这些好，这是肯定的。

如果背板出现故障，或者说打开的板做维护的时候，这个问题怎么解决？我们经常说要做维护测试，把背板的线拉回来，这样的情况下，20千瓦出来，会不会使整个设备商的有风险。所以说在图里看到，我们是做了这么一批规则，还没有得到结论，还在适应。

过道冷池，把它密封起来，是一个过道冷吃的方案。不会使冷气浪费，这是理想的概念。这个方法也试了，有一定的好处，但看到的问题也有，密闭的要求比较高，但我们又是上走线，所有的上边都是走线，不像国外的机房上面全是空的，如果是空的会好做很多。上面全是走线，至少有八种管线在走，如果要走的好，避开他比较难。比如说机柜两米二，这行不行？也可以，但会带来另外一个问题，消防的气体在顶上，怎么打上去，如果打不上去会出现消防警报，说灭火系统被破坏了，灭火系统被破坏了责任比这个大的多，又是一个难点的问题，还没有解决好。当然我们有一些地方还在探讨，上面的密闭门变成马达控制的，这也是一个办法，但还没有看出好的效果。

热国道密闭起来作为热池，行吗？也行，肯定也有一定的好处。但前面讲的问题也存在，冷气有一个好处，这是空调有压力的，我们的气象是有气差的，服务器吹出的风是很微弱的，所以说冷池里的热气散出去很困难，必须要有一个加强的抽的风扇的可能性，否则冷池的温度会升高。其他的方面，也是跟消防、走线等矛盾，电信上送风下走线的条件下困难还是有一些的。