摘 要：主要阐述了超级计算机热设计的原则、方法和步骤，结合具体的工程应用，介绍了各种冷却措施。认为热设计工程师应从冷却系统的功能、可用性规定指标和冷却系统的投资费用等一些基本原则出发，研制出一些更为有效的冷却方法，以适应发展形势的需求。
关键词：热流密度；冷却；热设计
1前言
热设计（或温度控制）是指对电子设备中具有功耗的电子元器件、组件或整机的温升进行控制，目的在于保证它工作的可靠性。
一般认为，热设计是传热学和工程流体力学这两门学科在电子设备传热工程上的应用。对于大型的计算机来说，一般设备都放在室内，热设计主要是研究怎样把器件的集中功耗通过介质传递到室外大气中去，满足设备功能要求，主要表现在两个方面：(1) 研究高密度热流结构中使用的更有效的传热方法, 即所谓的“热传递桥”。(2) 建立能够消耗和传递计算机大量功率的有效、可靠的冷却系统。两者在有些情况下是合为一体的。
2热设计的原则和步骤〔1〕〔2〕
热设计的原则为：热设计必须与电气设计、机械设计同时进行，相互兼顾；热控制系统的分析、计算，应与模拟试验相结合；所设计的热控制系统，应具有充分的应变能力(包括维修性)；热控制系统，应是结构简单、可靠，工艺易行，具有较好的经济性；所设计的热控制系统，应符合有关规范、标准和指导性文件的规定。
热设计的步骤：（1）分析组装结构；（2）选择合适的冷却方式；（3）分析热路，确定传热途径：导热、对流、辐射及其相应的热阻；按发热元件至冷却剂或散热空间的热流方向，绘制等效热路图；计算各类热阻值；建立热平衡方程式，绘制计算程序，解出各节点的温度值，分析温度分布特性；检查各温度值是否超过许用温度，如不满足，应修改参数重新进行分析计算，必要时可选择更有效的冷却方式，直至达到控温指标为止；（4）模型或样机的试验分析，通过对模型或样机的测量，检验理论计算与试验结果的偏差程度；（5）优化方案，经过对各种方案的分析、比较，利用计算机辅助热设计（CATD）的手段，得出一个最佳的热设计方案。
3冷却方式的选择及其工程应用实例
冷却方式是根据质量因素热耗体积密度（或热耗密度）、 热阻来选择的。常用冷却技术单位面积的最大功耗见表1〔3〕。
在冷却技术权衡中应该考虑的典型因素有：热阻、重量、维护要求或维修性、可靠性（包括辅助设备，如风机和泵）、费用、制造容差、后勤状况（特殊的元器件和冷却剂）、热效能、效率或有效系数、耐环境及严酷度（冲击、振动、腐蚀）、对人体的危害程度（冷却剂或蒸汽的毒性）、尺寸、复杂性、功耗及对设备电性能的影响。
需要指出的是：一个冷却方案不限于一种冷却方式，大多数方案都是根据具体情况，包含几种冷却方式，相互配合使用。
3.1机舱内部的热传递桥
热设计，实际上是为热源至热沉之间提供一条尽可能低的热阻通路的设计工作。其主要方向是放在降低外热阻（即电子器件表面至散热空间的热阻）上面。用于消除电子设备内部热量的方法，是使发热元器件与被冷却表面之间具有一个低温度梯度或者与外部散热器有局部热连接。冷却方法必须简单、冷却设备的重量要轻、可靠、便于维修和经济。对于存在接触热阻的冷却方法，以往人们多半是根据自身的研究对象，用实验方法来解决接触热阻的问题。一般认为降低接触热阻的方法有：接触面积大；表面光滑；接触材料软；接触压力大；接触压力均匀；在接触面上有导热填充剂。
3.1.1自然冷却法
自然冷却法是指不使用任何外部辅助能量的情况下，实现传热的方法，包括传导、对流和辐射，往往仅适用于小型化部件的散热，以及密封或密集组装的器件不宜（不需要）采用其它冷却技术的情况下。对于大型计算机来说，金属传导和空气自然对流主要是用于计算机低功耗器件和部件。
3.1.2强迫空气冷却法
强迫空气冷却法是一种“价廉物美”的冷却方法，如果部件内元器件之间的空间适合空气流动或适于安装局部散热器，就尽量使用这种冷却方法。提高对流传热能力的方法主要有：增大散热面积（散热片）和在散热表面产生比较大的强迫对流传热系数（紊流器，喷射冲击，静电作用）。实践表明，紊流器可增加15%，喷射冲击可增加50%。〔4〕静电作用实质就是利用静电高压电离效应来提高对流换热系数，由于高压危险，一般慎用。肋片式散热器又称气冷式冷板，如：型材、叉指、针状等各种型式，长期、广泛地作为热耗电子器件的延伸表面与所处环境（主要是空气）的换热器件，已经做了许多理论分析和优化设计工作。
图1为IBM4381多芯片组件采用冲击空气冷却的方案。芯片尺寸为4.6mm×4.6mm[HT]，热耗为3.8W。模块的尺寸为64mm×64mm，高40mm，热耗为90W。陶瓷盖帽与芯片之间衬垫一层导热膏。散热器为空心针状，用冲击气流喷射冷却，当气流量为200升/秒时，芯片温度低于90℃，芯片至空气的平均热阻为17℃/W。〔5〕
3.1.3液体冷却法
3.1.3.1间接液体冷却法
间接液体冷却法就是液体冷却剂不与电子元件直接接触，而热量由发热元件传到某中间系统，然后再传给液体。如果设备必须在高热能密度及高温环境下工作或当外部散热器位置距离设备很远时。间接液体冷却法的热传递桥一般就是指液体式冷板及其辅助装置，如液冷模块（LCM）、导热模块(TCM)、喷射液冷模块（CCM）、液冷基板（LCS）等等。
图2为IBM公司在 3081系列上使用的液冷模块。由于芯片的热耗是经过充装有He气体的铝制活塞，靠导热传至水冷冷板，故也称为热导模块（TCM）。每个模块设置133个热耗为4W芯片，模块的总热耗为300W。当进水温度为24℃时，芯片表面温度为69℃。外壳体至水冷冷板的热阻为11.6℃/W。该系列的其它型号，如3090的芯片功率为8.1W，3090E的芯片功率为9.0W，ES9000的芯片功率为27W，也均采用这种冷却模式，只是局部结构进行了优化设计，充装有氦气体的铝制活塞换成充装有油的铜制活塞〔5〕。此外，NEC公司在SX-1、SX-2 、SX-3型以及ACOS-2000、ACOS-930系列主机上，同样也采用了TCM模块，不同的是其冷板水流是通过喷射来增大对流换热系数的。
图3为Fujitsu公司在FACOMM-780大型计算机上采用的波纹管液冷模块（CCM）。装有芯片的印制电路板被波纹管组成的双面液冷装置夹紧，冷却水从波纹管直接喷向芯片进行冷却。单个芯片的耗热量达9.5W，整个印制电路板的总耗热量约为3500W，在进水为20℃时，芯片结温为45～55℃，Rj-w=2.5℃/W〔6〕。这种方法也延用于后来的VP2000计算机。
3.1.3.2直接液体冷却法
直接液体冷却法（浸渍冷却）是指液体与电子元件直接接触，由冷却剂吸热并将其热带走，它适用于热耗体积密度很高或那些必须在高温环境条件下工作且元器件与被冷却表面之间的温度梯度又很小的部件；浸渍冷却必须从电路和元器件两个方面考虑与冷却剂有密切关系的所有热、电、化学和机械等方面的影响，除了保证元器件与冷却剂相容性外，还要使电路能够承受由于液体的高介电常数和功率因数引起的寄生电容增加和电气损失；必须要解决的问题有腐蚀、维护、泄漏（密封）、安全。
图4是目前唯一采用整机直接液冷的大型计算机CRAY-2冷却方案，主机的逻辑模块、存储板和电源，由14个机架组成，机架两两一排，按辐射状布设，直接浸渍于FC-77冷却剂中进行冷却；每个模块有8个100×200mm2电路插件，共700个逻辑芯片，模块的热耗为700W，整个冷却系统的总耗热量达到194kW，流经模块速度为25.4mm/s〔7〕。
3.1.4相变冷却法
相变冷却利用制冷剂液体（水、液氨、液体氟利昂等）在低压、低温下的气化过程或固体在低温下的熔化过程或升华过程，向被冷却的物体吸取气化潜热、熔化热或升华热，以达到冷却的目的，是最有效的散热方式。蒸发冷却系统特别适宜热耗体积密度非常高的设备及那些内部没有采用散热器或散热器位置距离设备很远的装置。固态到液态或气态（CO2）相变系统用于非稳态或瞬态状态，没有连续的循环系统，这里只讨论气化相变冷却。
3.1.4.1直接相变冷却法
直接气化相变冷却法包括沸腾和蒸发。以形成气泡来完成传热的称为沸腾，泡核（泡状、核）沸腾和膜态沸腾属于这一种。蒸发不形成气泡，而是在相界面上直接完成液气之间的质量与能量传递，分自然蒸发和强制对流蒸发。所以，一般所说的相变冷却主要指沸腾传热，包括泡核沸腾、强制对流蒸发和膜态沸腾。它又包括两种情况：容积沸腾（静止液体沸腾，又叫池沸腾）和流动沸腾，目前计算机工程主要是利用容积沸腾临界点以下的泡核沸腾区对模块进行冷却（见图5）。由于在容积沸腾过程中流体的主体处于饱和温度，所以其温度可以根据蒸汽压力加以确定。此种方法除了具有直接液体冷却优点和缺点外，还要特别注意解决的问题有冷却剂两相性的影响、防止汽塞、严格控制压力及蒸发比液冷更容易形成污垢。
IBM公司研制的采用浸渍式池状沸腾冷却方案的液体封装组件（LEM）简化图如图5（简单容积沸腾系统）所示。芯片被直接浸渍在FC流体中，冷却剂流经多层芯片组件的表面，在膜层内产生核沸腾，产生的蒸汽经组件外的液冷冷板或气冷式散热冷凝。它的对流换热系数很高（1700～5700W/m2·K），组件的热耗量达300W〔5〕。在直接蒸发冷却系统中，蒸发器实际上就是热源。
对于沸腾，还有一些技术问题尚待解决，特别是流动沸腾。例如，沸腾时产生的温度过冲（或滞后）现象，这对于氟碳流体表现得尤其明显；其次随着芯片功率密度的增加，它的热流密度已接近临界值（烧毁点），如何解决这一问题，也正在探索。
深冷冷却，又叫超低温冷却，属于低温冷却，是指在非常低的温度下利用相变实现热传送的过程，这个温度一般低于甲烷的沸点（-161℃）。此方法要注意解决的问题有材料的热特性（两种材料收缩差异）、材料的机械特性（韧性变脆）以及安全性（冻伤）。ETA大型计算机就是使用了深冷冷却。其装配好的中央处理器板被安装在一个密封的容器中，以受控的速率冷却到接近液氮的温度（-196℃），然后注入液氮，完全包围板子与封装器件。热通过在器件周围大容量核沸腾而传输，氮与器件之间的温差低于10℃，器件的热流密度为2W/cm2远低于其薄膜沸腾的转折点22W/cm2。这种冷却使CMOS的速度提高到室温1.6倍，同时金属布线电阻也因此而下降到室温条件下的1/6。〔7〕
3.1.4.2间接相变冷却法
间接相变冷却法就是发热器件不是直接浸渍在沸腾的液体中，而是设置一个间接的热通路，这省去了直接蒸发冷却需要解决的许多问题，适用于由于在高频时影响电路性能或是影响快速维修，或是为组装互换性的要求等原因不能使元器件直接接触冷却液情况。这实际上就是制冷设备蒸发器和发热器件接触，它主要是要选择合适的冷却剂，设计各种蒸发温度的冷却系统。一般设备冷却时都希望在热流量受工况影响变化时，器件的温度仍保持不变，这就使得控制蒸发温度的制冷回路结构复杂，但随着计算机控制、变频技术应用于制冷设备，使这种方式工程可行性大大加强。早期采用这种冷却方法的计算机有Cray-1, Cyber205等计算机。1996年成立的Cryotech就是一家专门进行计算机低温冷却技术研制的公司。这家公司不仅研制冷却系统，而且把蒸发器和芯片基体相结合，制成高效率的热传递桥。目前IBM的S390、Z900服务器〔9〕及INTEL公司已使用他们研制的冷却系统。
此外，喷雾系统作为相变系统的一种，能使热源表面上的冷却剂形成一层连续的薄膜，用于飞机和宇航系统，降低灌封的流体重量。近年来也有把这种方法用于微机系统的情况。
3.1.5热管
热管(指有芯热管)是一种密封结构的空心管，一端是蒸发端，另一端是冷凝端，管中含有蒸发时传递大量热量的液体以及冷凝时将液体带回起始点的吸液芯（毛细抽吸作用），所以基本上认为热管是一种高效率利用相变传热的热传导器，其热阻可以达到每瓦千分之一摄氏度，传热量可以超过50千瓦。〔2〕其最大的特点是可以设计成能在被冷却的电子设备所处的任何温度下工作。一般来说，必须按每种用途对热管单独进行设计，特别注意的是热管的毛细管抽吸作用受重力和外力的影响。热管的最大问题是由于其制造材料、工艺、管内洁净度等问题会导致一段时间后传热性能下降，所以要严格控制其产品质量，进行老化试验同时必须对被冷却的器件进行温度监控。1984年在第五届国际热管会议上，T．P．Cotter等人提出微型热管和小型热管（MHP）的理论及展望。近年来热管技术已在电气设备冷却、电子器件冷却以及大规模集成电路板的散热方面取得很多应用成果。图6为Fujikura公司开发出的一种所谓的“仙人掌”（Cactus-type）式热管。CPU的功耗为80W，在风速为2.5m/s情况下，其热阻为0.5℃/W。〔10〕
3.2热传递系统
由于热耗散的两个阶段之间有相互关系，所以从部件或设备外壳至外部散热器的热传递系统取决于部件内部的散热方式。
3.2.1强迫空气冷却系统
强迫空气冷却系统是靠风机驱动空气流过电子设备实现的，分吹风冷却和抽风冷却两类；除了热源外，一般还包括风机、风道（风库）、过滤器等。设计的主要任务是选择合适的风机（压力和流量）、设计合理的风道。特别注意问题是系统维护方便、噪音低。
3.2.2强迫液体冷却系统
液冷系统具体是由冷却液、冷板、二次换热器及其冷却系统、管路系统及阀门、泵、膨胀和补给箱、监控和保护节点、腐蚀与防护等部分组成。其系统原理框图如图7所示。
是靠水泵驱动冷却液流经冷板或热源，进行吸热传递，然后在二次换热器处进行散热。
液冷系统的设计要特别注意腐蚀问题、冷却系统的结露及其预防，以及在系统中要对冷却液运行过程中的主要参数实行监控，如水质、温度、流量和压力等。
3.2.3相变冷却系统
直接相变冷却系统见3.1.4.1。热源功耗较低的间接蒸发冷却系统类似于间接液体冷却系统，若热源的功耗很大，必须要有外功或能量施加于流体系统，从而产生热动态循环，这就是我们常见的制冷系统，主要包括蒸气压缩式、吸收式、蒸汽喷射式和固体吸附式，现已制成各种应用广泛的制冷机〔11〕。几种方式不同之处在于将低压蒸气变为高压蒸气所采用的方法不同而已。图8为最简单的蒸气压缩式系统原理框图。它由压缩机、冷凝器、节流阀和蒸发器组成，用管道将其连成一个封闭系统。制冷剂液体在蒸发器中气化，吸收被冷却对象的热量，产生的蒸气被压缩机吸入、压缩后排入冷凝器，在冷凝器中被环境介质冷却、冷凝成液体，经节流阀节流降压后形成湿蒸气进入蒸发器，依次循环、周而复始。蒸气压缩式制冷机在制冷量及制冷温度范围方面均比较宽广，机器设备结构紧凑，循环效率高，因此应用很广，可作为大功率的巨型机系统的热传递系统。
3.3其它冷却方式
热电冷却又称温差电冷却或半导体冷却，即在冷端将热能转换为电能，使电能沿导体传输，并在热端上将电能再转换为热能，从而实现连两间的热传递；它是一种产生负热阻的制冷技术，其特点是不需要驱动装置，可靠性也比较高，但其代价是重量大大增加且效率较低，只适用于低功耗的情况下。其散热温度≤100℃；冷却负载≤300W。〔3〕
此外，还有涡流管冷却、气体膨胀冷却、磁冷却、氢转化冷却等冷却方式，一般用于一些特定的场合，这里不再作说明。
3.4热分析软件
现代传热学包括分析传热学、实验传热学和计算传热学。计算传热学又叫数值传热学，它借助于计算机对电子设备的温度场进行分析，掌握热点的分布，以便采取相应的冷却措施，是热设计工作的一种重要手段。目前常用的热分析软件有ANSYS、FLUENT、ICEPAK等，它们为热设计的模化、分析和优化工作提供了有力的帮助。
4计算机冷却技术研究方向
4.1 采用高效率的热传递桥，利用简单可靠的空气冷却系统
前面说过，冷却方式主要是依据芯片的功耗密度大小来决定的，所以热设计主要矛盾在于降低芯片的功耗密度。现在国内外许多计算机公司为了避免芯片功耗密度过高，主要采用以下三个方面的做法。（1）在巨型计算机体系结构方面加以改进。如网格计算机（Grid Computer），这样可以采用标准的单板机进行模块化组装，组装密度相对降低，使得利用简单可靠的冷却方式风冷成为可能。（2）研制低功耗的专用芯片。为了避免由于芯片高功耗密度而必须采用复杂的冷却系统，一些计算机公司在专用芯片的研制上，采取了电气的、传热的、软件方面的相应措施，降低芯片的功耗密度。如：美国Transmeta公司〔12〕，在芯片中引入软件程序，代替部分硬件功能，从而降低了由于硬件组装密度的提高而带来的高功耗。（3）采用高效率的热传递桥降低芯片的功耗密度。常用的高效率热传递桥主要包括微通道、热管等。这是目前国内外许多计算机公司普遍采用的方法。许多巨型机如：Compaq ASCI Q、IBM兰色基因、NEC地球模拟器、富士通VPP5000系列、日立SR8000系列都是采用这一模式；但风冷方式的计算机，机柜数量相对增多, 占地面积大。
热传递桥设计，根据需要应充分利用各种热设计方法。热管是目前最受欢迎的热传递桥，技术成熟、投资费用适中，前面提到的微型扁平热管就广泛用于CPU的热传送。为适应IC芯片的传热，也可将热管的尺寸缩小至微米极（50μm～500μm），其蒸发端全部埋入IC基片底部。因硅片有良好的导热性能，基片与热管之间有很好的热耦合。冷凝端直接伸至基片的散热区域，其热量通过强制对流的方式带走。这种方法允许传送芯片100 W/cm2的热流密度，但要注意结构中的热机械应力。
近年来发展起来的微通道冷却实质上就是把微通道结构和冷却技术相结合的产物，用于高热流密度的热传送。这对芯片级热传递桥的设计具有重要意义。某单位研制的风冷型微通道散热器，尺寸为50mm×50mm×25mm，可以带走功耗为750W（功耗密度为30W/cm2）的热量，其热阻为0.1℃/W；他们设计的水冷型微通道散热器，尺寸为196mm×196mm×16mm，可以带走功耗为2500W（功耗密度为100W/cm2）的热量，其热阻仅为0.01℃/W。
4.2高效冷却方式的研究
随着超大规模集成电路的发展，计算机芯片的功耗已经到了160W，热流密度已经到了100 W/cm2。可见研制高效的冷却系统，满足高密度组装的结构形式，以获取更大的冷却能力，也越来越迫在眉睫。
液冷成为仅次于风冷的应用广泛的冷却系统。现在许多微机，包括笔记本电脑都已采用水冷方式散热；日立5800系列为水冷；CRAY T3E 128个处理器以下为风冷，256～2176个处理器机器为水冷。直接液体喷射冷却，既可以最大限度地减少热阻，同时也可以提高强迫对流传热系数。IBM公司液体喷射冷却数据表明能够支持100W/cm2以上芯片的耗热密度。IBM公司的SS-1、Cray公司的SV2等就是采用直接液体喷射冷却芯片的。
低温冷却技术（直接或间接相变冷却），为计算机冷却开辟了一个新领域，是在特定条件下提高机器性能的有效手段。如前面所提到Cryotech就是专门研究此类冷却系统的公司。
利用绝缘流体的沸腾冷却正处与开发、应用阶段。由于沸腾冷却可提供很低的热阻和高的热流密度，国外不少大公司和研究机构，正在大力从事这方面的研究（如IBM、Fujitsu、Hitachi、NCR等公司以及Minnesota、Purdue、Auburm、Michigan等大学中的研究机构）。国内如清华大学、北京工业大学等，也进行了相关的研究。在IBM内部及由其资助的大学相变冷却的研究主要集中在防止或控制池沸热滞，扩大池沸热流密度，提高强制对流、向下流动的液膜热传送、液流沸腾、液流冲击。
其次，如何研制一些新型的冷却剂，使其更好地满足电子器件浸渍冷却的要求，已经提到了议事日程上。冷却剂（介质）是一种载热介质，它的基本要求是：具有较高的传热性能、较高的绝缘强度和良好的兼容性。在目前使用的冷却剂中要想完全满足上述的基本要求，还是比较困难的。例如，最普通的水，虽然它的传热能力高，但其绝缘性差，与电子器件的相容性也不好；而目前浸渍冷却用的冷却剂FC-77，主要是考虑该冷却剂有较高的绝缘强度和良好的化学兼容性，然而导热能力仅为水的十分之一。
5结束语
综观当前热设计的发展动态，无论从基础学科的研究，还是围绕传热在电子设备工程中的应用来看，最基本的问题就是电子组装密度的迅速增加带来的高热流密度与冷却技术之间的矛盾。如何综合运用冷却系统的功能、冷却系统的可用性与维修性、冷却系统的投资费用等一些基本设计原则来解决这一矛盾，研制有效的冷却方案，是当今热设计工程师们面临的主要问题。
参考文献
1 谢德仁. 电子设备热设计. 南京：东南大学出版社,1989，12
2 丁连芬等译校. 电子设备可靠性热设计手册MIL-HDBK-251. 北京：电子工业出版社,1989，03
3 王建石编. 电子设备结构设计标准手册. 北京:中国标准出版社, 2001，10
4 Richard C.CHU. A Review of IBM Sponsored Reseach and Development Projects For Computer Cooling. Fifteenth IEEE SEMI-THERMTM Symposium,1999
5 Robert E.Simons. TheEvolution of IBM High Performance Cooling Technology. IEEE PARTA,VOL.18,NO.4,DECEMBER 1995
6 H.Yamamoto etc. Cooling System for the FACOM M-780. FUJITSU Sci.Tech.J.,23,4, DECEMBER 1987
7 Richard D.Danielson etc. Cooling a Superfast Computer.ELECTRONIC PACKAGING & PRODUCTION 44～45,JULY 1988
8 Douglas M.CARLSON etc.The ETA10 Liquid-Nitrogen-cooled Supercomputer System. IEEE TRANSACTIONS ON ELECTRONDEVICES.VOL.36,NO.8,AUGUST 1989
9 L.C.ALVES. RAS design for the IBM eserver Z900. IBM J.RES.& DEV.VOL.46 NO.4/5 JULY/SEPTEMBER 2002
10 Masataka Mochizuki. Cactus-type heat pipe for Cooling CPU. Heat Pioe technology Dergamon 1997
11 张祉祐. 制冷空调设备使用维修手册. 北京：机械工业出版社，1998，01
12 A.Klaiber. The Technology Behind Crusoe Processors. White paper, 2000，01 |
地址：哈尔滨市南岗区南通大街256号
邮编：150001