曙光天阔I220P PC 服务器技术白皮书（内部版）

曙光天潮 TC4000A 服务器技术白皮书
曙光天潮 TC4000A 技术白皮书
曙光 TC4000A 高性能计算机是国家 863 计划高性能计算机及其核心软件重大专项支
持的研究项目,是面向网格的高性能计算机,可以为网格提供计算服务,同时也是面向
信息服务的超级服务器,可以提供多目标的系统服务。曙光 TC4000A 采用网格技术,体
系结构以构件性(Component)、标准性(Standard)、协作性(Coordinate)为基准,采用服
务化(Service)、安全化(Security)、专业化(Specialization)、智能化(Intellengce)
的 3SI 技术路线。
曙光 TC4000A 的第一套超大型系统于 04 年 9 月份落户“上海超级计算中心”,该系
统的节点机采用四路 AMD Opteron 848(主频 2.2GHz)处理器,每个节点 8GB 内存,整个
系统由 640 个节点组成庞大机群,共有 2560 颗 CPU 与 5T 海量内存,其理论浮点峰值为
每秒 11.264 万亿次。在 2004 年 6 月 22 日刚刚公布的全球高性能计算机 TOP500 排行榜
中,该套系统以每秒 11 万亿次的峰值速度和 80610 亿次 Linpack 计算值位列全球第十,
效率达到 71.56%,这是中国超级计算机得到国际同行认可的最好成绩。随着曙光 TC4000A
的推出,中国已经成为继美、日之后第三个跨越了 10 万亿次计算机研发应用的国家。
技术路线:
曙光 TC4000A 高性能计算机的技术路线包括:数据密集技术(Data-intensive)、支
持网格(Grid-enabling) 、 多 目 标 系 统 (Multiple-system) 、应用专用技术
(Application-specific)四个方面。
(1)面向数据密集型国家战略应用目标
曙光 TC4000A 的产品目标定为市场空缺较大的“数据密集型”应用,如 Internet 内容
处理为代表的信息安全,数据密集以 Internet 数据获取与分析为特点;雷达图像处理为
代表的国防安全,数据密集以 I/O 吞吐量密集、数据计算密集为特点;生物信息处理、
石油物探为代表的资源安全,数据密集以 TB 量级大规模数据存储、处理、传输为特点。
通过与中科院计算所合作,集中研究它们的共性“数据密集”技术,有存储数据密集,I/O
吞吐量密集,Internet 数据接入密集,系统间数据互传密集,数据处理密集等等。我们
力求在机群系统通用体系结构下,增加解决“数据密集”的技术,使整个系统能有效地解决
应用问题。为国家安全目标和重大科研目标,提供高性能计算平台。
(2)面向网格技术和产业共性技术
面向支持网格(Grid-enabling)的技术,使曙光 TC4000A 能有效地支持应用网格。
在应用网格上主要面向五个方面:基于服务(Service-based)的机群操作系统,网格通信
1

曙光天潮 TC4000A 服务器技术白皮书
协议,网格文件系统,用于网格应用资源路由的智能网卡,支持网格的高性能计算机体
系结构。分别体现网格在管理、广域通信、广域文件、资源发现、体系结构上的要求。
曙光 TC4000A 的新技术特色将集中在十个产业共性技术上,他们分别是 Grid-
enabling 技术,高性能通信,高性能 I/O 和存储,可扩展自治管理和可信性评价技术,
机群专用处理技术,交换机和特色网卡,数字视频服务技术,机群商业计算中间件,面
向客户的性能测试技术,高性能计算应用和算法。
(3)面向行业应用,满足应用专用技术
曙光 TC4000A 的市场方向是满足多应用目标,强调应用专用技术,采用“通用系统+
专用应用”的思想。我们曙光的大规模计算机系统要能与国际品牌相抗衡,建立市场新格
局;曙光天潮服务器已经陆续进入科研、石油、制造、军队、企业 MIS 各大行业,为大
型企业服务。截至 2004 年 6 月份,曙光 TC4000A 已成功运行了天气预报、石油地震资料
处理、核能开发利用、计算流体力学、基因与蛋白分析和材料科学等领域的 30 多项应用,
表现出强大的科学计算、事务处理和信息服务能力。
系统组成:
服务器节点
曙光 TC4000A 可以根据客户的需求,配置曙光提供的多种型号节点服务器,分别有
2U/ 3U / 12U 之大小不同的机架式服务器。由 2004 年初开始,曙光节点服务器均采用
64 位处理器,使系统速度与业界发展水平保持同步。
曙光 TC4000A 节点服务器的主选机型是“曙光天阔 R4280A/R4380A/S4800A”,这是
我们最新推出的 64 位四路机架式服务器(其中 S4800A 为 64 位四路塔式/机架式服务器),
采用了 AMD Opteron 800 系列处理器,CPU 集成双通道内存控制器,支持先进的
Chipkill内存纠错技术和 Hyper Transport(超传输)技术。R4280A/R4380A/S4800A
具有良好的平滑升级能力,可扩展性和高可用性,符合曙光之特色的 SUMA 技术标准,完
全满足 ISP、电信、金融等行业对稳定性、可靠性、处理性能的苛刻要求。
曙光 TC4000A 的节点服务器均内置曙光专用系统监控卡,实时地采集节点服务器运
行数据并报告给系统管理控制台,并且通过主机柜的 LCD 监控屏显现给系统管理人员,
由此构成曙光 TC4000A 的全方位管理监控系统。
注:有关曙光天阔 R4280A/R4380A/S4800A 的详细配置和技术参数,请阅其产品白皮书和相关技术资料。
服务器机柜
与以往天潮机群服务器机柜相比,曙光 TC4000A 在生产上具有较多的改进,无论是
从型材还是物理结构方面,都采用了更为新颖的设计。依据实用性第一的原则,为了使
系统管理员或维修人员可以方便的开关机柜、操作系统、排除故障,曙光 TC4000A 机柜
的四面都使用锁结构,整个系统主机前门、后门、两边侧门均可从外部打开,方便拆卸。
机柜内部精心设计了网络、电源的布线和插孔,方便各种应用节点的就近插接,构造了
整洁的机柜内部环境,极大的方便了用户设备调试和故障排查。
曙光 TC4000A 机柜内部高度有 41U 的空间容量,其中主机柜已被电源控制系统占用
了 4U;配置 4U 电源的主机柜可联带 8 台扩展柜;用电容量的最大设计为 3×20A。
在曙光 TC4000A 的主机柜前门上方,安置了 15”真彩 LCD 可触摸监控屏,整个系统的
软硬件运行状态可以实时动态显示、一目了然,用户可以直接通过触摸监控屏而进行人
机交互,简单方便地对系统进行管理和监控。另外,主机柜内配置有 4U 监控管理节点,
2

曙光天潮 TC4000A 服务器技术白皮书
全面采集和收集整个系统的运行环境、各节点的软硬件运行状态,可对节点发送控制指
令,并负责整体机柜系统的 I/O。
存储系统
针对数据密集技术(Data-intensive)的应用,曙光 TC4000A 提供了丰富的磁盘存储
系统——
DS-2120 系列产品。该系列产品可根据用户需要不同,而灵活提供 ATA 盘阵、SCSI
盘阵和光纤盘阵三种存储介质,以及 1.75T—3T—18T 不同的存储容量;每个单体盘阵具
有 12 盘位,仅有 2U 的高度,极大的节约了机柜空间;盘阵前面板设有 LCD 管理窗口,
管理方式支持 RS232、LCD 管理面板、JACA GUI 管理,直至 10/100MB/s 以太网接口远程
Telnet/Web Browser 的管理,管理员甚至无须安装软件,即可通过 IE 浏览器进行监控
管理。
曙光 DS-2120 盘阵系列产品的控制器采用 IBM PowerPC 750Cxe CPU,其先进的 Supper
Scalars 架构(在一个时钟内执行多个指令)有效地提高 MIPS 速度,在实际系统应用中
能真正达到速度提升,同时在其 CPU 内部集成了 256KB 内部二级缓存,大大缩短了 CPU
与 Cache 的交互时间;控制器还采用了双 ASIC、双 PCI 总线设计,突破了单 PCI 总线的
瓶颈,系统总线带宽达到了 1GB/s,同时双 ASIC 芯片的设计又使得控制器的可靠性、处
理性能得到大幅提升;盘阵的高速缓存具有 ECC 功能,最大可扩充至 1GB,总线带宽达
到 1066MB/s,还支持锂电池保护功能;另外,盘阵的独立硬件 XOR 芯片设计,不再占用
CPU 资源,大大提升了运行性能和可靠性。
曙光 DS-2120 盘阵系列产品兼容多种操作系统,包括 Windows、 AIX、 Sun Solaris、
HP-UX、Novell NetWare 和 Linux、SCO Open Server 等各种主流网络系统,支持完全在
线的容量扩展和 RAID 级别变更。
曙光资深工程师可以为用户提供性价比高、系统稳定的存储解决方案。
注:有关曙光 DS-2120SA / FA/ F 磁盘阵列的详细配置和技术参数,请阅其产品白皮书和相关技术资料。
系统配备
曙光 TC4000A 配备了全方位的硬件监控系统。由曙光公司自主研发的、符合业界标
准的“三合一”路由器,构成 TC4000A 系统的硬件管理专用网络,可以实时地传递系统
硬件的状态信息,包括机柜交流电源的电压、电流、工作环境、稳定状态等信息。节点
服务器的数据采集卡采用独立的硬件 XOR 芯片设计,不占用服务器 CPU 资源,同时独立
于用户操作系统之外,可以采集节点服务器的硬件信息和工作状态。曙光 TC4000A 的硬
件监控系统满足跨平台、跨操作系统的应用需求,在业界范围内具有世界水平。
曙光 TC4000A 配备有新颖的视频切换系统。该系统实现了视频、管理、监控三网合
一技术,通过曙光自制的“三网合一”监控路由器、KVM 终端盒、数据采集卡,最终在
一个终端对整体机群进行视频、监控及电源管理。视频切换系统终端是仅有 1U 高度、可
折叠式控制台,配置真彩液晶显示器,可以自由伸展折叠,轻巧美观实用,极为方便地
满足用户管理与监控需要。用户也可自身根据需要,采取主机柜外部连接普通 I/O 设备,
包括通用显示器、鼠标、键盘等,达到对系统的监控、管理目的。
曙光 TC4000A 配备的网络系统具有特色,由曙光高级技师设计生产,使用专用线槽
以优化机柜内部网络布局,保证布线整洁、标识清楚,方便用户日常管理和进行网络维
护,多次得到大用户的认可与称赞。曙光 TC4000A 的网络系统充分考虑了扩展性,无论
3

曙光天潮 TC4000A 服务器技术白皮书
是 1000M 以太网络还是 Myrinet 网络(以及其他常用网络),均可以在满配置节点运行情
况下,保障机群系统正常通畅地交换数据、运行计算。
曙光 TC4000A 配备专用电源系统,可分别选择使用 2相220V或3相380V(带保护
地)的交流电源;在机柜内部提供电源优化分配系统,保证各个节点就近供电,便于管
理维护;另外还提供+5V、+12V 等直流电压,用于系统控制和管理。
机柜内部支持各种 19”工业标准的通讯节点,用户可根据需要选配千兆交换机、
Myrinet 交换机、百兆交换机、HUB、路由器等通讯节点。
户可根据需要选配符合 19”工业标准的安全服务器节点,构造硬件级的系统安全。
曙光天潮超级服务器 TC4000A 可以支持各种符合 19”工业标准的视频切换节点(KVM 、
SKVM)。
技术特色:
服务器聚集技术
曙光天潮超级服务器 TC4000A 采用了聚集技术,可以支持高性能科学群集、负载均
衡群集和高可用性群集,并且通过软硬件结合实现跨平台管理和监控,不仅是国内首创,
在世界上也处于技术发展的前沿。基于使用曙光自主研发的主板 S4880 节点的 64 位机群
系统由于采用了类似于 ALPHA 构架的 64 位 OPTERON 处理器和 4 路服务器体系结构,曙光
4000A 对于应用的支持是目前机群系统中最好的,特别对于没有经过优化的并行应用和
串行应用,曙光 TC4000A 的效率会远远超过其他机群系统。
系统监控、管理技术
曙光天潮超级服务器 TC4000A 利用简单直观的管理工具来管理整个集群,极大地提
高了工作效率。曙光天潮超级服务器 TC4000A 的监控工具可以监控到整个集群的软硬件
运行状态,如:整个系统工作环境,各节点 CPU 和内存的使用率,各节点主板温度、CPU
温度,机箱风扇转速、CPU 风扇转速,主板电压、CPU 电压等等,使系统管理员对各节点
的情况一目了然。监控工具同时提供了报警功能,当出现故障点时(如温度异常、风扇
停止转动等),可以及时提醒系统管理员进行处理,避免或减少系统故障和由其引起的用
户损失。系统规模越大,系统管理和监控的效率越高。
单一系统映象(Single System Image)
系统中所有分布的资源被组织成一个统一的整体由用户管理和使用,用户感受不到
单个结点计算机的存在。从用户的角度看,一个机群系统就如同一个具有巨大配置的单
一计算机系统。SSI 是曙光天潮超级服务器 TC4000A 系统中的关键技术之一。
4

高可用技术(High Availability)
曙光天潮 TC4000A 服务器技术白皮书
曙光天潮超级服务器 TC4000A 服务器对用户应用(如 FTP、Web 等)实现了“单一 IP、
负载平衡、失效转移”工作模式,突破了多项集群服务器中的关键技术,如单一系统映
象技术、多机 HA 技术、负载平衡技术等。
曙光天潮超级服务器 TC4000A 随时监测集群内各个节点的运行状态,一旦发现某个
或某些节点故障,则不再将客户请求分发给这个(些)节点,客户的请求将通过其它工
作正常的节点得到响应,整个过程无须人工的参与。同时,曙光天潮超级服务器 TC4000A
构造了一个完全没有单一故障点的集群方案,使整个系统的可用性得到了最大限度的提
高。
大规模并行计算机和超级信息服务器应用的统一
曙光天潮超级服务器 TC4000A 集成 PVM,MPI 环境,可为企业提供高效,省时的高强
度计算。它的超级计算能力允许用户利用普通的服务器在不修改应用程序的情况下达到
超级计算机的水平。尤其适合用户使用特点的是,曙光天潮超级服务器 TC4000A 可以根
据用户计算规模的需要,动态分配部分节点用于并行计算,或对整个系统动态分配空闲
时间(如夜间)作为并行计算的平台,满足带有科研性质或中小规模的并行运算需要。
一个单位、或一个部门,可以将曙光天潮超级服务器 TC4000A 当作信息服务器平台,满
足各种 Internet/Intranet 的需求,也可根据应用需要,全部或部分划分成并行计算平
台,实现一机多用的效果。
系统支持动态扩展
曙光天潮超级服务器 TC4000A 的集群式架构决定了其具有优异的动态扩展性。根据
用户应用需要,可以选择扩展能力很强的通用节点。尤其需要指出的是,曙光天潮超级
服务器 TC4000A 的动态伸缩性非常强。用户如果需要减少节点数目,可以随时指定节点
与整个系统隔离;用户如果需要扩展节点,只需稍微变更配置文件即可完成;对于 LINUX
通用节点,用户甚至可以使用曙光天潮超级服务器 TC4000A 提供的节点自动安装功能,
曙光天潮超级服务器 TC4000A 会为用户自动安装(包括操作系统)和配置应用节点。
系统的好用性
曙光天潮超级服务器 TC4000A 在功能上追求实用性,尽量保证用户操作的简单性,
用户人机交互接口灵活多样,全方位满足用户使用需求。曙光天潮超级服务器 TC4000A
不仅追求功能上的尽善尽美,而且定位于每一项设计都要让用户“看得到、摸得着”,真
正服务于用户,受益于用户。多层次 LCD 显示和查询;全方位的管理和监控;详尽的使
用文档和帮助系统;操作界面简洁、功能清楚;LINUX 操作系统上创造 Windows 风格等
等方便于用户的设计都是曙光天潮超级服务器 TC4000A 的杰作。
5

软件系统:
曙光天潮 TC4000A 服务器技术白皮书
在系统的可扩展性、可管理性、可用性等方面有了较大提高,既支持信息服务,同
时又支持大规模科学计算。系统采用 cluster 体系结构,可运行 32 位 LINUX/Windows
操作系统及多种 64 位操作系统,配合专用的系统管理软件、硬件监控系统和网络部署软
件,具有很高的可用性。
利用简单直观的管理工具来管理整个集群,极大地提高了工作效率。曙光天潮超级
服务器 TC4000A 的监控工具:整个系统工作环境,
曙光机群监控系统 DCMM
Dawning Cluster Monitor Management System
曙光 TC4000A 的监控系统 DCMM 可以监控到整个集群服务器的软硬件运行环境与状
态,如各节点网络流量、CPU 和内存的使用率,各节点的主板温度与 CPU 温度,机箱风
扇转速与 CPU 风扇转速,主板电压与 CPU 电压等等,使系统管理员对全体节点的情况一
目了然。监控工具同时提供了报警功能,当出现故障点时(如温度异常、风扇停止转动
等),可以及时提醒系统管理员进行处理,避免或减少系统故障和由其引起的用户损失。
系统规模越大,系统管理和监控的效率越高。
监控系统 DCMM 使用专用的协议和 Socket 接口,在 Ethernet 上进行数据传递,监控
数据对 OS 透明。监控方式灵活便利,通过节点服务器的前面板 LCD,管理员可以查看某
个节点的环境与状态;通过主机柜的或控制台 LCD,DCMM 以柱状图形输出系统硬件信息
和软硬件实时运行状态。
监控系统 DCMM 具有报警预值设置功能,在系统异常、超过预值时,通过声响和画面
向系统管理员报警,避免或减少系统故障的损失。监控系统 DCMM 还支持远程访问,管理
员可以通过 Modem 远程拨号对机群系统进行监控和管理。
曙光机群管理系统 DCMS
Dawning Cluster Management System
曙光 TC4000A 的管理系统 DCMS 可以令管理员更方便、更有效地管理整个机群系统,
是为保证机群运行的可靠、高效和安全而设计的一套多功能、易使用、可扩展的使用化
机群管理工具。DCMS 采用跨平台通讯协议,主控制界面可运行于 Windows、Linux 等系
统下,无论是 32 位的还是 64 位的操作系统均等效。
管理系统 DCMS 提供了丰富的管理工具集,可对集群系统、网络等方面进行统一管理
和配置,具有客户机/服务器分布式体系结构,可对整体资源并行操作,实现对集群系统的
有效管理,同时完美地实现了对集群系统的远程跨平台管理、 集群监控和历史信息记录。
曙光机群管理终端 MultiTerm
MultiTerm 是一款功能强大的机群管理软件,使用标准的网络和认证协议(如
telnet,ssh,rsh 等),不需要系统运行独立的代理进程,不增加系统的任何负担,同
时增加了系统的安全和稳定性。MultiTerm 的安装应用非常简便,因为被管理节点不需
要运行任何进程,所以无需安装该软件,只要在系统控制台上安装 MultiTerm,就可以
进行机群管理工作。
MultiTerm 可以使机群多个节点同时运行一个程序,各个节点上的任务是同时分担
的,它们之间没有前后时序的关系,任务完全并行处理,实现效率最大化。例如,利用
MultiTerm 同时在 100 个结点上运行同一个大型计算,只要这些节点的配置相同,那么
6

曙光天潮 TC4000A 服务器技术白皮书
这 100 个节点的运行过程基本上是同时开始、同时结束的。
MultiTerm 较为突出的特色是简单易学、便于操作,管理员无需学习新的技能,只
要具有基本的知识,即可以充分的利用 MultiTerm 的特性完成机群管理的任务。
MultiTerm 的界面设计简洁直观,同时给予管理员充分的信息表述,使其可以随时得知
工作的运行情况。管理员还可以利用快捷键方便地切换操作和监控对象。
MultiTerm 是和曙光机群管理系统 DCMS 结合使用的,它们互为补充,使得机群的管
理工作更简单,更快捷。
曙光机群部署系统 DCIS
Dawning Cluster Install System
DCIS 是一套用来在机群系统中大规模并行安装节点操作系统,管理和恢复节点备份
的应用软件,使机群系统的软件安装可以同时进行,大大地简化了管理员对机群系统的
基本操作。
DCIS 为图形化界面,操作简单明了,安装过程中不需要用户手动干预;它支持被安
装节点从软盘、光盘、网络等多种启动介质启动;系统安装完毕之后,可根据用户的预
先设定而自动分配 IP,自行完成网络配置,还能够自动适应海量存储硬盘。
曙光负载平衡系统 Power Router
Power Router 实现了机群单一系统映象(Single System Image)技术,它为整体
机群系统设置一个虚拟的 IP,屏蔽了其后庞大的网络机群,还起到监控系统和负载平衡
的作用。PowerRouter 将系统中所有的资源组织成一个统一的整体,使用户的访问只针
对唯一入口,人们感受不到各独立节点服务器的存在,机群内部各节点的任务都来源于
PowerRouter 的分派。PowerRouter 能够明了系统内部各节点的状态,并实现适当的负
载平衡机制,使机群系统运行能够具有很高的性能。
曙光机群作业调度系统(PWS)
PWS(Partitioned Workload System)是一个批作业和计算机系统资源管理包。它
按照兼容 POSIX 1003.2d 批作业环境标准设计的。因此,它能够接受批作业,并且保留
和保护这个作业直到这个作业进入运行状态,最后返回作业的输出结果给提交者。(批作
业是由一个 shell 脚本和控制信息组成)
PWS 来源于由 NASA 开发的 OpenPBS,在 OpenPBS 的基础上对可扩展性和可管理性进
行了扩展。在系统规模上 PWS 从 OpenPBS 三百作业的节点规模扩展到六百个节点以上。
PWS 独特的分区管理技术增加了系统的可管理性,通过各个分区独立调度增加了调度的
灵活性、调度需求的多样性和加强的权限控制,并且通过租借节点的特性,起到分区间
负载平衡的作用。
PWS 除了提供基本的作业管理系统的功能如作业管理、作业调度、资源分配,还提
供了对节点资源的监控,调度器状态的查询等功能。
PWS 可以安装和配置并支持作业运行在一个单个计算机系统上,也可以安装在由多
个计算机系统上。由于 PWS 的灵活性和 PWS 的分区管理功能,这些计算机系统可以用多
种方式组合。
PHOENIX
机群操作系统内核 phoenix 是设计和实现大规模机群操作系统的核心模块和关键功
7

曙光天潮 TC4000A 服务器技术白皮书
能模块,并可在此基础上构造机群操作系统的各个子系统以及机群意识的应用。Phoenix
系统将高可用和系统的可扩展性作为优先需要解决的目标,通过引入物理分区的概念,
在软件的总体结构上解决软件的可扩展性问题,提供物理分区层次的服务接口,简化上
层系统的开发,控制机群软件的开发复杂程度,提高系统整体的稳定性和健壮性。Phoenix
系统通过引入实时事件管理,以事件驱动的方式为机群提供灵活而高效的中枢和联系纽
带,以避免分布式回调带来的紧耦合限制。Phoenix 系统强调在物理分区层次为上层子
系统提供统一的信息访问接口和服务接口并强调系统的包容性。 Phoenix 系统的主要功
能包括:机群节点死活与网络连通度探测、组服务、实时事件管理、系统资源状况侦测、
系统应用状况侦测、数据公告服务、HA 触发器服务、配置服务。
GodEye-HIDS 曙光主机入侵检测系统
曙光GodEye-HIDS主机入侵检测系统是基于主机的分布式入侵检测系统。能够防范对
系统文件的恶意篡改和误操作,实时监视可疑连接、定期检查系统日志,扫描用户行为,
发现非法访问的闯入等,并且提供对典型应用的保护,如Web服务器、SMTP、POP3服务器
等等,GodEye-HIDS能够发现多达1200种网络攻击、误操作以及可疑事件,并实现了和其
他网络安全设备的联动,有效地实现对服务器系统的信息安全防护。另一方面,系统提
供了强大的统计分析工具,以利于管理员发现更为隐蔽的攻击行为。
曙光 GodEye-HIDS 是首个通过公安部增强级产品认证的主机型 IDS 产品,不但从整
体上提升入侵检测系统的性能水准,而且能够很大程度上满足用户实际需求,提高信息
网络系统的可管理性、好用性、高可用性,符合曙光一贯倡导的“SUMA”标准。
DHA 曙光高可用软件 (Dawning High Available Software)
曙光高可用软件(DHA)是一种纯软件的机群高可用解决方案,以曙光服务器为硬件
基础,使得关键的业务处理能高效连续的进行,当灾难发生时实现服务的无缝切换
曙光双机高可用方案可以应用在几乎所有曙光服务器上,支持目前主流的 Linux 服
务器操作系统,支持主流的数据库和应用软件,操作方便,性能可靠。同时安装在两台
主机上的高可用软件,监控系统的状态,协调两台主机的工作,保证系统的可用性。它
能侦测到硬件、系统应用软件的故障,及时进行恢复,防止因不可预料的意外因素或不
可避免的计划性停机造成的系统停止运行,以较低的成本为用户提供高可用的信息处理
平台。
安装环境要求:
说明:
1、机柜尺寸:600mm*1100mm*2000mm(宽*深*高);机柜间安装误差间距为 5mm;
2、机柜总重量:500kg;机柜底盘面积 600*1000mm(额外 100mm 为装饰面),4 个支撑角;
3、机柜为前(装饰面)进风、后出风;机柜开放式设计,内部垂直方向无风压差要求;
4、每组 1 号机柜附近提供一组三相 130A,3 相 5 线端子(含独立空气开关);
5、空调送风均匀分布在机柜之间的空隙(进风区与热风区)、回风道设在热风区,除上
图标明热风区外,其余部分为进风区;
6、地板下面沿机柜后沿横向设 2 组 200mm(宽)*60mm(高)走线槽(如上面图示),每
8

曙光天潮 TC4000A 服务器技术白皮书
组 5 号机柜间设 200mm(宽)*60mm(高)纵向连通走线槽(如上面图示);
7、接地电阻

曙光天潮 TC4000A 服务器技术白皮书
附注 1 ——“全球高性能计算机 TOP500 排行榜”是由美国能源部劳伦斯伯克利实验室、
田纳西大学和德国曼海姆大学联合发布的全球 500 强超级计算机排名,每年发布两次。
从 1993 年 6 月开始,迄今已经发布了 23 次。曙光 TC4000A 在第 23 次 TOP500 中排名
第 10 位,是我国第一台进入全球前 10 名的超级计算机。此前只有美国和日本能够研
制和生产全球前 10 台最快超级计算机,这意味着我国与美国、日本等发达国家在高性
能计算机研制水平方面的差距正逐步缩小,也是我国信息化建设乃至我国综合国力迅
速发展的重要标志,受到国内外广泛关注。
附注 2 —— TOP500 的排名依据于 Linpack 实测峰值。Linpack 基准测试是以求解稠密
线性代数方程组的能力来衡量计算机性能的,可以分为三类:第一类的 Linpack n=100,
求解规模为 100 阶的线性代数方程组,源代码(包括注释)不允许有任何改变,只可
以做编译优化。第二类的 Linpack n=1000,求解规模为 1000 阶的线性代数方程组,
它的另一个称呼为 TPP(Toward Peak Performance)。顾名思义,在采用高斯消元法
等基本算法、以及求解精度不改变的前提下,允许对 LU 分解和求解过程做任何优化,
已达到机器的最高性能。第三类是 HPL(High Performance Linpack),最为宽松,除
了允许对 LU 分解和求解过程做任何优化外,还可以改变求解方程组的阶数。Top500
的排名即以此测试结果为依据排名。
附注 3 —— 曙光 TC4000A 的节点服务器 R4280A/R4380A 采用 AMD Opteron 800 系列
处理器,CPU 使用 64 位铜基互连技术,引入 Hyper Transport(超传输)技术和
Chipkill内存纠错等多种创新技术,每颗 CPU 内嵌 128K(64K 指令+64K 数据)一
级缓存,并配有 1MB 二级缓存,提供了超强的高性能和高可靠性;最大可支持 20GB DDR
ECC Registered 内存,其标准内存纠错与回写技术保证了数据在系统各部分间准确无
误的传递处理;AMD Opteron 800 支持两个 64bit 133MHz PCI-X 和两个 64bit 66MHz
PCI-X 插槽,大大提升了系统的 I/O 性能;可以运行 Microsoft Windows 2000 Server,
Microsoft Windows 2003 Server,SCO UnixWare 7.1.1, Red hat 8.0 等 32 位操作
系统和 Microsoft Windows 2003 for AMD64,Suse Enterprise Server 8.0,Turbo Linux
for AMD64 等 64 位操作系统,能适应多种重要任务环境。
附注 4 —— AMD Opteron 的 CPU 采用超传输和内置存储控制器技术,提高了访存带
宽,减少了访存延迟,同时缓解了访存竞争。4-way Opteron 访存机制如图 1 所示,
采用 NUMA 架构,CPU 在访问本地内存时较快,访问远端内存时较慢。通过操作系统 NUMA
内核的调度,使 CPU 尽可能访问本地内存。在内存分配方面,当第 i 号 CPU 上的进程
在申请内存时,系统首先在第 i 号内存上分配空间,若剩余空间不足,则依次在第 i+1、
i+2……号内存上申请空间。
10

曙光天潮 TC4000A 服务器技术白皮书
M3 M2
P 3 P 2
M0
P 0 P 1
高 速 I/O
接 口
低 速 I / O
接 口
M1
图 1. 四路 Opteron 内存访问机制
附注 5 —— 曙光 TC4000 系列产品是一个大家族,可以划分三大类,分别是“曙光
TC4000L”、“曙光 TC4000A”和“曙光 TC4000H”。曙光 TC4000L(Liunx)代表 IA 架构,
曙光 TC4000A(Advanced)代表 64 位和高性能,曙光 TC4000H(High-density)代表密集
型刀片式机群专用应用;它们的体系结构,许多关键技术,机群操作系统等都是相同
的,但它们在廉价、高性能、高密集度等方面各具特色,可满足多应用目标下的复杂
需求。 曙光公司在 2003 年初完成了曙光 4000,先后落户中石油、信息产业部、河南
电子政务等地,获中国十大科技进展奖;在 2004 年 6 月完成曙光 4000A,获得世界
TOP500 排名第 10 位;我们预计在 2005 年初将完成曙光 4000H。
11