集群渲染系统解决方案

       强氧4K-ES系列存储产品采用芯片组，它目前是专业存储 领域最快的芯片组，具有1个PCI-eX8的通道。PCI-e用来和磁盘相连，具有5Gb*8/8=2500MB的理论带宽，除去其它的开销，经 实际测试单主机可以提供高达1000MB+/s的速度。 

       2.最佳可扩容性，以最优成本实现海量存储 

       强氧4K-ES系列存储产品采用业界最新技术，硬盘插槽既支持高性能的 SAS硬盘，并兼容第3代SATA硬盘。同时还支持通过强氧OPEN-EX系列扩展柜产品进行扩容，最多支持同时连接7台扩展柜，最大可提供168T存储空间。

       3.高可靠性高安全性 

       目前，我们国内的信息化步伐越来越大，对于很多单位来说，系统数据  的安全稳定问题已经逐渐成为一个迫切需要解决的问题。系统数据安全问题  是一个复杂的问题，强氧4K-ES系列存储产品可通过以下办法提高数据的安全。 

       A.RAID6安全保护 

       一般来说，很多磁盘系统都提供RAID5级别的数据保护，磁盘系统可以允许一个Raid组有一块硬盘出现故障还能正常工作并且不丢失数据，而RAID6可以允许Raid组有两块硬盘同时发生故障而不丢失数据并且系统正常工作。 

       B.Roaming 

       Roaming就是漂移的意思，我们在4K-ES系列存储产品中设计此功能主要目的是，防止磁盘阵列系统发生严重故障后，保护磁盘系统数据的一个重要手段，一旦磁盘阵列发生故障，用户可以把硬盘拔出来插入到我们任何一款磁盘阵列中，马上就可以读出硬盘上的数据。

       C.全冗余硬件机制

       最大化保障运行安全性，支持业界最先进的RAID6安全机制（即便两颗硬盘损坏的前提下也可完全恢复数据）。系统均标准配制了冗余电源，以及热插拔散热系统。完全满足企业级7＊24严格应用要求。  

       D.兼容性好 

       本产品另外一个最突出的特点是兼容性好，特别是针对Mac系统，众所周知，Mac系统的封闭性很强，对外部的存储系统兼容性很差，在HBA 卡的兼容性上基本上只兼容ATTO的卡，并且接上外部的存储系统后整体的性能不是太好，所以，我们研发出兼容性非常好而且接上外部存储后，性能也特别好的PCI-e主机接口的存储系统。因为PCI-e协议是任何系统都支持而且兼容性非常好的协议，我们采用一个PCI-e信号放大卡插入到服务器中，把PCI-e信号延伸出来，接在存储系统的PCI-e接口上，这样解决了一些封闭性系统的兼容问题。 

注：通道卡为标准配置，无须额外费用。 

       2.3 KVM 系统

       在本方案中采用KVM切换器+抽拉式LCD控制端的控制方案。 

       KVM 切换器具有以下功能： 

       * 计算机直连连机数16台，串联最多可达512台。 

       * 可支持多媒体USB键盘(PC, Mac及Sun)。 

       * 可同时让所有串联的KVM切换器，通过串接线材，进行韧体更新。 

       * 可借由鼠标快速、方便地使用OSD以操作选单功能。 

       * 可使用OSD选择操作系统与键盘语言。 

       * 安全机制-管理者/使用者密码授权功能，可强化安全保护 (PSP)。 

       * 可通过热键及OSD开启或关闭警示音。 

       * 自动广播模式: 可同步对所有已选择的计算机进行操作，包括软件安装及升级，与系统关闭⋯等。 

       * 内建ATEN USB ASIC技术芯片。 

       * 可支持操作系统:WIN98、WIN ME、WIN 2K、WIN 2003、WIN XP、LINUX。 Mac OS 8.6/9/10及SUN Solaris 8/9。 

       产品链接示意图：

       抽拉式 LCD 控制端具有以下功能：

       * 整合17"LCD显示器与KVM控制端于单一抽拉式机体。   

       * LCD模块可展开至115度，以提供舒适的检视角度。   

       * 抽拉式机身小于 1U 的设计 – 上盖与底部设计仅占用少于 1U 机架空间。   

       * 内置电源。  

       * 抽拉式的调整功能，适用于不同的机架深度   

       * 高视分辨率: 1280 x 1024 @75Hz; 支援DDC, DDC2, DDC2B。   

       * DDC 模拟功能 - 每台服务器的视讯设定会自动调整至萤幕显示的最佳状态。   

       * 键盘语言支持:英文(US); 英文(UK); 德文; 德文(瑞士);法文;西班牙文;繁体中文;日文; 韩文; 瑞典文; •意大利文;俄罗斯文; 匈牙利文。   

       * 一人上架创新设计-单人简易安装套件(选购)   

       * 支持跨平台- Windows 2000/XP/Vista、Linux及FreeBSD。 

       产品连接示意图：

       本方案中的计算服务器具有以下主要特点：

       • 全球工业化标准的十二核心两路64位服务器； 

       • 超强性能、超强稳定、超强安全、配置高效、可扩展性超强。 

       计算服务器是性能超群，具有真正意义的64位计算能力、丰富可管理性和稳定性的企业级产品。计算服务器在全新的 Intel 微体系架构 Nehalem 的支持下，彻底消除了系统瓶颈，每颗 CPU 内嵌12MB 三级高速缓存,采用三通道内存控制器技术，比传统北桥控制器有明显得性能提升,可应用于任何对处理速度、可靠性要求非常高的行业。 

       处理系统 

       1．配备 Intel Sandy Bridge 

       许多 4 核处理器均由两个独立的芯片构成，这就意味着某些缓存数据要从一个内核到另一个内核，必须经由处理器之外传输。这种访问信息的方式效率很低。Intel Sandy Bridge 6核处理器采用单芯片 64 位架构，每个内核均可随时享用 15MB 的完全共享式三级缓存。这样，你就可以迅速访问缓存数据，减少处理器之间的流量，从而提高应用软件的性能。与其他技术改进相结合，新款 Xserve 的速度可达上一代的两倍。 

       2．集成内存控制器 

       系统内存往往通过一个独立的 I/O 控制器与处理器连接，但 Intel Sandy Bridge 处理器却配备了一个可将内存直接与处理器连接的集成内存控制器，将内存延时缩短了 40% 之多。这一集成内存控制器具有三条 1600MHz DDR3 ECC SDRAM 快速通道。如果你为新款 Xserve 配置 8 个内核，你的内存资源还可增至 8 条通道和 16 个 DIMM 插槽。与上一代 Xserve 相比，其内存带宽可提高 2.4 倍。 

       3．每瓦性能更强 

       与上一代 Xserve 相比，新款 Xserve 的闲置能耗降低了 19%，而每瓦性能则提升了 89%3。它是如何做到在降低能耗的同时提升性能的呢？首先，Intel Sandy Bridge 处理器采用业界领先的 32 纳米处理技术，既减少了泄露，又增加了交换次数。由于处理器采用集成电源栅极，高级电源管理系统可以对内核、线程、缓存和接口进行动态管理，并在需要时提供出色的能源效率和性能。电源管理方面的改进，加上 Xserve 的智能系统设计，使这款服务器的耗电和冷却成本极大降低。 

       4．Turbo Boost 技术 

       新款 Xserve 采用了一种可根据负载自动调整处理器时钟频率的动态性能技术 - Turbo Boost 技术。如果你所运行的应用程序并不需要所有的内核，Turbo Boost 将关闭闲置内核，同时提高现用内核的运行速度。这就意味着一个 2.93GHz 的系统在动态负载下可实现 3.33GHz 的性能。 

       5．超线程技术实现虚拟内核 

       全新的Intel Sandy Bridge处理器支持超线程技术 Hyper-Threading) ，可在每个内核上同时运行两个线程。这样，8 核 Xserve 就可以更充分地利用其执行内核。采用超线程技术，无需大幅提高芯片尺寸、晶体管数量或供电要求，即可提升处理器性能，并充分利用其执行资源。

       6．时钟频率更快 

       Sandy Bridge 微架构的每个内核每个时钟周期可持续执行多达 4 个指令。此外，它还可以乱序执行更多的指令。增强型 SSE4 SIMD 引擎可在一个时钟周期内处理 128 位向量计算。当然，这款处理器仍可继续为大量内存负载提供 64 位支持。

       7．QuickPath Interconnect 

       QuickPath Interconnect - 一种新型双向点到点连接 - 使Intel Sandy Bridge 处理器实现了处理器与 Xserve I/O 之间的高速连接。在 8 核 Xserve 中，两个 4 核处理器之间也存在一个 QuickPath Interconnect。这种连接犹如一条直达管线，使处理器之间的数据传输无需经过 I/O HUB，从而消除了系统的一大瓶颈。此外，它还可提供强大的 RAS （可靠性、可用性、可服务性）功能，包括 CRC 数据保护和链接级重试。* 

       操作系统 

       控制端采用 Windows Sever 2008系统，渲染节点端使用 Windows 7 64 bit 操作系统。 

3、集群管理软件

       集群管理软件是整个集群渲染系统中的“灵魂”。只有通过集群管理软件才能对需要渲染的任务进行拆分和分发。

       强氧的集群渲染系统采用 PipelineFX 公司的 Qube 集群管理软件Qube 被世界一流的电影和游戏工作室用于后期制作。例如：

       Digital Domain、South Park Studios、Electronic Arts、

       Rainmaker Animation、Laika Studios、Disney Interactive Studios、Starz Entertainment、Imagi、Reel FX、Attitude 

       Studio 等。并且在《骇客帝国》、《最终幻想》和《怪物史莱克》中加以应用。 

       3.1 软件需求分析

       在传统三维创作过程，动画设计者往往遇上这样尴尬的事情，他们大都使用图形工作站来完成渲染的任务，单机渲染视图和动画时所需时间往往让人难以忍受，30帧动画就可能耗费数小时，显然渲染时间显得十分困窘，使用单机工作站渲染视频动画的方式速度实在很低，往往是以数天计算，这样的渲染占到很大的制作时间比例。在渲染时动画设计者就无法使用计算机进行工作，降低了动画产品的制作效率，甚至影响了作品及时的交付。

       3.2 软件要求目的 

       集群管理软件通过一系列分布式工作命令借助强大的渲染能力来帮助设计师高效率地完成三维作品的最后成形。借助于分布式渲染器，动画设计者不仅可以在设计完成三维模型以后，通过分布式计算，将一个大型的模型快速渲染，时间往往缩短到原来的 1/2，1/3，甚至几十分之一。原来可能要几天运算的数据，可能几个小时就能搞定，大大提高工作效率！  

       网络渲染器系统是有很多渲染节点组成，采用领先的分布式渲染技术，系统将自动确定网络中可用的渲染节点和资源，同时将将任务分解到相应渲染节点，自动负载平衡功能可以优化工作流程中每个渲染节点的使用效率。如果某一个渲染节点与网络断开，内置式故障保护功能管理端将自动将作业重新路由到渲染器中的其他渲染节点，确保渲染工作如期完成！   

       使用分布式渲染器，能够大大节省了渲染时间Ä减轻了渲染劳动强度，同时能够为高效率地完成后续合成工作打下了坚实的基础。这一点在中大型建筑模型应用和计算机动画等多媒体制作领域作用尤为明显！ 

       并行集群渲染系统是由若干台 PC 构成的计算机网络系统，三个臭皮匠，顶个诸葛亮的谚语来形容它非常合适；之所以称其为并行是因为这个系统中所有的计算机同时做同一个工作的不同部分。集群渲染的基本思路，就是把渲染的任务分配给多台 PC 机来完成，简而言之，就是将任务分而治之。

       3.3 软件功能 Qube 集群管理软件之所以被世界许多一流的工作室和后期制作公司所推崇，是因为它具有以下模块和功能：

       A、Qube 特性 

       1.友好的用户图界面 

       通过调查用户的反馈意见，渲染管理软件没有了缓慢的页面、晦涩难懂的术语和运行怪异的多平台用户界面窗口部件，取而代之的是直观单一的完整界面。 

       2.对当前各种渲染软件的完美支持 

       除了能够支持所有标准命令行渲染工具，还带有针对Maya，3ds max，Digital Fusion, Lightwave, Softimage XSI 和afterEffects等软件的自定义编写窗口，通过专门的应用软件脚本或者插件，以实现高效率及可配置性。 

       3.多线程管理 

       渲染管理软件的核心就是一个多线程管理器，它使的软件能同时管理成百上千的工作任务。同时，该多线程管理器还具有高利用率，低维护性及超稳定的特性。该管理器允许随意增加线程，这大大提高了渲染平台的使用性能。

       4.事件驱动队列 

       事件驱动队列特性是这款软件荣获专利的一项功能。该架构可瞬时完成任务提交及任务分发。 

       5.自定义任务类型 

       定制任务类型可应用于多种软件。每种软件都包含：一个 GUI提交单，一个命令行提交工具，以及一个后端执行模块，这些都是为了与上述应用直接接入而特别开发的。 自定义的通道可以通过集群管理软件的一些现成的接口和执行后台来缩短时间。由于这些工作类型大多基于一个开放式的脚本，我们可以更进一步的定制工作类型。   

       6.数字优先特性 

       可以对每个工作任务设定数字优先序列。高优先性任务会在低优先性任务之前进行，从而将生产瓶颈降至最低，并确保系统始终优先处理重要任务。 

       7.基于优先权的抢占权 

       高优先权的工作任务可抢占低优先权工作任务。在某项工作任务结束后或是结束时，可以通过修改定义将工作任务在队列中重新编排，延后分发。该功能确保只有最高优先权工作任务才可以优先处理。同时，该功能也使得软件在优先级发生改变时能做出迅速的调整。 

       8.主机集群优先 

       主机可以分成一个个的有等级的组，任务可以提交到一个具有高优先级的组来优先执行，这样最大限度的提高渲染农场的使用效率，便于在不同部门和项目之间分配。

       9.集中工作特性 

       通过一个独立的自由配置文档，集群软件的管理器可以对每台客户端机器的配置进行管控，使这些客户端可以使用独立的管理命令进行更新。

       这节省了时间和精力，也使客户端配置的更改维护变得更为简易。 

       10.可定制化图形界面 

       GUI 界面具有功能强大，可定制化以及多用途等特性，适合用户和管理人员。用户可以通过GUI界面来监看和控制任务的进展，管理人员可以对渲染农场的主机进行管理。使用简单易懂的图形界面可以提高整个团队的生产效率，因为使用人员不用学习繁琐复杂的命令行工具即可完成系统操作。  

       11.“心跳”监测 

       每台节点会自动Ping服务器，以定期报告它的状态。这样服务器可以确认节点是否“活着”，以便于是否分配任务给它，这样服务器就不必要明确列出来的每台机器的状态。当这台节点不自动 Ping 服务器了，服务器就认为它“死掉”了。这样使得管理人员可以随时掌握最新的渲染农场的状态。 

       12.权限与安全 

       安全特性可选择密码保护，软件可以授予个人用户权限，比如提交任务。这个重要的安全功能，可以防止用户误操作给其他用户造成损失。

       13.良好的的系统兼容性 

       集群管理软件能完美支持Linux、MAC OSX和Windows操作系统，支持混合提交。支持64位系统，可以获得最大的硬件性能。 

       14.iphone/ipad 的图标报告 

       用户可以通过 iphone/ipad 来随时查看管理他们的渲染任务，通过 Roambi Pro这个应用。

       B、Artist View GUI

       Artistview GUI 是一个更贴近艺术家使用习惯的用户界面，可以提供渲染进程的快速反馈。这是一个使用 Python 语言编写的一个插件，使用户对设计的添加和改变更加快速和简便。这就使得对渲染流程的整合上了一个新的台阶，确保 Artistview GUI 对任何现有的或自定义的流程都是完美切合的。

       1. 使用 PyQt 编写 

       ArtistView 是一个重新编写的图形界面，基于更高效的 PyQt 工具包，选用较暗的颜色配比方案，使艺术家更便于得到图形的信息。

       2.唾手可得 

       ArtistView是专为艺术家使用设计的。 对艺术家有用的信息随手可得，而留给Qube管理员的职责任然是以前的GUI或命令行。

       3.灵活性  

       灵活性一直是 ArtistView 的注重的。 每个右键菜单中的项目是一个Python插件。 每一个上下文敏感的标签是一个Python插件。 这些插件被设计成简单并且容易创建。

       4.于 RV 的严密整合  

       可以在Qube内部启动RV,也可以通过RV提交Qube任务重新渲染某些帧。

       5.通过 Qube 检查结果 

       艺术家可以通过AritstView一个简单而有效的预览选项来预览渲染帧。

       6.跨平台

       ArtistView 可以运行在所有的 Qube 支持的操作系统，具有相同的功能和设置。 

       C、MobileView 

       Mobileview 是一个轻量级的 Web 服务器，用于为您的移动设备提供Web访问。Mobileview可以使艺术家远程查看任务的进程。 

       1. 简单易用 

       Mobileview 可以直接打开网页。没有必要的配置。没有第三方软件要求。没有预先安装的Web服务器。 

       2.Python 脚本语言创建 

       mobileview 100%通过 Python 脚本语言创建。普通用户都可以免费下载源代码并随意自定义。 

       3.保密通信 

       Mobileview运行SSL安全机制，它会产生的SSL证书，访问可以通过独立并且加密的用户数据库来控制。 

       4.可控性 

       Mobileview 将允许用户有限的控制自己的渲染任务。它提供了杀死渲染任务和重试失败帧的功能。用户还可以通过Python控件选择任何其他功能。

       5.跨平台

       Mobileview将运行在所有的Qube支持的操作系统。 

        D、QBLocker 

       给了艺术家可以控制他们的工作站是否可用在渲染农场里的能力，并且显示的哪些渲染任务是在工作站上运行。 

       Qblocker使用更高效的PyQt创建。 

       2.简单直观

       可用在农场的机器数量是由一个简单的滑块控制。 所有有用的信息是直观显示的。

       3.托盘方式 Qblocker运行在系统托盘中，给其他应用程序留下了宝贵的屏幕空间

       3.4 工作流程   

       在强氧集群渲染里的主机都会建立一个名为“Qubeproxy”的用户，所用执行的命令都是这个用户下的。提交的任务都会记录在其后台的数据库中。其它渲染节点和工作站都可以通过 GUI 界面来监看渲染进程。这些正在渲染和等待渲染的工作，在 Renderfarm 管理程序中叫 Queued（渲染队列）。

       计算节点在没有渲染的时候，会自动检测，如果找到新的渲染工作，会将这个 Queued（队列）自动 Active（激活），然后开始渲染。用户可以在渲染的时候通过 GUI 窗口对渲染进程进行管理，比如停止一个渲染工作，以及激活工作继续渲染等。渲染完成以后，有时渲染得到的结果并不满意，可以 Requeue Task（重排任务），让完成的工作重新渲染。渲染任务最终完成以后，队列就可以 Archive（存档），存档的工作将不能被修改，以便检索和提交报告。