網絡需求描述
網絡中服務器通過千兆以太網交換機連接。
每臺服都集成千兆以太網端口,其端口用來互相通訊和讀寫存儲數據,使用千兆網線連接交換機。
當規模大的時候需要進行組網設計
在本方案中存儲系統采用強氧4K-ES 系列產品,是強氧存儲2008 年專為高帶寬后期制作系統開發的一系列新產品,它具有速度快、容量大、安全穩定、兼容性好、管理維護簡單五大特點,為后期制作的客戶解決了高清編輯、合成、調色實時回放的速度問題。
PCIe 是新一代 IO 通道技術,專為高質量影視后期制作系統研發生產的高性能存儲設備,內部磁盤系統采用最流行的 SAS 技術,外部主機接口采用速度最快的 PCI-e*4接口(2.5Gb*4=10Gb),芯片組采用目前市場上最快的存儲專用芯片,操作系統也是專為影視后期制作應用進行了特殊設計,可以向 MAC、WIN 或 LINUX 工作站主系統提供持續1000MB/s 以上的實際傳輸帶寬,輕松應對高清以及電影級無壓縮視頻內容的制作。通過多臺集聯,更可獲得更高傳輸帶寬,滿足4k 影像后期制作所需高速存儲 IO 要求。
功能特性
1.無與倫比的超高速性能
一般來說,很多存儲系統強調的是整體的帶寬,他們需要通過第三方的軟件把幾個主機通道捆綁起來,才能達到某一應用的要求,這樣便存在幾個問題,1)需要購買更多的HBA卡,增加了成本;2)捆綁的接口和鏈路比較多,出現故障的概率比較大;3)對于有些應用系統,捆綁的效率達不到1+1=2 的目的,有些時候速度只能增加30%。針對這種情況,我們研發出PCI-e主機接口的產品,有效的解決了以上問題。
強氧4K-ES系列存儲產品采用芯片組,它目前是專業存儲 領域最快的芯片組,具有1個PCI-eX8的通道。PCI-e用來和磁盤相連,具有5Gb*8/8=2500MB的理論帶寬,除去其它的開銷,經 實際測試單主機可以提供高達1000MB+/s的速度。
2.最佳可擴容性,以最優成本實現海量存儲
強氧4K-ES系列存儲產品采用業界最新技術,硬盤插槽既支持高性能的 SAS硬盤,并兼容第3代SATA硬盤。同時還支持通過強氧OPEN-EX系列擴展柜產品進行擴容,最多支持同時連接7臺擴展柜,最大可提供168T存儲空間。
3.高可靠性高安全性
目前,我們國內的信息化步伐越來越大,對于很多單位來說,系統數據 的安全穩定問題已經逐漸成為一個迫切需要解決的問題。系統數據安全問題 是一個復雜的問題,強氧4K-ES系列存儲產品可通過以下辦法提高數據的安全。
A.RAID6安全保護
一般來說,很多磁盤系統都提供RAID5級別的數據保護,磁盤系統可以允許一個Raid組有一塊硬盤出現故障還能正常工作并且不丟失數據,而RAID6可以允許Raid組有兩塊硬盤同時發生故障而不丟失數據并且系統正常工作。
B.Roaming
Roaming就是漂移的意思,我們在4K-ES系列存儲產品中設計此功能主要目的是,防止磁盤陣列系統發生嚴重故障后,保護磁盤系統數據的一個重要手段,一旦磁盤陣列發生故障,用戶可以把硬盤拔出來插入到我們任何一款磁盤陣列中,馬上就可以讀出硬盤上的數據。
C.全冗余硬件機制
最大化保障運行安全性,支持業界最先進的RAID6安全機制(即便兩顆硬盤損壞的前提下也可完全恢復數據)。系統均標準配制了冗余電源,以及熱插拔散熱系統。完全滿足企業級7*24嚴格應用要求。
D.兼容性好
本產品另外一個最突出的特點是兼容性好,特別是針對Mac系統,眾所周知,Mac系統的封閉性很強,對外部的存儲系統兼容性很差,在HBA 卡的兼容性上基本上只兼容ATTO的卡,并且接上外部的存儲系統后整體的性能不是太好,所以,我們研發出兼容性非常好而且接上外部存儲后,性能也特別好的PCI-e主機接口的存儲系統。因為PCI-e協議是任何系統都支持而且兼容性非常好的協議,我們采用一個PCI-e信號放大卡插入到服務器中,把PCI-e信號延伸出來,接在存儲系統的PCI-e接口上,這樣解決了一些封閉性系統的兼容問題。
注:通道卡為標準配置,無須額外費用。
4.嵌入式 WEB 管理方式
無需安裝Java插件就可以通過Web進行安裝調試和管理工作。這個功能非常重要,現在1)技術人員流動比較大,其他人對圖形化的存儲管理軟件不熟悉;2)安裝插件的電腦可能因為中病毒等原因重新安裝系統或重新安裝圖形化的存儲管理軟件,這時,很容易發生一些誤操作導致數據丟失現象。采用Web管理模式,可以很好的解決以上兩個問題。
5.虛擬卷技術
由于強氧4K-ES系列存儲產品具有的卓越品質,強氧并沒有像其他廠家那樣僅僅只是把它當成是傳統SCSI陣列的替代品,把一些原來高端光纖陣列的技術應用到強氧4K-ES系列磁盤陣列上,使產品具備更加優秀的品質,其中最重要的是RAID層“虛擬卷”技術,同一RAID Set支持多個不同RAID級別、不同Stripe size的RAID 卷,使RAID變得更加有彈性。
在本方案中采用KVM切換器+抽拉式LCD控制端的控制方案。
KVM 切換器具有以下功能:
* 計算機直連連機數16臺,串聯最多可達512臺。
* 可支持多媒體USB鍵盤(PC, Mac及Sun)。
* 可同時讓所有串聯的KVM切換器,通過串接線材,進行韌體更新。
* 可借由鼠標快速、方便地使用OSD以操作選單功能。
* 可使用OSD選擇操作系統與鍵盤語言。
* 安全機制-管理者/使用者密碼授權功能,可強化安全保護 (PSP)。
* 可通過熱鍵及OSD開啟或關閉警示音。
* 自動廣播模式: 可同步對所有已選擇的計算機進行操作,包括軟件安裝及升級,與系統關閉?等。
* 內建ATEN USB ASIC技術芯片。
* 可支持操作系統:WIN98、WIN ME、WIN 2K、WIN 2003、WIN XP、LINUX。 Mac OS 8.6/9/10及SUN Solaris 8/9。
產品鏈接示意圖:
抽拉式 LCD 控制端具有以下功能:
* 整合17"LCD顯示器與KVM控制端于單一抽拉式機體。
* LCD模塊可展開至115度,以提供舒適的檢視角度。
* 抽拉式機身小于 1U 的設計 – 上蓋與底部設計僅占用少于 1U 機架空間。
* 內置電源。
* 抽拉式的調整功能,適用于不同的機架深度
* 高視分辨率: 1280 x 1024 @75Hz; 支援DDC, DDC2, DDC2B。
* DDC 模擬功能 - 每臺服務器的視訊設定會自動調整至螢幕顯示的最佳狀態。
* 鍵盤語言支持:英文(US); 英文(UK); 德文; 德文(瑞士);法文;西班牙文;繁體中文;日文; 韓文; 瑞典文; ?意大利文;俄羅斯文; 匈牙利文。
* 一人上架創新設計-單人簡易安裝套件(選購)
* 支持跨平臺- Windows 2000/XP/Vista、Linux及FreeBSD。
產品連接示意圖:
計算服務器是整個集群渲染系統中的“老黃牛”,所有的計算壓力都在它身上,所以這個“老黃牛”的好與差決定了整個集群渲染系統的處理能力。
本方案中的計算服務器具有以下主要特點:
? 全球工業化標準的十二核心兩路64位服務器;
? 超強性能、超強穩定、超強安全、配置高效、可擴展性超強。
計算服務器是性能超群,具有真正意義的64位計算能力、豐富可管理性和穩定性的企業級產品。計算服務器在全新的 Intel 微體系架構 Nehalem 的支持下,徹底消除了系統瓶頸,每顆 CPU 內嵌12MB 三級高速緩存,采用三通道內存控制器技術,比傳統北橋控制器有明顯得性能提升,可應用于任何對處理速度、可靠性要求非常高的行業。
處理系統
1.配備 Intel Sandy Bridge
許多 4 核處理器均由兩個獨立的芯片構成,這就意味著某些緩存數據要從一個內核到另一個內核,必須經由處理器之外傳輸。這種訪問信息的方式效率很低。Intel Sandy Bridge 6核處理器采用單芯片 64 位架構,每個內核均可隨時享用 15MB 的完全共享式三級緩存。這樣,你就可以迅速訪問緩存數據,減少處理器之間的流量,從而提高應用軟件的性能。與其他技術改進相結合,新款 Xserve 的速度可達上一代的兩倍。
2.集成內存控制器
系統內存往往通過一個獨立的 I/O 控制器與處理器連接,但 Intel Sandy Bridge 處理器卻配備了一個可將內存直接與處理器連接的集成內存控制器,將內存延時縮短了 40% 之多。這一集成內存控制器具有三條 1600MHz DDR3 ECC SDRAM 快速通道。如果你為新款 Xserve 配置 8 個內核,你的內存資源還可增至 8 條通道和 16 個 DIMM 插槽。與上一代 Xserve 相比,其內存帶寬可提高 2.4 倍。
3.每瓦性能更強
與上一代 Xserve 相比,新款 Xserve 的閑置能耗降低了 19%,而每瓦性能則提升了 89%3。它是如何做到在降低能耗的同時提升性能的呢?首先,Intel Sandy Bridge 處理器采用業界領先的 32 納米處理技術,既減少了泄露,又增加了交換次數。由于處理器采用集成電源柵極,高級電源管理系統可以對內核、線程、緩存和接口進行動態管理,并在需要時提供出色的能源效率和性能。電源管理方面的改進,加上 Xserve 的智能系統設計,使這款服務器的耗電和冷卻成本極大降低。
4.Turbo Boost 技術
新款 Xserve 采用了一種可根據負載自動調整處理器時鐘頻率的動態性能技術 - Turbo Boost 技術。如果你所運行的應用程序并不需要所有的內核,Turbo Boost 將關閉閑置內核,同時提高現用內核的運行速度。這就意味著一個 2.93GHz 的系統在動態負載下可實現 3.33GHz 的性能。
5.超線程技術實現虛擬內核
全新的Intel Sandy Bridge處理器支持超線程技術 Hyper-Threading) ,可在每個內核上同時運行兩個線程。這樣,8 核 Xserve 就可以更充分地利用其執行內核。采用超線程技術,無需大幅提高芯片尺寸、晶體管數量或供電要求,即可提升處理器性能,并充分利用其執行資源。
6.時鐘頻率更快
Sandy Bridge 微架構的每個內核每個時鐘周期可持續執行多達 4 個指令。此外,它還可以亂序執行更多的指令。增強型 SSE4 SIMD 引擎可在一個時鐘周期內處理 128 位向量計算。當然,這款處理器仍可繼續為大量內存負載提供 64 位支持。
7.QuickPath Interconnect
QuickPath Interconnect - 一種新型雙向點到點連接 - 使Intel Sandy Bridge 處理器實現了處理器與 Xserve I/O 之間的高速連接。在 8 核 Xserve 中,兩個 4 核處理器之間也存在一個 QuickPath Interconnect。這種連接猶如一條直達管線,使處理器之間的數據傳輸無需經過 I/O HUB,從而消除了系統的一大瓶頸。此外,它還可提供強大的 RAS (可靠性、可用性、可服務性)功能,包括 CRC 數據保護和鏈接級重試。*
操作系統
控制端采用 Windows Sever 2008系統,渲染節點端使用 Windows 7 64 bit 操作系統。
集群管理軟件是整個集群渲染系統中的“靈魂”。只有通過集群管理軟件才能對需要渲染的任務進行拆分和分發。
強氧的集群渲染系統采用 PipelineFX 公司的 Qube 集群管理軟件Qube 被世界一流的電影和游戲工作室用于后期制作。例如:
Digital Domain、South Park Studios、Electronic Arts、
Rainmaker Animation、Laika Studios、Disney Interactive Studios、Starz Entertainment、Imagi、Reel FX、Attitude
Studio 等。并且在《駭客帝國》、《最終幻想》和《怪物史萊克》中加以應用。
3.1 軟件需求分析
在傳統三維創作過程,動畫設計者往往遇上這樣尷尬的事情,他們大都使用圖形工作站來完成渲染的任務,單機渲染視圖和動畫時所需時間往往讓人難以忍受,30幀動畫就可能耗費數小時,顯然渲染時間顯得十分困窘,使用單機工作站渲染視頻動畫的方式速度實在很低,往往是以數天計算,這樣的渲染占到很大的制作時間比例。在渲染時動畫設計者就無法使用計算機進行工作,降低了動畫產品的制作效率,甚至影響了作品及時的交付。
3.2 軟件要求目的
集群管理軟件通過一系列分布式工作命令借助強大的渲染能力來幫助設計師高效率地完成三維作品的最后成形。借助于分布式渲染器,動畫設計者不僅可以在設計完成三維模型以后,通過分布式計算,將一個大型的模型快速渲染,時間往往縮短到原來的 1/2,1/3,甚至幾十分之一。原來可能要幾天運算的數據,可能幾個小時就能搞定,大大提高工作效率!
網絡渲染器系統是有很多渲染節點組成,采用領先的分布式渲染技術,系統將自動確定網絡中可用的渲染節點和資源,同時將將任務分解到相應渲染節點,自動負載平衡功能可以優化工作流程中每個渲染節點的使用效率。如果某一個渲染節點與網絡斷開,內置式故障保護功能管理端將自動將作業重新路由到渲染器中的其他渲染節點,確保渲染工作如期完成!
使用分布式渲染器,能夠大大節省了渲染時間?減輕了渲染勞動強度,同時能夠為高效率地完成后續合成工作打下了堅實的基礎。這一點在中大型建筑模型應用和計算機動畫等多媒體制作領域作用尤為明顯!
并行集群渲染系統是由若干臺 PC 構成的計算機網絡系統,三個臭皮匠,頂個諸葛亮的諺語來形容它非常合適;之所以稱其為并行是因為這個系統中所有的計算機同時做同一個工作的不同部分。集群渲染的基本思路,就是把渲染的任務分配給多臺 PC 機來完成,簡而言之,就是將任務分而治之。
3.3 軟件功能 Qube 集群管理軟件之所以被世界許多一流的工作室和后期制作公司所推崇,是因為它具有以下模塊和功能:
1.友好的用戶圖界面
通過調查用戶的反饋意見,渲染管理軟件沒有了緩慢的頁面、晦澀難懂的術語和運行怪異的多平臺用戶界面窗口部件,取而代之的是直觀單一的完整界面。
2.對當前各種渲染軟件的完美支持
除了能夠支持所有標準命令行渲染工具,還帶有針對Maya,3ds max,Digital Fusion, Lightwave, Softimage XSI 和afterEffects等軟件的自定義編寫窗口,通過專門的應用軟件腳本或者插件,以實現高效率及可配置性。
3.多線程管理
渲染管理軟件的核心就是一個多線程管理器,它使的軟件能同時管理成百上千的工作任務。同時,該多線程管理器還具有高利用率,低維護性及超穩定的特性。該管理器允許隨意增加線程,這大大提高了渲染平臺的使用性能。
4.事件驅動隊列
事件驅動隊列特性是這款軟件榮獲專利的一項功能。該架構可瞬時完成任務提交及任務分發。
5.自定義任務類型
定制任務類型可應用于多種軟件。每種軟件都包含:一個 GUI提交單,一個命令行提交工具,以及一個后端執行模塊,這些都是為了與上述應用直接接入而特別開發的。 自定義的通道可以通過集群管理軟件的一些現成的接口和執行后臺來縮短時間。由于這些工作類型大多基于一個開放式的腳本,我們可以更進一步的定制工作類型。
6.數字優先特性
可以對每個工作任務設定數字優先序列。高優先性任務會在低優先性任務之前進行,從而將生產瓶頸降至最低,并確保系統始終優先處理重要任務。
7.基于優先權的搶占權
高優先權的工作任務可搶占低優先權工作任務。在某項工作任務結束后或是結束時,可以通過修改定義將工作任務在隊列中重新編排,延后分發。該功能確保只有最高優先權工作任務才可以優先處理。同時,該功能也使得軟件在優先級發生改變時能做出迅速的調整。
8.主機集群優先
主機可以分成一個個的有等級的組,任務可以提交到一個具有高優先級的組來優先執行,這樣最大限度的提高渲染農場的使用效率,便于在不同部門和項目之間分配。
9.集中工作特性
通過一個獨立的自由配置文檔,集群軟件的管理器可以對每臺客戶端機器的配置進行管控,使這些客戶端可以使用獨立的管理命令進行更新。
這節省了時間和精力,也使客戶端配置的更改維護變得更為簡易。
10.可定制化圖形界面
GUI 界面具有功能強大,可定制化以及多用途等特性,適合用戶和管理人員。用戶可以通過GUI界面來監看和控制任務的進展,管理人員可以對渲染農場的主機進行管理。使用簡單易懂的圖形界面可以提高整個團隊的生產效率,因為使用人員不用學習繁瑣復雜的命令行工具即可完成系統操作。
11.“心跳”監測
每臺節點會自動Ping服務器,以定期報告它的狀態。這樣服務器可以確認節點是否“活著”,以便于是否分配任務給它,這樣服務器就不必要明確列出來的每臺機器的狀態。當這臺節點不自動 Ping 服務器了,服務器就認為它“死掉”了。這樣使得管理人員可以隨時掌握最新的渲染農場的狀態。
12.權限與安全
安全特性可選擇密碼保護,軟件可以授予個人用戶權限,比如提交任務。這個重要的安全功能,可以防止用戶誤操作給其他用戶造成損失。
13.良好的的系統兼容性
集群管理軟件能完美支持Linux、MAC OSX和Windows操作系統,支持混合提交。支持64位系統,可以獲得最大的硬件性能。
14.iphone/ipad 的圖標報告
用戶可以通過 iphone/ipad 來隨時查看管理他們的渲染任務,通過 Roambi Pro這個應用。
Artistview GUI 是一個更貼近藝術家使用習慣的用戶界面,可以提供渲染進程的快速反饋。這是一個使用 Python 語言編寫的一個插件,使用戶對設計的添加和改變更加快速和簡便。這就使得對渲染流程的整合上了一個新的臺階,確保 Artistview GUI 對任何現有的或自定義的流程都是完美切合的。
1. 使用 PyQt 編寫
ArtistView 是一個重新編寫的圖形界面,基于更高效的 PyQt 工具包,選用較暗的顏色配比方案,使藝術家更便于得到圖形的信息。
2.唾手可得
ArtistView是專為藝術家使用設計的。 對藝術家有用的信息隨手可得,而留給Qube管理員的職責任然是以前的GUI或命令行。
3.靈活性
靈活性一直是 ArtistView 的注重的。 每個右鍵菜單中的項目是一個Python插件。 每一個上下文敏感的標簽是一個Python插件。 這些插件被設計成簡單并且容易創建。
4.于 RV 的嚴密整合
可以在Qube內部啟動RV,也可以通過RV提交Qube任務重新渲染某些幀。
5.通過 Qube 檢查結果
藝術家可以通過AritstView一個簡單而有效的預覽選項來預覽渲染幀。
6.跨平臺
ArtistView 可以運行在所有的 Qube 支持的操作系統,具有相同的功能和設置。
Mobileview 是一個輕量級的 Web 服務器,用于為您的移動設備提供Web訪問。Mobileview可以使藝術家遠程查看任務的進程。
1. 簡單易用
Mobileview 可以直接打開網頁。沒有必要的配置。沒有第三方軟件要求。沒有預先安裝的Web服務器。
2.Python 腳本語言創建
mobileview 100%通過 Python 腳本語言創建。普通用戶都可以免費下載源代碼并隨意自定義。
3.保密通信
Mobileview運行SSL安全機制,它會產生的SSL證書,訪問可以通過獨立并且加密的用戶數據庫來控制。
4.可控性
Mobileview 將允許用戶有限的控制自己的渲染任務。它提供了殺死渲染任務和重試失敗幀的功能。用戶還可以通過Python控件選擇任何其他功能。
5.跨平臺
Mobileview將運行在所有的Qube支持的操作系統。
給了藝術家可以控制他們的工作站是否可用在渲染農場里的能力,并且顯示的哪些渲染任務是在工作站上運行。
1.使用 PyQt
Qblocker使用更高效的PyQt創建。
2.簡單直觀
可用在農場的機器數量是由一個簡單的滑塊控制。 所有有用的信息是直觀顯示的。
3.托盤方式 Qblocker運行在系統托盤中,給其他應用程序留下了寶貴的屏幕空間
3.4 工作流程
在強氧集群渲染里的主機都會建立一個名為“Qubeproxy”的用戶,所用執行的命令都是這個用戶下的。提交的任務都會記錄在其后臺的數據庫中。其它渲染節點和工作站都可以通過 GUI 界面來監看渲染進程。這些正在渲染和等待渲染的工作,在 Renderfarm 管理程序中叫 Queued(渲染隊列)。
計算節點在沒有渲染的時候,會自動檢測,如果找到新的渲染工作,會將這個 Queued(隊列)自動 Active(激活),然后開始渲染。用戶可以在渲染的時候通過 GUI 窗口對渲染進程進行管理,比如停止一個渲染工作,以及激活工作繼續渲染等。渲染完成以后,有時渲染得到的結果并不滿意,可以 Requeue Task(重排任務),讓完成的工作重新渲染。渲染任務最終完成以后,隊列就可以 Archive(存檔),存檔的工作將不能被修改,以便檢索和提交報告。
![]() |
網址:http://www.sxr123.com