- 最近有打算規劃將自己用的Storage在I/O上upgrade，其實主要還是侷限於現有的iscsi架構僅1G的速度，當多台VM同時進行I/O運作時，Guest OS效能明顯很吃力，由於底層DataSotre也有放SSD，但是卻無法完全發揮出整體SSD的速度，目前市面上4 PORT以上的10G交換器(RJ-45)至少都要1W5上下，這價格小弟承受不起阿Orz，後來發現可以改走FC的架構，因此需要一台SAN Switch(因有2台ESXI)且底層Storage也必須要能支援FC Target才行，目前二手的SAN Switch(8G)約5~6千左右，Fibre Channel一張8G約1千上下，整體不到1萬就可以大大提升現有Storage的效能了。
- 評估了很久，最後是決定採用QuantaStor來做為我的Storage，將QuantaStor部署至虛擬化平台，並啟用FC Target功能將LUN指派給Host使用。之前原本是有考慮openfiler，但是FC Target功能是要額外購買License的，所以就只好放棄了。
- 若是系統工程師我想都對Fibre Channel協定都不陌生才對，在三層式傳統架構時期，不少企業也是採用這種架構，當然還是有其它ISCSI跟SAS..等介面，依使用者不同的環境與需求來選擇。
圖片參考資料：https://www.kclouder.cn
- FC與ISCSI架構相比
- 因為我沒有SAN Switch，所以我是採用對接的方式來先Demo，公司有剩餘的(FC Adapter 8G)備品剛好可以來測試。
- QuantaStor是一款虛擬式的存儲系統，簡單來說就是軟體式的Storage，在功能上與硬體式的Storage大同小異，該有的功能基本上都會有，例如：高可用性及擴充、RAID保護、Migrate、Replication、snapshot、QoS控制…等功能，只是免費版並沒有高可用性的保護，以及有容量上的使用限制..等。若有遇到要測試VDI、MySql…等需要較多的數據環境時，但是公司並沒有多的Storage可以拿來測試，這時QuantaStor就是個很好的選擇，只要有一台可用的伺服器就可以很輕鬆的部署QuantaStor存儲系統，來提供足夠的需求與服務，整體操作上與硬體式的Storage基本上也是大同小異的。
- 測試環境：
FC Target
QuantaStor Appliance
SX8200 240G
ISP2532-based 8G (QuantaStor FC Target只支援QLogic QLE系列的卡)
|
FC initiator
ESXI 6.5 U2
ISP2532-based 8G
|
VS
|
ISCSI Target
QuantaStor Appliance
SX8200 240G
X540T2-10G (MTU：9000)
|
ISCSI initiator (Software
ISCSI)
ESXI 6.5 U2
X540T2-10G (MTU：9000)
|
VS
|
ISCSI Target
Windows Server 2012
SX8200 240G
X540T2-10G (MTU：9000)
|
ISCSI initiator (Software
ISCSI)
ESXI 6.5 U2
X540T2-10G (MTU：9000)
|
1. QuantaStor可以利用ISO引導安裝或是VSA來部署安裝
2. 依使用者配置語言等..設定，接著進行安裝
3. 看到這畫面代表已安裝完成，透過瀏覽器登入Console
4. Web登入進入管理介面
5. 將FC轉換為Target模式
6. 創建Storage Pool
7. 這邊我是選擇SSD優化
8. 建立Volume
9. 查看ESXI FC啟動器WWN
10. 新增主機
11. 指派LUN提供給ESXI掛載
12. 確定
13. 至ESXI內的Storage Device重新掃描磁碟，就可看到Fibre Channel Disk
14. 接著新增DataStore
15. 這邊要特別說一下，當時測試的過程有遇到一個很奇怪的問題，就是我測試的時候，FC Card卻只有4G Rate，因16G SFP我是跟朋友借的，所以當時我並沒有懷疑到SFP的問題，反而轉向其它可能會影響Rate的原因，換其它硬體設備及更新FC Firmware..等，都是沒有用的，另外我還把FC將Rate定在8G/s，結果就不能通訊，後來我嘗試拿一個2G SFP接上去，將Rate定在4G/s就跟前面的狀況一樣，經過這一連串的測試，我就很肯定是16G SFP的問題，當然也應該不是這個16G SFP本身的問題，也許只是跟QLE 2562(2張卡)有相容性的..等問題才會這樣，以下圖確實是4G/s跑出來的數據
16. 更換8G SFP之後，自動切換至8Gbps
17. 在ZFS檔案系統上，寫入在4K表現上都明顯較差
18. 持續讀取及寫入都還能在200M/s以上，算是可接受範圍
19. 接下來就來配置iscsi target (配置網路卡並Enable iscsi)
20. 新增ESXI Initiator
21. 至Storage Device Rescan
22. 與Fibre Channel相比，在4K表現上明顯略低，尤其是在寫入的部分
23. 持續讀取及寫入表現與FC相比波動較大，整體速度不到200M/s
24. 那麼接著配置Windows Server 2012 iscsi target環境
25. 新增ISCSI Disk並指派給ESXI
26. 至ESXI內Storage Device Rescan Device
27. 測試發現Seq讀寫竟然都可達900M/s以上….但是4K真的很悲劇…..Orz
28. 連續讀取、寫入與QuantaStor相比，平均速度是還小輸一點點，且在讀取波動較大
29. 現有的ISCSI 1G
◎ 結論 : 這篇文章原本應該是能更早完成的，因為最近在忙工作的事情且Rate 4G/s問題也一直還在找原因，不過也順利完成這一連串的測試，整體來說還是Fibre Channel在效能上稍微好一些，尤其是在連續讀寫都能夠保持在穩度的速度，在ZFS檔案系統上若能再加入獨立的SSD至緩存區，我想在整體速度上應該還能再更提升，而在QuantaStor這套軟體使用上算是蠻強大的，若未來還有時間的話會再做其它更進階的功能。
沒有留言:
張貼留言