湖南移動通信公司業(yè)務運營支持系統(tǒng)(BOSS SYSTEM)系統(tǒng)案例
Annie 2009/07/23
項目簡介(功能與用途)：
湖南移動通信公司業(yè)務運營支持系統(tǒng)(BOSS SYSTEM)系統(tǒng)是整合營業(yè)、計費、結算、賬務、收費等業(yè)務，實現"以客戶為中心、業(yè)務的開發(fā)和管理面向客戶、網絡管理面向業(yè)務"的運營原則，大大提高企業(yè)的營銷和服務水平的核心業(yè)務支撐系統(tǒng)。
項目難點與解決方案：
BOSS系統(tǒng)從2003年初開始陸續(xù)上線，營帳系統(tǒng)在上線運行后出現性能問題。主要表現在對最終用戶的交互響應不如預期，尤其在業(yè)務繁忙時更是無法得到及時的交互響應。從主機(AIX)系統(tǒng)上觀察，主要表現在系統(tǒng)的I/O等待較大。營帳系統(tǒng)是由業(yè)務應用程序，Oracle數據庫，AIX主機，IBM
ESS存儲多個部分組成，因此性能瓶頸的定位和性能的優(yōu)化都比較復雜。
該項目的難點主要由以下幾點：
1. 湖南移動通信BOSS SYSTEM系統(tǒng)是一個大型的復雜系統(tǒng)。在這個系統(tǒng)中從上至下包括以下幾個層次：應用程序、數據庫、主機系統(tǒng)(操作系統(tǒng))、SAN網絡和ESS存儲系統(tǒng)。在發(fā)生系統(tǒng)的性能問題時，性能問題的定位和調優(yōu)就很復雜。
2. 數據庫容量大，整個數據容量有約2120GB，整個數據的遷移需要幾十個小時的時間，而在生產系統(tǒng)上是不允許有很長的停機時間進行數據遷移。
3. 湖南移動BOSS系統(tǒng)是7×24的應用，不允許停機。
4. 應用中部分SQL語句非常復雜，而且SQL語句的寫法和謂詞等方面使用不當，直接造成低效率的SQL運行，占用系統(tǒng)I/O和內存，需要找出這些SQL語句并對之進行調整。
5. 需要對Oracle數據庫部分參數作出調整。
6. 需要對操作系統(tǒng)內核參數作出調整。
7. 需要對數據庫的數據在ESS存儲上的物理分布重新
對于上述問題，分別采用了如下解決方案：
1. 針對湖南移動BOSS SYSTEM系統(tǒng)出現的性能問題，根據湖南移動BOSS SYSTEM系統(tǒng)的實際應用, 借助ESS Expert和Precise等性能監(jiān)測工具軟件，對主機系統(tǒng)和存儲進行了監(jiān)控，調整和優(yōu)化，同時對Oracle數據庫和應用系統(tǒng)提出調優(yōu)建議。
項目分為以下幾個階段：
- 檢查BOSS SYSTEM系統(tǒng)中所有硬件系統(tǒng)，特別是SAN網絡中的硬件。
- 檢查SAN交換機的數據流量，觀察是否有通道流量不對稱、數據包丟失或數據傳輸過程中有效驗錯的問題。
- 分析ESS上的數據分布，安裝和配置ESS Expert監(jiān)測軟件，觀察是否存在有FC通道、cluster、SSA卡或SSA loop負載不平均的現象。
- 檢查并優(yōu)化主機系統(tǒng)上AIX運行的參數，使之適合SYSTEM系統(tǒng)的運行。
- 安裝和配置Precise Indepth for Oracle軟件，檢查ORACLE數據庫的參數設置，確定最影響性能的應用程序，協助軟件開發(fā)商優(yōu)化應用程序。
- 兩次調整在ESS存儲系統(tǒng)上的數據分布，并通過StorWatch EXPERT軟件監(jiān)測ESS存儲系統(tǒng)的性能表現;
- 利用Precise軟件監(jiān)測數據庫和應用對系統(tǒng)資源的占用，對主機系統(tǒng)作進一步的調優(yōu)，并提出對Oracle 數據庫和應用程序的調優(yōu)建議;
- 性能瓶頸的定位
一般的調優(yōu)策略如下：
在湖南移動的調優(yōu)中，在數據庫的設計和應用設計不做更改的前提下，首先，對IBM存儲系統(tǒng)和主機系統(tǒng)作深入細致的參數和配置調整。同時，在湖南移動計費中心技術人員的全力配合下，對ESS存儲系統(tǒng)上的數據分布作了大規(guī)模的調整，并且通過Precise軟件對Oracle數據庫性能參數的監(jiān)控，定位對系統(tǒng)
CPU, I/O等資源消耗嚴重的瓶頸，對Oracle數據庫和應用系統(tǒng)提出性能調優(yōu)建議。
2.針對應用的性能狀況，修改Oracle的性能參數。
cursor_sharing的值從exact改為force, 減少internal lock wait.
spin_count的值從2000調整到5000。
- 根據Precise的監(jiān)測和分析結果，檢查資源消耗最大SQL語句的邏輯設計，將排名靠前SQL語句的表數據與索引分別存儲，建立合適的分區(qū)索引，提高資源消耗靠前SQL語句的并行度。
- 通過StorWatch Expert軟件持續(xù)監(jiān)控ESS的使用，掌握ESS的性能表現和使用狀況。
- 通過Precise軟件對Oracle和應用有限數據的分析，確定當前應用系統(tǒng)并沒有達到理想的運行狀態(tài)，建議對應用系統(tǒng)作相應的檢查和調整。同時，為了更準確定位應用問題所在，建議收集更長時間的數據，再進行更深入的分析。
3.調整數據在ESS上的分布。
首先將數據平均地分布在兩個cluster上，之后將數據分布在盡可能多的通道上。
由于整個數據容量有約2120GB，整個數據的遷移需要幾十個小時的時間，而在生產系統(tǒng)上是不允許有很長的停機時間進行數據遷移。
根據多個方案的論證對比，決定采用邏輯卷鏡像的方案實施數據遷移。具體的步驟是先將所有的邏輯卷在目的的硬盤上建立鏡像、同步數據、再將原硬盤上的鏡像部分刪除。整個數據遷移工作全部在系統(tǒng)的后臺進行，共進行了60個小時，完成所有數據遷移。
4.對操作系統(tǒng)內核參數作出調整
5.檢查資源消耗最大語句的邏輯設計。
建立合適的分區(qū)索引
將排名靠前語句的表數據與索引分別存儲。
提高資源消耗靠前語句的并行度。
Oracle 的參數cursor_sharing設為force減少internal lock wait
調整Latch的數量(如DB_BLOCK_LRU_LATCHES)或內存的一些參數(如SHARED_POOL_SIZE等)解決內部鎖問題。
6.由于數據存儲調整后，系統(tǒng)I/O性能狀況良好，系統(tǒng)和存儲端的性能表現已調整至最佳，系統(tǒng)和存儲端的性能調優(yōu)工作已經完成。建議客戶下一步的工作重點是解決應用系統(tǒng)的性能瓶頸，結合Precise對應用的監(jiān)控結果，檢查應用的邏輯設計，數據索引的建立和分布。協助應用開發(fā)商修改應用。
7.調整操作系統(tǒng)交換空間(page space)。
項目成功與失敗的經驗歸納：
在湖南移動BOSS系統(tǒng)的性能調優(yōu)中，項目的成功經驗有以下幾點：
1. 數據庫前期的合理的架構設計(物理設計和邏輯設計)是整個項目成敗的關鍵，合理的架構設計為整個項目穩(wěn)定可靠高效運行打下了良好的基礎，同時也起到了事半功倍的作用。在湖南移動BOSS系統(tǒng)中就是因為數據庫在ESS物理存儲的不合理分布而直接導致了系統(tǒng)的I/O瓶頸。
2. 根據系統(tǒng)的物理資源，對數據庫的配置參數和操作系統(tǒng)內核參數做合理的調整，保證系統(tǒng)物理資源(CPU,I/O，內存和網絡)和邏輯資源(裸設備，文件系統(tǒng)等)合理的分布和應用。
3. 要善于借助于第三方的監(jiān)控軟件(如：StorWatch Expert和Precise軟件)，這些軟件的運用可以快速的定位性能瓶頸從而更快速的作出性能調整。
4. 檢查資源消耗最大SQL語句的邏輯設計，將排名靠前SQL語句的表數據與索引分別存儲，建立合適的分區(qū)索引，提高資源消耗靠前SQL語句的并行度。很多性能瓶頸往往是由于“惡劣”的SQL造成的。
5. 要有一個很好的性能調整流程和性能調整方法步驟，循序漸進，一步一步定位，逐步縮小范圍，知道最后定位性能瓶頸。
6. 要善于團隊合作，在整個性能調整中，我負責軟件調整，要和硬件調整，網絡調整的技術人員通力合作。
7. 性能調整是全局的工作，涉及應用開發(fā)，中間件，數據庫，操作系統(tǒng)，存儲，網絡等。需要對全局的信息架構有清晰的認識。
總結：在湖南移動BOSS系統(tǒng)的性能調整中，我是以IBM技術顧問身份參與性能調整的，主要負責對Oracle數據庫配置參數的調整;負責完成數據庫后期的性能
監(jiān)控，性能調優(yōu);負責檢查資源消耗最大SQL語句的邏輯設計，將排名靠前SQL語句的表數據與索引分別存儲，建立合適的分區(qū)索引，提高資源消耗靠前SQL
語句的并行度。負責在操作系統(tǒng)層面定位性能瓶頸(CPU,內存，I/O和網絡瓶頸)并調整操作系統(tǒng)內核參數。負責協助開發(fā)人員對應用開發(fā)作出修改和SQL
性能調整。
中國計費網
相關鏈接: