大集群場(chǎng)景特點(diǎn)數據規模大：監控對象targets多，數千萬(wàn)時(shí)序數據time-series，單Prometheus負載非常高。

當series數據超過(guò)300萬(wàn)時(shí)，Prometheus內存增長(cháng)較為明顯，需要使用較大內存的機器來(lái)運行。壓測過(guò)程中，我們使用了工具去生成預期數目的series，工具生成的series每個(gè)label的長(cháng)度及值的長(cháng)度都較小，固定為10個(gè)字符左右。我們的目的是觀(guān)察相對負載變化，實(shí)際生產(chǎn)中由于label長(cháng)度不同，服務(wù)發(fā)現機制（比如Pod頻繁重啟）的消耗不同，相同的series數目所消耗的負載會(huì )比壓測中高不少。目前Argus有好幾個(gè)集群的采集端Prometheus消耗內存在30G以上，這會(huì )導致查詢(xún)效率下降，嚴重的會(huì )導致OOM，有的大集群內存消耗達幾百G。Argus運維監控從聚合事件快速下探到具體事件， 并直觀(guān)呈現相關(guān)事件的發(fā)生趨勢。信創(chuàng )智慧運維監控管理

Argus運維監控中硬件監控包括：可以通過(guò)IPMI對硬件詳細情況進(jìn)行監控，并對CPU、內存、磁盤(pán)、溫度、風(fēng)扇、電壓等設置報警設置報警閾值(自行對監控報警內容編寫(xiě)合理的報警范圍)IPMI工具無(wú)法獲取到硬件的狀態(tài)，可以借助MegaCli工具探測Raid磁盤(pán)隊列狀態(tài)zabbix提供IPMI監控模板：ZabbixIPMIInterface。同時(shí)也能夠實(shí)時(shí)采集到服務(wù)器的硬件報錯日志，代替管理員的日常機房巡檢工作，使管理員實(shí)時(shí)了解到服務(wù)器底層硬件的運行情況。帶外方式不通過(guò)操作系統，即使系統關(guān)機的狀態(tài)下仍可監控服務(wù)器的基本硬件健康狀況業(yè)務(wù)智能化運維監控企業(yè)級運維監控系統體系化建設指南。

對于服務(wù)器的監控同樣也是從狀態(tài)、性能與容量這幾個(gè)維度入手。雖然SNMP也可以用于服務(wù)器監控，但相對于agent主動(dòng)上報指標與數據會(huì )少很多。

服務(wù)器的狀態(tài)監控主要包含服務(wù)器是否ping的通、agent上報是否超時(shí)與電源運行狀態(tài)等等。對于性能與容量這兩類(lèi)維度，主要依賴(lài)當前OS的數據捕獲，一般來(lái)說(shuō)對于服務(wù)器監控來(lái)說(shuō)在通用場(chǎng)景下主要關(guān)注CPU、內存、流量與包量這四個(gè)指標即可，但是別的指標也建議盡量捕獲。

單個(gè)監控對象的數據豐富了會(huì )有如下好處：避免對象的監控盲點(diǎn)不同的監控數據點(diǎn)可以部分對應出該服務(wù)器所承載的業(yè)務(wù)特性指標，例如存儲類(lèi)業(yè)務(wù)也會(huì )關(guān)注disk_total_read、svctm_time_max、await_time_max等等系統指標生產(chǎn)的數據足夠豐富能夠催生出更加豐富的運維數據消費場(chǎng)景。服務(wù)器監控相對是很標準的監控模型，針對于物理服務(wù)器與虛擬機都有共性指標。這部分主要做到采集的數據豐富與上報的準確性(算法準確)。

十四五規劃和十九屆五中全會(huì )提出：

1、加強關(guān)鍵數字技術(shù)創(chuàng )新應用用聚焦芯片、操作系統、人工智能關(guān)鍵算法、傳感 器等關(guān)鍵領(lǐng)域，加快推進(jìn)基礎理論、基礎算法、裝備 材料等研發(fā)突破與迭代應用。加強通用處理器、 云計算系統和軟件技術(shù)一體化研發(fā)。

2、加快推動(dòng)數字產(chǎn)業(yè)化培育壯大人工智能、大數據、區塊鏈、云計算、網(wǎng)絡(luò ) 安全等新興數字產(chǎn)業(yè)，提升通信設備、關(guān)鍵電 子元器件、關(guān)鍵軟件等產(chǎn)業(yè)水平。

3、科技自強 ，科技自立堅持創(chuàng )新在我國現代化建設全局中的重要地位，把 科技自立自強作為國家發(fā)展的戰略支撐。

Argus運維監控系統在信息技術(shù)創(chuàng )新應用的大背景下應運而生。運維監控體系一般來(lái)說(shuō)包括數據采集、數據檢測、告警管理、故障管理、視圖管理和監控管理6大模塊。

面向IT資源200+以上的各類(lèi)型單位，產(chǎn)品提供一體化運維監控功能，以幫助信息部門(mén)員高效管理IT運行環(huán)境、IT資產(chǎn)，通過(guò)運維工具的自動(dòng)化，提升單位IT服務(wù)質(zhì)量，提高運維效率，降低運維成本，減輕運維人員工作壓力。

Argus實(shí)時(shí)運維監控分析系統是基于全球負有盛名的IT基礎監控平臺Zabbix深度二次開(kāi)發(fā)的運維監控軟件，面向私有化及混合云數據中心提供多角度多層次的統一監控和運維管理。幫助用戶(hù)實(shí)時(shí)對各類(lèi)IT資源（網(wǎng)絡(luò )設備、服務(wù)器、存儲、數據庫、中間件等）執行性能指標監控，實(shí)現事前運維。我們要運維監控這個(gè)東西的什么屬性？比如CPU的使用率、負載、用戶(hù)態(tài)、內核態(tài)、上下文切換。哪個(gè)運維監控管理產(chǎn)品好用

快速讀懂智能化運維監控如何賦能IT可觀(guān)察性！信創(chuàng )智慧運維監控管理

Prometheus指標采集和查詢(xún)存儲方案-2020年

我們分一級監控平臺和二級集群Prometheus監控采集組件。一級提供kafka集群和Prometheus聚合組件，二級各集群部署Prometheus和Prometheus-kafka-adapter組件，采集和遠程送數據到一級的kafka集群。

該方案優(yōu)點(diǎn)：

1.業(yè)務(wù)系統可以跨集群聚合數據，如圖k8s集群-1和k8s集群-2數據聚合到Top-1的Prometheus上。

2.一級監控平臺上只要有足夠的cpu、存儲資源，理論上可以水平擴展接入更多集群。2020年底采集的指標量每天3194億的量級，吞吐量達370萬(wàn)/s。

3.采集端Prometheus可以保留極少數據，比如6小時(shí)的數據，減少資源消耗。而上層Prometheus由于落數據到時(shí)序數據庫influxdb中，可以保存一個(gè)月數據量甚至更多。

該方案沒(méi)做到什么：

1.采集端Prometheus擴容問(wèn)題，單集群中數據規模受Prometheus原生的限制。

2.一級監控平臺上時(shí)序數據庫influxdb有單點(diǎn)問(wèn)題，數據規模和數據安全性受其影響。信創(chuàng )智慧運維監控管理

上海觀(guān)縱科技有限公司是以提供webfunny前端監控，webfunny前端埋點(diǎn)，全鏈路應用性能監控，Argus-IT運維監控為主的有限責任公司，公司始建于2022-11-14，在全國各個(gè)地區建立了良好的商貿渠道和技術(shù)協(xié)作關(guān)系。觀(guān)縱科技以webfunny前端監控，webfunny前端埋點(diǎn)，全鏈路應用性能監控，Argus-IT運維監控為主業(yè)，服務(wù)于傳媒、廣電等領(lǐng)域，為全國客戶(hù)提供先進(jìn)webfunny前端監控，webfunny前端埋點(diǎn)，全鏈路應用性能監控，Argus-IT運維監控。將憑借高精尖的系列產(chǎn)品與解決方案，加速推進(jìn)全國傳媒、廣電產(chǎn)品競爭力的發(fā)展。

本文來(lái)自淮安市保障性住房建設有限公司：http://www.zainisbian.com/Article/97d42399479.html