大集群場景特點數(shù)據(jù)規(guī)模大：監(jiān)控對象targets多，數(shù)千萬時序數(shù)據(jù)time-series，單Prometheus負載非常高。

當series數(shù)據(jù)超過300萬時，Prometheus內存增長較為明顯，需要使用較大內存的機器來運行。壓測過程中，我們使用了工具去生成預期數(shù)目的series，工具生成的series每個label的長度及值的長度都較小，固定為10個字符左右。我們的目的是觀察相對負載變化，實際生產中由于label長度不同，服務發(fā)現(xiàn)機制（比如Pod頻繁重啟）的消耗不同，相同的series數(shù)目所消耗的負載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內存在30G以上，這會導致查詢效率下降，嚴重的會導致OOM，有的大集群內存消耗達幾百G。Argus運維監(jiān)控從聚合事件快速下探到具體事件， 并直觀呈現(xiàn)相關事件的發(fā)生趨勢。信創(chuàng)智慧運維監(jiān)控管理

Argus運維監(jiān)控中硬件監(jiān)控包括：可以通過IPMI對硬件詳細情況進行監(jiān)控，并對CPU、內存、磁盤、溫度、風扇、電壓等設置報警設置報警閾值(自行對監(jiān)控報警內容編寫合理的報警范圍)IPMI工具無法獲取到硬件的狀態(tài)，可以借助MegaCli工具探測Raid磁盤隊列狀態(tài)zabbix提供IPMI監(jiān)控模板：ZabbixIPMIInterface。同時也能夠實時采集到服務器的硬件報錯日志，代替管理員的日常機房巡檢工作，使管理員實時了解到服務器底層硬件的運行情況。帶外方式不通過操作系統(tǒng)，即使系統(tǒng)關機的狀態(tài)下仍可監(jiān)控服務器的基本硬件健康狀況業(yè)務智能化運維監(jiān)控企業(yè)級運維監(jiān)控系統(tǒng)體系化建設指南。

對于服務器的監(jiān)控同樣也是從狀態(tài)、性能與容量這幾個維度入手。雖然SNMP也可以用于服務器監(jiān)控，但相對于agent主動上報指標與數(shù)據(jù)會少很多。

服務器的狀態(tài)監(jiān)控主要包含服務器是否ping的通、agent上報是否超時與電源運行狀態(tài)等等。對于性能與容量這兩類維度，主要依賴當前OS的數(shù)據(jù)捕獲，一般來說對于服務器監(jiān)控來說在通用場景下主要關注CPU、內存、流量與包量這四個指標即可，但是別的指標也建議盡量捕獲。

單個監(jiān)控對象的數(shù)據(jù)豐富了會有如下好處：避免對象的監(jiān)控盲點不同的監(jiān)控數(shù)據(jù)點可以部分對應出該服務器所承載的業(yè)務特性指標，例如存儲類業(yè)務也會關注disk_total_read、svctm_time_max、await_time_max等等系統(tǒng)指標生產的數(shù)據(jù)足夠豐富能夠催生出更加豐富的運維數(shù)據(jù)消費場景。服務器監(jiān)控相對是很標準的監(jiān)控模型，針對于物理服務器與虛擬機都有共性指標。這部分主要做到采集的數(shù)據(jù)豐富與上報的準確性(算法準確)。

十四五規(guī)劃和十九屆五中全會提出：

1、加強關鍵數(shù)字技術創(chuàng)新應用用聚焦芯片、操作系統(tǒng)、人工智能關鍵算法、傳感 器等關鍵領域，加快推進基礎理論、基礎算法、裝備 材料等研發(fā)突破與迭代應用。加強通用處理器、 云計算系統(tǒng)和軟件技術一體化研發(fā)。

2、加快推動數(shù)字產業(yè)化培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計算、網絡 安全等新興數(shù)字產業(yè)，提升通信設備、關鍵電 子元器件、關鍵軟件等產業(yè)水平。

3、科技自強 ，科技自立堅持創(chuàng)新在我國現(xiàn)代化建設全局中的重要地位，把 科技自立自強作為國家發(fā)展的戰(zhàn)略支撐。

Argus運維監(jiān)控系統(tǒng)在信息技術創(chuàng)新應用的大背景下應運而生。運維監(jiān)控體系一般來說包括數(shù)據(jù)采集、數(shù)據(jù)檢測、告警管理、故障管理、視圖管理和監(jiān)控管理6大模塊。

面向IT資源200+以上的各類型單位，產品提供一體化運維監(jiān)控功能，以幫助信息部門員高效管理IT運行環(huán)境、IT資產，通過運維工具的自動化，提升單位IT服務質量，提高運維效率，降低運維成本，減輕運維人員工作壓力。

Argus實時運維監(jiān)控分析系統(tǒng)是基于全球負有盛名的IT基礎監(jiān)控平臺Zabbix深度二次開發(fā)的運維監(jiān)控軟件，面向私有化及混合云數(shù)據(jù)中心提供多角度多層次的統(tǒng)一監(jiān)控和運維管理。幫助用戶實時對各類IT資源（網絡設備、服務器、存儲、數(shù)據(jù)庫、中間件等）執(zhí)行性能指標監(jiān)控，實現(xiàn)事前運維。我們要運維監(jiān)控這個東西的什么屬性？比如CPU的使用率、負載、用戶態(tài)、內核態(tài)、上下文切換。哪個運維監(jiān)控管理產品好用

快速讀懂智能化運維監(jiān)控如何賦能IT可觀察性！信創(chuàng)智慧運維監(jiān)控管理

Prometheus指標采集和查詢存儲方案-2020年

我們分一級監(jiān)控平臺和二級集群Prometheus監(jiān)控采集組件。一級提供kafka集群和Prometheus聚合組件，二級各集群部署Prometheus和Prometheus-kafka-adapter組件，采集和遠程送數(shù)據(jù)到一級的kafka集群。

該方案優(yōu)點：

1.業(yè)務系統(tǒng)可以跨集群聚合數(shù)據(jù)，如圖k8s集群-1和k8s集群-2數(shù)據(jù)聚合到Top-1的Prometheus上。

2.一級監(jiān)控平臺上只要有足夠的cpu、存儲資源，理論上可以水平擴展接入更多集群。2020年底采集的指標量每天3194億的量級，吞吐量達370萬/s。

3.采集端Prometheus可以保留極少數(shù)據(jù)，比如6小時的數(shù)據(jù)，減少資源消耗。而上層Prometheus由于落數(shù)據(jù)到時序數(shù)據(jù)庫influxdb中，可以保存一個月數(shù)據(jù)量甚至更多。

該方案沒做到什么：

1.采集端Prometheus擴容問題，單集群中數(shù)據(jù)規(guī)模受Prometheus原生的限制。

2.一級監(jiān)控平臺上時序數(shù)據(jù)庫influxdb有單點問題，數(shù)據(jù)規(guī)模和數(shù)據(jù)安全性受其影響。信創(chuàng)智慧運維監(jiān)控管理

上海觀縱科技有限公司是以提供webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控為主的有限責任公司，公司始建于2022-11-14，在全國各個地區(qū)建立了良好的商貿渠道和技術協(xié)作關系。觀縱科技以webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控為主業(yè)，服務于傳媒、廣電等領域，為全國客戶提供先進webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控。將憑借高精尖的系列產品與解決方案，加速推進全國傳媒、廣電產品競爭力的發(fā)展。

本文來自聊城市萬虹鋼管有限公司：http://www.theparagonjournal.com/Article/64c19099745.html