將想法與焦點(diǎn)和您一起共享

智慧消防物聯(lián)網(wǎng)平臺層的5個(gè)子系統發(fā)布者:本站     時(shí)間:2020-01-02 14:01:23

智慧消防物聯(lián)網(wǎng)平臺層根據功能可以分為5個(gè)子系統,分別為:數據接入子系統、數據存儲子系統、數據處理子系統、平臺服務(wù)子系統、監控報警子系統,其技術(shù)特點(diǎn)為:
1.3.1 數據接入子系統

負載均衡
負載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò )數據處理能力、提高網(wǎng)絡(luò )的靈活性和可用性的技術(shù)。它將大量并發(fā)訪(fǎng)問(wèn)分擔到多臺設備上進(jìn)行分別處理,降低處理時(shí)延和單臺服務(wù)器負載。
網(wǎng)關(guān)
數據網(wǎng)關(guān)主要負責接收終端上報的數據、指令下發(fā)和數據路由。
消息中間件
消息隊列是設計大規模分布式系統時(shí)經(jīng)常使用的中間件產(chǎn)品。分布式系統構件之間通過(guò)傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統之間的依賴(lài),使得各個(gè)子系統或者構件可以獨立演進(jìn)、維護或重用。
1.3.2 數據存儲子系統
HDFS
HDFS是Hadoop最核心的設計之一。它是高度容錯的分布式文件系統,設計用在低成本的硬件上運行。HDFS能提供高吞吐量的數據訪(fǎng)問(wèn),非常適合大規模數據集上的應用。
HBASE
HBase 是一個(gè)面向列的分布式數據庫,其設計目標是用來(lái)解決關(guān)系型數據庫在處理海量數據時(shí)的理論和實(shí)現上的局限性,支持Terabyte到Petabyte級別的海量數據存儲和高速讀寫(xiě),這些數據被分布在數千臺普通服務(wù)器上,并且能夠被大量并發(fā)用戶(hù)高速訪(fǎng)問(wèn)。
RDBMS
HBase雖然支持大數據量的存儲,但是不支持復雜的查詢(xún)。TStar中業(yè)務(wù)數據在進(jìn)行展示時(shí)需要支持復雜查詢(xún),這部分數據主要存儲在關(guān)系型數據庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔,RDBMS在TStar中負荷較低,性能比較高。
Redis
Redis是一款開(kāi)源的、高性能支持持久化的鍵-值存儲系統,其性能極高,能支持超過(guò)10萬(wàn)每秒的讀寫(xiě)頻率。
TStar主要使用Redis來(lái)存儲讀寫(xiě)頻率較高,數據量較恒定的數據。例如,終端當前狀態(tài)。
1.3.3數據處理子系統
數據處理子系統,主要包括實(shí)時(shí)處理和批量處理。實(shí)時(shí)處理主要針對終端定時(shí)上報數據進(jìn)行解析、報警判斷等時(shí)效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時(shí)效性要求不高的任務(wù)。
實(shí)時(shí)處理
在TStar中,對大數據處理的計算時(shí)效性要求很高,要求計算能在非常短的時(shí)延內完成。因此采用了Storm框架,它能提供很好的可擴展性和容錯性,并且對消息的處理可以達到毫秒級的延遲。
離線(xiàn)計算
TStar離線(xiàn)分析模塊使用MapReduce計算框架,是Hadoop最核心的設計之一,適合離線(xiàn)處理超大規模數據集,如日報表分析、月報表分析、年度報表分析等。
1.3.4平臺服務(wù)子系統
數據導入
網(wǎng)關(guān)接收到的終端原始數據和實(shí)時(shí)計算產(chǎn)生的部分數據分別存放在HDFS和Hbase里面,使用Kafka進(jìn)行解耦,網(wǎng)關(guān)把原始數據寫(xiě)入Kafka中,實(shí)時(shí)計算把解析數據寫(xiě)入Kafka中 ,HDFS數據導入模塊和Hbase數據導入模塊異步的將Kafka中的數據導入到相應的存儲中。
數據交換接口
TStar提供三種數據交換接口:跨語(yǔ)言的Thrift RPC接口、JAVA API接口和REST API接口。
跨語(yǔ)言的Thrift RPC接口
TStar提供跨語(yǔ)言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml)的數據交換接口,旨在提供業(yè)務(wù)層和平臺層的數據交互服務(wù),包括實(shí)時(shí)數據獲取,歷史數據獲取,終端指令下發(fā)及應答檢查。
JAVA API
TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數據交互服務(wù),包括實(shí)時(shí)數據獲取,歷史數據獲取,終端指令下發(fā)及應答檢查。
REST API
TStar為第三方平臺提供了統一的REST API接口,您可以使用幾乎任何客戶(hù)端在任何編程語(yǔ)言與REST API進(jìn)行交互,以及編寫(xiě)和測試應用程序。接口支持設備的管理,實(shí)時(shí)數據、歷史數據的獲取,終端的指令下發(fā)。

1.3.5監控報警子系統
系統監控
TStar使用Ganglia來(lái)監控每個(gè)節點(diǎn)的工作狀態(tài),通過(guò)長(cháng)期監測系統運行狀況可以對合理調整、分配系統資源提供參考。系統運行初期可以依據系統監控數據對平臺進(jìn)行優(yōu)化。
系統告警
TStar平臺使用Nagios提供三個(gè)層面的監控和告警:
系統層面:使用插件來(lái)監控服務(wù)器的CPU、內存、硬盤(pán)使用率、I/O負載
軟件層面:TStar的所有進(jìn)程在啟動(dòng)后把自己的PID寫(xiě)入指定目錄的文件內,文件名為進(jìn)程名。Nagios根據PID定時(shí)檢查進(jìn)程的狀態(tài),對掛掉的進(jìn)程顯示報警。
業(yè)務(wù)層面:TStar中的各個(gè)模塊可以自定義告警,例如當網(wǎng)關(guān)中的鏈接數超過(guò)閾值,數據導入模塊在一定時(shí)間內沒(méi)有接收到數據都可以產(chǎn)生告警
TStar平臺提供多種告警通知方式,包含郵件或短信或APP等。智慧消防物聯(lián)網(wǎng)平臺層根據功能可以分為5個(gè)子系統,分別為:數據接入子系統、數據存儲子系統、數據處理子系統、平臺服務(wù)子系統、監控報警子系統,其技術(shù)特點(diǎn)為:
1.3.1 數據接入子系統

負載均衡
 負載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò )數據處理能力、提高網(wǎng)絡(luò )的靈活性和可用性的技術(shù)。它將大量并發(fā)訪(fǎng)問(wèn)分擔到多臺設備上進(jìn)行分別處理,降低處理時(shí)延和單臺服務(wù)器負載。
 網(wǎng)關(guān)
 數據網(wǎng)關(guān)主要負責接收終端上報的數據、指令下發(fā)和數據路由。
 消息中間件
 消息隊列是設計大規模分布式系統時(shí)經(jīng)常使用的中間件產(chǎn)品。分布式系統構件之間通過(guò)傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統之間的依賴(lài),使得各個(gè)子系統或者構件可以獨立演進(jìn)、維護或重用。
1.3.2 數據存儲子系統
HDFS
 HDFS是Hadoop最核心的設計之一。它是高度容錯的分布式文件系統,設計用在低成本的硬件上運行。HDFS能提供高吞吐量的數據訪(fǎng)問(wèn),非常適合大規模數據集上的應用。
HBASE
 HBase 是一個(gè)面向列的分布式數據庫,其設計目標是用來(lái)解決關(guān)系型數據庫在處理海量數據時(shí)的理論和實(shí)現上的局限性,支持Terabyte到Petabyte級別的海量數據存儲和高速讀寫(xiě),這些數據被分布在數千臺普通服務(wù)器上,并且能夠被大量并發(fā)用戶(hù)高速訪(fǎng)問(wèn)。
RDBMS
 HBase雖然支持大數據量的存儲,但是不支持復雜的查詢(xún)。TStar中業(yè)務(wù)數據在進(jìn)行展示時(shí)需要支持復雜查詢(xún),這部分數據主要存儲在關(guān)系型數據庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔,RDBMS在TStar中負荷較低,性能比較高。
Redis
 Redis是一款開(kāi)源的、高性能支持持久化的鍵-值存儲系統,其性能極高,能支持超過(guò)10萬(wàn)每秒的讀寫(xiě)頻率。
TStar主要使用Redis來(lái)存儲讀寫(xiě)頻率較高,數據量較恒定的數據。例如,終端當前狀態(tài)。
1.3.3數據處理子系統
 數據處理子系統,主要包括實(shí)時(shí)處理和批量處理。實(shí)時(shí)處理主要針對終端定時(shí)上報數據進(jìn)行解析、報警判斷等時(shí)效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時(shí)效性要求不高的任務(wù)。
 實(shí)時(shí)處理
 在TStar中,對大數據處理的計算時(shí)效性要求很高,要求計算能在非常短的時(shí)延內完成。因此采用了Storm框架,它能提供很好的可擴展性和容錯性,并且對消息的處理可以達到毫秒級的延遲。
 離線(xiàn)計算
TStar離線(xiàn)分析模塊使用MapReduce計算框架,是Hadoop最核心的設計之一,適合離線(xiàn)處理超大規模數據集,如日報表分析、月報表分析、年度報表分析等。
1.3.4平臺服務(wù)子系統
 數據導入
 網(wǎng)關(guān)接收到的終端原始數據和實(shí)時(shí)計算產(chǎn)生的部分數據分別存放在HDFS和Hbase里面,使用Kafka進(jìn)行解耦,網(wǎng)關(guān)把原始數據寫(xiě)入Kafka中,實(shí)時(shí)計算把解析數據寫(xiě)入Kafka中 ,HDFS數據導入模塊和Hbase數據導入模塊異步的將Kafka中的數據導入到相應的存儲中。
 數據交換接口
TStar提供三種數據交換接口:跨語(yǔ)言的Thrift RPC接口、JAVA API接口和REST API接口。
 跨語(yǔ)言的Thrift RPC接口
TStar提供跨語(yǔ)言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml)的數據交換接口,旨在提供業(yè)務(wù)層和平臺層的數據交互服務(wù),包括實(shí)時(shí)數據獲取,歷史數據獲取,終端指令下發(fā)及應答檢查。
JAVA API
 TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數據交互服務(wù),包括實(shí)時(shí)數據獲取,歷史數據獲取,終端指令下發(fā)及應答檢查。
REST API
 TStar為第三方平臺提供了統一的REST API接口,您可以使用幾乎任何客戶(hù)端在任何編程語(yǔ)言與REST API進(jìn)行交互,以及編寫(xiě)和測試應用程序。接口支持設備的管理,實(shí)時(shí)數據、歷史數據的獲取,終端的指令下發(fā)。

1.3.5監控報警子系統
 系統監控
TStar使用Ganglia來(lái)監控每個(gè)節點(diǎn)的工作狀態(tài),通過(guò)長(cháng)期監測系統運行狀況可以對合理調整、分配系統資源提供參考。系統運行初期可以依據系統監控數據對平臺進(jìn)行優(yōu)化。
 系統告警
TStar平臺使用Nagios提供三個(gè)層面的監控和告警:
 系統層面:使用插件來(lái)監控服務(wù)器的CPU、內存、硬盤(pán)使用率、I/O負載
 軟件層面:TStar的所有進(jìn)程在啟動(dòng)后把自己的PID寫(xiě)入指定目錄的文件內,文件名為進(jìn)程名。Nagios根據PID定時(shí)檢查進(jìn)程的狀態(tài),對掛掉的進(jìn)程顯示報警。
 業(yè)務(wù)層面:TStar中的各個(gè)模塊可以自定義告警,例如當網(wǎng)關(guān)中的鏈接數超過(guò)閾值,數據導入模塊在一定時(shí)間內沒(méi)有接收到數據都可以產(chǎn)生告警
TStar平臺提供多種告警通知方式,包含郵件或短信或APP等。



選擇我們,優(yōu)質(zhì)服務(wù),不容錯過(guò)
1. 優(yōu)秀的網(wǎng)絡(luò )資源,強大的網(wǎng)站優(yōu)化技術(shù),穩定的網(wǎng)站和速度保證
2. 15年上海網(wǎng)站建設經(jīng)驗,優(yōu)秀的技術(shù)和設計水平,更放心
3. 全程省心服務(wù),不必擔心自己不懂網(wǎng)絡(luò ),更省心。
------------------------------------------------------------
24小時(shí)聯(lián)系電話(huà):021-58370032
最新国产精品第二页_色资源av中文无码先锋_中国xx爽69护士_日韩欧美亚洲每日更新在线观看