• 龙8-long8

    
    中文-Chinese 英语-English
    解决方案

    以客户为中心，提供定制化或一站式的全栈解决方案，赋能千行百业

    龙8-long8大数据平台建设解决方案
    项目背景

    xx网安支队规划在全区的网吧、大型连锁门店、重点路段公共电话亭及公共汽车站等重点区域部署移动终端硬件特征采集设备，对区域内的移动终端设备进行监控。实现数据采集、实时回传、数据汇总（数据仓库）、进入报警及轨迹追踪等功能，为公安机关在公共 WIFI 管控工作中提供有力的抓手。


    随着XX网安投入的采集设备的增多，数据接入量的增大，业务分析场景愈加复杂，这些都要求有更强大的数据仓库支撑。原有的基于RDBMS 数据仓库已经接近性能瓶颈；所以上海XX网安迫切需要一种更先进的技术，既能解决当前遇到的问题，也能满足未来业务发展 需求。RDBMS 遇到的问题主要体现在如下四个方面：

    1、数据 ETL 耗时越来越长，无法满足目标系统对数据的时效性要求，关键任务的 SLA不能得到保证。

    2、RDBMS 性能优化（index & partition）无法逾越 I/O 瓶颈，同时，数据仓库不断增加 index 和 partition 也增加了系统在加载时的资源消耗，同时增加了系统维护度。

    3、由于性能原因，使随机查询能力受限，检索场景仅支持7天数据，无法针对较长时 间轴进行实时追踪。

    4、目前的系统架构不支持线性扩展，使数据的存储得到制约，扩容需要花费高成本以 购买大型设备，即便如此，也无法控制数据增长带来的性能处理压力。







    下图是基于龙8-long8大数据平台的架构设计及数据流转：



    方案介绍

    尺寸

    2U机架式服务器，86.1mm(高)* 447mm(宽)* 790mm(深)

    CPU

    配置两颗6230R/26C/52T/主频2.1GHz处理器

    硬盘位

    提供12个3.5寸硬盘槽位，配置2块960G SSD系统盘、10块4TB数据盘

    网口

    4个千兆电口，4个万兆光口（含4个万兆光模块）

    RAID

    2G缓存RAID阵列卡（支持RAID0 1 10 ）并配置超级电容

    PCIE插槽

    配置至少4个PCIe插槽

    电源

    配置2个交流电源模块，1+1

    操作系统

    Centos7.6



    龙8-long8大数据一体机（PR2715P2）是龙8-long8公司最新推出的一款2U服务器产品，它采用Intel C620系列高性能芯片组，支持第二代Intel® Xeon® Processor Scalable可扩展系列处理器，该机型最多支持内存容量3 TB，默认支持8块热插拔3.5寸硬盘，可选支持12盘/24盘版本，并可灵活扩展全高全长的PCI-E设备。高集成度的设计在有限空间内带来强劲的性能表现足以支撑关键任务的运行。PR2715P2提供先进的管理功能和存储技术，具有可靠的可扩充性和高可用性。

    方案解析

    主要流程是采集设备收集到源数据后，经过光栅，一部份数据会传输到 ftp 服务器，数 据调度服务器发现 ftp 服务器有新数据到来，会对数据进行清洗整合，然后汇总到 inceptor 数据仓库以及 hyperbase 检索库中，另一个部分数据直接通过分布式消息队列，进入到 hyperbase 检索库中，前台应用系统便可对数据进行访问和使用。

    方案优势
    • 优秀的数据存储和处理能力

      截止到目前为止，上海XX网安已经完全替换了之前的RDBMS数据库，且平稳运行1 年左右，累计存储150T数据，周增长数据量在4t左右，前端应用系统反馈良好，随着近年来公安业务的不断开展，和硬件设备的不断补充，存储量和处理量的不断增加，TDH大数据平台通过线性扩展完全可以满足要求。

    • 快速的分析查询

      单用户分析快速查询采用了龙8-long8hyperbase组件进行实现，通过龙8-long8强大的sql支持以及jdbc接口，再配合龙8-long8的全文搜索引擎search组件，能够以优越的低延时响应速度 查询准确结果，保障业务的稳定运行。