技术介绍

基于海量数据采集、提取、加工和存储，使用网格计算、数据挖掘、规则引擎、深度学习等技术对数据仓库进行数据提炼、加工及关联性分析。基于企业业务线条，开发了满足于企业数据特点的数据搜集、提取和加工等功能的通用及专用套件，如SL01通用高性能SYSLOG服务器、SP05网络设备数据采集器、系列专用Beat组件等。使用Hadoop作为大数据处理基础能力平台、辅以Timescale时序数据分析及Elastic Search聚合数据分析等技术。在研发过程中不断实践深度解耦、系统架构组件化、数据总线化等软件架构方法，特别注重数据完整性的保障。在保证数据高效处理的同时，尽量降低系统对外部环境的依赖，并遵循KISS原则，保证系统架构。