seo三人行 > SEO优化 > SEO白帽 > 正文
【DTCC 现场报道】2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日在北京举办。本届大会以“数据驱动·价值发现”为主题,汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。
▲
3年时间的积累,全球多个机房部署,线上集群超过100台,单份数据大小超过5T,每日更新资产超过1000万……
在网络安全行业的搜索引擎到底是怎样的呢?大数据在这其中发挥了什么作用?白帽汇又是怎样做的?……
带着这些问题,我们走进5月13日“搜索技术”专场,白帽汇公司创始人、CTO龙专进行的《大数据在安全行业的应用网络空间测绘》主旨分享,一起来寻求答案。
▲白帽汇公司创始人、CTO 龙专
白帽汇龙专——大数据在安全行业的应用包含四个关键点:一是网络空间的资产搜索;二是安全漏洞扫描;三是用Redis来进行数据收集储存;四是用Elasticsearch来搭建网络空间的搜索引擎。
安全漏洞频发 系统安全如何保障?
近年来,网络安全问题日益突出,系统层面的应用安全漏洞频发,严重者导致数据信息泄露,企业资产损失巨大。就在前不久3月份,多家网络安全公司发现并曝光了全球最为流行的Java Web服务器框架之一的Apache Struts2存在漏洞,并将其定级为高级漏洞,令不少网络安全圈内人士咋舌。
这种安全漏洞曝光事件在安全圈已经见怪不怪了,比如Shadow Brokers公布过NSA黑客工具,里面就包含了众多Windows 0day漏洞。此外,IOT设备弱口令、PHPMailer命令执行漏洞、ImageMagic命令执行漏洞、Redis未开启验证导致数据泄露、Elasticsearch和CauchDB等系统勒索事件等也受到业内人士的关注。
白帽汇公司创始人、CTO龙专说道:“当某个安全漏洞突发的时候,需要统计和分析包括,一有多少联网设备使用这个系统?二有哪些系统受到了影响?这是一个无法规避却又难以解决的问题。”
白帽汇提供了一个解决方案——网络空间测绘+全网扫描。网络空间测绘是运用一些技术方法,来探测全球互联网空间上的资产业务应用和分布情况,并用搜索引擎的方式提供服务,可供搜索的范围包括所有联网的资产。网络空间测绘是对资产进行安全管理的更为有效的一种形式。
网络空间测绘与资产管理的区别见下表所示:
网络空间测绘:我们需要一个FOFA
“每类资产,都有自己的指纹;单个资产,也有自己的指纹。”
企业资产就好比人的指纹,龙专在演讲中表示。指纹可以代表人的身份ID,企业的资产也有可以代表它们身份的ID指纹,依靠网络空间测绘可以帮助企业找出每个资产的专属指纹。
而网络空间测绘解决方案的实践,龙专说道,我们需要一个搜索引擎去实现。
这个搜索引擎就是FOFA。当我们想要获取某个系统的分布情况;想要知道哪些网站用了某套系统;想要获取一个根域名下所有子域名网站;想要根据一个子域名网站找到跟它在一个IP的其他网站,都需要用到FOFA。
特别是当你进行全网漏洞扫描时,你想要知道一个新的漏洞在全网的影响范围有多大,FOFA都可以帮到你。
▲针对特定系统的检索
FOFA能够针对HTML正文进行代码级别的全文检索,支持非标准端口,具有指纹识别后置以及自定义规则库,可以随时应对新系统,无需重新爬虫或重新分析。此外FOFA聚焦网站资产,数据量更大,覆盖也更全面。
FOFA能够帮助企业迅速进行网络资产匹配,快速开展漏洞影响范围分析、应用分布统计等工作。
搜索+漏洞扫描 大数据为安全行业站台
FOFA的一大特色功能是可以进行全网扫描,实现搜索引擎与漏洞扫描的结合。
龙专在演讲中表示,传统Web漏洞扫描存在很多缺点,比如传统的nmap端口扫描速度慢,快速端口扫描存在丢包的问题,还存在防火墙误报问题。
▲全网扫描与传统Web漏洞扫描的区别
其实空间测绘的基础是端口扫描,因此FOFA针对针对协议识别速度慢和防火墙误报问题,开发了一套协议识别程序,其可以覆盖240+端口,进行110+协议的深度解析,包括主流的网络服务、数据库、IOT,甚至是工控协议。而为了识别各个组件上的具体应用,FOFA收集和整理了一套指纹识别库,目前已拥有超过5500+的识别规则。
FOFA的核心技术是Elasticsearch的使用。我们知道,数据快速更新会带来一些问题,比如更新的数据量大,插入缓冲区(Redis)积压严重,导致其不稳定,更导致全文搜索速度慢。FOFA在进行数据迁移时,Mysql不能实时地生成索引,因而FOFA选择用Elasticsearch进行数据迁移,解决实时索引的问题。
据悉,目前FOFA已在全球多个机房部署,线上集群超过100台,单份数据大小超过5T,每日更新资产超过1000万。
转载请标注:我爱技术网_SEO三人行——安全行业的搜索引擎?白帽汇引爆新鲜感
- 搜索
-
- 2020-10-13认准!武汉seo工作怎么样选锦绣
- 2020-10-09认准!怀集县SEO优化培训选哪家
- 2020-10-09厂家大揭秘:天津建设网站制作-
- 2020-10-05真的好!天津关键字推广的公司-
- 2020-10-05品牌推荐:公司网站建设报价_天
- 2020-10-05我们是认真的!天津做网店推广-
- 2020-10-05追踪:天津代运营公司淘宝代运营
- 2020-10-05优秀,天津首页关键词优化排名-
- 2020-10-05服务详解:天津企业网站托管公司
- 2020-10-05请查看:天津关键字排名优化软件
- 2018-05-02CTF夺旗挑战!看老外如何玩转!
- 2018-09-10全球十大白帽黑客团体排行:Goog
- 2018-06-27顶尖大咖白帽汇聚BSRC年度盛典,
- 2019-03-30企业应挖掘自身潜力
- 2019-04-28普陀区SEO优化精准策划网上推广
- 2020-08-28【安全可靠】网站推广网络营销-
- 2020-09-01【不二之
- 2018-04-15【项目年】一季度湖南新开工108
- 2018-04-28珠海seo服务是白帽seo好,还是黑
- 2018-07-16动画:特朗普办仪式欢迎马克龙
- 2020-10-13认准!武汉seo工作怎么样选锦绣
- 2020-10-09认准!怀集县SEO优化培训选哪家
- 2020-10-09厂家大揭秘:天津建设网站制作-
- 2020-10-05真的好!天津关键字推广的公司-
- 2020-10-05品牌推荐:公司网站建设报价_天
- 2020-10-05我们是认真的!天津做网店推广-
- 2020-10-05追踪:天津代运营公司淘宝代运营
- 2020-10-05优秀,天津首页关键词优化排名-
- 2020-10-05服务详解:天津企业网站托管公司
- 2020-10-05请查看:天津关键字排名优化软件