基本信息
- 项目名称：
- “主动云爬虫”互联网漏洞自主检测与预警防护系统
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本系统主动检测指定站点和其有父子关系链接的站点所包含的攻击代码、恶意链接、隐藏攻击等，并将分析后获取到的不安全站点的详细分析信息与解决方案存入数据库并建立威胁库。本系统不仅能够预警互联网重大安全事故并防御各种类型的网络攻击，同时还能为普通用户提供互联网安全应用解决方案。本系统的发展理念也革新了用户需要再购买安装相关反病毒防护系统的传统思想，所有安全威胁即可全部被拦截在云端。
- 详细介绍：
- 本系统基于主动云爬虫NetRobots（自主研发）主动抓取指定检测站点和其有父子关系链接的站点所包含的攻击代码、恶意链接、隐藏攻击等，使用包含基于黑箱的恶意行为检测技术、基于混沌特征码的病毒检测技术、网页攻击代码自动诊断技术（Web Attack Detection）、基于进程的病毒木马拦截授权技术为核心技术的专家系统（自主研发-专利号:2005SR13645）结合数据流的特征码检测、恶意代码检测等一系列检测技术在虚拟机环境中进行站点挂马、Script Virus、SQL Injection、Phishing、Exploit、XSS等攻击形式的分析和诊断，并将分析后获取到的不安全站点的详细分析信息与解决方案存入数据库并建立威胁库，WEB服务器定期自动生成并发布挂马、攻击预警、漏洞利用趋势等的安全文档且附带相关解决方案。本系统不仅能够预警互联网重大安全事故并防御各种类型的网络攻击，同时用户不需要多余的操作和安装繁杂的安全软件，只需设置浏览器中的代理为“主动云爬虫”的服务器，系统将自动从威胁库中获取过滤信息直接创建白名单和黑名单，为普通用户提供互联网安全应用解决方案。本系统的发展理念也革新了用户需要再购买安装相关反病毒防护系统的传统思想，所有安全威胁即可全部被拦截在云端。 系统在主动分析海量互联网威胁的同时会获得庞大的病毒样本库，该库将包含大量的0day代码和未知病毒，可以为反病毒厂商和相关反病毒机构提供大量宝贵资源。系统前期主要为国家政府骨干网络和大型企业网络提供威胁评测、攻击预警、安全分析和相关解决方案，后期在威胁特征库建立后为整个互联网用户提供“云安全”的相关服务。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 本系统基于主动云爬虫NetRobots(自主研发)主动检测指定站点和其有父子关系链接的站点，使用包含基于黑箱的恶意行为检测技术、基于混沌特征码的病毒检测技术、网页攻击代码自动诊断技术、基于进程的病毒木马拦截授权技术为核心技术的专家系统（专利号:2005SR13645）结合数据流的特征码检测、恶意代码检测等一系列检测技术在虚拟机环境中进行站点挂马、Script Virus、SQL Injection、Phishing、Exploit、XSS等攻击形式的分析和诊断，并建立威胁库，WEB服务器定期自动生成并发布挂马、攻击预警、漏洞利用趋势等的安全文档且附带相关解决方案。 项目创新点: 1.基于混沌的病毒特征码检测技术 成功识别利用反复测试病毒检测引擎找到突破口攻击方法的未知病毒和变种，并实现病毒检测引擎的不可预知性。 2.基于黑箱的计算机病毒防御技术 提出一种新型反病毒模型，结合“云安全”技术可以防御目前几乎所有以代码运行为必要过程的攻击行为，彻底解决了外部可执行文件在执行的同时保持系统原始安全性的问题，并同时获取相关恶意行为特征。 3.主动云爬虫技术 采用创新爬取策略，结合传统爬虫的优势策略，并融合JS、VBS等脚本的安全检测。系统内包含特征码提取比对、虚拟机检测、威胁度自动分析等技术突破了传统爬虫的种种局限性。 4.网页攻击代码自动诊断技术 融合词法分析、虚拟机检测、特征码提取、危险度计算、漏洞自动检测等技术，对站点威胁进行全面检测，评估当前页面的安全度。
科学性、先进性
- 系统主要由三部分组成Netrobots Server、Expert System Server and Web Server. Netrobots在具有传统爬虫优势的基础上，主要从网页安全检测方面进行设计，并针对深层动态网页的抓取，融入了JS、VBS的解析与检测，扩大了网页检测的全面性。 Expert-System在继承了传统检测的基础上，又添加了全新的自主检测方式，全面多角度的对网页进行安全检测，命中率更高，实用性更强。系统的检测以模拟用户访问网页的模式进行，不需要网站方的额外配合。未知行为预警系统在检测到攻击性行为时能够自动记录行为特点和方式，同时通过虚拟机检测机制获取威胁评估，相关信息将生成日志存入到行为特征库中，以便相同行为的比对检测工作。整个过程系统自动完成，同时不断完善特征库，使检测全面且更新及时。 Web Server将正则融入SQL数据库的搜索，提升效率的同时，更提升了准确度并使用优化器等一系列方法提高整体系统性能。
获奖情况及鉴定结果
- 本系统曾先后为上海市政府相关部门、东方航空集团、某重点大学、长春金赛药业有限责任公司等一系列单位提供免费安全检测，通过本系统成功修复了大量的安全威胁，成功阻止了相关经济损失。 （后附相关证明文件）
作品所处阶段
- 中试阶段
技术转让方式
- 专利转让
作品可展示的形式
- 图纸、现场演示、图片、录象、样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 本系统的特点与优势： 1、"主动云爬虫"能够高效的检测出普通安全检测系统无法检测出的站点安全威胁，并随时发布最新的检测资料、安全咨询等信息。 2、攻击者无法还原检测现场，无法通过反复测试检测系统来实现检测绕过，从而保证了本系统的持久的有效性与检测力,在同类技术中还属首次。 3、拥有高效特征库，融合“云安全”技术， 为普通用户提供安全上网代理。 4、能够实时对我国的骨干网、大型企业、科研机构、涉及国家安全的组织等进行全天候监控，对相关攻击进行提前预警和防范。 5、系统整体拥有黑箱特性，外界无法获得系统相关信息，也无法攻击本系统。 在对核心骨干网进行安全监控的同时也能对大量的普通用户进行HTTP安全代理。将获得的0DAY Exploit和未知病毒给反病毒厂商。本系统在中后期可以分成两种不同的商业模式，第一种为政府和企业提供长期的定点安全检测和维护服务。第二种为推出自己的客户端软件和硬件从而推广品牌。
同类课题研究水平概述
- 现在主流爬虫较少抓取Deep Web中的资源，却有大部分的网络攻击代码都是隐藏在Deep Web中，因此这方面的安全问题是不容忽视的。当前国内外的爬虫领域研究主要是在网页内链接的提取技术、网页数据库的更新策略、避免重复网页抓取的机制，以及针对专业搜索引擎的爬虫设计等方面，还未从网页安全角度和攻击趋势分析角度出发设计一个针对网络安全检测的爬虫引擎。主动爬虫Netrobots系统（自主研发）在具有爬虫的高效性、全面性的基础上，主要从网页安全检测方面进行设计，并针对深层动态网页的抓取，融入了对JS、VBS等网页脚本的解析，扩大网页抓取的全面性。从挂马角度出发，挂马链接所在的地址为本网站的较少，多数为外部链接植入，对挂马页面当前内嵌的外部链接进行检测与分析，提供更全面的检测资料。从站点安全分析的角度出发，按照相关度爬取的策略机制，跟踪并检测出通过外部网络地址多层次链接在正常系统中隐藏较深的恶意代码和相关攻击，并提取父子关系和相关的攻击行为，在同类领域还属首次。本系统在此基础上融入了病毒库特征码比对的预处理模块和对HTTP协议的快速分析模块，能够自动判断相关协议并采取优先策略进行爬取，从而提高了整个系统的检测效率。 专家系统病毒分析领域，现有的主流商业HIPS使用的一系列拦截技术都基于用户操作系统，当未知威胁进入后，会对用户的安全环境造成影响而本技术基于虚拟机操作系统。病毒检测领域，虽然反病毒技术也在不断完善，但当一个已被查杀的病毒需要被攻击者重新使用时，由于攻击者可以在网络上下载到主流反病毒软件的副本，所以只需对该病毒进行简单的修改，然后使用其对修改后的病毒进行逐个测试，直到找到一份不被任何反病毒软件查杀的副本。该副本在很长一段时间内又将属于感染能力的强势期，如果它没有被反病毒厂商捕获，该病毒将持续危害计算机用户的安全。显然传统的反病毒检测技术已经无法跟上病毒技术的发展趋势。 根据Attack Research, LCC 在2009年第一季度发布的《Dissecting Web Attacks》报告中可以看出，越来越多的网络攻击方式从传统的个人攻击转化成以组织为单位的集体攻击，且攻击方式越来越依赖SQL注入、挂马、跨站、钓鱼等基于站点为基础的定向攻击。本系统在检测已知攻击方式的同时可以检测出大量未知漏洞和攻击样本，通过后期的应用，能够最大限度的保护被攻击站点的安全。
