1、web日志挖掘所用的web服务器日志文件都是如何获得的? 用没有公用的数据集?谢谢!!!
有,http://www.sogou.com/labs/dl/q.html
http://blog.csdn.net/discxuwei/article/details/5769480
2、web服务器被攻击,从哪些日志,或者现象可以看出来?
如果服务器(网站)被入侵了,一般都是服务器或者网站存在漏洞,被黑客利用并提权入侵的,导致服务器中木马,网站被挂黑链,被篡改,被挂马。解决办法:如果程序不是很大,可以自己比对以前程序的备份文件,然后就是修复,或者换个服务器,最好是独立服务器。也可以通过安全公司来解决,国内也就Sinesafe和绿盟等安全公司 比较专业.
3、web服务器事件日志在哪里看
默认启用的W3C日志,保存位置是C:\WINDOWS\system32\LogFiles
4、如何查看服务器日志进行网站分析?
工具/原料
网站服务器、运行中网站
网站日志分析工具、FTP工具
网站日志查看流程
登录虚拟主机的管理系统(本经验以万网为例),输入主机的账号以及密码,登陆。操作如下所示:
登录系统后台,找到"网站文件管理"中的"weblog日志下载",并点击。操作如下图所示:
点击"weblog日志下载",可以看到很多以"ex"+时间命名的压缩文件可以下载。选择所需要下载的网站日志,点击下载。操作如下所示:
登录FTP工具,在根目录下找到"wwwlogs"文件,下载所需的压缩文件。注意:不同程序,日志存放目录不一样。操作如下图所示:
网上有很多日志分析软件,本经验以"光年seo日志分析系统"这款软件为例子,点击"新建分析任务"。操作如下图所示:
在"任务导向"中,按照实际要求改任务名以及日志类别。一般情况下可以不用修改。点击系下一步,操作如下图所示:
接着上一步,在"任务导向"中添加所需要分析的网站日志(也就是本经验第三步下载的文件),添加文件可以是一个或者多个。点击系下一步,操作如下图所示:
接着上一步,在"任务导向"中选择报告保存目录。点击系下一步,操作如下图所示:
完成之后,软件会生成一件文件夹,包含一个"报告"网页以及"files"文件,点击"报告"网页就可以查看网站日志数据了。
5、如何保护Web服务器中日志安全?
Web日志记录了web服务器接收处理请求,以及其运行时的错误等各种原始信息。通过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误、了解客户访问分布等,方便管理员更好地加强服务器的维护和管理。另外,Web日志也是判断服务器安全的一个重要依据,通过其可以分析判断服务器是否被入侵,并通过其可以对攻击者进行反向跟踪等。因此,对于Web日志攻击者往往以除之而后快。
一、攻击者清除日志的常用伎俩 1、Web服务器系统中的日志 以WindowsServer 2003平台的Web服务器为例,其日志包括:安全日志、系统日志、应用程序日志、WWW日志、FTP日志等。对于前面的三类日志可以通过“开始→运行”输入eventvwr.msc打开事件查看器进行查看,WWW日志和FTP日志以log文件的形式存放在硬盘中。具体来说这些日志对应的目录和文件为: (1).安全日志文件:C:WINDOWSsystem32configSecEvent.Evt (2).系统日志文件:C:WINDOWSsystem32configSysEvent.Evt (3).应用程序日志文件:C:WINDOWSsystem32configAppEvent.Evt (4).FTP日志默认位置:C: (5).WWW日志默认位置:C:、非法清除日志 上述这些日志在服务器正常运行的时候是不能被删除的,FTP和WWW日志的删除可以先把这2个服务停止掉,然后再删除日志文件,攻击者一般不会这么做的。系统和应用程序的日志是由守护服务Event Log支持的,而它是没有办法停止的,因而是不能直接删除日志文件的。攻击者在拿下Web服务器后,一般会采用工具进行日志的清除,其使用的工具主要是CL和CleanIISLog。 (1).利用CL彻底清除日志 这个工具可以彻底清除IIS日志、FTP日志、计划任务日志、系统日志、安全日志等,使用的操作非常简单。 在命令下输入“cl -logfiles 127.0.0.1”就可以清除Web服务器与Web和FTP和计划任务相关的日志。其原理就是先把FTP、WWW、Task Scheler服务停止再删除日志,然后再启动三个服务。(图2)celialin 该工具还可以选择性地清除相应的日志,比如输入“cl -eventlog All”就会清除Web服务器中与系统相关的日志。另外,此工具支持远程清理,这是攻击者经常采用的方法。首先他们通过命令“netuse ipipc$ 密码/user:用户名”在本地和服务器建立了管理员权限的IPC管理连接,然后用“CL -LogFile IP”命令远程清理服务日志。(图3)
(2).利用CleanIISLog选择性地清理IIS日志 比如攻击者通过Web注入方式拿下服务器,这样他的入侵痕迹(IP地址)都留在了IIS日志里。他们利用该工具只把其在IIS日志中的IP地址进行清除,这样就不会让对方管理员起疑心。 在命令中执行“CleanIISLog . IP”就可以清除IIS日志中有关该IP的连接记录同时保留其它IP记录。如果管理做了防范,比如更改了IIS日志的路径,攻击者在确定了日志的路径后,也可以通过该工具进行清除,其操作是,在命令行下执行“CleanIISLog IIS日志路径 IP地址”来清除指定IIS路径的IP记录。(图4)二、打造日志服务器保护日志 通过上面的演示可以看到,如果将服务器的日志保存在本地是非常不安全的。而且,如果企业中的服务器非常多的话,查看日志会非常麻烦。基于以上考虑,打造专门的日志服务器,即有利于服务器日志的备份又有利用于集中管理。 笔者的做法是,搭建一个FTP服务器用来日志的集中和备份,可以在服务器中通过专门的工具或者计划任务来实现日志的自动上传备份。这部分内容比较简单,笔者就不演示了。其实不仅可以将服务器日志备份到专门的日志服务器上,日志服务器还可以实现网络设备的日志备份。 以路由器为例,首先在其上进行设置,指定记录日志的服务器,最后通过FTP协议将日志数据传输到FTP服务器上。搭建FTP服务器可以利用IIS的FTP或者Serv-u,但是笔者觉得IIS的FTP在权限分配上不够方便,而Serv-u有漏洞太多,因此推荐TYPSoft FTP。 1、架设日志服务器 TYPSoft FTP是绿色软件,下载解压后双击ftpserv.exe文件,启动typsoft fip主程序。启动后,点击主界面菜单中的“设定→用户”,建立新账户log。接着在用户界面中设置log账号所对应的用户密码和日志保存的目录,最后点击“保存”按钮使设置生效,这样日志服务器就架好了。(图5)2、日志服务器的指定 当搭建好日志服务器后,只需要到相应的网络设置中通过SYSLOG或LOG命令指定要保存日志的服务器地址即可,同时加上设置好的账户名和密码即可完成传输配置工作。下面笔者就以Cisco6509设备上配置及指定日志服务器为例。 正常登录到设备上然后在全局配置模式下输入logging 192.168.1.10,它的意思是在路由器上指定日志服务器地址为192.168.1.10。接着输入logging trap,它的意思是设置日志服务器接收内容,并启动日志记录。trap后面可以接参数0到7,不同级别对应不同的情况,可以根据实际情况进行选择。如果直接使用logging trap进行记录的话是记录全部日志。配置完毕后路由交换设备可以发送日志信息,这样在第一时间就能发现问题并解决。日志服务器的IP地址,只要是能在路由交换设备上ping通日志服务器的IP即可,不一定要局限在同一网段内。因为FTP属于TCP/IP协议,它是可以跨越网段的。(图6) 总结:本文从攻击者的角度解析对Web日志的删除和修改,目的是让大家重视服务器日志的保护。另外,搭建专门的日志服务器不仅可以实现对日志的备份,同时也更利用对日志的集中管理。
6、Web服务器的访问日志怎么看
iis的,可以用iis日志查看工具。
7、如何查看Web服务器日志
利用Windows 2003服务器的远程维护功能,并通过IE浏览界面,就能对服务器的日志文件进行远程查看了,不过默认状态下,Windows 2003服务器的远程维护功能并没有开通,需要手工启动。
查看服务器日志文件的作用
网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通 过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误原 因、了解客户访问分布等,更好的加强系统的维护和管理。
对于自己有服务器的朋友或是有条件可以看到服务器日志文件的朋友来说,无疑是了 解搜索引擎工作原理和搜索引擎对网页抓取频率的最佳途径。
通过这个文件,您可以了解什么搜索引擎、什么时间、抓取了哪些页面,以及可以知 道是主搜索蜘蛛还是从搜索蜘蛛抓取了您的网站等的信息。
访问原理
1、客户端(浏览器)和Web服务器建立TCP连接,连接建立以后,向Web服务器发出 访问请求(如:Get),根据HTTP协议该请求中包含了客户端的IP地址、浏览器类型、 请求的URL等一系列信息。
2、Web服务器收到请求后,将客户端要求的页面内容返回到客户端。如果出现错误,那么返回错误代码。
3、服务器端将访问信息和错误信息纪录到日志文件里。
下面我们就对本公司自己服务器其中的一个日志文件进行分析。由于文件比较长,所以我们只拿出典型的几种情况来说明。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 03:56:30
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
03:56:30 三圆三圆三圆** 218.25.92.169 GET / - 80 - 220.181.18.98
Baispider+(+http://www.baidu.com/search/spider.htm) 403 14 5
/* 说明 */
上面定义了在2006年5月12日的3点56分30秒的时候,IP为220.181.18.98的百度蜘蛛通过80端口(HTTP)访问了IP为218.25.92.169的服务器的根目录,但被拒绝。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 10:18:39
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/index.htm - 80 - 10.2.57.6
Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0
2006-05-12
10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/***/***.gif - 80 - 10.2.57.6
Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0
/* 说明 */
上面定义了在2006年5月12日的10点33分36秒的时候,IP为10.2.57.6的用户正常访问了网站三圆三圆三圆**中***目录下的index.htm页和***/***下的***。gif图片。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 13:17:46
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
13:17:46 三圆三圆三圆** 218.25.92.169 GET /robots.txt - 80 - 66.249.66.72
Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
404 0 2
2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET / - 80 -
66.249.66.72
Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
403 14 5
/* 说明 */
上面定义了在2006年5月12日的13点17分46秒的时候,IP为66.249.66.72的Google蜘蛛访问了robots.txt文件,但没有找到此文件,有访问了此网站的根目 录,但被拒绝。
现在也有很多日志分析工具,如果您的服务器流量很大的话,作者推荐使用分析工具来分析服务器日志。
8、如何获取某个Web站点的服务器日志
自己有服务器的先打开“Internet 信息服务”,选择你的网站属性,下面有“启用日志记录”,一般有三个选项:W3C扩展日志文件格式、Microsoft IIS 日志文件格式、NCSA公用日志文件格式,默认是:W3C扩展日志文件格式,选择右边的属性,下面有日志文件名:(例 如:W3SCC1\ncyymmdd.log),日志存放目录一般是:C:\WINDOWS\system32\LogFiles,如果你要打开日志文件 夹,那地址就是C:\WINDOWS\system32\LogFiles\W3SCC1。 如果用虚拟主机的可以到服务器商的后台选择日志保存后用 FTP去下载,一般都放在log文件夹内。
9、我的WEB服务器的日志中有这种内容是什么意思?
嗯,你的服务器有人访问时,系统会自动产生一些日志文件,没关系的
10、怎么查看部署在linux系统上的web服务器的日志
敲命令啊 cd 文件夹名称 回车 比如 cd opt 这样进入目录就行了