nginx配置user-agent
2013-05-08通过配置nginx，我们可以限制一些对网站的访问。 阅读全文...
爬虫协议(robots.txt)
2013-05-08robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。一些搜索引擎可能会为了提高自己的搜索量忽略robots协议，理论上是可以做的。 阅读全文...
网络蜘蛛(Spider)
2013-05-08网络蜘蛛(Spider)网络爬虫也叫网络蜘蛛是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。 阅读全文...
请求注解RFC(Request for Comments)
2013-04-20请求注解（英语：Request For Comments，缩写为 RFC），是由互联网工程任务组(IETF)发布的一系列备忘录。文件收集了有关网际网路相关资讯，以及UNIX和网际网路社群的软体文件，以编号排定。目前RFC文件是由网际网路协会（ISOC）赞助发行。 阅读全文...
netstat统计连接数
2013-04-08我们创建一个命令/bin/netstat2统计80端口的连接数。 阅读全文...
iptab命令
2013-04-08iptab can Display IP Address Allocation Table According to Subnet Mask.此命令是一段perl脚本。 easy manipulation of IPv4 and IPv6 addresses。 阅读全文...
ipcalc命令-linux
2013-02-25ipcalc provides a simple way to calculate IP information for a host. 阅读全文...
Private IP Addresses(私网地址)
2013-02-25Q. What are private IP addresses?
A. The Internet Assigned Numbers Authority (IANA) has reserved the following three blocks of the IP address space for private internets (local networks): 阅读全文...
DNS不允许使用下划线
2013-02-22DNS不允许有下划线,参照RFC1034（http://www.ietf.org/rfc/rfc1034.txt）,标准域名： 阅读全文...
dnsmasq配置dns服务器
2013-02-05DNSmasq是一个小巧且方便地用于配置DNS和DHCP的工具，适用于小型网络，它提供了DNS功能和可选择的 阅读全文...
使用tcpwrapper,hosts.deny,hosts.allow
2013-02-05使用tcpwrapper 阅读全文...