摘要

搜索引擎优化是目前的研究热点之一，网站在搜索引擎中的排名是评价网站好坏的重要指标，因此如何提高网页在搜索引擎中的排名越来越成为企业客户关注的问题。 

本文利用搜索引擎技术与 Web 信息提取技术相结合，开发出了一种基于百度搜索引擎的链接提取点击系统。该系统能够精确地提取出用户所关心的相关关键词链接，利用 Web 信息提取技术结合正则表达式获取网络上有效的代理 IP 地址，对所得链接进行模拟人工点击，从而提升网页流量，进一步提高链接在搜索引擎中的排名。 

本文的创新点在于，有效代理 IP 地址的获取，对目标关键词链接进行有效的模拟点击，从而提升网站流量。 

本文的主要工作内容如下： 

第一，通过 URL 地址拼接技术，调用百度搜索引擎的返回数据获取源数据。 

本文实现了自动翻页技术，不仅可以获取关键词源页面，还可以获取“下一页”链接地址。 

第二，运用 HTMLParser 包对 HTML 文档解析，获取相关关键词链接标题，并结合过滤词，获得用户所感兴趣的链接地址及其在百度引擎下的相对位置。 

第三，运用 HTMLParser 解析技术配合正则表达式，提取固定网站中的 IP 地址信息，并验证其有效性。 

第四，编写 C#窗体程序，使用获取的有效 IP 地址对目标链接进行模拟人工点击，增加网页点击量。 

第五，对完成的系统进行效果测试。每天使用从网络上获取的 20 个 IP 地址对目标链接点击五天，其百度网页排名比未点击之前提升 5 个名次，能够满足实际需求。 

关键词：搜索引擎；URL 提取；动态 IP；正则表达式 

目录

 第一章  绪  论 1

1.1 课题研究的背景及意义 1

1.2 发展历史和研究现状 1

1.2.1 SEO 国外研究现状 2

1.2.2 SEO 国内研究现状 3

1.2.3 付费搜索广告与动态 IP 4

1.2.4 网站流量的通道和提升方法 5

1.3 本文主要内容 6

1.4 论文组织结构 6

第二章 搜索引擎技术和Web中信息提取技术 8

2.1 搜索引擎相关理论 8

2.1.1 搜索引擎原理介绍 8

2.1.2 搜索引擎的分类 9

2.2 网页页面的组成 10

2.2.1 Web 网页简介 10

2.2.2 HTML 简介及常用标签的介绍 12

2.3 常用的 Web 信息提取方法 14

2.3.1 基于自然语言处理方式的信息提取 14

2.3.2 基于 ontology 方式的信息抽取方法 14

2.3.3 基于包装器归纳方式的信息抽取方法 15

2.3.4 基于 Web 查询的信息抽取方法 15

2.3.5 基于 HTMLParser 包的信息抽取方法 16

2.3.6 基于正则表达式的信息抽取方法 18

2.4 本章小结 20

第三章 基于正则表达式和 HTMLParser 的 Web 信息提取算法 20

3.1 HTMLParser 的应用 20

3.1.1 HTMLParser 包测试 20

3.1.2 链接提取系统中 HTMLParser 的应用 21

3.2 正则表达式的应用 22

3.2.1 Java 中支持正则表达式的 API 22

3.2.2 IP 地址的正则表达式 23

3.3 HTMLParser 和正则表达式的结合 23

3.4 本章小结 25

第四章 企业网页点击量提升系统的实现 26

4.1 系统分析 26

4.2 系统实现的基本思路 26

4.3 企业网页点击量提升系统各模块的实现 28

4.3.1 获取搜索引擎结果页面信息 28

4.3.2 网页编码转换 30

4.3.3 相关关键词URL及IP地址的提取 31

4.3.4 代理 IP地址有效性验证 37

4.3.5 模拟人工点击链接 39

4.4 本章小结 39

第五章 企业网页点击量提升系统功能及评测 41

5.1 开发工具及环境设置 41

5.2 系统实际运行时出现的问题及解决方法 42

5.3 改进后的网页排名提升系统 43

5.4 系统相关的有效性评价 45

5.5 本章小结 46

第六章 总结与展望 47

6.1 总结 47

6.2 工作展望 48

第一章  绪  论

1.1 课题研究的背景及意义

搜索引擎作为信息检索的一个重要工具伴随着信息数据量的增多而得到了快速发展。众所周知，搜索引擎的作用是协助用户快速搜索出他们关心的目标信息，并且对结果集进行收集并建立对应的索引库，最后显示给用户。目前来看，比较受欢迎的搜索引擎，主要有百度、谷歌等，它们能够帮助用户快速找到相关信息，这给用户带来了极大的方便，它们也因此受到了用户的关注。  

搜索引擎结果页面作为搜索引擎的重要方面，是指根据用户所列的关键词得出的列表或结果。我们知道不同的搜索引擎算法会得出不同的搜索结果，但它们的目的都是使用户得到较高的满意度。搜索引擎优化是一种利用搜索引擎的搜索规则来提高目的网站在有关搜索引擎内的排名的方式，近来受到了一些销售企业的追捧，它能提高企业的在线销售业绩，并为企业网站带来越来越多的访问者。 

对于搜索引擎来说，其关注的重点在搜索结果的准确性上。一般来说，我们在搜寻自己需要的相关消息时，最先考虑的是消息的关键词，接着再关注它所搜寻到的结果，这些对一些企业的营销策略具有重要的作用，因此，各个企业都在试图利用搜索引擎这个渠道将他们的产品推销出去。这就需要各个企业根据关键词将自己的网站排到搜索结果的前面，进而成为用户优先的选择。而如何利用搜索引擎更方便的找到自己的网站，成为一个重要的研究课题。

PV是Page View的简称，即综合浏览量，它是指对页面的点击量或者是浏览量，刷新次数便被加一，它与链接数量共同组成了Alexa排名。通常情况下，用户每1次对网站中的每个网页访问均被记录1次。需要指出的是，PV的高低反映了网页的平均访问量，它们成正相关关系的，PV越高说明你的站点越受欢迎,这也就表明其在内容的布局和内部链接上都做的很好。从更深层来说，就是你的关键词排名在前列，或者说推广方面做的很好。

为了使企业网页在百度结果中排名靠前，用户主动对网页进行点击，同时点击所使用的IP地址是可以变化的，这样就可以增加网站的流量，提升网页在搜索结果中的排名。 

1.2 发展历史和研究现状

 1994 年，Yahoo 等分类目录型搜索引擎的出现标志着搜索引擎营销(Seach Emagine Marketing，SEM)的诞生，而 2000 年点击付费模式的产生让搜索引擎营销获得了长足的发展，之后随着互联网的发展搜索引擎市场迅速扩张。从企业的角度来说，搜索引擎营销是指企业通过企业网站采取提升自然排名推出付费搜索广告等与搜索引擎相关的行为使企业网站在搜索引擎上显著列示的营销手段，其目的是吸引目标用户访问企业网站。当今主流的搜索引擎营销模式有两种，即搜索引擎优化和付费搜索广告。 

SEO（Search Engine Optimization）技术，即搜索引擎优化技术，就是让企业的网站更容易被搜索引擎收录并且在用户通过搜索引擎进行检索时在检索结果中获得好的位置，从而达到网站推广的目的。SEO 技术主要包括两方面的内容：让网站更容易被搜索引擎所接受；让网站给顾客带来更好的用户体验。 20 世纪九十年代 Yahoo 的联合创始人大卫·费罗和杨致远就为了增加站点的曝光度，而想办法让他们的网站能被互联网上其它搜索引擎发现。有一些人对网站的代码进行优化，使其更符合搜索引擎规则，这是正规的优化方式，也叫做白帽 SEO；也有一些人运用一些“狡猾”的编码技巧，也能使他们的网站被用户快速地检索到，这则属于作弊手段，也叫做黑帽 SEO。SEO 是搜索引擎不断发展的产物，更进一步说是互联网的必然产物，是借助搜索引擎这个工具顺势而生的，为了提升互联网质量，方便检索而存在。随着互联网技术的不断发展，SEO 技术也有了翻天覆地的变化。下面介绍 SEO 的国内外现状。  

1.2.1 SEO 国外研究现状

国外技术人员比国内的要更早认识到了 SEO 的重要性，发展也较早，在 90 年代就有专业人员从事相关方面的工作。早在 1994 年大卫·费罗和杨致远就利用到了该项技术，于此同时，产生了 Yahoo、Lycos 等搜索引擎。 SEO 技术分为四大优化策略，分别为链接优化、结构优化、关键词优化和内容优化。 

（1） 链接，包括内链（inbound links）和外链（outbound links）。其中，内链是同一网站域名下内容和页面之间的相互链接，有助于搜索引擎对网站的爬行效率，利于网站的收录；外链则是从别的网站导入到自己网站的链接，即别的网站是否给你“投票”。 

（2） 网站结构优化，比如对网站导航、网站 URL 长度、页面尺寸等的优化。