网页的本质就是超级文本标记语言，通过结合使用其他的Web技术（如：脚本语言、公共网关接口、组件等），可以创造出功能强大的网页。因而，超级文本标记语言是万维网（Web）编程的基础，也就是说万维网是建立在超文本基础之上的。超级文本标记语言之所以称为超文本标记语言，是因为文本中包含了所谓“超级链接”点。
有时候因为工作、自身的需求，我们都会去浏览不同网站去获取我们需要的数据，于是爬虫应运而生，下面是我在开发一个简单爬虫的经过与遇到的问题。
上一次小白已经得到了一个任劳任怨的网络小爬虫，要是不搞一波小事情似乎对不太起这个小爬虫，于是乎小白又鼓捣鼓捣参考各方大神的资料以倒排索引为基础原理设计了一个简答的搜索引擎。
之前的爬虫只是得到了网页的源码而没有做任何处理，乃是一个一次性的小爬虫，所以小白用正则表达式对网页内容进行匹配得到其中的网址，之后小爬虫就可以利用这个自生自灭至死方休的帮我们爬取网页拉，这里不得不提一下beautifulsoup和正则表达式了，据说beautifulsoup模块是一个网页爬取提取的利器，只可惜小宝在做完之后才听得大名万分遗憾没能试用一番，但是正则表达时小白可是切身的研究了一丢丢，熟练了（强行熟练）也是非常的好用，比如提取网页源码的网址：
link_list = re.findall(r"(?<=href=\").+?(?=\") 关键词：如何做一个简易的搜索引擎