urllib与urllib2的进修总结(python2.7.X)
添加时间:2013-5-7 点击量:
先烦琐一句,我应用的版本是python2.7,没有应用3.X的原因是我感觉2.7的扩大斗劲多,且较之前的版本变更不大,应用顺手。3.X的确就是性的变更,用的蹩手。3.x的版本urllib与urllib2已经归并为一个urllib库,学着斗劲清楚些,2.7的版本呢urllib与urllib2各有各的感化,下面我把本身进修官方文档和其他材料的总结写下,便利今后应用。
urllib与urllib2并不是可以庖代的,只能说2是一个补充吧。先来看看他们俩的差别,有一篇文章把urllib与urllib2的关系说的很熟悉打听《difference between urllib and urllib2》,意思如下。
Python的urllib和urllib2模块都做与恳求URL相干的操纵,但他们供给不合的功能。他们两个最光鲜明显的差别如下:
- urllib2可以接管一个Request对象,并以此可以来设置一个URL的headers,然则urllib只接管一个URL。这意味着,你不克不及假装你的用户字符串等。
- urllib模块可以供给进行urlencode的办法,该办法用于GET查询字符串的生成,urllib2的不具有如许的功能。这就是urllib与urllib2经常在一路应用的原因。
这两点对于用过urllib与urllib2的人来说斗劲好懂得,然则对于没用过的还是不克不及有好的懂得,下面参考官方的文档,把本身对urllib与urllib2的进修内容总结如下。
A.urllib2概述
urllib2模块定义的函数和类用来获取URL(主如果HTTP的),他供给一些错杂的接口用于处理惩罚: 根蒂根基认证,重定向,Cookies等。
urllib2支撑很多的“URL schemes”(由URL中的“:”之前的字符串断定 - 例如“FTP”的URL规划如“ftp://python.org/”),且他还支撑其相干的收集和谈(如FTP,HTTP)。我们则重点存眷HTTP。
在简单的景象下,我们会应用urllib2模块的最常用的办法urlopen。但只要打开HTTP URL时碰到错误或异常的景象下,就须要一些HTTP传输和谈的常识。我们没有须要把握HTTP RFC2616。这是一个最周全和最权势巨子的技巧文档,且不易于浏览。在应用urllib2时会用到HTTP RFC2616相干的常识,懂得即可。
B.常用办法和类
1) urllib2.urlopen(url[, data][, timeout])
urlopen办法是urllib2模块最常用也最简单的办法,它打开URL网址,url参数可所以一个字符串url或者是一个Request对象。URL没什么可说的,Request对象和data在request类中申明,定义都是一样的。
对于可选的参数timeout,梗阻操纵以秒为单位,如测验测验连接(若是没有指定,将应用设置的全局默认timeout值)。实际上这仅实用于HTTP,HTTPS和FTP连接。
先看只包含URL的恳求例子:
import urllib2
response = urllib2.urlopen(http://python.org/)
html = response.read()
urlopen办法也可经由过程建树了一个Request对象来明白指明想要获取的url。调用urlopen函数对恳求的url返回一个response对象。这个response类似于一个file对象,所以用.read()函数可以操纵这个response对象,关于urlopen函数的返回值的应用,我们下面再具体说。
import urllib2
req = urllib2.Request(http://python.org/)
response = urllib2.urlopen(req)
the_page = response.read()
这里用到了urllib2.Request类,对于上例,我们只经由过程了URL实例化了Request类的对象,其实Request类还有其他的参数。
2) class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])
Request类是一个抽象的URL恳求。5个参数的申明如下
URL——是一个字符串,此中包含一个有效的URL。
data——是一个字符串,指定额外的数据发送到办事器,若是没有data须要发送可认为“None”。今朝应用data的HTTP恳求是独一的。当恳求含有data参数时,HTTP的恳求为POST,而不是GET。数据应当是缓存在一个标准的application/x-www-form-urlencoded格局中。urllib.urlencode()函数用映射或2元组,返回一个这种格局的字符串。通俗的说就是若是想向一个URL发送数据(凡是这些数据是代表一些CGI脚本或者其他的web应用)。对于HTTP来说这动作叫Post。例如在网上填的form(表单)时,浏览器会POST表单的内容,这些数据须要被以标准的格局编码(encode),然后作为一个数据参数传送给Request对象。Encoding是在urlib模块中完成的,而不是在urlib2中完成的。下面是个例子:
import urllib
import urllib2
url = http://www.someserver.com/cgi-bin/register.cgi
values = {name : Michael Foord,
location : Northampton,
language : Python }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()
headers——是字典类型,头字典可以作为参数在request时直接传入,也可以把每个键和值作为参数调用add_header()办法来添加。作为判袂浏览器身份的User-Agent header是经常被用来和假装的,因为一些HTTP办事只容许某些恳求来自常见的浏览器而不是脚本,或是针对不合的浏览器返回不合的版本。例如,Mozilla Firefox浏览器被辨认为“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。默认景象下,urlib2把本身辨认为Python-urllib/x.y(这里的xy是python发行版的首要或次要的版本号,如在Python 2.6中,urllib2的默认用户字符串是“Python-urllib/2.6。下面的例子和上方的差别就是在恳求时加了一个headers,仿照IE浏览器提交恳求。
import urllib
import urllib2
url = http://www.someserver.com/cgi-bin/register.cgi
user_agent = Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)
values = {name : Michael Foord,
location : Northampton,
language : Python }
headers = { User-Agent : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
标准的headers构成是(Content-Length, Content-Type and Host),只有在Request对象调用urlopen()(上方的例子也属于这个景象)或者OpenerDirector.open()时参加。两种景象的例子如下:
应用headers参数机关Request对象,如上例在生成Request对象时已经初始化header,而下例是Request对象调用add_header(key, val)办法附加header(Request对象的办法下面再介绍):
import urllib2
req = urllib2.Request(http://www.example.com/)
req.add_header(Referer, http://www.python.org/)
r = urllib2.urlopen(req)
OpenerDirector为每一个Request主动加上一个User-Agent header,所以第二种办法如下(urllib2.build_opener会返回一个OpenerDirector对象,关于urllib2.build_opener类下面再说):
import urllib2
opener = urllib2.build_opener()
opener.addheaders = [(User-agent, Mozilla/5.0)]
opener.open(http://www.example.com/)
最后两个参数仅仅是对正确操纵第三方HTTP cookies 感爱好,很罕用到:
origin_req_host——是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host(self)。这是由用户创议的原始恳求的主机名或IP地址。例如,若是恳求的是一个HTML文档中的图像,这应当是包含该图像的页面恳求的request-host。
unverifiable ——代表恳求是否是无法验证的,它也是由RFC2965定义的。默认值为false。一个无法验证的恳求是,其用户的URL没有足够的权限来被接管。例如,若是恳求的是在HTML文档中的图像,然则用户没有主动抓取图像的权限,unverifiable的值就应当是true。
3) urllib2.install_opener(opener)和urllib2.build_opener([handler, ...])
install_opener和build_opener这两个办法凡是都是在一路用,也有时辰build_opener零丁应用来获得OpenerDirector对象。
install_opener实例化会获得OpenerDirector 对象用来付与全局变量opener。若是想用这个opener来调用urlopen,那么就必须实例化获得OpenerDirector;如许就可以简单的调用OpenerDirector.open()来庖代urlopen()。
build_opener实例化也会获得OpenerDirector对象,此中参数handlers可以被BaseHandler或他的子类实例化。子类中可以经由过程以下实例化:ProxyHandler (若是检测设置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。
import urllib2
req = urllib2.Request(http://www.python.org/)
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = opener.open(req)
如上应用 urllib2.install_opener()设置 urllib2 的全局 opener。如许后面的应用会很便利,但不克不及做更细粒度的把握,比如想在法度中应用两个不合的 Proxy 设置等。斗劲好的做法是不应用 install_opener 去更改全局的设置,而只是直接调用 opener的open 办法庖代全局的 urlopen 办法。
说到这Opener和Handler之间的操纵听起来有点晕。收拾下思路就清楚了。当获取一个URL时,可以应用一个opener(一个urllib2.OpenerDirector实例对象,可以由build_opener实例化生成)。正常景象下法度一向经由过程urlopen应用默认的opener(也就是说当你应用urlopen办法时,是在隐式的应用默认的opener对象),但也可以创建自定义的openers(经由过程操纵器handlers创建的opener实例)。所有的重活和麻烦都交给这些handlers来做。每一个handler知道如何故一种特定的和谈(http,ftp等等)打开url,或者如何处理惩罚打开url产生的HTTP重定向,或者包含的HTTP cookie。创建openers时若是想要安装特此外handlers来实现获取url(如获取一个处理惩罚cookie的opener,或者一个不处理惩罚重定向的opener)的话,先实例一个OpenerDirector对象,然后多次调用.add_handler(some_handler_instance)来创建一个opener。或者,你可以用build_opener,这是一个很便利的创建opener对象的函数,它只有一个函数调用。build_opener默认会参加很多handlers,它供给了一个快速的办法添加更多器材和使默认的handler失效。
install_opener如上所述也能用于创建一个opener对象,然则这个对象是(全局)默认的opener。这意味着调用urlopen将会用到你刚创建的opener。也就是说上方的代码可以等同于下面这段。这段代码终极还是应用的默认opener。一般景象下我们用build_opener为的是生成自定义opener,没有须要调用install_opener,除非是为了便利。
import urllib2
req = urllib2.Request(http://www.python.org/)
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = urllib2.urlopen(req)
C.异常处理惩罚
调用urllib2.urlopen的时辰不会老是这么顺利,就像浏览器打开url时有时也会报错,所以就须要我们有应对异常的处理惩罚。
说到异常,我们先来懂得返回的response对象的几个常用的办法:
geturl() — 返回检索的URL资料,这个是返回的真正url,凡是是用来剖断是否重定向的,如下面代码4行url若是便是“http://www.python.org/ ”申明没有被重定向。
info() — 返回页面的原信息就像一个字段的对象, 如headers,它以mimetools.Message实例为格局(可以参考HTTP Headers申明)。
getcode() — 返回响应的HTTP状况代码,运行下面代码可以获得code=200,具体各个code代表的意思请拜见文后附录。
1 import urllib2
2 req = urllib2.Request(http://www.python.org/)
3 response=urllib2.urlopen(req)
4 url=response.geturl()
5 info=response.info()
6 code=response.getcode()
当不克不及处理惩罚一个response时,urlopen抛出一个URLError(对于python APIs,内建异常如,ValueError, TypeError 等也会被抛出。)
HTTPError是HTTP URL在特此外景象下被抛出的URLError的一个子类。下面就具体说说URLError和HTTPError。
URLError——handlers当运行呈现题目时(凡是是因为没有收集连接也就是没有路由到指定的办事器,或在指定的办事器不存在),抛出这个异常.它是IOError的子类.这个抛出的异常包含一个‘reason’ 属性,他包含一个错误编码和一个错误文字描述。如下面代码,request恳求的是一个无法接见的地址,捕获到异常后我们打印reason对象可以看到错误编码和文字描述。
1 import urllib2
2 req = urllib2.Request(http://www.python11.org/)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.URLError,e:
6 print e.reason
7 print e.reason[0]
8 print e.reason[1]
运行成果:
HTTPError——HTTPError是URLError的子类。每个来自办事器HTTP的response都包含“status code”. 有时status code不克不及处理惩罚这个request. 默认的处理惩罚法度将处理惩罚这些异常的responses。例如,urllib2发明response的URL与你恳求的URL不应时也就是产生了重定向时,会主动处理惩罚。对于不克不及处理惩罚的恳求, urlopen将抛出HTTPError异常. 典范的错误包含‘404’ (没有找到页面), ‘403’ (禁止恳求),‘401’ (须要验证)等。它包含2个首要的属性reason和code。
当一个错误被抛出的时辰,办事器返回一个HTTP错误代码和一个错误页。你可以应用返回的HTTP错误示例。这意味着它不单具有code和reason属性,并且同时具有read,geturl,和info等办法,如下代码和运行成果。
import urllib2
req = urllib2.Request(http://www.python.org/fish.html)
try:
response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
print e.code
print e.reason
print e.geturl()
print e.read()
运行成果:
若是我们想同时处理惩罚HTTPError和URLError,因为HTTPError是URLError的子类,所以应当把捕获HTTPError放在URLError前面,如不然URLError也会捕获一个HTTPError错误,代码参考如下:
1 import urllib2
2 req = urllib2.Request(http://www.python.org/fish.html)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.HTTPError,e:
6 print The server couldn\t fulfill the request.
7 print Error code: ,e.code
8 print Error reason: ,e.reason
9 except urllib2.URLError,e:
10 print We failed to reach a server.
11 print Reason: , e.reason
12 else:
13 # everything is fine
14 response.read()
如许捕获两个异常看着不爽,并且HTTPError还是URLError的子类,我们可以把代码改进如下:
1 import urllib2
2 req = urllib2.Request(http://www.python.org/fish.html)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.URLError as e:
6 if hasattr(e, reason):
7 #HTTPError and URLError all have reason attribute.
8 print We failed to reach a server.
9 print Reason: , e.reason
10 elif hasattr(e, code):
11 #Only HTTPError has code attribute.
12 print The server couldn\t fulfill the request.
13 print Error code: , e.code
14 else:
15 # everything is fine
16 response.read()
关于错误编码因为处理惩罚法度默认的处理惩罚重定向(错误码局限在300内),错误码在100-299局限内的默示恳求成功,所以凡是会看到的错误代码都是在400-599的局限内。具体错误码的申明看附录。
写到这上方多次提到了重定向,也说了重定向是如何断定的,并且法度对于重定向时默认处理惩罚的。如何禁止法度主动重定向呢,我们可以自定义HTTPRedirectHandler 类,代码参考如下:
1 class SmartRedirectHandler(urllib2.HTTPRedirectHandler):
2 def http_error_301(self, req, fp, code, msg, headers):
3 result = urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)
4 return result
5
6 def http_error_302(self, req, fp, code, msg, headers):
7 result = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
8 return result
附录:
1 # Table mapping response codes to messages; entries have the
2 # form {code: (shortmessage, longmessage)}.
3 responses = {
4 100: (Continue, Request received, please continue),
5 101: (Switching Protocols,
6 Switching to new protocol; obey Upgrade header),
7
8 200: (OK, Request fulfilled, document follows),
9 201: (Created, Document created, URL follows),
10 202: (Accepted,
11 Request accepted, processing continues off-line),
12 203: (Non-Authoritative Information, Request fulfilled cache),
13 204: (No Content, Request fulfilled, nothing follows),
14 205: (Reset Content, Clear input form for further input.),
15 206: (Partial Content, Partial content follows.),
16
17 300: (Multiple Choices,
18 Object has several resources -- see URI list),
19 301: (Moved Permanently, Object moved permanently -- see URI list),
20 302: (Found, Object moved temporarily -- see URI list),
21 303: (See Other, Object moved -- see Method and URL list),
22 304: (Not Modified,
23 Document has not changed since given time),
24 305: (Use Proxy,
25 You must use proxy specified in Location to access this
26 resource.),
27 307: (Temporary Redirect,
28 Object moved temporarily -- see URI list),
29
30 400: (Bad Request,
31 Bad request syntax or unsupported method),
32 401: (Unauthorized,
33 No permission -- see authorization schemes),
34 402: (Payment Required,
35 No payment -- see charging schemes),
36 403: (Forbidden,
37 Request forbidden -- authorization will not help),
38 404: (Not Found, Nothing matches the given URI),
39 405: (Method Not Allowed,
40 Specified method is invalid for this server.),
41 406: (Not Acceptable, URI not available in preferred format.),
42 407: (Proxy Authentication Required, You must authenticate with
43 this proxy before proceeding.),
44 408: (Request Timeout, Request timed out; try again later.),
45 409: (Conflict, Request conflict.),
46 410: (Gone,
47 URI no longer exists and has been permanently removed.),
48 411: (Length Required, Client must specify Content-Length.),
49 412: (Precondition Failed, Precondition in headers is false.),
50 413: (Request Entity Too Large, Entity is too large.),
51 414: (Request-URI Too Long, URI is too long.),
52 415: (Unsupported Media Type, Entity body in unsupported format.),
53 416: (Requested Range Not Satisfiable,
54 Cannot satisfy request range.),
55 417: (Expectation Failed,
56 Expect condition could not be satisfied.),
57
58 500: (Internal Server Error, Server got itself in trouble),
59 501: (Not Implemented,
60 Server does not support this operation),
61 502: (Bad Gateway, Invalid responses another server/proxy.),
62 503: (Service Unavailable,
63 The server cannot process the request due to a high load),
64 504: (Gateway Timeout,
65 The gateway server did not receive a timely response),
66 505: (HTTP Version Not Supported, Cannot fulfill request.),
67 }
先烦琐一句,我应用的版本是python2.7,没有应用3.X的原因是我感觉2.7的扩大斗劲多,且较之前的版本变更不大,应用顺手。3.X的确就是性的变更,用的蹩手。3.x的版本urllib与urllib2已经归并为一个urllib库,学着斗劲清楚些,2.7的版本呢urllib与urllib2各有各的感化,下面我把本身进修官方文档和其他材料的总结写下,便利今后应用。
urllib与urllib2并不是可以庖代的,只能说2是一个补充吧。先来看看他们俩的差别,有一篇文章把urllib与urllib2的关系说的很熟悉打听《difference between urllib and urllib2》,意思如下。
Python的urllib和urllib2模块都做与恳求URL相干的操纵,但他们供给不合的功能。他们两个最光鲜明显的差别如下:
- urllib2可以接管一个Request对象,并以此可以来设置一个URL的headers,然则urllib只接管一个URL。这意味着,你不克不及假装你的用户字符串等。
- urllib模块可以供给进行urlencode的办法,该办法用于GET查询字符串的生成,urllib2的不具有如许的功能。这就是urllib与urllib2经常在一路应用的原因。
这两点对于用过urllib与urllib2的人来说斗劲好懂得,然则对于没用过的还是不克不及有好的懂得,下面参考官方的文档,把本身对urllib与urllib2的进修内容总结如下。
A.urllib2概述
urllib2模块定义的函数和类用来获取URL(主如果HTTP的),他供给一些错杂的接口用于处理惩罚: 根蒂根基认证,重定向,Cookies等。
urllib2支撑很多的“URL schemes”(由URL中的“:”之前的字符串断定 - 例如“FTP”的URL规划如“ftp://python.org/”),且他还支撑其相干的收集和谈(如FTP,HTTP)。我们则重点存眷HTTP。
在简单的景象下,我们会应用urllib2模块的最常用的办法urlopen。但只要打开HTTP URL时碰到错误或异常的景象下,就须要一些HTTP传输和谈的常识。我们没有须要把握HTTP RFC2616。这是一个最周全和最权势巨子的技巧文档,且不易于浏览。在应用urllib2时会用到HTTP RFC2616相干的常识,懂得即可。
B.常用办法和类
1) urllib2.urlopen(url[, data][, timeout])
urlopen办法是urllib2模块最常用也最简单的办法,它打开URL网址,url参数可所以一个字符串url或者是一个Request对象。URL没什么可说的,Request对象和data在request类中申明,定义都是一样的。
对于可选的参数timeout,梗阻操纵以秒为单位,如测验测验连接(若是没有指定,将应用设置的全局默认timeout值)。实际上这仅实用于HTTP,HTTPS和FTP连接。
先看只包含URL的恳求例子:
import urllib2
response = urllib2.urlopen(http://python.org/)
html = response.read()
urlopen办法也可经由过程建树了一个Request对象来明白指明想要获取的url。调用urlopen函数对恳求的url返回一个response对象。这个response类似于一个file对象,所以用.read()函数可以操纵这个response对象,关于urlopen函数的返回值的应用,我们下面再具体说。
import urllib2
req = urllib2.Request(http://python.org/)
response = urllib2.urlopen(req)
the_page = response.read()
这里用到了urllib2.Request类,对于上例,我们只经由过程了URL实例化了Request类的对象,其实Request类还有其他的参数。
2) class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])
Request类是一个抽象的URL恳求。5个参数的申明如下
URL——是一个字符串,此中包含一个有效的URL。
data——是一个字符串,指定额外的数据发送到办事器,若是没有data须要发送可认为“None”。今朝应用data的HTTP恳求是独一的。当恳求含有data参数时,HTTP的恳求为POST,而不是GET。数据应当是缓存在一个标准的application/x-www-form-urlencoded格局中。urllib.urlencode()函数用映射或2元组,返回一个这种格局的字符串。通俗的说就是若是想向一个URL发送数据(凡是这些数据是代表一些CGI脚本或者其他的web应用)。对于HTTP来说这动作叫Post。例如在网上填的form(表单)时,浏览器会POST表单的内容,这些数据须要被以标准的格局编码(encode),然后作为一个数据参数传送给Request对象。Encoding是在urlib模块中完成的,而不是在urlib2中完成的。下面是个例子:
import urllib
import urllib2
url = http://www.someserver.com/cgi-bin/register.cgi
values = {name : Michael Foord,
location : Northampton,
language : Python }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()
headers——是字典类型,头字典可以作为参数在request时直接传入,也可以把每个键和值作为参数调用add_header()办法来添加。作为判袂浏览器身份的User-Agent header是经常被用来和假装的,因为一些HTTP办事只容许某些恳求来自常见的浏览器而不是脚本,或是针对不合的浏览器返回不合的版本。例如,Mozilla Firefox浏览器被辨认为“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。默认景象下,urlib2把本身辨认为Python-urllib/x.y(这里的xy是python发行版的首要或次要的版本号,如在Python 2.6中,urllib2的默认用户字符串是“Python-urllib/2.6。下面的例子和上方的差别就是在恳求时加了一个headers,仿照IE浏览器提交恳求。
import urllib
import urllib2
url = http://www.someserver.com/cgi-bin/register.cgi
user_agent = Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)
values = {name : Michael Foord,
location : Northampton,
language : Python }
headers = { User-Agent : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
标准的headers构成是(Content-Length, Content-Type and Host),只有在Request对象调用urlopen()(上方的例子也属于这个景象)或者OpenerDirector.open()时参加。两种景象的例子如下:
应用headers参数机关Request对象,如上例在生成Request对象时已经初始化header,而下例是Request对象调用add_header(key, val)办法附加header(Request对象的办法下面再介绍):
import urllib2
req = urllib2.Request(http://www.example.com/)
req.add_header(Referer, http://www.python.org/)
r = urllib2.urlopen(req)
OpenerDirector为每一个Request主动加上一个User-Agent header,所以第二种办法如下(urllib2.build_opener会返回一个OpenerDirector对象,关于urllib2.build_opener类下面再说):
import urllib2
opener = urllib2.build_opener()
opener.addheaders = [(User-agent, Mozilla/5.0)]
opener.open(http://www.example.com/)
最后两个参数仅仅是对正确操纵第三方HTTP cookies 感爱好,很罕用到:
origin_req_host——是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host(self)。这是由用户创议的原始恳求的主机名或IP地址。例如,若是恳求的是一个HTML文档中的图像,这应当是包含该图像的页面恳求的request-host。
unverifiable ——代表恳求是否是无法验证的,它也是由RFC2965定义的。默认值为false。一个无法验证的恳求是,其用户的URL没有足够的权限来被接管。例如,若是恳求的是在HTML文档中的图像,然则用户没有主动抓取图像的权限,unverifiable的值就应当是true。
3) urllib2.install_opener(opener)和urllib2.build_opener([handler, ...])
install_opener和build_opener这两个办法凡是都是在一路用,也有时辰build_opener零丁应用来获得OpenerDirector对象。
install_opener实例化会获得OpenerDirector 对象用来付与全局变量opener。若是想用这个opener来调用urlopen,那么就必须实例化获得OpenerDirector;如许就可以简单的调用OpenerDirector.open()来庖代urlopen()。
build_opener实例化也会获得OpenerDirector对象,此中参数handlers可以被BaseHandler或他的子类实例化。子类中可以经由过程以下实例化:ProxyHandler (若是检测设置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。
import urllib2
req = urllib2.Request(http://www.python.org/)
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = opener.open(req)
如上应用 urllib2.install_opener()设置 urllib2 的全局 opener。如许后面的应用会很便利,但不克不及做更细粒度的把握,比如想在法度中应用两个不合的 Proxy 设置等。斗劲好的做法是不应用 install_opener 去更改全局的设置,而只是直接调用 opener的open 办法庖代全局的 urlopen 办法。
说到这Opener和Handler之间的操纵听起来有点晕。收拾下思路就清楚了。当获取一个URL时,可以应用一个opener(一个urllib2.OpenerDirector实例对象,可以由build_opener实例化生成)。正常景象下法度一向经由过程urlopen应用默认的opener(也就是说当你应用urlopen办法时,是在隐式的应用默认的opener对象),但也可以创建自定义的openers(经由过程操纵器handlers创建的opener实例)。所有的重活和麻烦都交给这些handlers来做。每一个handler知道如何故一种特定的和谈(http,ftp等等)打开url,或者如何处理惩罚打开url产生的HTTP重定向,或者包含的HTTP cookie。创建openers时若是想要安装特此外handlers来实现获取url(如获取一个处理惩罚cookie的opener,或者一个不处理惩罚重定向的opener)的话,先实例一个OpenerDirector对象,然后多次调用.add_handler(some_handler_instance)来创建一个opener。或者,你可以用build_opener,这是一个很便利的创建opener对象的函数,它只有一个函数调用。build_opener默认会参加很多handlers,它供给了一个快速的办法添加更多器材和使默认的handler失效。
install_opener如上所述也能用于创建一个opener对象,然则这个对象是(全局)默认的opener。这意味着调用urlopen将会用到你刚创建的opener。也就是说上方的代码可以等同于下面这段。这段代码终极还是应用的默认opener。一般景象下我们用build_opener为的是生成自定义opener,没有须要调用install_opener,除非是为了便利。
import urllib2
req = urllib2.Request(http://www.python.org/)
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = urllib2.urlopen(req)
C.异常处理惩罚
调用urllib2.urlopen的时辰不会老是这么顺利,就像浏览器打开url时有时也会报错,所以就须要我们有应对异常的处理惩罚。
说到异常,我们先来懂得返回的response对象的几个常用的办法:
geturl() — 返回检索的URL资料,这个是返回的真正url,凡是是用来剖断是否重定向的,如下面代码4行url若是便是“http://www.python.org/ ”申明没有被重定向。
info() — 返回页面的原信息就像一个字段的对象, 如headers,它以mimetools.Message实例为格局(可以参考HTTP Headers申明)。
getcode() — 返回响应的HTTP状况代码,运行下面代码可以获得code=200,具体各个code代表的意思请拜见文后附录。
1 import urllib2
2 req = urllib2.Request(http://www.python.org/)
3 response=urllib2.urlopen(req)
4 url=response.geturl()
5 info=response.info()
6 code=response.getcode()
当不克不及处理惩罚一个response时,urlopen抛出一个URLError(对于python APIs,内建异常如,ValueError, TypeError 等也会被抛出。)
HTTPError是HTTP URL在特此外景象下被抛出的URLError的一个子类。下面就具体说说URLError和HTTPError。
URLError——handlers当运行呈现题目时(凡是是因为没有收集连接也就是没有路由到指定的办事器,或在指定的办事器不存在),抛出这个异常.它是IOError的子类.这个抛出的异常包含一个‘reason’ 属性,他包含一个错误编码和一个错误文字描述。如下面代码,request恳求的是一个无法接见的地址,捕获到异常后我们打印reason对象可以看到错误编码和文字描述。
1 import urllib2
2 req = urllib2.Request(http://www.python11.org/)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.URLError,e:
6 print e.reason
7 print e.reason[0]
8 print e.reason[1]
运行成果:
HTTPError——HTTPError是URLError的子类。每个来自办事器HTTP的response都包含“status code”. 有时status code不克不及处理惩罚这个request. 默认的处理惩罚法度将处理惩罚这些异常的responses。例如,urllib2发明response的URL与你恳求的URL不应时也就是产生了重定向时,会主动处理惩罚。对于不克不及处理惩罚的恳求, urlopen将抛出HTTPError异常. 典范的错误包含‘404’ (没有找到页面), ‘403’ (禁止恳求),‘401’ (须要验证)等。它包含2个首要的属性reason和code。
当一个错误被抛出的时辰,办事器返回一个HTTP错误代码和一个错误页。你可以应用返回的HTTP错误示例。这意味着它不单具有code和reason属性,并且同时具有read,geturl,和info等办法,如下代码和运行成果。
import urllib2
req = urllib2.Request(http://www.python.org/fish.html)
try:
response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
print e.code
print e.reason
print e.geturl()
print e.read()
运行成果:
若是我们想同时处理惩罚HTTPError和URLError,因为HTTPError是URLError的子类,所以应当把捕获HTTPError放在URLError前面,如不然URLError也会捕获一个HTTPError错误,代码参考如下:
1 import urllib2
2 req = urllib2.Request(http://www.python.org/fish.html)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.HTTPError,e:
6 print The server couldn\t fulfill the request.
7 print Error code: ,e.code
8 print Error reason: ,e.reason
9 except urllib2.URLError,e:
10 print We failed to reach a server.
11 print Reason: , e.reason
12 else:
13 # everything is fine
14 response.read()
如许捕获两个异常看着不爽,并且HTTPError还是URLError的子类,我们可以把代码改进如下:
1 import urllib2
2 req = urllib2.Request(http://www.python.org/fish.html)
3 try:
4 response=urllib2.urlopen(req)
5 except urllib2.URLError as e:
6 if hasattr(e, reason):
7 #HTTPError and URLError all have reason attribute.
8 print We failed to reach a server.
9 print Reason: , e.reason
10 elif hasattr(e, code):
11 #Only HTTPError has code attribute.
12 print The server couldn\t fulfill the request.
13 print Error code: , e.code
14 else:
15 # everything is fine
16 response.read()
关于错误编码因为处理惩罚法度默认的处理惩罚重定向(错误码局限在300内),错误码在100-299局限内的默示恳求成功,所以凡是会看到的错误代码都是在400-599的局限内。具体错误码的申明看附录。
写到这上方多次提到了重定向,也说了重定向是如何断定的,并且法度对于重定向时默认处理惩罚的。如何禁止法度主动重定向呢,我们可以自定义HTTPRedirectHandler 类,代码参考如下:
1 class SmartRedirectHandler(urllib2.HTTPRedirectHandler):
2 def http_error_301(self, req, fp, code, msg, headers):
3 result = urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)
4 return result
5
6 def http_error_302(self, req, fp, code, msg, headers):
7 result = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
8 return result
附录:
1 # Table mapping response codes to messages; entries have the
2 # form {code: (shortmessage, longmessage)}.
3 responses = {
4 100: (Continue, Request received, please continue),
5 101: (Switching Protocols,
6 Switching to new protocol; obey Upgrade header),
7
8 200: (OK, Request fulfilled, document follows),
9 201: (Created, Document created, URL follows),
10 202: (Accepted,
11 Request accepted, processing continues off-line),
12 203: (Non-Authoritative Information, Request fulfilled cache),
13 204: (No Content, Request fulfilled, nothing follows),
14 205: (Reset Content, Clear input form for further input.),
15 206: (Partial Content, Partial content follows.),
16
17 300: (Multiple Choices,
18 Object has several resources -- see URI list),
19 301: (Moved Permanently, Object moved permanently -- see URI list),
20 302: (Found, Object moved temporarily -- see URI list),
21 303: (See Other, Object moved -- see Method and URL list),
22 304: (Not Modified,
23 Document has not changed since given time),
24 305: (Use Proxy,
25 You must use proxy specified in Location to access this
26 resource.),
27 307: (Temporary Redirect,
28 Object moved temporarily -- see URI list),
29
30 400: (Bad Request,
31 Bad request syntax or unsupported method),
32 401: (Unauthorized,
33 No permission -- see authorization schemes),
34 402: (Payment Required,
35 No payment -- see charging schemes),
36 403: (Forbidden,
37 Request forbidden -- authorization will not help),
38 404: (Not Found, Nothing matches the given URI),
39 405: (Method Not Allowed,
40 Specified method is invalid for this server.),
41 406: (Not Acceptable, URI not available in preferred format.),
42 407: (Proxy Authentication Required, You must authenticate with
43 this proxy before proceeding.),
44 408: (Request Timeout, Request timed out; try again later.),
45 409: (Conflict, Request conflict.),
46 410: (Gone,
47 URI no longer exists and has been permanently removed.),
48 411: (Length Required, Client must specify Content-Length.),
49 412: (Precondition Failed, Precondition in headers is false.),
50 413: (Request Entity Too Large, Entity is too large.),
51 414: (Request-URI Too Long, URI is too long.),
52 415: (Unsupported Media Type, Entity body in unsupported format.),
53 416: (Requested Range Not Satisfiable,
54 Cannot satisfy request range.),
55 417: (Expectation Failed,
56 Expect condition could not be satisfied.),
57
58 500: (Internal Server Error, Server got itself in trouble),
59 501: (Not Implemented,
60 Server does not support this operation),
61 502: (Bad Gateway, Invalid responses another server/proxy.),
62 503: (Service Unavailable,
63 The server cannot process the request due to a high load),
64 504: (Gateway Timeout,
65 The gateway server did not receive a timely response),
66 505: (HTTP Version Not Supported, Cannot fulfill request.),
67 }