python3 requests模块用法实例
python3的网络模块相对python2真的方便了很多,requests一个包就包含了python2的多个包,这从实例说明requests用法,作为复习和以后的参考。
requests并不是python默认安装的,没安装使用pip install requests
安装便是,下面是requests使模块使用实例。
GET获取网页内容
import requests
r = requests.get("https://www.bobobk.com/vip_parse")
print("状态码:\n%d" % r.status_code) #状态码
print(r.headers['content-type']) #头部编码
print("网页内容:\n%s" % r.content.decode("utf8")[:100])#content返回原始数据为byte类型,这里utf8解码输出
print("网页内容:\n%s" % r.text[:100])#text返回str类型
如果带有参数的url呢,也很简单,requests为了方便,不需要你写很长的url到get里面,使用params={url=”https://www.bobobk.com”,id=”1″}这种形式即可
当然你非要写很长的也是可以的,完全没问题。
POST数据
post数据也非常简单,data参数,字典里面写上需要post的数据.
import requests
r = requests.post('https://httpbin.org/post', data = {'key':'value'})
添加数据头
有时网站可能限制了user agent(UA),你直接用默认参数使用的UA是包含了requests的,所以如果修改头的话就是
import requests
headers = {'user-agent': 'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10'}
url="https://httpbin.org/get"
r = requests.get(url, headers=headers,timeout=5)
#或者使用timeout设置延时
基础验证
有的时候如果网站使用了基础验证的话,只需要添加auth参数即可
r = requests.get(url, headers=headers,timeout=5,auth=HTTPBasicAuth('username', 'password'))
#由于httpbasicauth比较普遍,python允许不谢验证方法,如下
r = requests.get(url, headers=headers,timeout=5,auth=('username', 'password'))
GET下载文件
r = requests.get('https://www.bobobk.com/wp-content/uploads/2018/12/wizard.webp')
f = open('download.webp', 'wb')
for chunk in r.iter_content(chunk_size=512 * 1024):
if chunk:
f.write(chunk)
f.close()
此处使用的方法可以下载大文件
POST文件
当然也是可以直接post文件的,添加参数files,用法
url = 'https://httpbin.org/post'
files = {'file': ('myfile.xls', open('myfile.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
r = requests.post(url, files=files)
使用COOKIE
直接指定cookie参数即可
url = 'https://httpbin.org/cookies'
r = requests.get(url, cookies={"username":"bobobk"})
#如果是网页返回包含cookie,也可以方便的获取到cookie
r.cookies
参考来源:
1.http://docs.python-requests.org/en/master/user/quickstart/#passing-parameters-in-urls
- 原文作者:春江暮客
- 原文链接:https://www.bobobk.com/198.html
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。