400-998-9776转2 服务时间:周一至周日 9:00-23:00 注意:本站不提供境外服务本站不提供境外服务

返回

爬取猫眼电影案例,认识代理IP使用步骤

发布时间:2019-12-02 15:17:00 来源:IP精灵

  使用代理IP爬虫的好处其中一点就是我们不用担心我们的IP被网站封禁了,代理IP更换IP,这样我们就能够继续访问网站了,爬虫程序也能够继续进行。

代理IP使用步骤

  ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了。

  基本使用步骤:

  1、设置代理地址

  2、创建ProxyHandler

  3、创建Opener

  4、安装Opener# 使用代理服务器访问猫眼

  以下是代码部分:

  # https://maoyan.com/

  from urllib import request,error

  '''

  '''

  if __name__ == '__main__':

  url = "https://baidu.com/"

  # 1.设置代理地址

  proxy = {'http': '218.60.8.83:3129'}

  # 2.创建ProxyHandler

  proxy_handler = request.ProxyHandler(proxy)

  # 3.创建Opener

  opener = request.build_opener(proxy_handler)

  # 4.安装Opener

  request.install_opener(opener)

  # 下面再进行访问url就会使用代理服务器

  try:

  rsp = request.urlopen(url)

  html = rsp.read().decode()

  print(html)

  except error.HTTPError as e:

  print(e)

  except Exception as e:

  print(e)

  上面IP精灵介绍了一个比较基础的爬取猫眼电影的操作,大家可以通过这几个步骤来了解代理IP的使用。