老师，如您所说换一个网址就好了，但是试第二次的时候就又被拒绝了。

服务器拒绝爬虫后，咱还有什么办法么？

老师，这个云打码平台是不是倒闭了，官网进不去了。

这一节是不是可以重新更新一下课程

老师，下面这个代码是为了下载搜狐登录界面的验证码图片，但是我换了几种方式发送请求，打印resp.text都是得到：

{"body":"","message":"Bad Request","status":400}，但是打印的验证码图片链接又可以访问，这是为啥呢？

具体代码如下：

import execjs
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',
    'Referer': 'https://sohu.com/'}

# 获得验证码链接中的pagetoken和random参数
def get_form_data():
    js_callback = """var randomName = function(prefix) {
                nonce = (new Date).getTime();
                return "passport403" + "_" + prefix + nonce++
            }"""

    ctx = execjs.compile(js_callback)
   
    random_ = ctx.call('randomName', 'sdk')

    js_pagetoken = """
        var pagetoken = (new Date).getTime()+1
        return pagetoken
    """
    ctx_page = execjs.compile(js_pagetoken)
    pagetoken = str(ctx_page.call(js_pagetoken))
    return (pagetoken, random_)


pagetoken, random_ = get_form_data()

url = f"https://v4.passport.sohu.com/i/captcha/picture?pagetoken={pagetoken}&random={random_}"
# 发送请求
resp = requests.get(url,headers=headers)
print(resp.text)
# {"body":"","message":"Bad Request","status":400}
print(url)

老师，我访问百度之后，直接返回了：urllib.error.URLError: <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。

老师，视频里的rules有两个规则，这两个规则的执行逻辑是下面这样吗？

如果第一个rule能筛选出来url，则不执行第二个rule，直接发送请求，然后对响应进行解析；如果第一个rule没有筛选出来，则执行第二个rule，如果能筛选出来url，发送请求，解析响应。

老师，是这样吗？

程序包无效是为什么啊？老师就是拓展插件的那个

老师，下面这个图是我登陆虾米之后的数据：

如果我用requests.post(url = url, data = data, headers = headers)发送请求,post里面的data是指上面图中xmgid,xm_sg_tk，cna,gid等数据吗？我看视频中使用的dada一般是{'username':xxxx, 'password':xxxxx}，那虾米这个访问登录后的页面是用{'username':xxxx, 'password':xxxxx}这种形式吗？麻烦老师了，这个地方还是不太懂data传的参数是啥

老师，您好，post请求，传给Request的data在哪里找呢，是浏览器里Request headers下面的内容还是Query string parameters下面的内容，或者是别的地方的内容？

用pycharm运行代码，结果fidder上面抓不到相应的包，配置我是按照教程进行的

老师，我上次爬取猫眼电影的信息时候依照视频代码，都可以爬取到。但是今天再次用相同代码就爬取不到了。（用了您的原代码资料也不好使）

接着我用相同的代码去爬取起点中文网的作品信息就ok。        我是不是可以理解为猫眼电影网站更新优化了，从而认出了我是爬虫才提取不出来数据，而起点中文网反爬没有猫眼高级所以能爬。。。？

再就是像是猫眼这种情况，爬取不到数据，我如何解决？还有就是我如何辨别是网站反爬措施？然后应该怎么找原因？

下面是代码运行后的反馈

from fake_useragent import UserAgent
import requests
from lxml import etree
from time import sleep


def get_html(url):
    '''
    :param url: 要爬取的地址
    :return: 返回html
    '''
    headers = {"User-Agent": UserAgent().chrome}
    resp = requests.get(url, headers=headers)
    sleep(2)
    if resp.status_code == 200:
        resp.encoding = 'utf-8'
        return resp.text
    else:
        return None


def parse_list(html):
    '''
    :param html: 传递进来一个有电影列表的html
    :return: 返回一个电影列表的url
    '''

    e = etree.HTML(html)
    list_url = ['http://maoyan.com{}'.format(url) for url in e.xpath('//div[@class="movie-item"]/a/@href')]
    return list_url


def pares_index(html):
    '''
    :param html: 传递进来一个有电影信息的html
    :return: 已经提取好的电影信息
    '''
    e = etree.HTML(html)
    name = e.xpath('//h3[@class="name"]/text()')[0]
    type = e.xpath('//li[@class="ellipsis"][1]/text()')[0]
    actors = e.xpath('//div[@class="celebrity-group"][2]/ul[@class="celebrity-list clearfix"]/li/div/a/text()')
    actors = format_data(actors)
    return {"name": name, "type": type, "actors": actors}


def format_data(actors):
    actor_set = set()
    for actor in actors:
        actor_set.add(actor.strip())
    return actor_set


def main():
    num = int(input('请输要获取多少页：'))
    for page in range(num):
        url = 'http://maoyan.com/films?showType=3&offset={}'.format(page * 30)
        list_html = get_html(url)
        list_url = parse_list(list_html)
        for url in list_url:
            info_html = get_html(url)
            movie = pares_index(info_html)
            print(movie)


if __name__ == '__main__':
    main()

D:\pythonDownloads\python.exe D:/pythonwd/爬虫/爬虫/代码/demo/29.猫眼电影1.py

请输要获取多少页：1

Process finished with exit code 0

一直这个提示 

更换目录还是这个提示？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？

就是补充，我不知道怎么回复问题。

现在就是我运行，并不能返回html的网页信息，我发现里面有两个debug，我解决了一个，还剩一个

我想应该是

这个debug到导致的问题。

在将True改为False之后第二个debug解决了，

目前还有第一个debug，也就是

这是源码

from fake_useragent import UserAgent
import requests
from lxml import etree

#发送请求
class Downloader():
    def do_download(self,url):
        print(url)
        headers = {"User-Agent":UserAgent.chrome}
        resp = requests.get(url,headers=headers)
        #如果=200，则发送请求成功
        if resp.status_code == 200:
            resp.encoding='utf-8'
            return resp.text

#数据解析
class Parser():
    def do_parse(self,html):
        e = etree.HTML(html)
        #将网页信息string化才能输出,strip()两边去除空格
        contents = [div.xpath('string').strip() for div in e.xpath( '//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        return contents,urls

#数据保存
class DataOutPut():
    def do_save(self,datas):
        with open('duanzii.txt','a',encoding='utf-8') as f:
            for data in datas:
                f.write(data+'\n')

#url管理器
class URLManger():
    #初始化
    def __init__(self):
        #新旧url可以让自己更清晰的分辨
        self.new_url=set()
        self.old_url=set()
    #加入一个Url
    def add_new_url(self,url):
        #严谨url不能为空，不能为空字符串，也不能在爬取过的url里面
        if url is not None and url !='' and url not in self.old_url:
            self.new_url.add(url)
    #加入多个Url
    def add_new_urls(self,urls):
        for url in urls:
            # 判断，直接调用上面的方法
            url = self.add_new_url(url)

    #获取一个Url
    def get_new_url(self):
        # 取出一个url并删除，pop表示删除
        url = self.add_new_url.pop()
        # 将用完的url加入old中，用来判断是否用过
        self.old_url.add(url)
        return url
    #获取还有多少个Url要爬取
    def get_new_url_siaze(self):
          return len(self.new_url)
    #获取是否还有多少Url要爬取
    def have_new_url(self):
        return self.get_new_url_siaze() > 0

#数据调度器，调度四个个类
class Scheduler:
    def __init__(self):
        self.downloader = Downloader()
        self.paser = Parser()
        self.data_out_put = DataOutPut()
        self.url_manager = URLManger()
    def start(self,url):
        self.url_manager.add_new_url(url)
        while self.url_manager.have_new_url():
            #去除url
            url = self.url_manager.get_new_url()
            #下载
            html= self.downloader.do_download(url)
            #解析,data当前页面的数据,urls以及要爬取的数据
            datas,urls = self.paser.do_parse(html)
            #处理上一步的data
            self.data_out_put.do_save(datas)
            #处理上一步的urls
            self.url_manager.add_new_urls(urls)


if __name__=='__main__':
    scheduler = Scheduler()
    url = 'https://www.qiushibaike.com/text/'
    scheduler.start(url)

这是完整代码，pop还是不行