老师，我上次爬取猫眼电影的信息时候依照视频代码，都可以爬取到。但是今天再次用相同代码就爬取不到了。（用了您的原代码资料也不好使）
接着我用相同的代码去爬取起点中文网的作品信息就ok。 我是不是可以理解为猫眼电影网站更新优化了，从而认出了我是爬虫才提取不出来数据，而起点中文网反爬没有猫眼高级所以能爬。。。？
再就是像是猫眼这种情况，爬取不到数据，我如何解决？还有就是我如何辨别是网站反爬措施？然后应该怎么找原因？
下面是代码运行后的反馈
from fake_useragent import UserAgent
import requests
from lxml import etree
from time import sleep
def get_html(url):
'''
:param url: 要爬取的地址
:return: 返回html
'''
headers = {"User-Agent": UserAgent().chrome}
resp = requests.get(url, headers=headers)
sleep(2)
if resp.status_code == 200:
resp.encoding = 'utf-8'
return resp.text
else:
return None
def parse_list(html):
'''
:param html: 传递进来一个有电影列表的html
:return: 返回一个电影列表的url
'''
e = etree.HTML(html)
list_url = ['http://maoyan.com{}'.format(url) for url in e.xpath('//div[@class="movie-item"]/a/@href')]
return list_url
def pares_index(html):
'''
:param html: 传递进来一个有电影信息的html
:return: 已经提取好的电影信息
'''
e = etree.HTML(html)
name = e.xpath('//h3[@class="name"]/text()')[0]
type = e.xpath('//li[@class="ellipsis"][1]/text()')[0]
actors = e.xpath('//div[@class="celebrity-group"][2]/ul[@class="celebrity-list clearfix"]/li/div/a/text()')
actors = format_data(actors)
return {"name": name, "type": type, "actors": actors}
def format_data(actors):
actor_set = set()
for actor in actors:
actor_set.add(actor.strip())
return actor_set
def main():
num = int(input('请输要获取多少页：'))
for page in range(num):
url = 'http://maoyan.com/films?showType=3&offset={}'.format(page * 30)
list_html = get_html(url)
list_url = parse_list(list_html)
for url in list_url:
info_html = get_html(url)
movie = pares_index(info_html)
print(movie)
if __name__ == '__main__':
main()D:\pythonDownloads\python.exe D:/pythonwd/爬虫/爬虫/代码/demo/29.猫眼电影1.py
请输要获取多少页：1
Process finished with exit code 0
![C$AG9K3NQ5RZ}01$G4NP%]E.png](/ueditor/php/upload/image/20200528/1590677666819065.png "1590677666819065.png")
一直这个提示 
京公网安备 11011402011233号