会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132490个问题
Python 全系列/第八阶段:轻量级Web开发利器-Flask框架/Flask高级 22636楼
Python 全系列/第一阶段:Python入门/控制语句 22637楼
Python 全系列/第五阶段:数据库编程/mysql介绍与环境安装 22638楼
JAVA 全系列/第四阶段:网页编程和设计/Javascript 语言(旧) 22640楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/容器 22642楼

from fake_useragent import UserAgent
import requests
from lxml import etree
from time import sleep


def get_html(url):
    '''
    :param url: 要爬取的地址
    :return: 返回html
    '''
    headers = {"User-Agent": UserAgent().chrome}
    resp = requests.get(url, headers=headers)
    sleep(2)                        #控制访问速度,以免给对方服务器造成负担,每次访问之前,睡上2秒
    if resp.status_code == 200:     #状态码==200即可返回
        resp.encoding = 'utf-8'
        return resp.text            #返回内容
    else:
        return None


def parse_list(html):
    '''
    :param html: 传递进来一个有电影列表的html
    :return: 返回一个电影列表的url
    '''

    e = etree.HTML(html)      #创建一个对象
    list_url = ['http://maoyan.com{}'.format(url) for url in e.xpath('/div[@class="channel-detail movie-item-title"]/a/@href')]
    return list_url


def pares_index(html):
    '''
    :param html: 传递进来一个有电影信息的html
    :return: 已经提取好的电影信息
    '''
    e = etree.HTML(html)
    name = e.xpath('//h1[@class="name"]/text()')[0]
    type = e.xpath('//li[@class="ellipsis"]/a[1]/text()')[0]
    actors = e.xpath('//div[@class="celebrity-group"][2]/ul[@class="celebrity-list clearfix"]/li/div/a/text()')
    actors = format_data(actors)
    return {"name": name, "type": type, "actors": actors}


def format_data(actors):                  #去重演员信息
    actor_set = set()
    for actor in actors:
        actor_set.add(actor.strip())      #strip()--去空格
    return actor_set


def main():
    num = int(input('请输要获取多少页:'))
    for page in range(num):
        url = 'https://maoyan.com/films?offset={}'.format(page * 30)

        list_html = get_html(url)
        list_url = parse_list(list_html)
        for url in list_url:
            info_html = get_html(url)       #发送新的请求获取电影信息
            movie = pares_index(info_html)  #解析电影信息
            print(movie)


if __name__ == '__main__':
    main()

老师,按照网站的最新链接修改xpath等各链接之后,只运行到页数,就结束了,到process finished with exit code 0,这是什么原因?

Python 全系列/第十五阶段:Python 爬虫开发/爬虫反反爬- 22643楼
Python 全系列/第五阶段:数据库编程/python操作mysql 22646楼
软件测试 全系列/第四阶段:功能测试与项目实战/提交缺陷报告 22647楼
WEB前端全系列/第十四阶段:微信小程序/小程序API 22649楼

tank25.rar

用pyinstaller生成了exe为什么不能运行?

Python 全系列/第二阶段:Python 深入与提高/游戏开发-坦克大战 22650楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637