会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 133914个问题

爬取一次之后就不能爬取了,建议爬取的时候在请求头里增加cookie属性,

def text_bs4():
    url = "https://www.maoyan.com/films"
    headers = {'User-Agent': UserAgent().firefox,
               "Cookie": 'uuid_n_v=v1; uuid=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         '_csrf=95caf440d93adc2cf97b85c916a33ea5d547aa09c22e33e4109c0771222dc415; '
                         '_lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; '
                         '_lxsdk_cuid=18adf587d66c8-037b0eb95fbfca-26031e51-1bcab9-18adf587d66c8; '
                         '_lxsdk=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         'Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1695964233; '
                         'Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1695965039; '
                         '__mta=142327309.1695964233411.1695964233411.1695965039712.2; '
                         '_lxsdk_s=18adf587d67-d26-b7b-f21%7C%7C4'}
    resp = requests.get(url, headers=headers)

    soup = BeautifulSoup(resp.text, 'lxml')
    names = [div.text.strip('\n') for div in soup.select("div.channel-detail.movie-item-title")]
    score = [div.text for div in soup.select("div.channel-detail.channel-detail-orange")]
    with open('猫眼bs4.txt', 'w', encoding='utf-8') as f:
        for n, s in zip(names, score):
            print(n, s ,file=f)


Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 20117楼
Python 全系列/第四阶段:函数式编程和核心特性/生成器和装饰器 20118楼
Python 全系列/第七阶段:网页编程基础/CSS 样式 20119楼
JAVA 全系列/第二十三阶段:分布式医疗云平台/项目环境搭建(旧) 20120楼
Python 全系列/第一阶段:AI驱动的Python编程/序列 20122楼
JAVA 全系列/第一阶段:AI驱动的JAVA编程/飞机大战小项目训练 20123楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/反射技术(旧) 20125楼
Python 全系列/第六阶段:数据库与AI协同技术实战/mysql的使用 20126楼
Python 全系列/第一阶段:AI驱动的Python编程/Python入门(动画版) 20127楼
JAVA 全系列/第五阶段:网页编程和设计/Javascript 语言(旧) 20129楼
JAVA 全系列/第一阶段:AI驱动的JAVA编程/控制语句、方法、递归算法 20130楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637