会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132452个问题
Python 全系列/第一阶段:Python入门/面向对象 20028楼
Python 全系列/第一阶段:Python入门/编程基本概念 20030楼
JAVA 全系列/第二阶段:JAVA 基础深化和提高/手写服务器项目(旧) 20032楼

爬取一次之后就不能爬取了,建议爬取的时候在请求头里增加cookie属性,

def text_bs4():
    url = "https://www.maoyan.com/films"
    headers = {'User-Agent': UserAgent().firefox,
               "Cookie": 'uuid_n_v=v1; uuid=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         '_csrf=95caf440d93adc2cf97b85c916a33ea5d547aa09c22e33e4109c0771222dc415; '
                         '_lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; '
                         '_lxsdk_cuid=18adf587d66c8-037b0eb95fbfca-26031e51-1bcab9-18adf587d66c8; '
                         '_lxsdk=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         'Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1695964233; '
                         'Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1695965039; '
                         '__mta=142327309.1695964233411.1695964233411.1695965039712.2; '
                         '_lxsdk_s=18adf587d67-d26-b7b-f21%7C%7C4'}
    resp = requests.get(url, headers=headers)

    soup = BeautifulSoup(resp.text, 'lxml')
    names = [div.text.strip('\n') for div in soup.select("div.channel-detail.movie-item-title")]
    score = [div.text for div in soup.select("div.channel-detail.channel-detail-orange")]
    with open('猫眼bs4.txt', 'w', encoding='utf-8') as f:
        for n, s in zip(names, score):
            print(n, s ,file=f)


Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础 20035楼
Python 全系列/第四阶段:函数式编程和核心特性/生成器和装饰器 20036楼
Python 全系列/第七阶段:网页编程基础/CSS 样式 20037楼
JAVA 全系列/第二十一阶段:分布式医疗云平台/项目环境搭建(旧) 20038楼
Python 全系列/第一阶段:Python入门/序列 20040楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637