会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132647个问题
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 226楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 227楼


屏幕截图 2023-10-27 173317.png

Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 230楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 231楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 232楼

image.png



Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 233楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 234楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫反反爬 237楼
Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 238楼

爬取一次之后就不能爬取了,建议爬取的时候在请求头里增加cookie属性,

def text_bs4():
    url = "https://www.maoyan.com/films"
    headers = {'User-Agent': UserAgent().firefox,
               "Cookie": 'uuid_n_v=v1; uuid=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         '_csrf=95caf440d93adc2cf97b85c916a33ea5d547aa09c22e33e4109c0771222dc415; '
                         '_lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; '
                         '_lxsdk_cuid=18adf587d66c8-037b0eb95fbfca-26031e51-1bcab9-18adf587d66c8; '
                         '_lxsdk=8236EB905E8611EEB2C88F0E1D778D2976602F68457842108D4B5999AAA9AC1B; '
                         'Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1695964233; '
                         'Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1695965039; '
                         '__mta=142327309.1695964233411.1695964233411.1695965039712.2; '
                         '_lxsdk_s=18adf587d67-d26-b7b-f21%7C%7C4'}
    resp = requests.get(url, headers=headers)

    soup = BeautifulSoup(resp.text, 'lxml')
    names = [div.text.strip('\n') for div in soup.select("div.channel-detail.movie-item-title")]
    score = [div.text for div in soup.select("div.channel-detail.channel-detail-orange")]
    with open('猫眼bs4.txt', 'w', encoding='utf-8') as f:
        for n, s in zip(names, score):
            print(n, s ,file=f)


Python 全系列/第十六阶段:Python 爬虫开发/爬虫基础 239楼
Python 全系列/第十六阶段:Python 爬虫开发/scrapy框架使用 240楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637