会员可以在此提问,百战程序员老师有问必答
对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题,会帮你学得更全面
截止目前,同学们一共提了 132358个问题
Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础 811楼
Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫 812楼

from fake_useragent import UserAgent
import requests
from pyquery import PyQuery
from time import sleep

def get_html(url):
    headers = {'User-Agent': UserAgent().chrome}
    resp = requests.get(url, headers=headers)
    sleep(3)
    if resp.status_code == 200:
        resp.encoding = 'utf-8'
        return resp.text
    else:
        return None

def get_list(html):
    pq = PyQuery(html)
    all_a = pq('div>a[data-act="movies-click"]')
    return [a.get("href") for a in all_a]

def get_index(html):
    pq = PyQuery(html)
    # 电影标题
    name = pq('h1.name').eq(0).text()
    # 电影类型
    types = pq('a.text-link').eq(0).text()
    # 参演人员
    actors_m = pq('li.celebrity.actor>div>.name')
    actor = format_actors(actors_m)
    return f"电影名:{name} \n 类型:{types} \n 演员:{actor} \n"

def format_actors(a_list):
    actors_set = set()
    for a in a_list:
        actors_set.add(a.text.strip())
    return actors_set

def start():
    num = int(input("输入获取多少页数据:"))
    for i in range(num):
        url = f'https://www.maoyan.com/films?offset={i * 30}'
        html = get_html(url)     # 请求内容
        all_href = get_list(html)     # 使用PuQuery解析
        for a in all_href:
            url_ = f'https://maoyan.com{a}'
            index_html = get_html(url_)
            info = get_index(index_html)
            print(info)

if __name__ == '__main__':
    start()

老师,每次获取到第八个,都会出错,index超范围之内的屏幕截图 2021-11-07 221603.png

Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础(旧) 814楼
Python 全系列/第十五阶段:Python 爬虫开发/移动端爬虫开发- 816楼

from fake_useragent import UserAgent
import requests
from pyquery import PyQuery
from time import sleep

def get_html(url):
    headers = {'User-Agent': UserAgent().chrome}
    resp = requests.get(url, headers=headers)
    sleep(3)
    if resp.status_code == 200:
        resp.encoding = 'utf-8'
        return resp.text
    else:
        return None

def get_list(html):
    pq = PyQuery(html)
    all_a = pq('div>a[data-act="movies-click"]')
    return [a.get("href") for a in all_a]

def get_index(html):
    pq = PyQuery(html)
    # 电影标题
    name = pq('h1.name').eq(0).text()
    # 电影类型
    types = pq('a.text-link').eq(0).text()
    # 参演人员
    actors_m = pq('li.celebrity.actor>div>.name')
    actor = format_actors(actors_m)
    return f"电影名:{name} \n 类型:{types} \n 演员:{actor} \n"

def format_actors(a_list):
    actors_set = set()
    for a in a_list:
        actors_set.add(a.text.strip())
    return actors_set

def start():
    num = int(input("输入获取多少页数据:"))
    for i in range(num):
        url = f'https://www.maoyan.com/films?offset={i * 30}'
        html = get_html(url)     # 请求内容
        all_href = get_list(html)     # 使用PuQuery解析
        for a in all_href:
            url_ = f'https://maoyan.com{a}'
            index_html = get_html(url_)
            info = get_index(index_html)
            print(info)

if __name__ == '__main__':
    start()

老师,每次爬取到第八个的时候总是出错,index超范围,或者这样屏幕截图 2021-11-07 221603.png

Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础(旧) 818楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫反反爬 819楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础(旧) 820楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫基础 822楼
Python 全系列/第十五阶段:Python 爬虫开发/scrapy框架使用 823楼
Python 全系列/第十五阶段:Python 爬虫开发/爬虫反反爬 824楼

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637