有效沟通问答-【官方】百战程序员_IT在线教育培训机构

会员可以在此提问，百战程序员老师有问必答

对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题，会帮你学得更全面

截止目前，同学们一共提了 132358个问题

时间排序推荐排序

老师，我有个问题，正则如何匹配多个html相同的标签

而且我还抓了一个网页，有多个的span标签相同，这是不是意味要选择其他的筛选方法

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 721楼

老师，这三个单引号是什么意思？

里面的语句有什么作用？

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 722楼

老师，我爬取糗事百科前三页的结果是这样的，是什么情况？

!DOCTYPE html
PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1,IE=edge">
<meta name="renderer" content="webkit" />
<meta name="applicable-device" content="pc">



<meta name="domain_verify" content="pmrgi33nmfuw4ir2ejyws5ltnbuweyljnnss4y3pnurcyithovuwiir2ejqwmyrtguzdgobsmezdgnbyheywcmzthbrdmmtemu4tamrqg5rtmirmej2gs3lfknqxmzjchiytkmrzgq4demjugaydcnd5">

附上代码：

from urllib.request import urlopen,Request
from urllib.parse import quote
def get_html(url):
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
    }
    response=Request(url,headers=headers)
    info=urlopen(response)
    content=info.read().decode()
    return content
def save_html(content,filename):
    with open('./爬虫结果/'+filename+'.html','w',encoding='utf-8') as f:  #'r'模式用'gbk'编码，'w'模式用'utf-8'编码
        f.write(content)
def main():
    num=3
    url0=url='https://www.qiushibaike.com/8hr/page/{}/'
    for i in range(num):
        url=url0.format(i+1)
        html=get_html(url)
        filename='糗事百科的第{}页内容'.format(i+1)
        save_html(html,filename)
if __name__=='__main__':
    main()

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 723楼

from fake_useragent import UserAgent
import requests
from pyquery import PyQuery as pq


url = 'https://www.qidian.com/finish'
headers = {'User-Agent':UserAgent().random}

resp = requests.get(url,headers=headers)

doc = pq(resp.text)

name = [a.text for a in doc('h4 a')]
book = doc('a[class="name"]').text()

老师，怎么使用pyquery提取作者名字啊，里面含有跟作者名称一样的a标签，我试了好久就是没提取出来，而且这个是不规律的，没法使用if进行筛选

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 724楼

from fake_useragent import UserAgent
import requests
from lxml import etree
from time import sleep


def get_html(url):
    '''
    :param url: 要爬取的地址
    :return: 返回html
    '''
    headers = {"User-Agent": UserAgent().chrome}
    resp = requests.get(url, headers=headers)
    sleep(2)                        #控制访问速度，以免给对方服务器造成负担，每次访问之前，睡上2秒
    if resp.status_code == 200:     #状态码==200即可返回
        resp.encoding = 'utf-8'
        return resp.text            #返回内容
    else:
        return None


def parse_list(html):
    '''
    :param html: 传递进来一个有电影列表的html
    :return: 返回一个电影列表的url
    '''

    e = etree.HTML(html)      #创建一个对象
    list_url = ['http://maoyan.com{}'.format(url) for url in e.xpath('/div[@class="channel-detail movie-item-title"]/a/@href')]
    return list_url


def pares_index(html):
    '''
    :param html: 传递进来一个有电影信息的html
    :return: 已经提取好的电影信息
    '''
    e = etree.HTML(html)
    name = e.xpath('//h1[@class="name"]/text()')[0]
    type = e.xpath('//li[@class="ellipsis"]/a[1]/text()')[0]
    actors = e.xpath('//div[@class="celebrity-group"][2]/ul[@class="celebrity-list clearfix"]/li/div/a/text()')
    actors = format_data(actors)
    return {"name": name, "type": type, "actors": actors}


def format_data(actors):                  #去重演员信息
    actor_set = set()
    for actor in actors:
        actor_set.add(actor.strip())      #strip()--去空格
    return actor_set


def main():
    num = int(input('请输要获取多少页：'))
    for page in range(num):
        url = 'https://maoyan.com/films?offset={}'.format(page * 30)

        list_html = get_html(url)
        list_url = parse_list(list_html)
        for url in list_url:
            info_html = get_html(url)       #发送新的请求获取电影信息
            movie = pares_index(info_html)  #解析电影信息
            print(movie)


if __name__ == '__main__':
    main()

老师，按照网站的最新链接修改xpath等各链接之后，只运行到页数，就结束了，到process finished with exit code 0,这是什么原因？

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 725楼

老师，本讲中，通过程序提取出来的文本里，还有<br/>这个的代码，怎么能把这样的代码也去掉，只保留文本？

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 726楼

def save_html()

这一部分，其中‘w'是什么意思？

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 727楼

你好，老师，我按照源代码写了一边爬虫，但是没收到数据，控制台也没有报错，看打印好像说是没有items，但是对比源代码找不到不一样的地方，我把源代码上传了上去，请老师帮我看看

lianjia11.rar

Python 全系列/第十五阶段：Python 爬虫开发/动态数据抓取 728楼

from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
def get_cookie():
    login_url = 'https://www.docin.com/app/login'
    # 设置账号密码
    form_data = {
        'user': '18310640655',
        'password': '199759guo'
    }
    # 设置请求头
    headers = {"User-Agent": UserAgent().random}
    # 封装函数
    req = Request(login_url, headers=headers, data=urlencode(form_data).encode())
    #自己保存cookie
    cookie_jar =MozillaCookieJar()
    # 保存cookie
    handler = HTTPCookieProcessor(cookie_jar)
    opener = build_opener(handler)
    resp = opener.open(req)
    #无论我的cookie是否过期都将保存下来
    cookie_jar.save('cookie.txt',ignore_discard=True,ignore_expires=True)

def use_cookie():
    info_url = 'https://www.docin.com/'
    headers = {'User-Agent':UserAgent().random}
    req = Request(info_url,headers=headers)

    #加载cookie信息
    cookie_jar = MozillaCookieJar()
    cookie_jar.load('cookie.txt',ignore_discard=True,ignore_expires=True)
    handler = HTTPCookieProcessor(cookie_jar)
    #将信息放到控制器里面
    opener = build_opener(handler)
    resp = opener.open(req)

    print(resp.read().decode())

if __name__ == '__main__':
    get_cookie()
    use_cookie()

老师，我尝试用cookie登录豆丁网，为什么我保存下来的cookie信息是这样的。并且无法登录

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用（旧） 729楼

urllib.request Request,urlopen
fake_useragent UserAgent
ssl
ssl._create_default_https_context = ssl._create_unverified_context

url = headers = {
    :UserAgent().random,
    :phone}
req = Request(url,=headers)

resp = urlopen(req)
(resp.read().decode())

报错信息如下：请老师看一下，是什么原因？

/Users/kola/Downloads/python百战课程/1/venv/bin/python /Users/kola/Downloads/python百战课程/1/1.py

File "/Users/kola/Downloads/python百战课程/1/1.py", line 11

"Cookie":"UM_distinctid=17927ecdf998d9-08620eb2f6e742-1f3b6054-1aeaa0-17927ecdf9a3f2; CNZZDATA1261969808=808919970-1619868533-https%3A%2F%2Fwww.baidu.com%2F|1619868533; PHPSESSID=6u5l2tibl8pfg14b6deoa63933; user=a:2:{s:2:"id";i:41284;s:5:"phone";s:11:"18503887799";}"

SyntaxError: invalid syntax

Process finished with exit code 1

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用（旧） 730楼

第一次cmd中手动输入命令，打开mongo服务成功了。后面新建了bat脚本命令，打开bat时候闪了一下就关闭了。再手动输入命令就出现截图的错误。

Python 全系列/第十五阶段：Python 爬虫开发/爬虫数据存储 731楼

from urllib.request import urlopen
url = '
response =urlopen(url)
info = response.read()
print(info)

运行时，出现如下错误，是什么原因？

/Users/kola/Downloads/python百战课程/1/venv/bin/python /Users/kola/Downloads/python百战课程/1/pachong.py

Traceback (most recent call last):

File "/Users/kola/Downloads/python百战课程/1/pachong.py", line 4, in <module>

response=urlopen(url)

File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 222, in urlopen

return opener.open(url, data, timeout)

File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 522, in open

req = meth(req)

File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 1274, in do_request_

raise URLError('no host given')

urllib.error.URLError: <urlopen error no host given>

Process finished with exit code 1

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 732楼

老师，我这抓包大多数都是带锁的，证书也没问题，是怎么回事？

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 733楼

老师，您好，把插件移过去显示禁用标志，请问这是为什么呀

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 734楼

老师您好，视频中14：50秒中，__hash__参数获取时使用的正则表达式那里为什么那样写就能获取到，不是很理解。

Python 全系列/第十五阶段：Python 爬虫开发/scrapy 框架高级 735楼

同学您好