from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.parse import urlencode
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
def get_cookie():
    login_url = 'https://www.docin.com/app/login'
    # 设置账号密码
    form_data = {
        'user': '18310640655',
        'password': '199759guo'
    }
    # 设置请求头
    headers = {"User-Agent": UserAgent().random}
    # 封装函数
    req = Request(login_url, headers=headers, data=urlencode(form_data).encode())
    #自己保存cookie
    cookie_jar =MozillaCookieJar()
    # 保存cookie
    handler = HTTPCookieProcessor(cookie_jar)
    opener = build_opener(handler)
    resp = opener.open(req)
    #无论我的cookie是否过期都将保存下来
    cookie_jar.save('cookie.txt',ignore_discard=True,ignore_expires=True)

def use_cookie():
    info_url = 'https://www.docin.com/'
    headers = {'User-Agent':UserAgent().random}
    req = Request(info_url,headers=headers)

    #加载cookie信息
    cookie_jar = MozillaCookieJar()
    cookie_jar.load('cookie.txt',ignore_discard=True,ignore_expires=True)
    handler = HTTPCookieProcessor(cookie_jar)
    #将信息放到控制器里面
    opener = build_opener(handler)
    resp = opener.open(req)

    print(resp.read().decode())

if __name__ == '__main__':
    get_cookie()
    use_cookie()

老师，我尝试用cookie登录豆丁网，为什么我保存下来的cookie信息是这样的。并且无法登录

urllib.request Request,urlopen
fake_useragent UserAgent
ssl
ssl._create_default_https_context = ssl._create_unverified_context

url = headers = {
    :UserAgent().random,
    :phone}
req = Request(url,=headers)

resp = urlopen(req)
(resp.read().decode())

报错信息如下：请老师看一下，是什么原因？

/Users/kola/Downloads/python百战课程/1/venv/bin/python /Users/kola/Downloads/python百战课程/1/1.py

  File "/Users/kola/Downloads/python百战课程/1/1.py", line 11

    "Cookie":"UM_distinctid=17927ecdf998d9-08620eb2f6e742-1f3b6054-1aeaa0-17927ecdf9a3f2; CNZZDATA1261969808=808919970-1619868533-https%3A%2F%2Fwww.baidu.com%2F|1619868533; PHPSESSID=6u5l2tibl8pfg14b6deoa63933; user=a:2:{s:2:"id";i:41284;s:5:"phone";s:11:"18503887799";}"

                                                                                                                                                                                                                                  ^

SyntaxError: invalid syntax

Process finished with exit code 1

第一次cmd中手动输入命令，打开mongo服务成功了。后面新建了bat脚本命令，打开bat时候闪了一下就关闭了。再手动输入命令就出现截图的错误。

from urllib.request import urlopen
url = '
response =urlopen(url)
info = response.read()
print(info)

运行时，出现如下错误，是什么原因？

/Users/kola/Downloads/python百战课程/1/venv/bin/python /Users/kola/Downloads/python百战课程/1/pachong.py

Traceback (most recent call last):

  File "/Users/kola/Downloads/python百战课程/1/pachong.py", line 4, in <module>

    response=urlopen(url)

  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 222, in urlopen

    return opener.open(url, data, timeout)

  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 522, in open

    req = meth(req)

  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 1274, in do_request_

    raise URLError('no host given')

urllib.error.URLError: <urlopen error no host given>

Process finished with exit code 1

老师，我这抓包大多数都是带锁的，证书也没问题，是怎么回事？

老师，您好，把插件移过去显示禁用标志，请问这是为什么呀

老师您好，视频中14：50秒中，__hash__参数获取时使用的正则表达式那里为什么那样写就能获取到，不是很理解。

老师，我一使用分布式爬虫就报错：由于目标计算机积极拒绝，无法连接。我自己使用其他方式就没发现这个问题，这个是为什么呢

from urllib.request import Request,build_opener

from fake_useragent import UserAgent

from urllib.parse import urlencode

from urllib.request import HTTPCookieProcessor

login_url = 'https://www.bilibili.com/page-proxy/game-nav.html'

form_data = {

    "user":"15212123250",

    "password":"2742558764"

}

headers = {

    "User-Agent":UserAgent().random,

}

req = Request(login_url, headers=headers, data=urlencode(form_data))

handler = HTTPCookieProcessor()

opener = build_opener(handler)

resp = opener.open(req)

info_url = "https://www.bilibili.com/"

req = Request(info_url, headers=headers)

resp = opener.open(req)

print(resp.read().decode())

请问老师，代码是这是为什么?，无论是哪个网站，都是这个错误。都是哪个resp不行，之前还好好的。谢谢老师了！

老师，代码中的yield的作用是怎样的，在资料文档里看到的用法跟这个不同的，乱了

老师，你好，我按照代码文档写的代码运行出现以下出错，不知道什么原因，方便解答一下吗

from fake_useragent import UserAgent
import requests
from lxml import etree

# 发送请求
class Downloader():
    def do_download(self,url):
        print(url)
        headers = {'User-Agent' : UserAgent().chrome}
        resp = requests.get(url, headers=headers)
        if resp.status_code == 200:
            resp.encoding = 'utf-8'
            return resp.text

# 数据分析
class Parser():
    def do_parse(self,html):
        e = etree.HTML(html)
        # 写要爬取的内容的提取
        contents = [div.xpath('string(.)').strip() for div in e.xpath('//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        return contents,urls

# 数据保存
class DataOutPut():
    def do_save(self,datas):
        with open('duanzi2.txt','a',encoding='utf-8') as f:
            for data in datas:
                f.write(data + '\n')

# URL管理器
class URLManager():
    def __init__(self):
        self.new_url = set()
        self.old_url = set()

    # 加入一个url的方法
    def add_new_url(self,url):
        if url is not None and url != '' and url not in self.old_url:
            self.new_url.add(url)
    # 加入多个url
    def add_new_urls(self,urls):
        for url in urls:
            self.add_new_url(url)
    # 获取一个url
    def get_new_url(self):
        url = self.new_url.pop()
        self.old_url.add(url)
        return url
    # 获取还有多少个url要爬取c
    def get_new_url_size(self):
        return len(self.new_url)

    # 获取是否还有url要爬取
    def have_new_url(self):
        return self.get_new_url_size() > 0

# 调度器
class Scheduler:
    def __init__(self):
        self.downloader = Downloader()
        self.parser = Parser()
        self.data_out_put = DataOutPut()
        self.url_manger = URLManager()

    def start(self,url):
        self.url_manger.add_new_urls(url)
        while self.url_manger.have_new_url():
            url = self.url_manger.get_new_url()
            html = self.downloader.do_download(url)
            datas,urls = self.parser.do_parse(html)
            self.data_out_put.do_save(datas)
            self.url_manger.add_new_urls(urls)

# 主函数
if __name__ == '__main__':
    scheduler = Scheduler()
    url = 'https://www.qiushibaike.com/text/'
    scheduler.start(url)

老师，安装好 ChromeDriver 后，运行代码后出现  AttributeError: module 'json' has no attribute 'dumps'

代码

# encoding=utf-8
from selenium import webdriver
# 构造浏览器
chrome = webdriver.Chrome()
# 发送请求，访问url
url = 'http://www.baidu.com'
chrome.get(url)
# 截图
chrome.save_screenshot('baidu.png')
# 获取源代码
html = chrome.page_source
# 退出
chrome.quit()

错误

老师，请问一下可以新建一个爬虫的项目，然后创建多个子文件嘛？我看老师是 一次创建一个新的项目.

老师，我现在这个网能ping通，然后我也按照您给其他同学说的，删了这个txt文件。我还按照网上说的配置的DNS，但是yum就是不行。我想换阿里的yum源，提示我command not found。现在是真的没办法了，已经弄了很久了