有效沟通问答-【官方】百战程序员_IT在线教育培训机构

会员可以在此提问，百战程序员老师有问必答

对大家有帮助的问答会被标记为“推荐”
看完课程过来浏览一下别人提的问题，会帮你学得更全面

截止目前，同学们一共提了 132359个问题

时间排序推荐排序

老师，这里应该改成什么

Python 全系列/第十五阶段：Python 爬虫开发/移动端爬虫开发- 436楼

猫眼电影的这个网页现在这样爬取不下来了，进入了什么‘猫眼验证中心’去了

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 437楼

屏幕截图 2024-04-17 142904.png

报错为什么还能打印出来呢

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 438楼

[ WARN:0@0.008] global D:\a\opencv-python\opencv-python\opencv\modules\imgcodecs\src\loadsave.cpp (239) cv::findDecoder imread_('./03_鍙嶇埇涓庡弽鍙嶇埇/imgs/cpt1.png'): can't open/read file: check file path/integrity

[ WARN:0@0.012] global D:\a\opencv-python\opencv-python\opencv\modules\imgcodecs\src\loadsave.cpp (239) cv::findDecoder imread_('./03_鍙嶇埇涓庡弽鍙嶇埇/imgs/cpt2.png'): can't open/read file: check file path/integrity

Traceback (most recent call last):

File "d:\code\python\spider_code\03_反爬与反反爬\06_滑动验证码_获取滑动长度.py", line 28, in <module>

get_long()

File "d:\code\python\spider_code\03_反爬与反反爬\06_滑动验证码_获取滑动长度.py", line 25, in get_long

cv2.imwrite('./03_反爬与反反爬/imgs/tcpt2.png',canny1)

cv2.error: OpenCV(4.6.0) D:\a\opencv-python\opencv-python\opencv\modules\imgcodecs\src\loadsave.cpp:801: error: (-215:Assertion failed) !_img.empty() in function 'cv::imwrite'

老师这是什么错误啊，怎么解决

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬 439楼

老师我看过了，
这个next_url是全的，我复制他到网页上能打开下一章，
但是到了yield下一章的这一步就不行了，程序直接就结束了。。。
控制台的那些红色信息我也看了，没有显示error,只显示了第一章的内容

Python 全系列/第十五阶段：Python 爬虫开发/移动端爬虫开发- 440楼

import requests

from fake_useragent import UserAgent

from bs4 import BeautifulSoup

def format_actors(a_list):

actor_set = set()

for a in a_list:

actor_set.add(a.text.strip())

return actor_set

def start():

url = 'https://www.maoyan.com/films/1300821'

headers = {

'User-Agent': UserAgent().opera

}

resp = requests.get(url, headers=headers)

soup = BeautifulSoup(resp.text,'lxml')

name = soup.select('h1.name')[0].text

types = soup.select('h1.ellipsis')[0].text

actors_m = soup.select('li.celebrity.actor>div>a')

actors = format_actors(actors_m)

print(f'电影名:{name} 类型：{types} 演员：{actors}')

if __name__ == '__main__':

start()

## 错误类型

name = soup.select('h1.name')[0].text

IndexError: list index out of range

这是怎么一回事如何解决啊

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础（旧） 441楼

老师，我执行了scrapy crawl baidu

parse函数中只写了一个print（title）他这样子报错

Python 全系列/第十五阶段：Python 爬虫开发/scrapy框架使用（旧） 442楼

老师，安装好 ChromeDriver 后，运行代码后出现 AttributeError: module 'json' has no attribute 'dumps'

代码

# encoding=utf-8
from selenium import webdriver
# 构造浏览器
chrome = webdriver.Chrome()
# 发送请求，访问url
url = 'http://www.baidu.com'
chrome.get(url)
# 截图
chrome.save_screenshot('baidu.png')
# 获取源代码
html = chrome.page_source
# 退出
chrome.quit()

错误

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬- 443楼

老师，视频中三分二十五秒创建的zongheng文件，我创建之后zongheng文件在book目录外面，这有影响吗

Python 全系列/第十五阶段：Python 爬虫开发/移动端爬虫开发- 444楼

我打开kuaidili网页显示请求模式是:get 不是 post.要用get获取

Python 全系列/第十五阶段：Python 爬虫开发/爬虫基础 445楼

import execjs

# 读取js代码
with open('./爬虫与反爬/16js.js','r') as f:
  js_code = f.read()

# 解析js，创建js对象
ctx = execjs.compile(js_code)


t = "MZphJmFlelDpw2aSCfdFb/P3tx6u8VHU/M7MqPRS6y6RaH/5IbXivLEiR9o33DJkTcSPLypQCFpPR82kvps4XAS/QiDAsPVBMK4HU3LUuLyxQLn42XoQKtsRU3nLrOppUcsUCaY8vfPxRtOB4RmS8utPv1yghJtEXPzFsqCxHdcMCUo/o0DpzF5NzSMvlvmYDctx2SVncj3BldMoJn2SZLwPyk2NghU08KyffZyPMaiTmaAeX42LAu8//RhilPgFkR4WUfSd2JSf5WLW1LG0xNJQXx0V1mwtdekmdeH1VkFuapV7vq+eUWCydb4g4fzb+gAwJL8FCmRzBol9j8tdr3ikRFVEttwRl9PG7/ihq/YjCAvWr4S4BAHs4ZRtfo3RMCYFHi+jPkAJWSDArZGriI069tqw9zN04c5G6N4DVQSHwOvm0/JnTWjrIJ/7YTGM+e6lE0DCglS3dHuwxQEGYp3tfxIqnuEMZglV+8rpeVwPoZcWzE3A+0zqJ1ypmhsLk6ZKqpp1jnwvnzCyc3XEvvNlC++1BOPDxaBjjWc94/mcXO37RwjEVQx/h6sCIRJzo9Qwpe2emcsK/ZvAN2433cXPrdZXn1RTWnYkI/NfUMAfib+W54hkccA1krMstvc3oahDlYhOlTlv2OmGoknLoBaWnXiU3Dv51apgdZ4XBpBfN4HOzY12/zq4cnd1u319dBu0fRETiadFXqAUE9nRbmqZtQ4L7/byasPdOOxOagv7nIH4bvcXpfXDqhz6CMDL9Ei+N/dyRWlt3BX/bUPQ6H9E89HbmeJqJFPXZ1HeSHR2Ijl601S2B03lYQcrysSwWh8kzM1D/0N3Dm5z1R3kxvJ5iYpjfPBZH6ozU/4F4E42z1BInZRHViDc79MM6yNB433MMaAl5jsQBSDy33gBwlmx21J35xzmHdsLjmCuVstWvzWgVYOrRCD3dChIoueE"
params1= 'EB444973714E4A40876CE66BE45D5930'
params2 = 'B5A8904209931867'

# 调用js里的函数
rs = ctx.call('get_rs',t,params1,params2)
print(rs)

老师我运行这个py文件报错是：

Traceback (most recent call last):

File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.10_3.10.3056.0_x64__qbz5n2kfra8p0\lib\threading.py", line 1016, in _bootstrap_inner

self.run()

File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.10_3.10.3056.0_x64__qbz5n2kfra8p0\lib\threading.py", line 953, in run

self._target(*self._args, **self._kwargs)

File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.10_3.10.3056.0_x64__qbz5n2kfra8p0\lib\subprocess.py", line 1515, in _readerthread

buffer.append(fh.read())

UnicodeDecodeError: 'gbk' codec can't decode byte 0x81 in position 189: illegal multibyte sequence

Traceback (most recent call last):

File "d:\spider\spider_code\爬虫与反爬\16_js破解.py", line 16, in <module>

rs = ctx.call('get_rs',t,params1,params2)

File "C:\Users\zzzzzzzbw\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\site-packages\execjs\_abstract_runtime_context.py", line 37, in call

return self._call(name, *args)

File "C:\Users\zzzzzzzbw\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\site-packages\execjs\_external_runtime.py", line 92, in _call

return self._eval("{identifier}.apply(this, {args})".format(identifier=identifier, args=args))

File "C:\Users\zzzzzzzbw\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\site-packages\execjs\_external_runtime.py", line 78, in _eval

return self.exec_(code)

return self._exec_(source)

File "C:\Users\zzzzzzzbw\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\site-packages\execjs\_external_runtime.py", line 88, in _exec_

return self._extract_result(output)

output = output.replace("\r\n", "\n").replace("\r", "\n")

AttributeError: 'NoneType' object has no attribute 'replace'

Python 全系列/第十五阶段：Python 爬虫开发/爬虫反反爬 446楼