为什么我什么都爬不到,直接退出了
from urllib.request import Request,urlopenfrom urllib.parse import quotedef get_html(url): headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 QIHU 360SE" } request=Request(url,headers=headers) response=urlopen(request) return response.read().decode()def save_html(html,filename): with open('filname.hyml','w',encoding='utf_8') as f: f.write(html)def main(): for i in range(3): url='https://tieba.baidu.com/f?kw=%E8%B5%9B%E5%8D%9A%E6%9C%8B%E5%85%8B2077' html=get_html(url) filename='第'+str(i+1)+'页.html' save_html(html)if __name__=="__name__": main()
请求完之后就是这个样子,跟老师视频里的内容不一样
调试模式自己就停止了,而且爬取不到任何数据
虚拟机的安装包在哪呀
一直这个提示
更换目录还是这个提示?????????????????????????????????????????????????????????????????????????
老师 我运行的时候得到了 <Element html at 0x276ac8e2400> 这个 而我真正想得到的是文字 这个怎么办
老师我想请问一下 这个 为什么使用代理会不成功,我不用代理直接爬取京东还能返回数据用了就直接不行 是不是使用代理的原因
老师,你好!使用yield scrapy.Request推送数据,接收不到url,麻烦帮忙看一下,谢谢!
以下是代码文件
xiaoshuo1.zip
cookie一定要有该网站的账号和密码后,才能获得吗?
看这个代码好像跟虚拟机没什么关系啊,怎么把爬虫部署到slave上的
from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import HTTPHandler url = 'http://httpbin.org/get' ua = UserAgent() # print(ua.random) headers = { 'User-Agent': ua.chrome } request = Request(url, headers=headers) # HTTP控制器 handler = HTTPHandler() opener = build_opener(handler) response = opener.open(url) print(response.read().decode())
为什么这个请求头中User—Agent 是没有伪装过的?
from urllib.request import Request from urllib.request import urlopen from fake_useragent import UserAgent url = "https://music.163.com/user/home?id=1320628122" headers = { 'User-Agent':UserAgent().random } req = Request(url,headers=headers) response = urlopen(req) print(response.read().decode())
老师,我的代码和视频里一样,怎么报这个错了,编码用的是utf-8
老师,我打印response.text出现
{"msg": "", "code": 0, "data": {"next_url": "/activate/"}}
是被反爬了吗,所以获取不到数据
下载不了,请老师指点一下为什么会出现这个情况
代码:
import requests url="https://music.163.com/login" headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0 getUserInfoByUserId "} resp=requests.get(url,headers=headers) resp.encoding="utf-8" print(resp.content)
运行结果:
老师请问一下我使用request来登录网易云音乐,为什么结果是这样的呢?是不是哪里有问题?
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637