import requests from fake_useragent import UserAgent url = 'http://www.httpbin.org/get' headers = {'User-Agent': UserAgent().chrome} resp = requests.get(url, headers=headers) print(resp.text)
fake_agent不能正常使用
这个报错是哪个方面的问题,一用这个包就会报错,不用导包就正常
老师,安装上virtualenvwrapper虚拟环境,怎么在导航栏没找到配置的视频上出现的那个虚拟环境的配置
老师 爬虫工程师需要掌握哪些东西,这个方面的工作
爬取下来为Unicode编码的兄弟们,可以加上
resp.encoding = 'utf-8'
来改变解码方式
老师为啥我这个Tomcat里面啥命令也没有,没有像视频中一样可以显示IP地址
因为
是post请求所以
然后我就把data传了进去
from urllib.request import urlopen,Request from urllib.parse import urlencode from fake_useragent import UserAgent url='http://ynuf.aliapp.org/service/um.json' us=UserAgent(path='D:/地址/fake_useragent.json') heads={ 'User-Agent':us.chrome } n={ 'data':'106!7mumc0clNbmcvtLXjmEzz838NyROP5D17c0+xKUUz+Htnc6352am21WSjWFgm+HmnrIV+Ohj+KNy5vUTih8mqqwuWlaqFJUXw8fQ2zRPG1dGW4T9aPEvHT01O4rkysYJqfM8bdThPTOrlr27m+7zdbS4RnC0yY3JfCeL74FsPy/JDuaUE0lWs+eU0M8Hs+IsggkIfItP3eS7JGUOfTsKsPoU5u88s+eAmthkl+9zPQxC+OF/wo535MXLXs4YAELMptVBc9N6yj4WZGeHvct8ASF8UwJUncf0KQ7e4Bar6RJ+rClbcD7WKnm5B5Sp76LwgTHlhbM8caJEPQyGXGeYIU1FjExzDIRnA20wCCqFSinYDxjlWVYqMo1u7G1i03RXtuLpKcTJrwEJWOAxcge9saHfNWcWw4d4mFGQQkM4noQmytG4U7pm7fbZO7nKr80SsnTgpBe2PE1BOPvFEcpZC8O8+0N5wQiRXzlweCzTe3rUhHFVGkRgn79A8I1AQM8KzkEXsQNDOBA8z5ptZIaOa07cYnn19/BdYmMgH9zjW7pv8XAZFzWHHpsYka7HwQaqgoZVQc1yRisQ6SBsKfxsSUCO' } req=Request(url,headers=heads,data=urlencode(n).encode()) op=urlopen(req) print(op.read().decode()) print(op.getcode())
这个是结果
它返回了一个字典给我,该如何更改 才能显示html代码界面呢
老师这是啥意思呀 安装了 用不了,pip install 和 pip3 install 都安装了 都不行
为啥我的报这个路径错误,明明弄了这个ANDROID_HOME路径了,百度了一下说,appium的环境变量没有配置
这个页面怎么打开
from my_fake_useragent import UserAgent from bs4 import BeautifulSoup from time import sleep import requests url = 'https://maoyan.com/films/1218188' headers = {"User_Agent":UserAgent().random()} proxies = {"http":"http://175.155.71.22:1133"} resp = requests.get(url,headers=headers,proxies=proxies) resp.encoding='utf-8' soup = BeautifulSoup(resp.text,'lxml') name = soup.select('h1.name')[0].text #电影名 ename = soup.select('div.ename')[0].text #英文名 type = soup.select('li.ellipsis>a')[0].text #电影类型 director = soup.select('li.celebrity > div >a')[0].text #导演 actors = soup.select('li.celebrity actor>a') #演员 intor = soup.select('span.dra') actor_set = set() for actor in actors: print(actor.text.stirp()) print(name,ename,type,director,intor)
老师我这是爬取猫眼电影的你好李焕英,我的IP被禁止访问,我用了代理也不行,我试了多个免费高匿代理,还是不行,老师帮我看看,是我代码有问题吗?
老师我这个该怎么解决,把user换成图片中的就有用,写成代码中的就没用
老師不知道爲什麽輸出的亂碼
from my_fake_useragent import UserAgent from bs4 import BeautifulSoup from time import sleep import requests url = 'https://maoyan.com/films/1299372' header = {'User_Agent':UserAgent().random()} resp = requests.get(url,headers=header) soup = BeautifulSoup(resp.text,'lxml') print(soup.find_all("a"))
老师为啥按操作,准备操作弄完之后显示这样呢
非常抱歉给您带来不好的体验!为了更深入的了解您的学习情况以及遇到的问题,您可以直接拨打投诉热线:
我们将在第一时间处理好您的问题!
关于
课程分类
百战程序员微信公众号
百战程序员微信小程序
©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园网站维护:百战汇智(北京)科技有限公司 京公网安备 11011402011233号 京ICP备18060230号-3 营业执照 经营许可证:京B2-20212637