老师，能不能帮下忙，这是我的一个面试题，实在不知道怎么解决了

老师这个问题该怎么解决啊？上网查了发现有好多说法，而且解决方法说的也不是很清楚。。。

为什么fake-useragent下载不了

这要怎么改呢

代码：

import requests
from fake_useragent import UserAgent
from lxml import html
etree=html.etree
def get_url(url):
    headers = {"User-Agent": UserAgent().random}
    resp = requests.get(url, headers)
    if resp.status_code==200:
        resp.encoding="utf-8"
        return resp.text
def parse_list(html):
    e=etree.HTML(html)
    list_url=["http://maoyan.com{}".format(url) for url in e.xpath('//div[@class="movie-item film-channel"]/a/@href')]
    return list_url
def parse_index(html):
    pass
def main():
    url = "https://maoyan.com/films?showType=3&offset=0"
    html=get_url(url)
    movie_url=parse_list(html)
    print(movie_url)
if __name__=="__main__":
    main()

运行结果:

老师请问一下，为什么我的list_url返回的是一个空列表？

老师，请问一下：我用这个pip install -U fake-useragent，之后还是不行怎么办？

分享，解决centos6.8上安装Twisted-19.7.0报错"ModuleNotFoundError: No module named '_ctypes'"的方法参考网上解决办法：

1. 安装外部函数库(libffi)

   yum install libffi-devel -y
   

2. 重新安装python

3. 用pip3 Install 安装需要的包

   再次报错：distutils.errors.DistutilsError: Could not find suitable distribution for Requirement.parse('incremental>=16.10.1')

参考网上解决办法：

yum install -y epel-release
yum install -y python-pip
pip3 install incremental -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('attrs>=17.4.0')

解决办法

pip3 install attrs -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('PyHamcrest>=1.9.0')

pip3 install PyHamcrest -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('hyperlink>=17.1.1')

pip3 install hyperlink -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

再次报错：error: Could not find suitable distribution for Requirement.parse('Automat>=0.3.0')

pip3 install Automat -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 install constantly -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 install zope.interface -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
cd Twisted-19.7.0
python3 setup.py install

执行上述操作后：linux界面提示Finished processing dependencies for Twisted==19.7.0

老师，这个云打码平台是不是倒闭了，官网进不去了。

这一节是不是可以重新更新一下课程

第一次cmd中手动输入命令，打开mongo服务成功了。后面新建了bat脚本命令，打开bat时候闪了一下就关闭了。再手动输入命令就出现截图的错误。

fake-useragent_versionjson的配置文件从哪里下载

老师这个打不开什么情况？

点击修复没反应。。。。。。

使用源码方式搭建爬虫靶场时，导入数据后只能看到表头，没有内容。

import requests
from fake_useragent import UserAgent
from bs4 import BeautifulSoup

def start():
    url = 'https://www.maoyan.com/films/1309268'
    headers = {'User-Agent':UserAgent().chrome}
    resp = requests.get(url,headers=headers)
    soup = BeautifulSoup(resp.text,'lxml')
   
    name = soup.select('h1.name')[0].text
    print(f'电影名:{name}')

if __name__=='__main__':
    start()

老师，这个不管是再保存csv文件用-s FEED_EXPORT_ENCODING='gb18030'

还是在settings. py中加FEED_EXPORT_ENCODING='gb18030'都没用，解决不了乱码，换成utf-8也不会把json文件换成中文编码

建议每个爬虫的实战课程到最后抓取的数据等时候在添加一部分文件保存的讲解,比如如何以xlsx,csv,等等文件的方法保存下来抓取的数据

这怎么弄