社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  问与答

新人请教scrapy的一个问题

407102799 • 5 年前 • 1764 次点击  

在使用scrapy时,使用xpath解析网页的结构,碰到一个问题 比如我要解析一本,在A网站的结构是 <div id="text">标题</div> 在B网站上是 <div class="text">标题</div> 那么我该如何解决这个问题。总不能爬一本,就手动改一下解析结构吧

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/47909
 
1764 次点击  
文章 [ 4 ]  |  最新文章 5 年前
407102799
Reply   •   1 楼
407102799    5 年前

@Py站长 大概了解了,谢谢

Py站长
Reply   •   2 楼
Py站长    5 年前

@407102799 你搞个配置文件,程序读取你的配置文件,

当你要添加时,只需要改下配置文件就可以了

407102799
Reply   •   3 楼
407102799    5 年前

@Py站长 这是一种方法,那么如果我爬的格式多呢?是不是要一个个写上去?

Py站长
Reply   •   4 楼
Py站长    5 年前

代码里两种格式一起解析和抓取