博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
scrapy在spider中通过pipeline获取数据库内容
阅读量:7014 次
发布时间:2019-06-28

本文共 675 字,大约阅读时间需要 2 分钟。

hot3.png

http://stackoverflow.com/questions/23105590/how-to-get-the-pipeline-object-in-scrapy-spider

 

# This is my Piplineclass MongoDBPipeline(object):    def __init__(self, mongodb_db=None, mongodb_collection=None):        self.connection = pymongo.Connection(settings['MONGODB_SERVER'], settings['MONGODB_PORT'])        ....    def process_item(self, item, spider):        ....    def get_date(self):        ....    def open_spider(self, spider):        spider.myPipeline = selfclass Spider(Spider):    name = "test"    def __init__(self):        self.myPipeline = None    def parse(self, response):        self.myPipeline.get_date()

转载于:https://my.oschina.net/u/1013816/blog/813066

你可能感兴趣的文章
MongoDB 主从复制小实验
查看>>
Linux Shell常用技巧(七)
查看>>
iOS网络编程解析协议二:XML数据传输解析
查看>>
Leetcode: Concatenated Words
查看>>
Python 多线程
查看>>
oracle数据库性能
查看>>
关于VS中的调试信息输出
查看>>
IOS-5个可以帮你优化App的优秀网站
查看>>
ArrayIndexOutOfBoundsException
查看>>
JAVA判断各种类型数据是否为空
查看>>
如何使用kali的Searchsploit查找软件漏洞
查看>>
Vim for Rails developers: Lazy modern configuration
查看>>
小鹏G3完成两轮三高测试 夏珩:该走的路我们一步不少走
查看>>
西班牙多地拉响“黄色大风”警报 华人出行需谨慎
查看>>
程序员必知的七个图形工具
查看>>
iOS 无需官方SDK实现微信、QQ社交功能,支持Web登录
查看>>
JavaScript的数据类型及其检测
查看>>
类的执行顺序与this指针
查看>>
最牛Java架构师进阶路线
查看>>
西安电话面试:谈谈Vue数据双向绑定原理,看看你的回答能打几分
查看>>