小白爬虫scrapy第五篇

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《小白爬虫scrapy第五篇》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

接下来将数据保存到数据库中
在项目路径下创建一个目录名字叫做:mysqlpipelines以便区分
创建将其他目录的__init__.py文件拷贝一份放入该目录
然后可以正式开始吧爬取的数据如何存放在数据库中了,客观代码来了

import mysql.connector
from dingdian import settings
# 引用配置文件
MYSQL_HOSTS = settings.MYSQL_HOSTS
MYSQL_USER = settings.MYSQL_USER
MYSQL_PASSWORD = settings.MYSQL_PASSWORD
MYSQL_PORT = settings.MYSQL_PORT
MYSQL_DB = settings.MYSQL_DB
# 初始化MYSQL游标操作
cnx = mysql.connector.connect(user=MYSQL_USER, password=MYSQL_PASSWORD, host=MYSQL_HOSTS, database=MYSQL_DB)
cur = cnx.cursor(buffered=True)

# 定义一个sql类
class Sql:
    # @classmethod 做类修饰,相当于静态类
    # 定义函数,将函数中的变量保存到数据库中
    @classmethod
    def insert_dd_name(cls, video_name, video_time, video_imgurl, video_url):
        sql = "INSERT INTO video_info(video_name, video_time, video_imgurl, video_url)
            VALUES(%(video_name)s, %(video_time)s, %(video_imgurl)s, %(video_url)s)"
        value = {'video_name' : video_name,
                 'video_time': video_time ,
                 'video_imgurl': video_imgurl ,
                 'video_url': video_url }
        print(sql, value)
        cur.execute(sql, value)
        cnx.commit()
        pass
        
    # 查找是否有重复的小说编号有则返回1 没有则返回0
    @classmethod
    def select_name(cls, video_name):
        sql = 'SELECT EXISTS(SELECT 1 FROM video_info WHERE video_name= %(video_name)s)'
        value = {
            'video_name': video_name
        }
        cur.execute(sql, value)
        return cur.fetchall()[0]

上面代码中

import mysql.connector

from .sql import Sql
from AiQuer.items import AiquerItem

class DingdianPipeline(object):

    def process_item(self, item, spider):
        if isinstance(item, AiquerItem):
            video_name= item['video_name']
            ret = Sql.select_name(video_name)
            if ret[0] == 1:
                print(u'已存在')
            else:
                video_name= item['video_name']
                video_time= item['video_time']
                video_imgurl= item['video_imgurl']
                video_url= item['video_url']
                
                Sql.insert_dd_name(video_name, video_time, video_imgurl, video_url)
                print(u'开始存视频信息')
        return item

最后在settings.py里面去注册一下DingdianPipeline
找到下面这一段

# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'AiQuer.mysqlpipelines.pipelines.AiquerPipeline': 300,
}

注:我在这里面没有建立数据库表请同学们自己去创建表吧
启用后你会发现数据库有你选择用户的所有视频,哈哈哈~
python的就到这儿了.如果要详细了解进阶的话就看python的scrapy文档吧!
附上链接Scrapy入门教程.拜拜~

今天带大家了解了MySQL、python的相关知识，希望对你有所帮助；关于数据库的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~