Get busy living

Stay Hungry,Stay Foolish


  • 首页

  • 分类

  • 归档

  • gitbook

  • 关于

  • 搜索

python操作mysql(ORM)

发表于 2019-01-14 | 分类于 mysql学习
使用 SQLAlchemy 安装方法pip install SQLAlchemy 更多内容参考flask鱼书项目 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051 ...
阅读全文 »

python操作mysql(增删改查)

发表于 2019-01-14 | 分类于 mysql学习
使用mysqlclient先安装mysqlclient网址:https://pypi.org/project/mysqlclient/python中可使用pip安装,pip install mysqlclient 也可以使用别的方法,详细可查看之前的文章:爬取百度百科词条写入数据库 python ...
阅读全文 »

使用MySQL

发表于 2019-01-14 | 分类于 mysql学习
示例数据 https://codeload.github.com/datacharmer/test_db/zip/master导入 eg: mysql -u root -p < employees.sql show variables like '%datadir%'; : ...
阅读全文 »

数据库分类

发表于 2019-01-14 | 分类于 mysql学习
数据库分类 关系型数据库 (MySQL,SQLServer,MariaDB,ORACLE等) 非关系型数据库 (mongoDB,redis等) 非关系型数据库分类1 . 文档型2 . key-value型3 . 列式数据库4 . 图形数据库
阅读全文 »

爬虫整理(四)多进程分布式与异步

发表于 2018-12-25 | 分类于 python练习
有的时候,爬取速度不快,就要想一些其他的办法。比如多进程多线程以及异步。不过一般的网站都会对其有限制,所以还得看实际情况具体来选取爬虫方式。爬虫并不复杂。爬虫更关键的是在,爬虫,反爬虫和反反爬虫这一块。 多进程分布式与异步的代码如下: 12345678910111213141516171819202 ...
阅读全文 »

爬取百度百科词条写入数据库

发表于 2018-12-25 | 分类于 python练习
这是在把百度百科上从一个词条中,随机选择一个关键字,然后从这个关键词的词条中,继续这样一个步骤,同时保存到数据库。如果遇到某词条下没有其他关键字,就会返回到上一个关键字处,目前有一个问题,就是两条关键词都只有一个的话,会进入循环。数据库中可以设置url唯一数据库这一块的操作,得先安装pymysql。 ...
阅读全文 »

读取TXT_PDF

发表于 2018-12-25 | 分类于 python练习
这个是我学习爬取TXT和PDF的代码,前半段是读取TXT,后半段是读取PDF,PDF中使用了第三方库,pdfminer3k,使用pip安装即可。pip install pdfminer3k。PDF其中注释掉的为读取网络上的PDF文档。代码如下: 123456789101112131415161718 ...
阅读全文 »

爬虫整理(五)slenium

发表于 2018-12-25 | 分类于 python练习
首先使用pip安装并加入环境变量123456789101112131415161718192021222324from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# firefox pl ...
阅读全文 »

PandaTV爬取主播人气并排序

发表于 2018-12-25 | 分类于 python练习
很早前,第一次爬虫,就用的re加urllib原生爬虫。这次重新来爬取一次PandaTV主播人气排名,来练一下手。毕竟看直播嘛,颜值区更喜欢一点。就以颜值区为例,颜值区url = ‘https://www.panda.tv/cate/yzdr'。结果保存在运行目录下的`PandaTV主播人气排 ...
阅读全文 »

慕课网数据采集总结

发表于 2018-12-25 | 分类于 python练习
https://www.imooc.com/video/12637 课程地址
阅读全文 »
1…272829…31
WeiLai

WeiLai

好学近乎知,力行近乎仁,知耻近乎勇

302 日志
23 分类
4 标签
GitHub E-Mail 简书 Facebook
© 2025 WeiLai