VUE调用后端接口 :12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929...

数据分析定义 :1数据分析是基于商业目的, 有目的的进行收集, 整理, 加工和分析数据, 提炼有价信息的一个过程 过程 :1明确分析目的与框架, 数据收集, 数据处理(数据清洗, 数据转换), 数据分析, 数据展现和撰写报告等6个阶段 数据类型 :123456表格型数据, 其中各列可能是不同的类型(字符串, 数值, 日期等), 比如保存在关系型数据库中或以制表符/逗号为分...

1. scrapy shell :123456789101112131415161718192021是什么? 是一个scrapy的调试工具, 用它来进行调试xpath, 在scrapy shell中测试的是对的, 到代码中肯定是对的ipython : pip install ipython使用方式 : scrapy shell url一般情况下, 在终端的任何位置, 都可...

1. 多线程优化 : — 见代码(1) - 多线程优化.py :1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818...

多任务同时执行 : 抽烟打游戏, 唱歌跳舞, 开车手脚并用, 电脑中 : vscode, 录屏工具, vnc, 浏览器等 代码中 : 唱歌跳舞为例 , 一个函数就是一个任务多任务.py :123456789101112131415161718192021import timedef sing(): for x in rang(1, 6): print('我在...

1. selenium + phantomjs :1234567891011121314151617181920212223242526selenium是什么? 是一个浏览器的自动化测试工具, 通过selenium提供的一些方法可以去操作浏览器, 让浏览器做一些自动化的工作selenium操作谷歌浏览器, 核心 : 而是selenium操作谷歌浏览器驱动, 通过驱动再去操...

1. xpath使用 :12345678910111213141516171819202122(1) 属性筛选 //input[@id="kw"] //span[@class="bg s_ipt_wr quickdelete-wrap"] 通过class进行选择的时候，需要将所有的class全部写进来才可以(2) 索引和层级 //d...

1. 正则替换 :1234可替换为固定的字符串 : ret = pattern.sub('xxx', string)也可以传递一个函数, 将函数的返回值替换匹配的内容 ret = pattern.sub(fn, string) tihuan.py :1234567891011121314151617181920212223242526import r...

1. 代理ip池, 阿布云使用 :12见代码 https://www.abuyun.com/http-proxy/dyn-manual.html pool.txt :123456789218.60.8.98:3129122.72.18.34:80124.235.208.252:443182.88.178.229:8123121.43.170.207:31281.71.18...

1. urllib.parse :1234567891011处理参数或者url的urllib.parse.quote() url编码 https://www.baidu.com/s?ie=UTF-8&wd=%E5%91%A8%E6%9D%B0%E4%BC%A6 字母, 数字, 下划线, 冒号 // ? =等 如果有其他字符, 需要进行编码urllib.parse....