简单的用Python采集股票数据，保存表格后分析历史数据
前言
字节跳动如果上市，那么钟老板将成为我国第一个世界首富
趁着现在还没上市，咱们提前学习一下用Python分析股票历史数据，抱住粗大腿坐等起飞~
好了话不多说，我们直接开始正文
环境使用
- Python 3.10 解释器
- Pycharm 编辑器
模块使用
- requests —> 数据请求模块
- csv -> 保存csv表格
- pandas -> 可以实现保存Excel表格文件
requests和pandas是第三方模块，需要手动安装，直接pip install 加上模块名字即可。
数据来源分析
- 明确需求: 明确采集的网站以及数据内容
- 网址: 雪球网
- 数据: 股票数据 - 抓包分析: 分析 股票数据, 可以请求那个网址能够得到
- 打开开发者工具: F12 / 右键点击检查选择 network (网络)
- 点击第二页数据
数据包: https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page=2&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha
请求网址:
请求方式:
请求头:
代码实现步骤
- 发送请求 -> 模拟浏览器对于url发送请求
- 获取数据 -> 获取服务器返回响应数据 <整个数据>
- 解析数据 -> 提取我们需要数据
- 保存数据 -> 保存表格文件 < csv / Excel > 中
保存表格文件
- csv -> csv模块
- Excel -> pandas模块
# 创建文件对象 f = open('股票.csv', mode='w', encoding='utf-8', newline='') # fieldnames 字段名 表头一行数据 <前面保存字典的键> csv_writer= csv.DictWriter(f, fieldnames=[ '股票代码', '股票名称', '当前价', '涨跌额', '涨跌幅', '年初至今', '成交量', '成交额', '换手率', '市盈率(TTM)', '股息率', '市值', ]) # 写入表头 csv_writer.writeheader() # 创建一个空列表 content_list = [] # 源码领取抠裙：815624229
发送请求
模拟浏览器对于url发送请求
- 模拟浏览器: headers 请求头
- 从浏览器开发者工具中直接复制
- 字典数据类型, 构建完整键值对形式
- 请求网址:
从浏览器开发者工具中直接复制 - 发送请求:
需要requests模块 -> pip install requests
<Response [200]> 响应对象 表示请求成功
# 模拟浏览器 headers = { 'Cookie': 's=av17ye9exq; xq_a_token=cf755d099237875c767cae1769959cee5a1fb37c; xq_r_token=e073320f4256c0234a620b59c446e458455626d9; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTcwMTk5NTg4MCwiY3RtIjoxNzAwNTYzOTE3MDU2LCJjaWQiOiJkOWQwbjRBWnVwIn0.EbAa9h0fB9H_sH415f3x8r2CQiKmPbXZMnuKCy401scB1lMQKOffws6WTwPD2UzFWnntYxIQYSJpX509VUYYgCQkZ_bYtLbtYd5PfxLhWx7coauYA4d3x5aZolzB3eP5IthaYAb0Kbj3MPK8LVRBhABpRGr4wajISuABFNezroM_-5dpiOYK7Rk0UXtU2Qhrzxi1BVCgFUhPP-oR_vKenBw5tLzSqa6aO7CukgI7JVb-6LiymuBquE8FE-de8Vs3evai0fvtjiqryrH3EWM3nmDQIayigHRrYo595bD32kUPP4swHF5U2fwbLHTntIRAm9LsXn8sVf-6sUdgHoYZGg; cookiesu=931700563933974; u=931700563933974; device_id=5da9e0ae658f9fcd3d89078312131fb7; Hm_lvt_1db88642e346389874251b5a1eded6e3=1700563934; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1700563934', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36' } for page in range(1, 58): print(f'==============正在采集第{page}页数据内容==============') # 请求网址 url = f'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha' # 发送请求 response = requests.get(url=url, headers=headers)
获取数据
获取服务器返回响应数据 <整个数据>
- response.text 获取响应文本数据 <字符串>
- response.json() 获取响应json数据 <json数据 大部分情况字典数据>
- response.content 获取响应二进制数据 <保存图片/视频/音频/特定格式文件的时候>
解析数据
提取我们需要数据
解决数据方法根据获取数据来选择的:
字典取值方法 -> 键值对取值 (根据冒号左边的内容[键], 提取冒号右边的内容[值])
json_data = response.json() # 返回json字典数据 # for循环遍历 for index in json_data['data']['list'][1:]: # 提取数据保存到字典里面, 方便后续保存表格文件 dit = { '股票代码': index['symbol'], '股票名称': index['name'], '当前价': index['current'], '涨跌额': index['chg'], '涨跌幅': index['percent'], '年初至今': index['current_year_percent'], '成交量': index['volume'], '成交额': index['amount'], '换手率': index['turnover_rate'], '市盈率(TTM)': index['pe_ttm'], '股息率': index['dividend_yield'], '市值': index['market_capital'], } # 保存数据 csv_writer.writerow(dit) # 把字典添加到空列表里面 content_list.append(dit) print(dit)
获取到数据保存到表格后
采集数据和可视化分析部分的代码我都打包好了，下方源码中自取。
import pandas as pd # 做表格数据处理模块 第三方的 from pyecharts.charts import Bar # 可视化模块 第三方模块 from pyecharts import options as opts # 可视化模块里面的设置模块(图表样式) # 1. 读取数据 # 源码领取+抠裙 815624229 df = pd.read_csv('股票.csv') x = list(df['股票名称'].values) y = list(df['成交量'].values) c = ( Bar() .add_xaxis(x[:10]) .add_yaxis("成交额", y[:10]) .set_global_opts( xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)), title_opts=opts.TitleOpts(title="Bar-旋转X轴标签", subtitle="解决标签名字过长的问题"), ) .render("成交量图表.html") )
好了，今天的分享就到这结束了，下次见。