Spider

Why MyData.Homes 社区

MyDataHomes.Spider工具是什么

要想实现个人数据资产化, 如何拿回自己的数据是第一步, 一些数据寡头已经开始提供工具能让用户自由导出数据, 如谷歌公司,已经提供方式让用户下载自己的数据.

这是一个好的开始, 但还不够, 还有很多公司没有提供官方工具或者只能下载很有限的数据.

而目前市面上的数据获取工具要么数据源不全, 要么不开源不透明. 无法保证工具本身不会偷偷窃取用户的数据, 甚至用户的用户名和密码.

MyDataHomes.Spider旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。

如何使用本工具

依赖安装

  1. 安装python3和Chrome浏览器

  2. 安装与Chrome浏览器相同版本的驱动

  3. 安装依赖库 ./install_deps.sh (windows下只需pip install -r requirements.txt)

工具运行

  1. 进入 tools目录

  2. 运行 python3 main.py

  3. 在打开的窗口点击数据源按钮

  4. 弹出的浏览器输入用户密码后会自动开始爬取数据,爬取完成浏览器会自动关闭. 在对应的目录下可以查看下载下来的数据(xxx.json)

如何贡献代码

CONTRIBUTING

数据源

目前已支持数据源:

后续但不限于:

开发者交流

项目地址:https://github.com/MyDataHomes/Spider

Membership

TrustMirror

协议

GPL-3.0