yiyandaoren/dataanalysisinaction

(Finished) Geek Time Data Analysis Practical 45 Lecture - Detailed notes containing markdown images mind map code data can be read directly code test

《极客时间数据分析实战45讲-详细笔记》

亲爱的朋友们，现在 AI 时代已经到来，我的项目维护虽然在继续，但是无法同步和大家分享知识，最近我已经注册了微信订阅号，希望看到的朋友互相通知一下： 微信公众号：编程悟道

博客 BLog

nodejs7.com

版本 2.3.1

在线文档

代码克隆出错

// Skip smudge - We'll download binary files later in a faster batch
git lfs install --skip-smudge

// Do git clone here
git clone ...

// Fetch all the binary files in the new clone
git lfs pull

// Reinstate smudge
git lfs install --force

前言

工欲善其事必先利其器

Windows平台开发如何能够更快捷，更舒适，请 Windows 的看官务必读一下这篇：

windows 流畅开发准备工作

环境及配置问题

• 常见问题在本项目的 Issues 中，其他按住不表，如果存在疑问，请在Issues中添加新的 Issue

• 配置清华大学 pipenv 源的方法请 点我

• 所有代码 依赖包 请结合 pipenv 和 pyenv 运行 ， 如果包含以上环境 请直接运行 pipenv install 安装所有依赖 ，依赖包已包含在 Pipfile

注意： 本项目仅限于学习

问题讨论：

1. 问题讨论区
2. 疑难杂症

致谢

感谢阁下的star，感谢关注此项目！

数据集合收集

数据集合收集正在进行中，参见：python 数据集收集与整理

目录

(🆕更新至第 46 讲) 已完结

1. 配置镜像源为 清华大学 镜像源
2. 项目 pyenv 依赖为 Python 3.6.7
3. 如果需要重新安装依赖 请删除项目根路径下的 .venv 目录 和 Pipfile.lock文件

知识体系

目录

• 基础与算法
  • 01丨 数据分析全景图及修炼指南（笔记）
  • 02丨 学习数据挖掘的最佳路径是什么?（笔记）
  • 03丨 PYTHON基础语法?（习题）
  • 04丨 Numpy（笔记）
  • 05丨 Pandas（代码）
  • 11丨 数据清洗（部分代码）
  • 14丨 数据可视化）
  • 15丨 一次学会Python数据可视化的10种技能
  • 16-17丨 决策树
  • 18丨 分类回归树
  • 19丨 泰坦尼克号生存预测
  • 20丨 -朴素贝叶斯(上)
  • 21丨 -朴素贝叶斯(下)
  • 22丨 -SVM(上)
  • 23丨 -SVM(下) 如何进行乳腺癌检测
  • 24丨 -KNN(上)
  • 25丨 -KNN(下) 如何识别手写数字
  • 26丨 K-Means(上) 如何给20支亚洲球队做聚类？
  • 27丨 K-Means(下) 如何使用K-Means对图像进行分割？
  • 28丨 EM (上) 如何将一份菜等分给两个人？
  • 29丨 EM (下) 用EM算法对王者荣耀英雄进行划分
  • 30丨 关联挖掘 (上) 如何用Apriori发现用户购物规则？
  • 31丨 关联挖掘 (下) 导演如何选择演员？
  • 32丨 PageRank (上) 搞懂Google的PageRank算法
  • 33丨 PageRank (下) 分析希拉里邮件中的人物关系
  • 34丨 AdaBoost (上) 如何使用AdaBoost提升分类器性能？
  • 35丨 AdaBoost (下) 如何使用AdaBoost对房价进行预测？
• 场景实战
  • 37丨 数据采集实战：如何自动化运营微博？
  • 38丨数据可视化实战：如何给毛不易的歌曲做词云展示？
  • 39丨数据挖掘实战（1）：信用卡违约率分析
  • 40丨数据挖掘实战（2）：信用卡诈骗分析
  • 41丨数据挖掘实战（3）：如何对比特币走势进行预测？
  • 42丨当我们谈深度学习的时候，我们都在谈什么？
  • 43丨深度学习（下）：如何用Keras搭建深度学习网络做手写数字识别？
  • 44丨如何培养你的数据分析思维？
  • 45丨求职简历中没有相关项目经验，怎么办？
  • 46丨课程推荐

TODO

算法

• 1.朴素贝叶斯分类
• 2.SVM
• 3.KNN
• 4.K-Means
• 5.EM 聚类
• 6.关联规则挖掘
• 7.PageRank
• 8.AdaBoost

场景实战

• 9.自动化运营微博
• 10.毛不易歌词云
• 11.信用卡违约率分析
• 12.信用卡诈骗分析
• 13.信用卡诈骗分析
• 14.如何对比特币走势进行预测？
• 15.我们谈深度学习的时候，我们都在谈什么？
• 16.如何用Keras搭建深度学习网络做手写数字识别？
• 17.最终章【送君千里终须一别】
• 18.课程推荐

新项目通告

github 地址：架构师的功夫

PS

2. 获取数据请自学Scrapy
3. 多多动手实践

python 环境

1. pipenv
2. pyenv

请读者自行百度并安装

引用内容版权声明

极客时间版权所有: https://time.geekbang.org/column/

Copyright (c) 2019 Copyright Holder All Rights Reserved.

dataanalysisinaction's Issues

RuntimeError: Python is not installed as a framework.

The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. If you are using (Ana)Conda please install python.app and replace the use of 'python' with 'pythonw'. See 'Working with Matplotlib on OSX' in the Matplotlib FAQ for more information.

8.数据采集

zipimport.ZipImportError: can't decompress data; zlib not available

Fix

安装 zlib

brew install zlib

添加如下内容到 ~/.zshrc (如果存在zsh)

the following content partly from the output of brew install zlib

DO NOT FORGET TO ADD ${LDFLAGS}, ${CPPFLAGS}, ${PKG_CONFIG_PATH} !

# For compilers to find zlib you may need to set:
export LDFLAGS="${LDFLAGS} -L/usr/local/opt/zlib/lib"
export CPPFLAGS="${CPPFLAGS} -I/usr/local/opt/zlib/include"

# For pkg-config to find zlib you may need to set:
export PKG_CONFIG_PATH="${PKG_CONFIG_PATH} /usr/local/opt/zlib/lib/pkgconfig"

Error: The following directories are not writable by your user: /usr/local/share/man/man8

sudo chown -R $(whoami) /usr/local/share/man/man8

7.用户画像

进度展示

笔记跟进进度请查看：

https://github.com/xiaomiwujiecao/DataAnalysisInAction/projects/1

9.八爪鱼使用

6.学数据分析需要掌握哪些基本概念

[resolved] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

显示图像是空白，鼠标在上面滚动一下 就会报错

报错日志如下：

环境: pipenv pyenv

错误日志

Traceback (most recent call last):
  File "demo4.py", line 103, in <module>
    create_word_cloud(all_word)
  File "demo4.py", line 66, in create_word_cloud
    plt.show()
  File "/Users/huhongyun/PythonProjects/geekTimeDataAnalysisInAction/.venv/lib/python3.6/site-packages/matplotlib/pyplot.py", line 254, in show
    return _show(*args, **kw)
  File "/Users/huhongyun/PythonProjects/geekTimeDataAnalysisInAction/.venv/lib/python3.6/site-packages/matplotlib/backend_bases.py", line 3266, in show
    cls.mainloop()
  File "/Users/huhongyun/PythonProjects/geekTimeDataAnalysisInAction/.venv/lib/python3.6/site-packages/matplotlib/backends/_backend_tk.py", line 1039, in mainloop
    managers[0].window.mainloop()
  File "/Users/huhongyun/.pyenv/versions/3.6.7/lib/python3.6/tkinter/__init__.py", line 1283, in mainloop
    self.tk.mainloop(n)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

Data analysis

5.Pandas科学计算

跟进中

pyenv common issues

https://github.com/pyenv/pyenv/wiki/common-build-problems

windows - 无法使用git lfs克隆存储库

// Skip smudge - We'll download binary files later in a faster batch
git lfs install --skip-smudge

// Do git clone here
git clone ...

// Fetch all the binary files in the new clone
git lfs pull

// Reinstate smudge
git lfs install --force

pipenv 安装第三方库时卡住

原因在于 Pipfile 文件中指定使用官方源锁定依赖，导致速度过慢，解决方案自然是更换国内源。
清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
更改文件 Pipfile

替换
url = "https://pypi.org/simple"
为
url = "https://pypi.tuna.tsinghua.edu.cn/simple/"

问题及建议讨论区