Python是一种面向对象的解释型计算机程序设计语言,由荷兰人Guido van Rossum于1989年发明,第一个公开发行版发行于1991年。Python是纯粹的自由软件,源代码和解释器CPython遵循GPL(GNUGeneral Public License)协议。Python语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进 .
1.应用
模式识别、数据挖掘(核心)、统计学习、计算机视觉、语言识别、自然语言处理
应用模式、流程
训练样本 --> 特征提取 --> 学习函数 --> 预测
应用所需模块
Numpy:科学计算库
pandas:数据分析处理库
Matplotlib:数据可视化库
Scikit-learn:机器学习库
数据分析流程
1)数据抽取
从外部源数据中获取数据
保存为各种格式的文件、数据库等
使用Scrapy爬虫等技术
2)数据加载
从数据库、文件中提取数据,变成DataFrame对象
pandas库的文件读取方法
3)数据处理
数据准备:
对DataFrame对象(多个)进行组装、合并等操作
pandas库的操作
数据转化:
类型转化、分类(面元等)、异常值检测、过滤等
pandas库的操作
数据聚合:
分组(分类)、函数处理、合并成新的对象
pandas库的操作
4)数据可视化
将pandas的数据结构转化为图表的形式
matplotlib库
5)预测模型的创建和评估
数据挖掘的各种算法:
关联规则挖掘、回归分析、聚类、分类、时序挖掘、序列模式挖掘等
6)部署
从模型和评估中获得知识
知识的表示形式:规则、决策树、知识基、网络权值