千锋教育·Python数据分析

课程大纲

Excel 商业数据分析入门

数据分析概述

数据分析发展史

数据分析对现代企业的重要性

数据分析在各行各业的应用

数据分析师的日常工作

数据分析师的职业规划

数据分析师招聘需求解读

安装和认识 Excel

函数和公式计算

单元格的引用

锁定行和列

实现跨表引用

数学函数的使用

统计函数的使用

文本函数的使用

日期函数的使用

逻辑函数的使用

查找与引用函数的使用

Excel 快速上手

数据的输入、填充和格式化

定位条件和查找替换

数据筛选和高级筛选

条件格式和排序工具

数据的合并和拆分

区域和表格的相互转换

表格功能的使用

选择性粘贴

文档安全性相关设置

Excel 常用快捷键详解

透视表和商业数据看板

透视表的本质和应用场景

插入和定制透视表

常用统计图表及其应用场景介绍

基本图表的应用

高阶图表的应用

迷你图的应用

添加和定制切片器

Excel 项目实战

实战 1：商业数据分析看板项目

实战 2：数据分析日报制作

Python 语言入门

Python 环境安装和语言基础

Python 语言概述

Python 开发环境的安装（3.8+）

PyCharm 的安装和使用

认识计算机和程序

注释的使用

定义和使用变量

变量的命名规范

标识符和关键字

常用数据类型

数据类型的转换

输入和输出函数

常用运算符介绍

运算符的优先级和结合性

循环结构

循环结构的应用场景

for 循环和 range 函数

用 while 构造循环

for 循环和 while 循环应用场景区分

break 和 continue 关键字的使用

嵌套的循环结构

分支和循环结构的应用

经典编程练习

在线编程刷题

穷举法（暴力破解法）的应用

综合案例：CRAPS 

表达式和分支结构

使用变量和运算符构造表达式

通过构造表达式解决问题

分支结构的应用场景

使用 if、elif、else 构造分支结构

嵌套的分支结构

使用 match、case 构造分支结构

字符串的应用

字符串的定义

Pythong 中字符串的表示方式

转义字符和原始字符串

字符串长度获取

字符串相关的运算

字符串的常用方法

格式化字符串

不变字符串和可变字符串（StringIO）

字符集和字符编码（编码黑洞和乱码问题）

正则表达式简介

Python 语言进阶

列表的应用

容器型数据类型的应用场景

列表的定义

len 函数和列表元素个数

列表相关的运算

列表元素的循环遍历

列表元素的添加和删除

列表的常用方法

列表的浅拷贝和深拷贝问题

创建列表的生成式（推导式）语法

列表应用举例

函数使用入门

为什么要使用函数

函数的定义和调用

函数的参数（自变量）和返回值（因变量）

函数参数的默认值

可变参数和关键字参数

函数的嵌套

Python 中的作用域（LEGB）

global 和 nonlocal 关键字的用法

元组和集合的应用

元组的定义和使用

元组和列表的区别

元组的应用场景（打包解包、变量值交换）

集合类型的特点

集合的定义

集合和列表的区别

集合相关的运算

集合的常用方法

包和模块

Python 常用内置函数

命名冲突问题

包和模块的概念

import 和 from 关键字的用法

包和模块的别名

_i******py 文件的作用

Python 标准库中的常用模块

如何获取第三方模块

安装和使用第三方模块（pip 命令详解）

字典的应用

字典类型的应用场景

字典的定义

字典对键和值的要求

字典的索引运算和循环遍历

字典的常用方法

字典应用举例

Python 语言应用

函数高级用法

一等函数的概念

高阶函数的概念和使用

Python 内置函数中的高阶函数

Lambda 函数的应用

装饰器的概念

创建和装饰器函数

函数的递归调用

递归函数的优化

Python 办公自动化

Python 文件读写

异常处理机制

Python 读写 Excel 文件

Excel 公式计算和图表生成

Python 生成 Word 文档

Python 处理 PDF 文件

面向对象编程概述

面向对象编程思想

面向对象的应用场景

面向对象的核心概念（类和对象）

定义类（数据抽象和行为抽象）

创建对象（构造器函数）

给对象发消息（调用对象方法）

类方法和静态方法

dir 函数的使用

用 Python 处理数据

数据的保存方式

JSON 格式

从 API 接口中获取数据

数据的描述性统计信息

statistics 模块的应用

数据可视化

pyecharts 库的使用

面向对象编程进阶

常用的魔法方法

运算符重载

继承的概念

方法重写和多态

多重继承和 MRO 问题

数据库和 SQL

关系数据库概述和MySQL 数据库

数据库的作用和分类

关系型数据库的特点

关系型数据库产品介绍

MySQL 的安装和配置

MySQL 的命令行和 GUI 客户端

SQL（结构化查询语言）简介

创建数据库和二维表

MySQL 数据类型详解

主键约束、默认值约束和非空约束

窗口函数及其应用

窗口函数语法概述

使用窗口函数解决排名问题

使用窗口函数解决 TopN 查询问题

使用窗口函数解决同比环比问题

SQL 查询面试题深度解析

JSON 类型和用户标签查询

表关系和 CRUD 操作

表关系和实体关系图（ER 图）

多对一关系的建立和外键约束

一对一关系的建立

多对多关系的建立和中间表

使用 insert 插入数据

使用 delete 删除数据

使用 update 修改数据

使用 select 实现简单查

数据库其他相关知识

Python 程序接入数据库概述

三方库 mysqlclient 和 pymysql 介绍

创建数据库连接对象（Connection）

创建和使用游标对象（Cursor）

获取查询结果的三种方式

使用批处理插入数据

生成和解读 SQL 执行计划

索引的创建和底层数据结构（B+ 树）

前缀索引、复合索引、覆盖索引

使用 DQL 授予和召回权限

视图的概念和应用场景

函数和存储过程的应用

SQL 数据查询详解

投影、别名和运算

数据筛选和空值处理（where 子句）

模糊查询和通配符的使用

去重操作（distinct）

排序（order by 子句）

限制查询数量（limit 子句）

函数的使用

分组和聚合函数（group by 子句）

分组后的数据筛选（having 子句）

嵌套查询（子查询）

笛卡尔积、内连接和自然连接

左外连接、右外连接和全外连接

数据分析思维和商业智能工具

指标和指标体系

互联网行业认知

互联网产品的定义和商业模式认知

互联网营收通用公式拆解

互联网产品和用户的生命周期

指标的概念和常用业务指标

北极星指标和伴随指标

指标体系的概念和作用

如何为企业搭建指标体系

数据规划的 OSM 模型和 UJM 模型

Tableau 项目实战

项目背景和数据介绍

使用 Tableau Prep Builder 实现数据清洗

数据的加载和建模

制作指标概览视图

制作细分数据统计图表

仪表板的创建和使用

故事的创建和使用

Tableau Server 介绍

使用 Tableau Public 发布工作簿

数据分析方法和模型

使用对比法发现问题

通过拆解法缩小问题范围

通过漏斗法定位问题环节

通过相关分析找寻业务抓手

通过象限分析进行分群

RFM 模型用户价值分群

AIPL 模型和运营三件套

AARRR 模型和 RARRA 模型

Python 数据分析工具介绍

Jupyter 的安装和启动

新建和使用 Notebook

编写和运行代码

Markdown 笔记和查看文档

常用快捷键和魔法指令介绍

安装和配置插件

执行系统命令的方法

安装数据分析相关三方库

NumPy、Pandas 和 Matplotlib 初体验

Power BI 入门

Excel 中的 Power Query 插件介绍

从 Excel 升级到 Power BI 的理由

Power BI Desktop 的安装

Power BI 的组成部分

Power BI 的官方网站和帮助功能

Power BI 功能初体验

输入和连接数据

使用 NumPy 实现批量数据处理

创建 ndarray 对象

ndarray 对象的属性

ndarray 对象的索引和切片

ndarray 对象的方法

ndarray 对象和标量的运算

两个 ndarray 对象的运算

广播机制

NumPy 中操作数组的函数

Power BI 数据清洗和建模

Power Query 编辑器的使用

更改数据类型

处理重复值和异常值

数据的排序和筛选

删除行和列

列的合并和拆分

添加自定义列

合并和追加表数据

表关系的编辑和删除

pandas 数据分析入门

pandas 三种核心数据类型

读取 CSV 和 Excel 文件创建 DataFrame

从数据库二维表读取数据创建 DataFrame

DataFrame 对象的属性

DataFrame 对象的常用方法

操作 DataFrame 对象的行和列

操作 DataFrame 对象的单元格

DataFrame 对象的数据筛选

DataFrame 对象的数据拼接和合并

数据清洗的概念

DataFrame 处理缺失值、异常值和重复值

DataFrame 对象数据的变形和预处理

生成虚拟变量

数据的分箱（离散化）

Power BI 数据可视化和报表制作

DAX 的概念和语法

常用 DAX 函数

度量值和计算列

常用视觉对象的介绍

调整视觉对象的外观

从市场加载更多视觉对象

Power BI 编辑交互和工具提示

数据的钻取

切片器的应用

动态数据单位和指标切换

Power BI 报表设计

pandas 数据分析进阶

DataFrame 对象的数据排序和头部值获取

DataFrame 对象的数据分组聚合操作

生成透视表和交叉表

基于 DataFrame 对象绘制统计图表

DataFrame 对象的数据抽样

DataFrame 对象的窗口计算

计算协方差和相关系数

Index 类型及其子类型概述

时间序列和 DatatimeIndex 对象的常用方法

认识和使用Tableau

Tableau 简介

Tableau Desktop 的安装和功能区介绍

Tableau 连接数据源

数据类型和运算符

表关系、表连接和数据合并

创建和使用工作表

可视化图表的应用

matplotlib 统计图表绘制

Matplotlib 概述

Matplotlib 的配置参数

创建画布

定制坐标系

折线图和面积图

散点图和气泡图

柱状图和堆叠柱状图

饼图和环状饼图

箱线图和小提琴图

雷达图和玫瑰图

深入探索 Tableau

分层结构和数据钻取

数据分箱和数据桶

计算字段、函数和参数

组、集和筛选器

高级可视化图表的应用

参考线和参考区间

相关分析和回归模型

时间序列分析

LOD 表达式的应用场景

统计思维及其应用

概率论概述

概率论和统计学概述

统计思维对数据分析师的重要性

数据和数据的分类

获取数据的描述性统计信息

探索数据的分布

随机事件、样本空间和随机试验

概率的定义

复合事件和条件概率

随机变量的概念

期望和方差

离散型随机变量及其分布

区间估计和方差分析

参数估计的方法

点估计的实施方法

区间估计的原理

应用区间估计解决实际问题

样本容量的确定

区间估计和假设检验的联系

方差分析的基本思路

方差分析的实施细节

中心极限定理和假设检验

正态分布

数据获取和抽样

常用统计量

基于正态分布的三大分布

抽样均值分布

中心极限定理

假设检验的基本原理

z检验、t检验和卡方检验

相关性和回归分析

变量关系的确定

相关关系和相关系数

一元线性回归和最小二乘法

回归模型的验证

哑变量回归

多元线性回归

消除多重共线性

岭回归和逻辑回归

时间序列分析

时间序列的基本定义

平稳时间序列

自回归模型

移动平均模型

自相关移动平均模型

ARIMA 模型

时间序列分析案例讲解

机器学习算法

决策树和随机森林算法

决策树算法概述

特征选择依据

决策树的剪枝

决策树应用实战

决策树模型超参数调优

随机森林算法

随机森林的优缺点

随机森林超参数调优

神经网络模型

什么是神经网络

神经网络与传统机器学习对比

神经网络的应用领域

感知机基本结构

激活函数和损失函数

多层神经网络模型

前向传播和反向传播原理

实现一个神经网络模型

深度神经网络模型和深度学习

深度学习在计算机视觉中的应用

回归算法

回归模型的分类

线性回归算法原理和数学推导

线性回归代码实现

回归模型评价标准

多重共线性的危害、检验和避免

Ridge 回归和 Lasso 回归原理及应用

梯度下降算法和极大似然估计

损失函数构造及优化

回归模型的超参数调优

多项式回归

逻辑回归的算法原理

逻辑斯蒂回归的应用及优化

特征工程

数据挖掘标准流程

特征工程概述

特征选择方法

主成分分析（PCA）

线性判别分析（LDA）

t 分布随机邻域嵌入（t-SNE）

聚类算法

无监督学习算法介绍

聚类算法的应用场景

K-Means 聚类原理

簇的概念和质心的寻找

K-Means 算法的代码实现

K-Means 算法优缺点和扩展优化

K 值选择和手肘法

机器学习项目实战

信用风险评估体系

申请者模型、评级模型、催收模型、欺诈模型

的关系及意义

信用风险评级模型开发流程

业务场景定义（观察窗口、表现窗口）

异常值和空值的处理

探索性数据分析（EDA）

WOE、IV 值意义及特征转换

特征重要性评估

模型训练和超参数调优

变量选择

特征重要性评估（RFE）

IV 值检验

信用评分转换和评分卡制作

模型监控及拒绝推断

支持向量机

SVM 算法原理和数学推导

几何间隔和拉格朗日乘子法

线性核函数的应用及优化

线性核函数的斜率和截距

高斯核函数应用及优化

SVC 分类算法应用及调参

SVR 回归算法应用及调参

软间隔与硬间隔

数据仓库和大数据挖掘

Linux 系统概述

Linux 操作系统简介

Linux 的常用发行版本介绍

常用 SSH 客户端工具介绍

Linux 系统命令讲解

Linux 系统常用工具

Linux 系统软件和服务的安装和管理

Vim 和 Shell 脚本编写

PySpark 大数据分析

Spark 架构与核心组件

RDD、DataFrame、Dataset

Spark 本地环境和集群环境

安装与配置 PySpark

数据读取和基本操作

数据清洗和转换

使用 Spark SQL 执行复杂任务

PySpark MLlib 的应用

PySpark Streaming 和实时数据处理

数据仓库基础

数据仓库概述

数据仓库分层架构

维度建模和关系建模

星型模型和雪花模型

ETL 流程和相关工具

使用 Python+pandas 实现 ETL 流程

增量 ETL 实现方案

数据仓库的存储优化和安全管理

数据仓库项目实战

项目需求与目标

数据源介绍

企业级数据仓库设计

数据加载和准备

使用 Hive 进行数据查询与分析

Spark SQL 与 Hive 整合

查询性能优化

BI 工具接入和数据可视化

Hive 实战

Hadoop 大数据生态圈概述

安装和配置 Hive 环境

配置和初始化 Hive 元数据库

启动和验证 Hive

HiveSQL 语法和数据类型

创建数据库和表

加载数据到 Hive 表

Hive 查询操作

分区表和分桶表

管理表和外部表

Hive 常用内置函数

Hive 性能优化

大模型应用和AI 智能体开发

大模型概述和本地化部署

大模型及其发展史概述

大模型基本原理和架构（Transformer）

大模型的应用领域、优势和挑战

商业和开源大模型对比

大模型私有化部署概述

部署大模型的硬件需求

Ollama 介绍

Ollama 安装和模型导入

Ollama 相关命令介绍

Ollama API 的使用

使用 FastAPI 部署 Ollama 可视化界面

LangChain 框架入门

LangChain 概述

LangChain 核心模块

使用 Pipeline

代理（Agents）与工具（Tools）机制介绍

LCEL 的应用

LangChain 调用本地 LLM

提示词工程

提示词的基本概念

提示词结构与格式

提示词的上下文设置

如何设计有效的提示词

基础 Prompt：Few-shot、Zero-shot、CoT

高级 Prompt：ReAct、ToT、Program-aided

提示词调优工具

设计并优化提示词生成特定内容

RAG 和大模型微调

RAG 的概念与应用场景

向量数据库概述

通过 LangChain 实现基础 RAG 流程

结合 Embedding 模型优化检索

高级 RAG 优化

RAG+LangChain Agents 结合

RAG 的性能评估与优化指标

微调与适配层（PEFT、LoRA）

使用 Hugging Face Trainer 进行 SFT

低秩适配（LoRA）优化大模型微调的成本

大模型开发工具库 transformers

transformers 库是什么

transformers 核心功能模块

大模型开发环境搭建

Hugging Face 数据集

模型训练基类（Trainer）

训练参数与超参数配置（TrainingArguments）

模型训练评估库（Hugging Face Evaluate）

transformers 预训练模型

大模型高效微调技术（PEFT）

LangChain 实战

Agents 的基本原理（LLM+ 计划 + 记忆 + 工具）

AI 应用架构与系统设计

OpenAI Function 调用

LangChain 工具

ReAct 与 Self-Refine Agent 实现

让 Agents 具备长期记忆

AI 销售助理 / 智能客服助手项目实战

Dify 的部署和应用

Dify 的概念和核心功能

使用 Dify 平台部署模型

如何可视化构建 AI Agent

数据集管理

Workflow 自动化

结合 LangChain 优化 AI Agent 能力

Dify 与其他工具集成

其他智能体开发框架和工具概述

就业指导和模拟面试

就业期的技术和心理准备

数据分析师的硬实力和软技能

数据挖掘工程师的技能栈

如何成为一个优秀的职业人

就业期的心理准备和心态调整

自我介绍话术指导

面试流程和注意事项

校招面试流程解析

社招面试流程解析

高频面试题回答技巧

如何回答开放式问题

如何避开面试中的坑

面试后的总结和复盘

职业规划的相关问题

入职第一周注意事项

如何制作一份优质的简历

数据分析师简历要点

数据挖掘工程师简历要点

简历排版注意事项

简历制作常见问题剖析

STAR 法则的应用

如何给简历做标注稿

网投简历的注意事项和投递方法