数据科学入门

各种岗位，都需要数字化人才。比如HR岗位，现在企业更想招的是HRBP（合伙人），不仅懂人力资源知识，而且懂业务，甚至懂一些编程，数据分析。比如客服岗位，现在企业更想招的是基于客服的产品经理，不仅懂和客户沟通，而且懂产品，能够根据客户的需求，和产品开发人员沟通，确定产品的下一步开发任务、计划，并支持销售进行下一步的产品销售。

数据科学技能，是数字时代通识教育的一部分。现在的产品，都是数字化产品，由程序控制，大数据支持，包括机器学习和人工智能。因此，即使你是经济、机械、电子、土建等这些专业，也需要了解软件系统、大数据、机器学习、人工智能的知识，掌握基本的编程和数据分析技巧，掌握基本工具的原理和使用。这是数字化时代的通识教育的一部分 [1]。

本课程面向很少或从未编过程的同学（包括文科专业的同学），讲解基本的数据科学和大数据知识，目的是让同学们能够应用这些方法，解决本领域实际中的问题。

本课程包括三部分内容

• 什么是数据科学，它的各种应用、工作流、学习路径、工具
• 数据分析、模型、仿真、假设检验、可视化、表格数据处理
• 大数据基本概念，Spark、Hive、HBase、ZooKeeper、Kafka 等大数据平台

致谢

本课程很多内容来自实验室赵永祥老师、郭宇春老师、郑宏云老师创造的课程内容。特此致谢。

本课程很多内容来自伯克利大学 Sam Lau 等老师的课本《Learning Data Science》。特此致谢。

参考文献

• 财新杂志，《就业为何难》，2023年8月14日，链接：https://weekly.caixin.com/2023-08-12/102092433.html

图书

• Sam Lau 等，Learning DS，网页, Github Jupyter Notebook

• Data Science for Business. Foster Provost and Tom Fawcett, 2013, 中文版：商战数据挖掘，配套 NYU 课程

• Machine Learning: The Art and Science of Algorithms that Make Sense of Data

• Data Science from Scratch, Joel Grus, 2015

• Python for Data Analysis，3rd Version， Website, Code

• Pandas cheat sheet，PDF

• Introduction to Statistical Learning (Free online PDF) This book is a great reference for the machine learning and some of the statistics material in the class

• Doing Data Science (Available as eBook for Berkeley students) This books provides a unique case-study view of data science but uses R and not Python.

• Duke CCC 老师课本，网站

课程

• Brown CS1951a 2021，Webpage

• Duke BIOS823 大数据统计编程 2021, Github
  • A 部分是基本的python语法，然后还包括一些SQL，还有 NoSQL，比如说 MongoDB 这种数据库。Neo4j。Neo4j 是一个图数据库，用的也挺广的。所以这都是我们做数据科学经常用到的一些工具。
  • B 部分是基本的机器学习、深度学习。包括数据预处理、降维、聚类、分类，还包括深度学习。适合入门。
  • C 部分是大数据的 SPARK 的入门练习，包括 RDD、DataFrame、SQL、机器学习。
  • 老师主页 1，老师主页 2，老师全部课程主页，课程主页

• Berkeley John Canny, CS194-16: Introduction to Data Science, Fall 2015

• 伯克利大学，DS100，Principles and Techniques of Data Science，网站，课程笔记, Debug Guide

• NYU Data Science for Business：Foster 2021，2021 夏 ，2022，配套图书《Data Science for Business》

• 微软：https://github.com/microsoft/Data-Science-For-Beginners

• IBM, Big Data Foundations: Hadoop, Spark, Big Data，Webpage

AI

• https://www.coursera.org/learn/chatgpt-advanced-data-analysis, 使用 ChatGPT Code Interpreter 自动执行工作和生活中的任务, 自动阅读和创建 PDF、PowerPoint、Excel、图像、视频等文件

• ChatGPT Prompts for Data Science! Github，各种 Prompt：写/解释/优化/格式/翻译/代码和 SQL，解释概念，建议想法，排除问题

工具

• Kaggle Learn，网站

数据集

• Awesome Public Datasets，Github

配套材料

本课程于 2023、2024 年与北京交通大学各个学院的上百位研究生分享过。感谢同学们在这个过程中给我的启发。课程记录在此，或可参考：2023 年，2024 年

课程简短摘要视频在 B 站上，或可参考：B 站视频。

课程 PPT：网页