12345678# pandas数据分析案例：用户消费数据该文展示了使用Python的Pandas库对电商数据进行预处理，包括数据类型转换、缺失值检查、统计分析等。然后，分析了用户按月的消费总金额、产品购买量和消费次数，揭示了各月消费趋势。接着，对单个用户进行了消费总金额、消费总次数的统计描述，并绘制了散点图。最后，通过RFM模型分析了用户的价值层级，以及用户生命周期的不同阶段，如新用户、活跃用户、回头客等。原数据共有69660条数据，有四列，没有列名。
文件位置——点击下载
第一部分：数据类型处理数据加载
字段含义:
user_id: 用户ID
order_dt: 购买日期
order_product: 购买产品的数量
order_amount: 购买金额
观察数据
查看数据的数据类型
数据中是否存储在缺失值
将order_dt转换成时间类型
查看数据的统计描述
计算所有用户购买商品的平均数量
计算所有用户购买商品的平均花费
在源数据中添加一列表示月份: astype('datetime64[M]')
第二部分：按月数据分析
用户每月花费的总金额
绘制曲线图 ...
我们今天来聊聊往 MySQL 数据库里导入数据的事儿。这就像是把东西搬进一个大仓库，我们有两种常见的搬运方式：一种是用 SQL 文件，另一种是用 CSV 文件。
SQL 文件：就像一份详细的“施工图纸”咱们先说说 SQL 文件。SQL文件的内容主要sq由l语句组成，包括各种建表，删除表，插入记录，修改记录等等。你可以把 SQL 文件想象成一份特别详细的“施工图纸”或者一份“操作指令清单”。
这份清单里写得明明白白：
“先给我建一个叫‘学生’的表，表里要有‘学号’、‘姓名’、‘年龄’这些格子。”（这对应着 SQL 语句中的 CREATE TABLE）
“然后，往‘学生’表里塞一条数据：学号001，名字叫张三，年龄18。”（这对应着 SQL 语句中的 INSERT INTO）
“再塞一条数据：学号002，名字叫李四，年龄19。”
甚至，它还可能写着：“把张三的年龄改成19。”（这对应着 UPDATE）或者“把李四的数据删掉。”（这对应着 DELETE）
– 比如my_database_backup.sql 文件内容
1234567891011CREATE DATABASE IF NO ...
LOAD DATA 是 MySQL 中一个非常强大且高效的命令，用于将外部文件中的数据快速加载到数据库表中。它特别适用于需要导入大量数据的情况，相比通过 INSERT 语句一条条插入数据，使用 LOAD DATA 可以显著提高效率。如果看的头大也弄不明白，可以看下面简单版本的介绍或者让AI给你解释。
基本语法1234567891011121314151617LOAD DATA [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [PARTITION (partition_name,...)] [CHARACTER SET charset_name] [{FIELDS | COLUMNS} [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSED BY 'char'] [ESCAPED BY 'char' ...
![mysql数据库入门测试题2](https://foruda.gitee.com/images/1757851890561699833/92a17ddb_1610588.png "mysql.png)
🧩 编程题目：学生信息管理系统一、题目背景某学校希望开发一个简单的“学生信息管理系统”，用于记录学生的学号、姓名、性别、年龄、所在班级和成绩。请你使用SQL完成数据库的设计和相关查询功能的实现。
二、具体要求1. 创建数据库（5分）
创建一个名为 school_db 的数据库，字符集为 utf8mb4。
如果该数据库已存在，则不重复创建。
2. 创建数据表（10分）在 school_db 数据库中创建一张名为 students 的数据表，包含以下字段：
字段名
类型
约束条件
id
INT
主键、自增
student_id
VARCHAR(20)
唯一、非空
name
VARCHAR(30)
非空
gender
VARCHAR(10)
age
INT
class_name
VARCHAR(50)
score
DECIMAL(5,2)
默认值为 0.00
3. 插入数据（10分）向 students 表中插入如下学生数据（共6条）：
student_id
name
gender
age
class_name
score
S0 ...
学习路径与计划第一阶段：基础准备（1-2周）
Linux基础：
熟悉Linux命令行操作，包括文件管理、用户权限管理、网络配置等。
学习如何生成SSH密钥对，并实现免密登录，修改主机名，关闭防火墙。
数据库基础知识：
掌握SQL语言基础，包括数据表的创建、删除、修改及查询操作。
学习MySQL的基本使用，包括用户管理和权限设置。
第二阶段：环境搭建（3-4周）
JDK安装与配置：
在Linux环境下完成JDK的安装和环境变量配置。
使用java -version 和 javac 命令验证安装成功。
Zookeeper集群安装配置：
按照文档步骤，在master节点解压并配置Zookeeper，确保集群正常运行。
修改myid文件，配置各节点的ID。
启动Zookeeper并在各个节点查看状态。
Hadoop完全分布式集群搭建：
解压并配置Hadoop，包括namenode初始化、集群启动等过程。
配置Hadoop的core-site.xml、hdfs-site.xml、yarn-site.xml文件，确保集群正常运行。
初始化Hadoop namenode， ...
以下是Hive的安装步骤总结，分为主要流程和详细步骤：
一、安装前提条件
Java环境：确保已安装JDK 1.8或更高版本。
Hadoop集群：Hive依赖Hadoop，需提前安装并启动HDFS和YARN。
数据库（可选）：若需远程元数据存储，需安装MySQL/PostgreSQL等（我们默认安装使用MySQL）。
二、详细安装步骤1. 下载Hive安装包
从官网或镜像站下载Hive（如apache-hive-3.x.x-bin.tar.gz）：1wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
2. 解压并配置环境变量
解压到目标目录：12tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/mv /opt/apache-hive-3.1.3-bin /opt/hive
配置环境变量（~/.bashrc或/etc/profile）：12export HIVE_HOME=/opt/hiveexport PATH=$PATH ...
搭建Hadoop分布式存储系统前的环境设置准备在配置Hadoop之前，需要在三台虚拟机上完成以下环境设置准备工作：
1. 系统基本配置
主机名设置：为每台虚拟机设置唯一的主机名
123hostnamectl set-hostname master # 主节点hostnamectl set-hostname slave1 # 从节点1hostnamectl set-hostname slave2 # 从节点2
hosts文件配置：在所有节点上配置IP与主机名的映射
12345vi /etc/hosts# 添加如下内容（根据实际IP修改）：192.168.1.100 master192.168.1.101 slave1192.168.1.102 slave2
2. 网络配置
关闭防火墙（或配置相应规则）
12systemctl stop firewalldsystemctl disable firewalld
禁用SELinux
12setenforce 0sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /et ...
Kafka 集群环境搭建的简明步骤总结（假设已安装 Java 环境）：
1. 解压文件下载 Kafka 并解压到指定目录（以 3.7.0 版本为例）：
12345cd /optwget https://downloads.apache.org/kafka/3.7.0/kafka_2.12-3.7.0.tgztar -xzf kafka_2.12-3.7.0.tgzmv kafka_2.12-3.7.0 kafkacd kafka
2. 修改配置文件集群版配置：
修改 config/server.properties：1234broker.id=1 # 集群中每台机器需不同（如 0,1,2）listeners=PLAINTEXT://当前机器IP:9092 # 绑定本机 IP 或域名log.dirs=/data/kafka-logs # 生产环境建议修改存储路径（非 /tmp）zookeeper.connect=zk1:2181,zk2:2181,zk3:2181 # Zookeeper 集群地址
3. 分发与启动服务
集群版：
分发安装包到其他 ...
通俗介绍ZookeeperZookeeper 可以理解为一个分布式系统的“协调员”，专门解决分布式系统中多个节点协同工作的问题。比如：
配置管理：像公告板一样，让所有节点都能实时读取最新配置。
分布式锁：防止多个节点同时操作同一资源，避免混乱。
服务注册与发现：帮助节点找到彼此，比如微服务中自动发现可用的服务地址。
选主（Leader选举）：在集群中自动选一个“老大”，避免群龙无首。
它通过简单的目录树结构（类似文件系统）存储数据，并确保所有节点的数据一致，即使部分节点故障也能继续工作。
三台虚拟机安装Zookeeper集群（步骤详解）环境准备
三台虚拟机：IP 假设为 192.168.1.101、192.168.1.102、192.168.1.103。
确保互通：关闭防火墙或开放端口 2181（客户端通信）、2888（数据同步）、3888（选举通信）。
安装Java：所有机器安装JDK 8+（Zookeeper依赖Java）。
安装步骤（每台机器执行）1. 下载并解压Zookeeper123456789# 进入安装目录（例如/opt）cd /opt# 下载（以3.7.1版本 ...
Hadoop组件角色与配置文件对应关系详解根据前面的通俗比喻，我将详细解释Hadoop三大组件的配置文件如何与其角色对应。
一、hadoop环境配置文件：hadoop-env.shNameNode（确定谁是namenode)配置项：
12345678910export JAVA_HOME=/opt/server/jdk1.8export HADOOP_HOME=/opt/server/hadoopexport HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=rootexport YARN_PROXYSERVER_USER=root
二、工人配置文件：workers确定谁运行datanode以及nodemanager：
123masterslave1slave2
三、全局协调配置文件：core-site.xmlNameN ...
