公安大数据应用实验报告

[TOC]

1.1 Mysql数据库安装

image-20261031133603311

1.2Hadoop伪分布式安装

ssh连接测试

image-20261031133822712

java环境变量配置

image-20261031133902785

Hadoop环境变量

image-20261031134104423

启动Hadoop的HDFS相关进程

image-20261031134302359

启动yarn

image-20261031134403503

计算ip

image-20261031134628241

1.3 Spark Standalone伪分布模式安装

配置环境变量

image-20261031134921161

添加配置

image-20261031135018477

启动spark

image-20261031135157453

进入spark命令行模式

image-20261031135259397

image-20261031135412541

1.4 PySpark安装

启动pyspark

image-20261031135606554

image-20261031135654008

1.5 python库安装

安装pandas

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple pandas

image-20260921160618421

安装numpy

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple Numpy

image-20260921160959076

安装 NumPy 的命令执行成功了，但系统里已经安装过，不需要重复安装。

安装Matplotlib

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple Matplotlib

安装PyEcharts

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple pyecharts

安装scikit-learn

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple scikit-learn

安装jieba

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple jieba

安装wordcloud

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple wordcloud

安装xgboost

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple xgboost

安装flask

1
pip3 install  -i  https://pypi.tuna.tsinghua.edu.cn/simple flask

image-20260921161851019

你看到的是 FutureWarning（未来警告），不是错误，主要说明：

  • 当前系统的 glibc 版本低于 2.28；

  • 你安装的是兼容旧系统的 manylinux2014 版本；

  • 当前版本可以正常使用，但未来版本可能不再支持该系统；

  • GPU 算法、联邦学习等部分功能不可用。

1.6 pythoncharm开发工具安装测试

image-20260921162300534

安装pycharm安装包

1
wget https://download.jetbrains.com/python/pycharm-community-2023.3.5.tar.gz

解压

1
tar -xzvf /data/pycharm-community-2023.3.5.tar.gz   -C /apps

image-20260921162534791

启动桌面版pychcharm

1
2
cd /apps/pycharm-community-2023.3.5/bin/
./pycharm.sh

image-20260921162845899

image-20260921163429685

pycharm汉化

通过插件市场安装

  1. 打开PyCharm：启动PyCharm应用程序。
  2. 进入设置：点击菜单栏中的File，然后选择*Settings（在Mac上为Preferences*）。
  3. 打开插件市场：在设置界面的左侧导航栏中，展开*Plugins选项，然后点击Marketplace*。
  4. 搜索中文语言包：在搜索框中输入*Chinese (Simplified) Language Pack，找到后点击Install*进行安装。
  5. 重启PyCharm：安装完成后，系统会提示重启PyCharm，点击*Restart IDE*按钮即可。

测试pycharm

image-20260921172143037

配置环境变量

image-20260921172823909

image-20260921174145025

1.7 Jupyter botebook安装配置（选做）

下载jupyter

1
pip3 install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple
1
pip show jupyter

image-20260921174721398

更改环境变量

1
2
3
4
#jupyter
export PATH=$PATH:~/.local/bin

source ~/.bashrc

启动

1
2
#用普通用户启动
jupyter notebook

image-20260921174922824

image-20260921180332093

2.1 爬取全国各省市房价数据

image-20260921182148338

image-20260921194350666

image-20261031140128407

image-20261031140222473

image-20261031135938236

2-2爬取评论

image-20260928092419677

image-20261031140542359

image-20261031140607839

image-20260928092428244

C:\Users\110\Downloads\192.168.1.141\202609280922