系统介绍

面对网络招聘信息过多引发的求职效率低下问题，本研究设计并实现了依靠Python的招聘数据分析可视化系统，该系统利用Requests和BeautifulSoup来抓取BOSS直聘等平台上的招聘信息，并借助Pandas和Numpy执行数据清理和预处理工作，从而实现对岗位所处地区分布情况、薪资高低、学历要求、所属企业类别等多个方面的剖析，其可视化部分结合Matplotlib、Seaborn以及ECharts这三种技术，生成出教育需求分布状况饼图、不同地区岗位数量比较柱形图、薪资变化趋势曲线图表之类的互动式图像。依靠Django框架所开发的Web界面具备直观的数据探索与人岗符合功能。经过检测，该系统可助力求职者迅速找到适宜岗位，而且给企业给予人才市场动向剖析。在数据处理效率方面，系统把4859条原始数据执行清洗之后得到5752条有效数据，分析得出，上海地区对于数据分析师的需求所占比例最高（32.1%），本科学历需求所占比例达到61.4%，民营企业供应岗位所占比例为63.2%。

开发环境

Python、Django

编程语言：Python

数据库 ：Mysql

系统架构：B/S

后端框架：Django

编译工具：idea或者eclipse，jdk1.8，maven

支持定做：java/php/python/android/小程序/vue/爬虫/c#/asp.net

系统分析

如今处于数字化招聘时期，网络招聘平台成了企业与求职者之间的关键纽带，此次职位信息数据分析项目意在应对当下招聘市场存在的信息过多、数据零散、筛选低效之类的难题。伴随着互联网技术不断发展，招聘信息呈爆发式增长态势，各个招聘平台每天都会产生数百万条职位信息，这些信息源自全国各个地方，大小不一的企业，薪资标准差别很大，岗位需求各式各样，这就使得求职者承受着极大的信息筛选负担。在此种情形之下，怎样从大量异构数据当中迅速获取到有用的信息，助力求职者准确找到合适的岗位，而且还能给企业给予优质的人才契合服务，便成了该项目所要解决的核心问题。 本系统会细致探究主流招聘网站的信息架构及数据特点，从而创建起一个智能化，自动化的招聘数据分析平台，这个系统要达成从数据收集，清洗处理，储存经营再到分析预测，可视化表现的全过程功能，给各类用户群给予专属化的数据服务，下面将会从功能需求和非功能需求这两方面展开细致论述。

数据采集功能需求属于本系统的根基部分，要达成对BOSS直聘，拉勾网，智联招聘这些主流招聘平台的自动化数据采集功能。鉴于各个平台的页面结构以及数据表现形式存在差别，所以系统应当具有动态适应能力，可以智能化地辨别各种网站的页面布局改变情况，在采集模式方面，要同时支持定时批量采集和随时增量采集这两种模式，从而符合不同场景之下对于数据更新的需求，所采集的内容包含职位名称、薪资幅度、工作地点、学历限制、工作经历、公司规模、福利保障等二十多个重要字段。对于各个平台的反爬机制，系统要融入IP代理池，请求频率控制，验证码识别这些前沿的反反爬技术，保障数据采集的稳定与持续，而且系统也要形成完备的日志记载机制，全面记载每次采集任务的开展状况、涵盖成功条数、失败缘由、耗费时间等重要信息，给后续的改良给予数据支撑。

数据清洗与处理功能需求属于保障数据质量的核心部分，鉴于所采集到的原始数据包含诸多噪声以及异构性问题，所以系统要形成起多层级的清洗处理流程，就薪资而言，要达成各类格式的标准化转换，把“面议”转为成特定标志，把“8k-15k”拆分成最低薪资8000和最高薪资15000等等，对于工作地点的信息，则要做到智能剖析，自动辨别省市区这三级行政区分，还要针对那些模糊不清的地址实施地理编码。学历要求要形成起统一的标准体系，把像“本科及前述”“统招本科”这样不同的表述转为成标准的学历层级，对于数据质量方面存在的问题，系统要有缺失值自动填充、异常值检查与处理、重复数据识别以及去除重复数据等功能，而且还要能够支持自定义清洗规则的设置，也就是让用户依照自身特别的需求来调整数据处理的逻辑。

系统实现

基于 Web 框架搭建的可视化分析平台，将数据采集代码与可视化结果深度整合，形成一体化项目便于运行展示，采用 Echarts 技术实现图表动态展示，构建具备数据爬取、多维度可视化分析、薪资预测及岗位匹配功能的综合平台，系统主页（图 5.11）集成 BOSS 直聘招聘信息的可视化图表，支持用户直观查看各维度招聘数据分布及趋势。

目    录

1  绪论

1.1 选题的背景和意义

1.1.1 选题的背景

1.1.2 选题的意义

1.2 国内外研究现状

1.2.1 国内研究现状

1.2.2 国外研究现状

1.3 主要研究内容

2  相关技术

2.1 数据采集

2.2 Python

2.3 Django

3  需求分析

3.1 功能需求分析

3.2 非功能需求分析

4  系统概要设计

4.1 系统核心流程设计

4.1.1 系统开发流程图

4.1.2 用户模块总体流程图

4.2 系统数据库设计

4.2.1 数据库概念设计

4.2.2 数据表设计

4.2.3 数据存储策略

5  系统详细设计与实现

5.1 数据采集与存储

5.1.1 数据采集

5.1.2 数据存储

5.2 职位数据综合分析

5.2.1 读取所有岗位信息

5.2.2 异常值处理

5.2.3 处理空值和缺失值

5.4 数据可视化

5.5 Web框架搭建页面展示

5.5.1 学历与薪资统计

5.5.2 学历与岗位统计

5.5.3 经验与岗位统计

5.5.4 经验与薪资统计

5.5.5 岗位属性统计

5.5.6 热门技术统计

5.5.7 薪资推测

5.5.8 岗位匹配

6  系统的运行测试

6.1 系统测试的目的

6.2 系统测试的方法

6.3 功能测试

6.3.1 登录功能测试

6.3.2 修改密码功能测试

6.3.3 页面交互功能测试

6.4 兼容性测试

6.5 性能测试

结论

参考文献

致谢

附录