python大数据爬虫分析基于django的影片数据爬取与数据分析

本文介绍: 在功能方面，不需要用户在指定场所进行影片数据爬取与数据分析，要保证可以在很大程度上满足用户解决影片数据爬取与数据分析问题，满足用户需求，改善人们生活。管理页面：管理员和用户都可以登录。通过输入账号和密码后，校验无误后方可进入对应的主界面，管理员可对用户使用的权限管理，以及对网站信息进行管理[9]。影片数据爬取与数据分析分为两个部分，即管理员和用户。该系统是根据用户的实际需求开发的，贴近生活。从管理员处获得的指定账号和密码可用于进入系统和使用相关的系统应用程序。管理员拥有最大的权限，其次是用户。

这个系统的设计主要包括系统页面的设计和方便用户互动的后端数据库，而前端软件的开发则需要良好的数据处理能力、友好的界面和易用的功能。
数据要被工作人员通过界面操作传输至数据库中。通过研究，以MySQL为后端数据库，以PYTHON为前端技术，以IDEA为开发平台，采用DJANGO架构，建立一个提供个人中心、用户管理、书籍分类管理、热门书籍管理、公告栏管理、小说信息管理、在线反馈、系统管理等必要功能的、稳定的个性化书籍推荐系统。
关键词：书籍；DJANGO框架；MySQL数据库

在功能方面，不需要用户在指定场所进行影片数据爬取与数据分析，要保证可以在很大程度上满足用户解决影片数据爬取与数据分析问题，满足用户需求，改善人们生活。

管理页面：管理员和用户都可以登录。通过输入账号和密码后，校验无误后方可进入对应的主界面，管理员可对用户使用的权限管理，以及对网站信息进行管理[9]。

本课题要求实现一套基于 python的影片数据爬取与数据分析，系统主要包括管理员和用户两大功能模块。
（1）管理员用例图如下所示：
在这里插入图片描述

图3-1管理员用例图
（2）用户用例图如下所示：
在这里插入图片描述

图3-2用户用例图


def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], 
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], 
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)