设为首页收藏本站

大数据论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 113|回复: 2

数据挖掘模型的构建过程讲解

[复制链接]
发表于 2019-9-27 17:11:42 | 显示全部楼层 |阅读模式
数据挖掘建模的一般过程进行解析,主要分为四部分:数据准备、模式发现、模型构建以及模型评价。
第一步,数据准备。数据选择主要考虑的包括:哪些数据源可用?哪些数据与当前挖掘目标相关?如何保证取样数据的质量?是否在足够范围内有代表性?数据样本取多少合适?如何分类?
数据探索主要包括:异常值分析、缺失值分析、相关分析、周期性分析、样本交叉验证等。
数据预处理主要包括以下内容:数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约。
第二步,模式发现
样本抽取完成并经预处理后,接下来要考虑的问题是:本次建模属于数据挖掘应用中的哪类问题(分类、聚类、关联规则或者时序模式),选用哪种算法进行模型构建?
模型构建的前提是在样本数据集中发现模式,比如:关联规则、分类预测、聚类分析、时序模式等。
在目标进一步明确化的基础上,我们就可以按照问题的具体要求来重新审视已经采集的数据,看它是否适应挖掘目标的需要。
第三步, 模型构建
确定了本次建模所属的数据挖掘应用问题(分类、聚类、关联规则或者时序模式)后,还需考虑:具体应该采用什么算法,实施步骤是什么?
这一步是数据挖掘工作的核心环节,模型构建是对采样数据轨迹的概括,它反映的是采样数据内部结构的一般特征,并与该采样数据的具体结构基本吻合。
预测模型的构建通常包括模型建立、模型训练、模型验证和模型预测4个步骤,但根据不同的数据挖掘分类应用会有细微的变化。
第四步, 模型评价
模型评价的目的是什么?如何评价模型的效果?通过什么评价指标来衡量?
模型效果评价通常分两步:
第一步是:直接使用原来建立模型的样本数据来进行检验。第二步是:另外找一批数据,已知这些数据是反映客观实际的、规律性的。
数据挖掘的本质是让计算机学会人类的思考公式,并利用计算机强大的计算功能,更好的发挥计算机在处理方面的优势。

点评

海!外直播 t.cn/RxmJTRa 禁闻视频 t.cn/RxrADky 当我用心去了解世界时,惊愕地发现:从小我们被告诉,资本主义才有的邪恶暴力腐败凄惨都被社会主义国家拥有了;而社会主义应有的平等自由福利人权都被资本主义国家拥有   发表于 2019-9-29 16:13
回复

使用道具 举报

发表于 2019-9-27 17:11:45 | 显示全部楼层
灵玖软件,大数据搜索与挖掘技术服务商 灵玖软件专注于大数据搜索与挖掘的技术创新与服务,提供大数据搜索、大数据挖掘与大数据应用解决方案,以应对大数据的管理、处理、分析并从大数据中获知识与智慧。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|大数据论坛 ( 京ICP备10002193号-4 京公海网安备110108001289号  

GMT+8, 2019-10-16 12:56 , Processed in 0.261370 second(s), 27 queries , Gzip On.

Powered by Discuz! X3.1

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表