首页 > 实用范文 > 毕业论文 > 论文范文 > 数据挖掘论文(优秀5篇)正文

《数据挖掘论文(优秀5篇)》

时间:

数据挖掘论文 篇1

1数据挖掘技术和过程

1.1数据挖掘技术概述

发现的是用户感兴趣的知识;发现的知识应当能够被接受、理解和运用。也就是发现全部相对的知识,是具有特定前提与条件,面向既定领域的,同时还容易被用户接受。数据挖掘属于一种新型的商业信息处理技术,其特点为抽取、转化、分析商业数据库中的大规模业务数据,从中获得有价值的商业数据。简单来说,其实数据挖掘是一种对数据进行深入分析的方法。因此,可以描述数据挖掘为:根据企业设定的工作目标,探索与分析企业大量数据,充分揭示隐藏的、未知的规律性,并且将其转变为科学的方法。数据挖掘发现的最常见知识包括:

1.1.1广义知识体现相同事物共同性质的知识,是指类别特点的概括描述知识。按照数据的微观特点对其表征的、具有普遍性的、极高概念层次的知识积极发现,是对数据的高度精炼与抽象。发现广义知识的方法与技术有很多,例如数据立方体和归约等。

1.1.2关联知识体现一个事件与其他事件之间形成的关联知识。假如两项或者更多项之间形成关联,则其中一项的属性数值就能够借助其他属性数值实行预测。

1.1.3分类知识体现相同事物共同特点的属性知识与不同事物之间差异特点知识。

1.2数据挖掘过程

1.2.1明确业务对象对业务问题清楚定义,了解数据挖掘的第一步是数据挖掘目的。挖掘结果是无法预测的,但是研究的问题是可预见的,仅为了数据挖掘而数据挖掘一般会体现出盲目性,通常也不会获得成功。基于用户特征的电子商务数据挖掘研究刘芬(惠州商贸旅游高级职业技术学校,广东惠州516025)摘要:随着互联网的出现,全球范围内电子商务正在迅速普及与发展,在这样的环境下,电子商务数据挖掘技术应运而生。电子商务数据挖掘技术是近几年来数据挖掘领域中的研究热点,基于用户特征的电子商务数据挖掘技术研究将会解决大量现实问题,为企业确定目标市场、完善决策、获得最大竞争优势,其应用前景广阔,促使电子商务企业更具有竞争力。主要分析了电子商务内容、数据挖掘技术和过程、用户细分理论,以及基于用户特征的电子商务数据挖掘。

1.2.2数据准备第一选择数据:是按照用户的挖掘目标,对全部业务内外部数据信息积极搜索,从数据源中获取和挖掘有关数据。第二预处理数据:加工选取的数据,具体对数据的完整性和一致性积极检查,并且处理数据中的噪音,找出计算机丢失的数据,清除重复记录,转化数据类型等。假如数据仓库是数据挖掘的对象,则在产生数据库过程中已经形成了数据预处理。

1.2.3变换数据转换数据为一个分析模型。这一分析模型是相对于挖掘算法构建的。构建一个与挖掘算法适合的分析模型是数据挖掘获得成功的重点。可以利用投影数据库的相关操作对数据维度有效降低,进一步减少数据挖掘过程中数据量,提升挖掘算法效率。

1.2.4挖掘数据挖掘获得的经济转化的数据。除了对选择科学挖掘算法积极完善之外,其余全部工作都自行完成。整体挖掘过程都是相互的,也就是用户对某些挖掘参数能够积极控制。

1.2.5评价挖掘结果这个过程划分为两个步骤:表达结果和评价结果。第一表达结果:用户能够理解数据挖掘得到的模式,可以通过可视化数据促使用户对挖掘结果积极理解。第二评价结果:用户与机器对数据挖掘获得的模式有效评价,对冗余或者无关的模式及时删除。假如用户不满意挖掘模式,可以重新挑选数据和挖掘算法对挖掘过程科学执行,直到获得用户满意为止。

2用户细分理论

用户细分是指按照不同用户的属性划分用户集合。目前学术界和企业界一般接受的是基于用户价值的细分理论,其不仅包含了用户为企业贡献历史利润,还包含未来利润,也就是在未来用户为企业可能带来的利润总和。基于用户价值的细分理论选择客户当前价值与客户潜在价值两个因素评价用户。用户当前价值是指截止到目前用户对企业贡献的总体价值;用户潜在价值是指未来用户可能为企业创造的价值总和。每个因素还能够划分为两个高低档次,进一步产生一个二维的矩阵,把用户划分为4组,价值用户、次价值用户、潜在价值用户、低价值用户。企业在推广过程中根据不同用户应当形成对应的方法,投入不同的资源。很明显对于企业来说价值用户最重要,被认为是企业的玉质用户;其次是次价值用户,被认为是金质用户,虽然数量有限,却为企业创造了绝大部分的利润;其他则是低价值用户,对企业来说价值最小,成为铅质用户,另外一类则是潜在价值用户。虽然这两类用户拥有较多的数量,但是为企业创造的价值有限,甚至很小。需要我们注意的是潜在价值用户利用再造用户关系,将来极有可能变成价值用户。从长期分析,潜在价值用户可以是企业的隐形财富,是企业获得利润的基础。将采用数据挖掘方法对这4类用户特点有效挖掘。

3电子商务数据挖掘分析

3.1设计问卷

研究的关键是电子商务用户特征的数据挖掘,具体包含了价值用户特征、次价值用户特征、潜在价值用户特征,对电子商务用户的认知度、用户的需求度分析。问卷内容包括3部分:其一是为被调查者介绍电子商务的概念与背景;其二是具体调查被调查对象的个人信息,包含了性别、年龄、学历、感情情况、职业、工作、生活地点、收入、上网购物经历;其三是问卷主要部分,是对用户对电子商务的了解、需求、使用情况的指标设计。

3.2调查方式

本次调查的问卷主体是电脑上网的人群,采用随机抽象的方式进行网上访问。一方面采用大众聊天工具,利用电子邮件和留言的方式发放问卷,另一方面在大众论坛上邀请其填写问卷。

3.3数据挖掘和结果

(1)选择数据挖掘的算法利用Clementine数据挖掘软件,采用C5.O算法挖掘预处理之后数据。

(2)用户数据分析

1)电子商务用户认知度分析按照调查问卷的问题“您知道电子商务吗?”得到对电子商务用户认知情况的统计,十分了解20.4%,了解30.1%,听过但不了解具体使用方法40.3%,从未听过8.9%。很多人仅听过电子商务,但是并不清楚具体的功能与应用方法,甚至有一小部分人没有听过电子商务。对调查问卷问题“您听过电子商务的渠道是什么?”,大部分用户是利用网了解电子商务的,占40.2%;仅有76人是利用纸质报刊杂志上知道电子商务的并且对其进行应用;这也表明相较于网络宣传纸质媒体推广电子商务的方法缺乏有效性。

2)电子商务用户需求用户希求具体是指使用产品服务人员对应用产品或服务形成的需求或者期望。按照问题“假如你曾经使用电子商务,你觉得其用途怎样,假如没有使用过,你觉得其对自己有用吗?”得到了认为需要和十分需要的数据,觉得电子商务有用的用户为40.7%,不清楚是否对自己有用的用户为56.7%,认为不需要的仅有2.4%。

3)电子商务用户应用意愿应用意愿是指消费者对某一产品服务进行应用或者购买的一种心理欲望。按照问题“假如可以满足你所关心的因素,未来你会继续应用电子商务吗?”获得的数据可知,在满足各种因素时,将来一年之内会应用电子商务的用户为78.2%,一定不会应用电子商务的用户为1.4%。表明用户形成了较为强烈的应用电子商务欲望,电子商务发展前景很好。基于用户特征的电子商务数据研究,电子商务企业通过这一结果能够更好地实行营销和推广,对潜在用户积极定位,提高用户体验,积极挖掘用户价值。分析为企业准确营销和推广企业提供了一个有效的借鉴。

4结语

互联网中数据是最宝贵的资源之一,大量数据中包含了很大的潜在价值,对这些数据深入挖掘对互联网商务、企业推广、传播信息发挥了巨大的作用。近些年来,数据挖掘技术获得了信息产业的极大重视,具体原因是出现了大量的数据,能够广泛应用,并且需要转化数据成为有价值的信息知识。通过基于用户特征的电子商务数据挖掘研究,促使电子商务获得巨大发展机会,发现潜在用户,促使电子商务企业精准营销。

数据挖掘论文 篇2

摘要:数据挖掘是一种特殊的数据分析过程,其不仅在功能上具有多样性,同时还具有着自动化、智能化处理以及抽象化分析判断的特点,对于计算机犯罪案件中的信息取证有着非常大的帮助。本文结合数据挖掘技术的概念与功能,对其在计算机犯罪取证中的应用进行了分析。

关键词:数据挖掘技术;计算机;犯罪取证

随着信息技术与互联网的不断普及,计算机犯罪案件变得越来越多,同时由于计算机犯罪的隐蔽性、复杂性特点,案件侦破工作也具有着相当的难度,而数据挖掘技术不仅能够对计算机犯罪案件中的原始数据进行分析并提取出有效信息,同时还能够实现与其他案件的对比,而这些对于计算机犯罪案件的侦破都是十分有利的。

1数据挖掘技术的功能与应用分析

1.1数据挖掘技术的概念

数据挖掘技术是针对当前信息时代下海量的网络数据信息而言的,简单来说,就是从大量的、不完全的、有噪声的、模糊的随机数据中对潜在的有效知识进行自动提取,从而为判断决策提供有利的信息支持。同时,从数据挖掘所能够的得到的知识来看,主要可以分为广义型知识、分类型知识、关联性知识、预测性知识以及离型知识几种。

1.2数据挖掘技术的功能

根据数据挖掘技术所能够提取的不同类型知识,数据挖掘技术也可以在此基础上进行功能分类,如关联分析、聚类分析、孤立点分析、时间序列分析以及分类预测等都是数据挖掘技术的重要功能之一,而其中又以关联分析与分类预测最为主要。大量的数据中存在着多个项集,各个项集之间的取值往往存在着一定的规律性,而关联分析则正是利用这一点,对各项集之间的关联关系进行挖掘,找到数据间隐藏的关联网,主要算法有FP-Growth算法、Apriori算法等。在计算机犯罪取证中,可以先对犯罪案件中的特征与行为进行深度的挖掘,从而明确其中所存在的联系,同时,在获得审计数据后,就可以对其中的审计信息进行整理并中存入到数据库中进行再次分析,从而达到案件树立的效果,这样,就能够清晰的判断出案件中的行为是否具有犯罪特征[1]。而分类分析则是对现有数据进行分类整理,以明确所获得数据中的相关性的一种数据挖掘功能。在分类分析的过程中,已知数据会被分为不同的数据组,并按照具体的数据属性进行明确分类,之后再通过对分组中数据属性的具体分析,最终就可以得到数据属性模型。在计算机犯罪案件中,可以将按照这种数据分类、分析的方法得到案件的数据属性模型,之后将这一数据属性模型与其他案件的数据属性模型进行对比,这样就能够判断嫌疑人是否在作案动机、发生规律以及具体特征等方面与其他案件模型相符,也就是说,一旦这一案件的数据模型属性与其他案件的数据模型属性大多相符,那么这些数据就可以被确定为犯罪证据。此外,在不同案件间的共性与差异的基础上,分类分析还可以实现对于未知数据信息或类似数据信息的有效预测,这对于计算机犯罪案件的处理也是很有帮助的。此外,数据挖掘分类预测功能的实现主要依赖决策树、支持向量机、VSM、Logisitic回归、朴素贝叶斯等几种,这些算法各有优劣,在实际应用中需要根据案件的实际情况进行选择,例如支持向量机具有很高的分类正确率,因此适合用于特征为线性不可分的案件,而决策树更容易理解与解释。

2数据挖掘技术在计算机犯罪取证中的具体应用思路

对于数据挖掘技术,目前的计算机犯罪取证工作并未形成一个明确而统一的应用步骤,因此,我们可以根据数据挖掘技术的特征与具体功能,对数据挖掘技术在计算机犯罪取证中的应用提供一个较为可行的具体思路[2]。首先,当案件发生后,一般能够获取到海量的原始数据,面对这些数据,可以利用FP-Growth算法、Apriori算法等算法进行关联分析,找到案件相关的潜在有用信息,如犯罪嫌疑人的犯罪动机、案发时间、作案嫌疑人的基本信息等等。在获取这些基本信息后,虽然能够对案件的基本特征有一定的了解,但犯罪嫌疑人却难以通过这些简单的信息进行确定,因此还需利用决策树、支持向量机等算法进行分类预测分析,通过对原始信息的准确分类,可以得到案件的犯罪行为模式(数据属性模型),而通过与其他案件犯罪行为模式的对比,就能够对犯罪嫌疑人的具体特征进行进一步的预测,如经常活动的场所、行为习惯、分布区域等,从而缩小犯罪嫌疑人的锁定范围,为案件侦破工作带来巨大帮助。此外,在计算机犯罪案件处理完毕后,所建立的嫌疑人犯罪行为模式以及通过关联分析、分类预测分析得到的案件信息仍具有着很高的利用价值,因此不仅需要将这些信息存入到专门的数据库中,同时还要根据案件的结果对数据进行再次分析与修正,并做好犯罪行为模式的分类与标记工作,为之后的案件侦破工作提供更加丰富、详细的数据参考。

3结束语

总而言之,数据挖掘技术自计算机犯罪取证中的应用是借助以各种算法为基础的关联、分类预测功能来实现的,而随着技术的不断提升以及数据库中的犯罪行为模式会不断得到完善,在未来数据挖掘技术所能够起到的作用也必将越来越大。

参考文献

[1]李艳花。数据挖掘在计算机动态取证技术中的应用[J]。信息与电脑(理论版),20xx(02):174-176.

作者:周永杰 单位:河南警察学院信息安全系

数据挖掘论文 篇3

摘要:随着科学技术的不断发展,计算机的使用也愈来愈广泛,他已经发展到各个行业,现如今保险行业也就相应的业务引进了计算机业务系统,而在20xx年8月,我国也出台了《国务院关于加快发展现代保险服务业的若干意见》这一举措的有效实施,从政策上为保险行业的快速发展提供相应了保障。而如何在这些被积累下来的宝贵数据中,分析挖掘出新的商机及财富,就成为了我国当前保险行业发展的重要突破口。本篇文章就从数据挖掘技术的应用方面、概念、必要性,以及方法手段进行了深入探讨与分析其对财产保险应用的意义。

关键词:数据挖掘技术;财产保险;应用;分析

在最近几年中,我国对于保险行业给予了高度的关注与重视并出台了许多与之相对应的相关政策,这些政策的发行对于我国的保险行业带来的极大程度的发展空间。而我国的保险行业也开始了转型,正在从粗放型经营向集约化经营管理进行过度,最明显的改变就是之前只注重新客户的开发而忘记顾忌老客户的需求与发展,但是现在是同时注重新老客户的需求与发展,从根本上实现“两手抓”的政策,所以这种新的形式背景下,计算机中保险行业所留的数据就成为极为重要的挖掘资源。

一、解析数据挖掘技术在财产保险分析中的应用

(一)提升财险客户服务能力

对于任何一个公司来说没有客户所有的产品经营都是纸上谈兵,这对于服务行业的财产保险公司更是如此,所以对此所以财产保险行业就面临着转型升级的事情财产行业的转型就意味着面临着面向客户的服务质量的提升。在现如今的经济情况下,保险消费者对于保险行业知识的了解日益增加,保险意识也是越发的加强。客户对于保险行业也出现了个性化与差异化的需求。从这里就要求保险公司通过数据挖掘技术对客户的需求进行更深一层的分析与探索,通过探究与分析的结果明确而客户的需要,并为有更高需求的客户提供更适合他的保险产品,从而提高业务服务水平,吸引更多的优质客源,来增强市场的竞争力。例如,在对客户进行细分的时候,可以通过数据挖掘技术中的“二八定律”,对客户进行细分。通过细分得出结果,参照数据根据每个客户群体的风险偏好、特点以及需求为他们量身定制适合他们自身的新产品,并制定对应适合的费照新差旅费管理办法正确规范填写市内交通补助、伙食补助、城市间交通费、和住宿费金额。并填写上合计金额,不得出现多报的行为,从而提高差旅费报销工作的质量。

(二)风险管理和合规经营

每个保险公司的生命底线就是合规经营以及对风险的管理,所以每个保险公司必须在运营生产中严格的遵守国家的法律法规,不许做出违反法律底线的事情,而风险管理对于保险公司来说具有两层含义,其实并不简单,一方面是需要对于企业自身的风险进行管理;另一方面是对于客户所带来的风险进行管理。对于保险公司来说这两方面的风险是相互作用、相辅相成的,第一个方面的风险管理出现问题后者的风险管理就会成为空谈,反之第二方面的风险管理没有得到很好的管理,极大可能会引起前者管理出现问题。而恰恰数据挖掘技术的应用,就可以为财产保险企业规避风险起到很大的帮助。保险公司可以以计算机为使用的工具,通过数据挖掘的技术,可以对数据内大量的信息进行查找并比对分析,高效的识别出在计算机内不符合正常业务逻辑的数据,这样管理者就可以及时就这些风险数据和业务漏洞进行监测与管控,以减少违法乱纪的事情发生,逐步消除或减少隐藏的风险。保障保险业健康有序的发展,为市场经济持续健康的进一步发展保驾护航。

(三)开发新产品

新的保险产品的开发对于增强保险公司的公司收益、内容、满足消费者的需求以及竞争力等方面起着重要的作用,这也是经营保险公司的首要内容。新产品的开发是指保险公司针对当前市场的需求、想要达到的效果与自身情况相结合的产物,而在原有的产品上加以重新的组合与设计的创造与改良,来满足市场的需求,进而提高公司自身的竞争力的过程与行为。后者自不必说,基于我国财产保险公司数据库信息方面已经积累了很多,而后通过对信息的数据进行发掘,使实现新产品的开发成为可能。譬如,通过数据挖掘技术,我们可以使用现有产品进行进一步的完善、修正或者拆分、组合的,使其变成一全新的保险产品,他会更接近客户的需求,满足客户的真实所需,同时也能够增加市场的销量,增强市场竞争力。就以原有的普通财产保险为例子,在保险有效期内未出现任何对客户的产才造成损失的情况下,客户所缴纳的保险费用是不予以退还的,在财产保险的有效期过后,客户所缴纳的保险费是由保险公司所拥有的。这样的保险产品是不被大多数客户所看好与接受的,即使有客户在第一次购买了此保险,但之后是不会在对本产品进行第二次的投资的。而现在通过数据挖掘的技术,保险公司可以根据对客户信息的了解进行分析,保险公司推出了一款新的家庭财产两全保险保险,这是一种全新的保险类别。全新的家庭财产保险,他所需要交纳的是保险储备金,比如每份保险金额为50000元的家庭财产两全保险,则保险储金为5000元,投保人必须根据保险金额一次性交纳保险储备金,保险人可以将保险储备金的利息作为保险费。在保险期满后,无论是不是在保险期内发生赔付的情况,保险公司都会将保险人的全部的保险储金如数退还。自从出现了这种投保方式,客户的接受度得到了大大的提高,全新的家庭财产保险,一方面使保险人保险中得到了应得的利益,另一方面投保人的财产也得到了保险,从而在市场的销售份额上面也得到了迅速提升。

二、保险业数据挖掘技术及应用的必要性

(一)保险业数据挖掘技术的含义

什么是保险行业的数据挖掘技术,就是从客户管理的角度出发,针对保险行业数据库系统内大量的保险单,对客户的信用数据进行属性变量提取,进而采用自动化或半自动化等多种挖掘技巧和方法来对客户的数据进行分析,找到潜在的有价值的信息。

(二)数据挖掘的过程及方法

数据挖掘是一个跨越多种学科的交叉技术,主要的用途是利用各种数据为商业上存在的问题提供切实可行的方法与数据。数据挖掘的过程有以下几个步骤:业务理解→数据准备→数据理解→构建模型→测试设计→做出评价→实施应用。在数据挖掘方面有三个常用的方法:DM、SEMMA以及CRISP等分析方法。同时我们需要根据实际情况来运用数据挖掘技术,选择最适当的方法,要想将数据挖掘技术达到最佳的效果必须针对具体的流程做出相应的调节。

(三)保险行业应用数据挖掘技术的必要性

在保险行业的运营中,常常会出现一下的几个问题:例如,细分客户的问题:对于不同的社会收入阶层、不同年龄段、不同的行业的客户,该怎么样去确定其的保险金额呢?客户的成长问题:如何把握时机对客户进行交叉销售;险种关联分析问题:在对购买某种保险的客户进行分析与探查,观察其是否在同一时间购买另一种保险产品,客户的获取问题:如何在付出最小的成本获得最有价值的客户的挽留及索赔优化的问题:如何对索赔受理的过程进行优化,挽留住有价值的投保人。保险公司在完成数据的汇总后,所获取的业务及大量客户信息,不过是对公司当前所处的市场环境、企业经营情况及客户基本资料的记录及反映。而进行数据集中的信息系统,也只能是对数据库中的这部分数据进行简单的操作处理,并不能从中发现并提取这些数据中蕴含的具有深层次价值的信息。所以,如若想在决策层面给出解决答案,是不可能实现的。而如果采用数据挖掘技术来对数据库中所存在的大量的数据进行高水平而深层次的分析,就能够为实现保险公司的决策及科学经营提供切实可行的依据,因此此技术的出现从而得到了许多保险公司的应用与重视。

三、结论

我国经济的发展正在向新常态的方向进行转变,而我国财产保险市场的竞争也日益激烈。为了面对这些挑战,各个保险公司都复出了努力在积极的面向转型,由传统的粗放式经营向集约化经营的方式进行过度,面向客户的营销模式也是在这之中产生出来的。在这种转型过度的过程中,财产保险公司对于数据挖掘技术进行充分的利用,使公司的风险管理能力、产品创新能力经营能力、盈利能力、客户服务能力、和业务发展潜力都得到了全面的大幅度提升。在对我国经济建设的繁荣以及促进财产保险公司自身的长远发展,都做出了不可磨灭的贡献,也是对国家的号召积极的响应,进而对市场经济持续发展也做出了不少的贡献。

参考文献:

[1]高文文。数据挖掘技术在财产保险分析中的应用[D]。河北科技大学,20xx.

[2]杨杉,何跃。数据仓库和数据挖掘技术在保险公司中的应用[J]。计算机技术与发展,20xx.

[3]葛春燕。数据挖掘技术在保险公司客户评估中的应用研究[J]。软件,20xx.

[4]陈庆文。数据挖掘在财产保险公司应用研究——以人保财险公司为例[D]。对外经济贸易大学,20xx.

数据挖掘论文 篇4

摘要:主要通过对数据挖掘技术的探讨,对职教多年累积的教学数据运用分类、决策树、关联规则等技术进行分析,从分析的结果中发现有价值的数据模式,科学合理地实现教学评估,让教学管理者能够从中发现教学活动中存在的主要问题以便及时改进,进而辅助管理者决策做好教学管理。

关键词:教学评估;数据挖掘;教学评估体系;层次分析法

1概述

近年来国家对中等职业教育的发展高度重视,在政策扶持与职教工作者的努力下,职业教育获得了蓬勃的发展。如何提高教学质量、培养合格的高技术人才成为职教工作者研究的课题。各种调查研究结果表明:加强师资队伍的建设,强化教师教学评估对教学质量的提高尤为重要。

所谓教学评估,就是运用系统科学的方法对教学活动或教育行为的价值、效果作出科学的判断过程。教学评估方式要灵活多样,要多途径、多方位、多形式的发挥评估的导学作用,以鼓励评估为主,充分发挥评估的激励功能,促进教学的健康发展。

在中等职业学校多年的教育教学工作中积累了大量的教务管理数据、教师档案数据等,怎样从庞杂大量的数据中挖掘出有效提高教学质量的关键因素是个难题。数据挖掘技术却可以从人工智能的角度很好地解决这一课题。通过数据挖掘技术,得到隐藏在教学数据背后的有用信息,在一定程度上为教学部门提供决策支持信息促使更好地开展教学工作,提高教学质量和教学管理水平,使之能在功能上更加清晰地认识教师教与学生学的关系及促进教育教学改革。

2数据挖掘技术

2.1数据挖掘的含义

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘应该更正确地命名为“从数据中挖掘知识”。即数据挖掘是对巨大的数据集进行寻找和分析的计算机辅助处理过程,在这一过程中显现先前未曾发现的模式,然后从这些数据中发掘某些内涵信息,包括描述过去和预测未来趋势的信息。人工智能领域习惯称知识发现,而数据库领域习惯将其称为数据挖掘。

2.2数据挖掘的基本过程

数据挖掘过程包括对问题的理解和提出、数据收集、数据处理、数据变换、数据挖掘、模式评估、知识表示等过程,以上的过程不是一次完成的,其中某些步骤或者全过程可能要反复进行。对问题的理解和提出在开始数据挖掘之前,最基础的工作就是理解数据和实际的业务问题,在这个基础之上提出问题,对目标作出明确的定义。

2.3数据挖掘常用的算法

2.3.1分类分析方法:是通过分析训练集中的数据,为每个类别做出准确的描述或建立分析模型或挖掘出分类规则,以便以后利用这个分类规则对其它数据库中的记录进行分类的方法。2.3.2决策树算法:是一种常用于分类、预测模型的算法,它通过将大量数据有目的的分类,从而找到一些有价值的、潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。2.3.3聚类算法:聚类分析处理的数据对象的类是未知的。聚类分析就是将对象集合分组为由类似的对象组成的多个簇的过程。在同一个簇内的对象之间具有较高的相似度,而不同簇内的对象差别较大。2.3.4关联规则算法:侧重于确定数据中不同领域之间的关系,即寻找给定数据集中的有趣联系。提取描述数据库中数据项之间所存在的潜在关系的规则,找出满足给定支持度和置信度阈值的多个域之间的依赖关系。

在以上各种算法的研究中,比较有影响的是关联规则算法。

3教学评估体系

评价指标体系是教学评估的基础和依据,对评估起着导向作用,因此制定一个科学全面的评价指标体系就成为改革、完善评价的首要目标。评价指标应以指导教学实践为目的,通过评价使教师明确教学过程中应该肯定的和需要改进的地方;以及给出设计评价指标的导向问题。

3.1教学评估体系的构建方法

层次分析法(简称AHP法)是美国运筹学家T·L·Saaty教授在20世纪70年代初期提出的一种简便、灵活而又实用的多准则决策的系统分析方法,其原理是把一个复杂问题分解、转化为定量分析的方法。它需要建立关于系统属性的各因素多级递阶结构,然后对每一层次上的因素逐一进行比较,得到判断矩阵,通过计算判断矩阵的特征值和特征向量,得到其关于上一层因素的相对权重,并可自上而下地用上一层次因素的相对权重加权求和,求出各层次因素关于系统整体属性(总目标层)的综合重要度。

3.2构建教学评估指标体系的作用

3.2.1构建的教学评估指标,作为挖掘库选择教学信息属性的依据。

3.2.2通过AHP方法,能筛选出用来评价教学质量的相关重要属性,从而入选为挖掘库字段,这样就减去了挖掘库中对于挖掘目标来说影响较小的属性,进而大大减少了挖掘的工作量,提高挖掘效率。3.2.3通过构建教学评估指标,减少了挖掘对象的字段,从而避免因挖掘字段过多,导致建立的决策树过大,出现过度拟合挖掘对象,进而造成挖掘规则不具有很好的评价效果的现象。3.2.4提高教学质量评估实施工作的效率。

4数据挖掘在教学评估中的应用

4.1学习效果评价学习评价是教育工作者的重要职责之一。评价学生的学习情况,既对学生起到信息反馈和激发学习动机的作用,又是检查课程计划、教学程序以至教学目的的手段,也是考查学生个别差异、便于因材施教的途径。评价要遵循“评价内容要全面、评价方式要多元化、评价次数要多次化,注重自评与互评的有机结合”的原则。利用数据挖掘工具,对教师业务档案数据库、行为记录数据库、奖励处罚数据库等进行分析处理,可以即时得到教师教学的评价结果,对教学过程出现的问题进行及时指正。

另外,这种系统还能够克服教师主观评价的不公正、不客观的弱点,减轻教师的工作量。

4.2课堂教学评价

课堂教学评价不仅对教学起着调节、控制、指导和推动作用,而且有很强的导向性,是学校教学管理的重要组成部分,是评价教学工作成绩的主要手段。实现对任课教师及教学组织工作效果做出评价,但是更重要的目的是总结优秀的教学经验,为教学质量的稳定提高制定科学的规范。学校每学期都要搞课堂教学评价调查,积累了大量的数据。利用数据挖掘技术,从教学评价数据中进行数据挖掘,将关联规则应用于教师教学评估系统中,探讨教学效果的好坏与老师的年龄、职称、学历之间的联系;确定教师的教学内容的范围和深度是否合适,选择的教学媒体是否适合所选的教学内容和教学对象;讲解的时间是否恰到好处;教学策略是否得当等。从而可以及时地将挖掘出的规则信息反馈给教师。管理部门据此能合理配置班级的上课教师,使学生能够较好地保持良好的学习态度,从而为教学部门提供了决策支持信息,促使教学工作更好地开展。

结束语

数据挖掘作为一种工具,其技术日趋成熟,在许多领域取得了广泛的应用。在教育领域里,随着数据的不断累积,把数据挖掘技术应用到教学评价系统中,让领导者能够从中发现教师教学活动中的主要问题,以便及时改进,进而辅助领导决策做好学校管理,提高学校管理能力和水平,同时通过建立有效的教学激励机制来达到提高教学质量的目的。这一研究对发展中的职业教育教学管理提出了很好的建议,为教学管理工作的计算机辅助决策增添了新的内容。将数据挖掘技术应用于中职教学评估,设计开发一套行之有效的课堂教学评价系统,是下一步要做的工作,必将有力推动职业教育的快速发展。

数据挖掘论文 篇5

题目:大数据挖掘在智游应用中的探究

摘要:大数据和智游都是当下的热点, 没有大数据的智游无从谈“智慧”, 数据挖掘是大数据应用于智游的核心, 文章探究了在智游应用中, 目前大数据挖掘存在的几个问题。

关键词:大数据; 智游; 数据挖掘;

1引言

随着人民生活水平的进一步提高, 旅游消费的需求进一步上升, 在云计算、互联网、物联网以及移动智能终端等信息通讯技术的飞速发展下, 智游应运而生。大数据作为当下的热点已经成了智游发展的有力支撑, 没有大数据提供的有利信息, 智游无法变得“智慧”。

2大数据与智游

旅游业是信息密、综合性强、信息依存度高的产业[1], 这让其与大数据自然产生了交汇。2010年, 江苏省镇江市首先提出“智游”的概念, 虽然至今国内外对于智游还没有一个统一的学术定义, 但在与大数据相关的描述中, 有学者从大数据挖掘在智游中的作用出发, 把智游描述为:通过充分收集和管理所有类型和来源的旅游数据, 并深入挖掘这些数据的潜在重要价值信息, 然后利用这些信息为相关部门或对象提供服务[2]。这一定义充分肯定了在发展智游中, 大数据挖掘所起的至关重要的作用, 指出了在智游的过程中, 数据的收集、储存、管理都是为数据挖掘服务, 智游最终所需要的是利用挖掘所得的有用信息。

3大数据挖掘在智游中存在的问题

2011年, 我国提出用十年时间基本实现智游的目标[3], 过去几年, 国家旅游局的相关动作均为了实现这一目标。但是, 在借助大数据推动智游的可持续性发展中, 大数据所产生的价值却亟待提高, 原因之一就是在收集、储存了大量数据后, 对它们深入挖掘不够, 没有发掘出数据更多的价值。

3.1 信息化建设

智游的发展离不开移动网络、物联网、云平台。随着大数据的不断发展, 国内许多景区已经实现Wi-Fi覆盖, 部分景区也已实现人与人、人与物、人与景点之间的实时互动, 多省市已建有旅游产业监测平台或旅游大数据中心以及数据可视化平台, 从中进行数据统计、行为分析、监控预警、服务质量监督等。通过这些平台, 已基本能掌握跟游客和景点相关的数据, 可以实现更好旅游监控、产业宏观监控, 对该地的旅游管理和推广都能发挥重要作用。

但从智慧化的发展来看, 我国的信息化建设还需加强。虽然通讯网络已基本能保证, 但是大部分景区还无法实现对景区全面、透彻、及时的感知, 更为困难的是对平台的建设。在数据共享平台的建设上, 除了必备的硬件设施, 大数据实验平台还涉及大量部门, 如政府管理部门、气象部门、交通、电子商务、旅行社、旅游网站等。如此多的部门相关联, 要想建立一个完整全面的大数据实验平台, 难度可想而知。

3.2 大数据挖掘方法

大数据时代缺的不是数据, 而是方法。大数据在旅游行业的应用前景非常广阔, 但是面对大量的数据, 不懂如何收集有用的数据、不懂如何对数据进行挖掘和利用, 那么“大数据”犹如矿山之中的废石。旅游行业所涉及的结构化与非结构化数据, 通过云计算技术, 对数据的收集、存储都较为容易, 但对数据的挖掘分析则还在不断探索中。大数据的挖掘常用的方法有关联分析, 相似度分析, 距离分析, 聚类分析等等, 这些方法从不同的角度对数据进行挖掘。其中, 相关性分析方法通过关联多个数据来源, 挖掘数据价值。但针对旅游数据, 采用这些方法挖掘数据的价值信息, 难度也很大, 因为旅游数据中冗余数据很多, 数据存在形式很复杂。在旅游非结构化数据中, 一张图片、一个天气变化、一次舆情评价等都将会对游客的旅行计划带来影响。对这些数据完全挖掘分析, 对游客“行前、行中、行后”大数据的实时性挖掘都是很大的挑战。

3.3 数据安全

2017年, 数据安全事件屡见不鲜, 伴着大数据而来的数据安全问题日益凸显出来。在大数据时代, 无处不在的数据收集技术使我们的个人信息在所关联的数据中心留下痕迹, 如何保证这些信息被合法合理使用, 让数据“可用不可见”[4], 这是亟待解决的问题。同时, 在大数据资源的开放性和共享性下, 个人隐私和公民权益受到严重威胁。这一矛盾的存在使数据共享程度与数据挖掘程度成反比。此外, 经过大数据技术的分析、挖掘, 个人隐私更易被发现和暴露, 从而可能引发一系列社会问题。

大数据背景下的旅游数据当然也避免不了数据的安全问题。如果游客“吃、住、行、游、娱、购”的数据被放入数据库, 被完全共享、挖掘、分析, 那游客的人身财产安全将会受到严重影响, 最终降低旅游体验。所以, 数据的安全管理是进行大数据挖掘的前提。

3.4 大数据人才

大数据背景下的智游离不开人才的创新活动及技术支持, 然而与专业相衔接的大数据人才培养未能及时跟上行业需求, 加之创新型人才的外流, 以及数据统计未来3~5年大数据行业将面临全球性的人才荒, 国内智游的构建还缺乏大量人才。

4解决思路

在信息化建设上, 加大政府投入, 加强基础设施建设, 整合结构化数据, 抓取非结构化数据, 打通各数据壁垒, 建设旅游大数据实验平台;在挖掘方法上, 对旅游大数据实时性数据的挖掘应该被放在重要位置;在数据安全上, 从加强大数据安全立法、监管执法及强化技术手段建设等几个方面着手, 提升大数据环境下数据安全保护水平。加强人才的培养与引进, 加强产学研合作, 培养智游大数据人才。

参考文献

[1]翁凯。大数据在智游中的应用研究[J]。信 https://m./ 息技术, 2015, 24:86-87.

[2]梁昌勇, 马银超, 路彩虹。大数据挖掘, 智游的核心[J]。开发研究, 2015, 5 (180) :134-139.

[3]张建涛, 王洋, 刘力刚。大数据背景下智游应用模型体系构建[J]。企业经济, 2017, 5 (441) :116-123.

[4]王竹欣, 陈湉。保障大数据, 从哪里入手?[N]。人民邮电究, 2017-11-30.