基于Hadoop的多維關(guān)聯(lián)規(guī)則挖掘算法研究及應(yīng)用

摘要：傳統(tǒng)的Apriori算法要多次掃描數(shù)據(jù)集,隨著數(shù)據(jù)量的快速增長(zhǎng),傳統(tǒng)的Apriori算法已經(jīng)不能很好地適用于大數(shù)據(jù)分析,針對(duì)該情況設(shè)計(jì)了IPApriori算法。首先通過剪枝策略設(shè)計(jì)了一種適用于多維數(shù)據(jù)的IApriori算法,再將IApriori算法與Hadoop分布式框架相結(jié)合,實(shí)現(xiàn)了多維關(guān)聯(lián)規(guī)則挖掘算法的并行化。將IPApriori算法運(yùn)用到手機(jī)用戶行為預(yù)測(cè)關(guān)聯(lián)分析中,分析影響手機(jī)用戶行為的一些主要因素,挖掘出手機(jī)用戶行為與年齡維度、性別維度、時(shí)間維度、地點(diǎn)維度和手機(jī)品牌維度屬性之間可能存在的某種關(guān)聯(lián)。最后通過實(shí)驗(yàn)證明,算法的并行化和建立結(jié)構(gòu)的方法可以降低系統(tǒng)的I/O負(fù)荷,提高算法的執(zhí)行效率。