欧美亚洲超清无码专区,亚洲成本人片无码免费,风流少妇BBWBBW69视频,成人亚洲A片V丝袜专区

Python數(shù)據(jù)建模

【課程目標(biāo)】
   本課程主要講解如何利用Python進(jìn)行數(shù)據(jù)建模，建立數(shù)學(xué)模型，來(lái)擬合業(yè)務(wù)的各個(gè)要素之間的關(guān)系，來(lái)模擬業(yè)務(wù)的未來(lái)發(fā)展和變化。
   基于真實(shí)的業(yè)務(wù)問(wèn)題，在數(shù)據(jù)建模的標(biāo)準(zhǔn)過(guò)程指導(dǎo)下，從模型選擇到特征工程，從訓(xùn)練模型到算法實(shí)現(xiàn)，從模型評(píng)估到模型優(yōu)化，再到模型解讀及模型應(yīng)用，帶領(lǐng)大家一步步實(shí)現(xiàn)一個(gè)回歸預(yù)測(cè)模型。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
1、掌握數(shù)據(jù)建模的標(biāo)準(zhǔn)流程。
2、掌握數(shù)據(jù)預(yù)處理常用的方法，包括特征篩選、變量合并等。
3、掌握回歸模型的原理，以及算法實(shí)現(xiàn)。
4、熟練使用模型的評(píng)估指標(biāo)，評(píng)估方法，以及過(guò)擬合的評(píng)估。
5、掌握模型優(yōu)化的基本措施，學(xué)會(huì)欠擬合的解決方法。
6、學(xué)會(huì)過(guò)擬合評(píng)估，學(xué)會(huì)使用有正則項(xiàng)來(lái)解決過(guò)擬合問(wèn)題。
7、熟練使用sklearn庫(kù)的常用回歸類(lèi)。
8、學(xué)會(huì)超參優(yōu)化的常用方法，能夠設(shè)置最優(yōu)超參。

【授課對(duì)象】
業(yè)務(wù)支持部、數(shù)據(jù)分析部、系統(tǒng)設(shè)計(jì)部、系統(tǒng)開(kāi)發(fā)部、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。

【課程大綱】
一、預(yù)測(cè)建?；A(chǔ)
1、數(shù)據(jù)建模六步法
－選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
－屬性篩選：選擇對(duì)目標(biāo)變量有顯著影響的屬性來(lái)建模
－訓(xùn)練模型：采用合適的算法，尋找到最合適的模型參數(shù)
－評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用
－優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化
－應(yīng)用模型：如果評(píng)估結(jié)果滿(mǎn)足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
2、數(shù)據(jù)挖掘常用的模型
－數(shù)值預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
－分類(lèi)預(yù)測(cè)模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
－市場(chǎng)細(xì)分：聚類(lèi)、RFM、PCA等
－產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等
－產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
－產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
3、屬性篩選/特征選擇/變量降維
－基于變量本身特征
－基于相關(guān)性判斷
－因子合并（PCA等）
－IV值篩選（評(píng)分卡使用）
－基于信息增益判斷（決策樹(shù)使用）
4、訓(xùn)練模型及實(shí)現(xiàn)算法
－模型原理
－算法實(shí)現(xiàn)
5、模型評(píng)估
－評(píng)估指標(biāo)
－評(píng)估方法
－過(guò)擬合評(píng)估
6、模型優(yōu)化
－優(yōu)化模型：選擇新模型/修改模型
－優(yōu)化數(shù)據(jù)：新增顯著自變量
－優(yōu)化公式：采用新的計(jì)算公式
7、模型應(yīng)用
－模型解讀
－模型部署
－模型應(yīng)用
8、好模型是優(yōu)化出來(lái)的
二、回歸模型評(píng)估
1、三個(gè)基本概念：SST、SSR、SSE
2、三個(gè)方面評(píng)估：指標(biāo)、方法、過(guò)擬合
3、擬合程度指標(biāo)
－簡(jiǎn)單判定系數(shù)：
－調(diào)整判定系數(shù)：
4、預(yù)測(cè)值誤差指標(biāo)
－平均*誤差：MAE
－根均方差：RMSE
－平均*誤差率：MAPE
5、信息損失準(zhǔn)則指標(biāo)
－赤池信息準(zhǔn)則：AIC
－貝葉斯信息準(zhǔn)則：BIC
－HQ信息準(zhǔn)則：HQIC
6、評(píng)估方法
－原始評(píng)估法
－留出法（Hold-Out）
－交叉驗(yàn)證法（k-fold cross validation）
－自助采樣法（Bootstrapping）
7、其它評(píng)估
－過(guò)擬合評(píng)估：學(xué)習(xí)曲線
－殘差評(píng)估：白噪聲評(píng)估
三、影響因素分析
問(wèn)題：如何選擇合適的屬性來(lái)進(jìn)行建模預(yù)測(cè)？如何做特征選擇/特征降維？
1、屬性篩選/變量降維的常用方法
2、影響因素分析常用方法
－相關(guān)分析
－方差分析
－卡方檢驗(yàn)
3、相關(guān)分析（衡量變量間的線性相關(guān)性）
問(wèn)題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？
－相關(guān)分析簡(jiǎn)介
－相關(guān)分析的三個(gè)種類(lèi)
－簡(jiǎn)單相關(guān)分析
－偏相關(guān)分析
－相關(guān)系數(shù)的三種計(jì)算公式
－Pearson相關(guān)系數(shù)
－Spearman相關(guān)系數(shù)
－Kendall相關(guān)系數(shù)
－相關(guān)分析的假設(shè)檢驗(yàn)
－相關(guān)分析的四個(gè)基本步驟
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷(xiāo)費(fèi)用會(huì)影響銷(xiāo)售額嗎
演練：網(wǎng)齡與消費(fèi)水平的關(guān)系
－偏相關(guān)分析
－偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
－偏相關(guān)系數(shù)的計(jì)算公式
－偏相關(guān)分析的適用場(chǎng)景
4、方差分析(衡量類(lèi)別變量與數(shù)據(jù)變量的相關(guān)性)
問(wèn)題：哪些才是影響銷(xiāo)量的關(guān)鍵因素？主要因素是哪些？次要因素是哪些？
－方差分析的應(yīng)用場(chǎng)景
－方差分析原理
－方差分析前提：齊性檢驗(yàn)
－方差分析的三個(gè)種類(lèi)
－單因素方差分析
－多因素方差分析
－協(xié)方差分析
－方差分析的四個(gè)步驟
－分析結(jié)果解讀要點(diǎn)
演練：終端擺放位置與終端銷(xiāo)量有關(guān)嗎
演練：客戶(hù)學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告形式和價(jià)格是影響終端銷(xiāo)量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷(xiāo)量有影響嗎
演練：尋找影響產(chǎn)品銷(xiāo)量的關(guān)鍵因素
－多因素方差分析原理
－多因素方差分析的作用
－多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對(duì)銷(xiāo)量的影響因素分析
－協(xié)方差分析原理
－協(xié)方差分析的適用場(chǎng)景
演練：排除收入后，網(wǎng)齡對(duì)消費(fèi)水平的影響大小分析
5、列聯(lián)分析/卡方檢驗(yàn)（兩類(lèi)別變量的相關(guān)性分析）
－卡方檢驗(yàn)應(yīng)用場(chǎng)景
－交叉表與列聯(lián)表
－計(jì)數(shù)值與期望值
－卡方檢驗(yàn)的原理
－卡方檢驗(yàn)的幾個(gè)計(jì)算公式
－列聯(lián)表分析的適用場(chǎng)景
案例：套餐類(lèi)型對(duì)客戶(hù)流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析
6、屬性重要程度排序/篩選
7、主成份分析（PCA）
－因子分析的原理
－因子個(gè)數(shù)如何選擇
－如何解讀因子含義
案例：提取影響電信客戶(hù)流失的主成分分析
四、線性回歸模型
問(wèn)題：如何預(yù)測(cè)產(chǎn)品的銷(xiāo)量/銷(xiāo)售金額？
1、常用數(shù)值預(yù)測(cè)的模型
－通用預(yù)測(cè)模型：回歸模型
2、線性回歸應(yīng)用場(chǎng)景
3、線性回歸模型種類(lèi)
－一元線性回歸
－多元線性回歸
4、線性回歸建模過(guò)程
5、帶分類(lèi)變量的回歸建模
6、回歸模型的質(zhì)量評(píng)估
7、回歸方程的解讀
五、回歸算法實(shí)現(xiàn)
1、基本概念
－損失函數(shù)
2、普通最小二乘法OLS
－數(shù)學(xué)推導(dǎo)
－OLS存在的問(wèn)題
3、梯度下降算法
－梯度概念
－梯度下降/上升算法
－批量梯度/隨機(jī)梯度/小批量梯度
－學(xué)習(xí)率的影響
－早期停止法
4、牛頓法/擬牛頓法
－泰勒公式(Taylor)
－牛頓法(Newton)
－擬牛頓法(Quasi-Newton)的優(yōu)化
－DFP/BFGS/L-BFGS
5、算法比較-優(yōu)缺點(diǎn)
六、回歸模型優(yōu)化
6、回歸分析的基本原理
－三個(gè)基本概念：總變差、回歸變差、剩余變差
－方程的顯著性檢驗(yàn)：是否可以做回歸分析？
－因素的顯著性檢驗(yàn)：自變量是否可用？
－擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？
－理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？
7、欠擬合解決：多項(xiàng)式回歸
－剔除離群值
－剔除非顯著因素
－非線性關(guān)系檢驗(yàn)
－相互作用檢驗(yàn)
－共線性檢驗(yàn)
－檢驗(yàn)誤差項(xiàng)
案例：銷(xiāo)量預(yù)測(cè)模型優(yōu)化示例
8、過(guò)擬合解決：正則項(xiàng)
－嶺回歸（Ridge）
－套索回歸（Lasso）
－彈性網(wǎng)絡(luò)回歸（ElasticNet）
9、超參優(yōu)化
－手工遍歷cross_val_score
－交叉驗(yàn)證RidgeCV/LassCV/ElasticNetCV
－網(wǎng)格搜索GridSearchCV
－隨機(jī)搜索RandomizedSearchCV
七、自定義模型
1、自定義回歸模型
2、模型參數(shù)最優(yōu)法方法
－全局優(yōu)化/暴力破解brute
－局部?jī)?yōu)化fmin
－有約束優(yōu)化minimize
3、好模型都是優(yōu)化出來(lái)的
案例：餐廳客流量進(jìn)行建模及模型優(yōu)化
4、基于回歸季節(jié)模型
－季節(jié)性回歸模型的參數(shù)
－相加模型
－相乘模型
－模型解讀/模型含義
案例：*航空旅客里程的季節(jié)性趨勢(shì)分析
5、新產(chǎn)品預(yù)測(cè)與S曲線
－產(chǎn)品累計(jì)銷(xiāo)量的S曲線模型
－如何評(píng)估銷(xiāo)量增長(zhǎng)的上限以及拐點(diǎn)
－珀?duì)柷€
－龔鉑茲曲線
案例：預(yù)測(cè)IPAD的銷(xiāo)售增長(zhǎng)拐點(diǎn)，以及銷(xiāo)量上限
八、案例實(shí)戰(zhàn)
1、客戶(hù)消費(fèi)金額預(yù)測(cè)模型
2、房?jī)r(jià)預(yù)測(cè)模型及優(yōu)化

結(jié)束：課程總結(jié)與問(wèn)題答疑。

Python數(shù)據(jù)建模