大數(shù)據(jù)時(shí)代下的信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)研究

陳惠娟，加云崗

（西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710048）

0 引言

改革開放以來(lái)，我國(guó)信貸業(yè)務(wù)獲取了長(zhǎng)足的發(fā)展，信貸機(jī)構(gòu)競(jìng)爭(zhēng)加劇，隨著信貸業(yè)務(wù)的不斷發(fā)展，信貸風(fēng)險(xiǎn)在信貸業(yè)務(wù)中的作用也越來(lái)越重要[1-2]。信貸風(fēng)險(xiǎn)管理是一項(xiàng)綜合性、系列化的工作，貫穿于整個(gè)信貸業(yè)務(wù)流程，自貸前信用分析、貸時(shí)審查控制、貸后監(jiān)控管理直至貸款安全收回。當(dāng)前信貸部門依賴的是內(nèi)部數(shù)據(jù)來(lái)判斷是否存在風(fēng)險(xiǎn)，雖然信貸部門建立了面向整個(gè)信貸鏈條的數(shù)據(jù)倉(cāng)庫(kù)，整合了信貸業(yè)務(wù)和信用業(yè)務(wù)的數(shù)據(jù)，但由于這些數(shù)據(jù)筆記單一，不能全面的全方位的反應(yīng)出信貸風(fēng)險(xiǎn)。基于 hortonworks大數(shù)據(jù)平臺(tái)技術(shù)實(shí)現(xiàn)信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)，將內(nèi)部數(shù)據(jù)、信貸數(shù)據(jù)和外部新聞數(shù)據(jù)、法院數(shù)據(jù)、抵押數(shù)據(jù)、房產(chǎn)數(shù)據(jù)等內(nèi)外部數(shù)據(jù)在大數(shù)據(jù)平臺(tái)上有機(jī)的結(jié)合在一起，通過(guò)對(duì)這些數(shù)據(jù)的有效分析，建立全面的風(fēng)險(xiǎn)指標(biāo)評(píng)估體系[9]。通過(guò)對(duì)內(nèi)外部數(shù)據(jù)建立的風(fēng)險(xiǎn)指標(biāo)的分析和監(jiān)控實(shí)現(xiàn)對(duì)信貸風(fēng)險(xiǎn)的全方位評(píng)估，使得信貸單位對(duì)信貸各個(gè)環(huán)節(jié)的各類風(fēng)險(xiǎn)及時(shí)作出應(yīng)對(duì)措施。

基于大數(shù)據(jù)平臺(tái)總體架構(gòu)如圖1所示?？傮w架構(gòu)包括五部分組成：源數(shù)據(jù)層、數(shù)據(jù)交換層、數(shù)據(jù)計(jì)算層、數(shù)據(jù)應(yīng)用層和數(shù)據(jù)訪問(wèn)層。源數(shù)據(jù)層是信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的數(shù)據(jù)依據(jù)，主要包括行內(nèi)的業(yè)務(wù)數(shù)據(jù)和行外的外部數(shù)據(jù)；數(shù)據(jù)交換層是對(duì)信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)數(shù)據(jù)源的統(tǒng)一管理，主要將數(shù)據(jù)源層數(shù)據(jù)有效的進(jìn)行組織和存儲(chǔ)，供數(shù)據(jù)計(jì)算層使用；數(shù)據(jù)計(jì)算層將數(shù)據(jù)交換層提供的各類數(shù)據(jù)在 hortonworks大數(shù)據(jù)平臺(tái)中通過(guò)抽取、清洗、加工、匯總統(tǒng)計(jì)生成需要的基礎(chǔ)數(shù)據(jù)和匯總指標(biāo)；數(shù)據(jù)應(yīng)用層將數(shù)據(jù)計(jì)算層中通過(guò)大數(shù)據(jù)平臺(tái)加工的切片數(shù)據(jù)傳輸?shù)疥P(guān)系數(shù)據(jù)庫(kù)，供用戶訪問(wèn)層使用。下面將對(duì)各個(gè)層進(jìn)行詳細(xì)的介紹。

圖1 信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)總體結(jié)構(gòu)Fig.1 Overall structure of credit risk pre-warning system

源數(shù)據(jù)層是信貸風(fēng)險(xiǎn)系統(tǒng)的數(shù)據(jù)源也是信貸風(fēng)險(xiǎn)系統(tǒng)的基礎(chǔ)，主要包括2部分?jǐn)?shù)據(jù)源，內(nèi)部數(shù)據(jù)源如信貸業(yè)務(wù)數(shù)據(jù)，ECIF客戶數(shù)據(jù)[5]，外部數(shù)據(jù)源：如法院數(shù)據(jù)、被執(zhí)行人數(shù)據(jù)、黑名單數(shù)據(jù)、抵押數(shù)據(jù)，新聞信息數(shù)據(jù)等。

數(shù)據(jù)交換層是信貸風(fēng)險(xiǎn)系統(tǒng)的數(shù)據(jù)交換平臺(tái)，也是信貸系統(tǒng)獲取數(shù)據(jù)的平臺(tái)，主要作用是將數(shù)據(jù)源中的數(shù)據(jù)放到數(shù)據(jù)交換平臺(tái)中。數(shù)據(jù)主要以文件的形式存放。

數(shù)據(jù)計(jì)算層是信貸風(fēng)險(xiǎn)系統(tǒng)的核心，該層將采用hortaonworks數(shù)據(jù)平臺(tái)的相互技術(shù)，將數(shù)據(jù)源中數(shù)據(jù)存放到分布式系統(tǒng)中，將結(jié)構(gòu)數(shù)據(jù)[6]和非結(jié)構(gòu)數(shù)據(jù)[7]進(jìn)行加工成為符合信貸風(fēng)險(xiǎn)的基礎(chǔ)數(shù)據(jù)，然后按照計(jì)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行加工、篩選和匯總生成信貸風(fēng)險(xiǎn)指標(biāo)。采用hive[3]存儲(chǔ)關(guān)系型數(shù)據(jù)，hbase[4]存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，sqoop用于傳輸數(shù)據(jù)，Streaming用于計(jì)算實(shí)時(shí)數(shù)據(jù)，oozie用于調(diào)度作業(yè)。

數(shù)據(jù)應(yīng)用層是把數(shù)據(jù)計(jì)算中匯總數(shù)據(jù)和基礎(chǔ)切片數(shù)據(jù)傳輸?shù)綌?shù)據(jù)應(yīng)用服務(wù)器中，供數(shù)據(jù)訪問(wèn)層使用。主要采用關(guān)系型數(shù)據(jù)庫(kù)oracle。

數(shù)據(jù)訪問(wèn)層：訪問(wèn)信貸風(fēng)險(xiǎn)系統(tǒng)的窗口。

1 預(yù)警系統(tǒng)關(guān)鍵技術(shù)

1.1 Hive

Hive是建立在 Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，Hive主要是在數(shù)據(jù)計(jì)算層貼源數(shù)據(jù)區(qū)、數(shù)據(jù)標(biāo)準(zhǔn)區(qū)和數(shù)據(jù)匯總區(qū)中使用，不僅是ETL加工的對(duì)應(yīng)的數(shù)據(jù)庫(kù)，用來(lái)儲(chǔ)存行內(nèi)和行外的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)將ETL加工結(jié)果及其歷史結(jié)果都存儲(chǔ)在HIVE中。

1.2 Hbase

HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)。在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，HBase主要是在數(shù)據(jù)計(jì)算層貼源數(shù)據(jù)區(qū)中使用，主要是存儲(chǔ)行外的非結(jié)構(gòu)化數(shù)據(jù)，同時(shí)將這些非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)到Hive中。

1.3 Oozie

Oozie工作流是放置在控制依賴 DAG[8]（有向無(wú)環(huán)圖 Direct Acyclic Graph）中的一組動(dòng)作，其中指定了動(dòng)作執(zhí)行的順序。在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，Oozie主要是對(duì)流程進(jìn)行調(diào)度，即在流程調(diào)度區(qū)中使用，Oozie主要是對(duì)在大數(shù)據(jù)平臺(tái)中ETL加工的各個(gè)作業(yè)進(jìn)行調(diào)度管理。

1.4 Sqoop

Sqoop是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，Sqoop主要是在數(shù)據(jù)應(yīng)用層中使用，將在數(shù)據(jù)計(jì)算層中加工的基礎(chǔ)數(shù)據(jù)和匯總數(shù)據(jù)通過(guò) sqoop傳輸?shù)疥P(guān)系型數(shù)據(jù)庫(kù)中，供web端查詢使用。

1.5 Streaming

Hadoop Streaming 提供了一個(gè)便于進(jìn)行MapReduce編程的工具包，在信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)中，Streaming主要是對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，將數(shù)據(jù)計(jì)算層中貼源區(qū)的數(shù)據(jù)實(shí)時(shí)的傳輸?shù)疥P(guān)系型數(shù)據(jù)庫(kù)中，供web端查詢使用。

2 預(yù)警系統(tǒng)中數(shù)據(jù)計(jì)算層的架構(gòu)

在預(yù)警系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和加工是預(yù)警系統(tǒng)的關(guān)鍵環(huán)節(jié)，此節(jié)主要闡述預(yù)警系統(tǒng)總體架構(gòu)中數(shù)據(jù)計(jì)算層的設(shè)計(jì)和實(shí)現(xiàn)。數(shù)據(jù)計(jì)算層主要是在大數(shù)據(jù)平臺(tái)上設(shè)計(jì)和實(shí)現(xiàn)的，首先將數(shù)據(jù)交換區(qū)各類數(shù)據(jù)文件傳輸?shù)酱髷?shù)據(jù)平臺(tái)并存儲(chǔ)在數(shù)據(jù)計(jì)算層中的貼源數(shù)據(jù)區(qū)對(duì)應(yīng)的Hive和HBase中，之后在數(shù)據(jù)計(jì)算層中的數(shù)據(jù)標(biāo)準(zhǔn)區(qū)中，對(duì)這些數(shù)據(jù)文件進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化操作實(shí)現(xiàn)統(tǒng)一的設(shè)計(jì)和管理，然后在數(shù)據(jù)計(jì)算層中的匯總層將標(biāo)準(zhǔn)化后的數(shù)據(jù)按照指標(biāo)加工規(guī)則進(jìn)行加工統(tǒng)計(jì)，最后將當(dāng)期數(shù)據(jù)通過(guò)Sqoop傳輸?shù)疥P(guān)系型數(shù)據(jù)庫(kù)中供Web端展示或者直接將歷史數(shù)據(jù)在Web進(jìn)行展示。下面將進(jìn)行詳細(xì)的介紹。

（1）本架構(gòu)中，數(shù)據(jù)交換區(qū)域的外部數(shù)據(jù)平臺(tái)包含3部分內(nèi)容，業(yè)務(wù)數(shù)據(jù)文件、外部數(shù)據(jù)文件和實(shí)時(shí)數(shù)據(jù)，這3部分內(nèi)容通過(guò)傳輸?shù)姆绞交蛘咄扑偷姆绞絺鬏數(shù)酱髷?shù)據(jù)平臺(tái)HDFS上。

（2）本架構(gòu)中，通過(guò)YARN對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行統(tǒng)一的資源管理。通過(guò)HDFS進(jìn)行數(shù)據(jù)文件的存儲(chǔ)和集群的創(chuàng)建管理。

（3）大數(shù)據(jù)平臺(tái)上的業(yè)務(wù)數(shù)據(jù)文件通過(guò) Hive轉(zhuǎn)入到Hive對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)表中，這個(gè)過(guò)程中需要使用腳步封裝數(shù)命令，供Oozie進(jìn)行調(diào)度。

（4）大數(shù)據(jù)平臺(tái)上外部數(shù)據(jù)通過(guò) HBASE轉(zhuǎn)換后轉(zhuǎn)入到Hive，這個(gè)過(guò)程中需要使用腳步封裝數(shù)命令，供Oozie進(jìn)行調(diào)度。

（5）大數(shù)據(jù)平臺(tái)上的業(yè)務(wù)數(shù)據(jù)和外部數(shù)據(jù)表通過(guò) Hive及其相關(guān)轉(zhuǎn)換腳本生成數(shù)據(jù)的標(biāo)準(zhǔn)化的作業(yè)，并存儲(chǔ)到Hive中，這個(gè)作業(yè)需要Oozie的調(diào)度管理。

（6）通過(guò)腳本分裝Sqoop將RDMBS中的數(shù)據(jù)傳輸?shù)紿ive中，這些腳本供Oozie調(diào)度。

（7）通過(guò)Sqoop連接外部的RDBMS傳輸應(yīng)用數(shù)據(jù)，結(jié)合標(biāo)準(zhǔn)化后的業(yè)務(wù)數(shù)據(jù)，采用HIVE/Spark Sql手段按照匯總規(guī)則加工生成匯總統(tǒng)計(jì)數(shù)據(jù)作業(yè)，供Oozie調(diào)度。

（8）大數(shù)據(jù)平臺(tái)上的實(shí)時(shí)數(shù)據(jù)結(jié)合標(biāo)準(zhǔn)化后的業(yè)務(wù)數(shù)據(jù)，采用Saprk Streaming實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的加工。

（9）大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)處理過(guò)程采用 Oozie進(jìn)行統(tǒng)一管理和調(diào)度。

（10）通過(guò)腳本封裝 Sqoop將標(biāo)準(zhǔn)化后的基礎(chǔ)數(shù)據(jù)和匯總數(shù)據(jù)傳輸?shù)?RDBMS上，這些腳本供Oozie調(diào)度。

（11）BI工具通過(guò)標(biāo)準(zhǔn)sql訪問(wèn)RDBMS中的基礎(chǔ)數(shù)據(jù)、應(yīng)用數(shù)據(jù)和匯總數(shù)。

（12）BI工具通過(guò)Spark Sql訪問(wèn)數(shù)據(jù)歷史區(qū)中數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。

圖2 數(shù)據(jù)計(jì)算層架構(gòu)Fig.2 Data computing layer structure

3 預(yù)警系統(tǒng)的數(shù)據(jù)組織

3.1 數(shù)據(jù)表的組織

本系統(tǒng)主要包括四個(gè)數(shù)據(jù)區(qū)：貼源數(shù)據(jù)區(qū)，數(shù)據(jù)標(biāo)準(zhǔn)區(qū)，數(shù)據(jù)匯總區(qū)和歷史數(shù)據(jù)區(qū)。為了更好的區(qū)分四個(gè)數(shù)據(jù)區(qū)的各類業(yè)務(wù)數(shù)據(jù)，本系統(tǒng)的數(shù)據(jù)表組織分為三級(jí)。第一級(jí)用于區(qū)分?jǐn)?shù)據(jù)屬于哪一個(gè)區(qū)，第二級(jí)用于區(qū)分?jǐn)?shù)據(jù)屬于哪個(gè)業(yè)務(wù)類型，第三級(jí)為具體的數(shù)據(jù)表信息，數(shù)據(jù)分組主要依據(jù)具體含義命名。

例如：貼源區(qū)的對(duì)公客戶基礎(chǔ)表命名為 SR_CST_—_ENT_BASE_INFO，標(biāo)準(zhǔn)區(qū)對(duì)公客戶基礎(chǔ)表命名為SD_CST_ENT_BASE_INFO，匯總區(qū)對(duì)公客戶指標(biāo)表命名為SM_CST_ENT_INDEX_INFO。

表1 第一級(jí)的數(shù)據(jù)分類 Tab.1 First layer data classification

表2 第二級(jí)的數(shù)據(jù)分類Tab.2 Second layer data classification

3.2 數(shù)據(jù)文件的組織

本系統(tǒng)的數(shù)據(jù)文件均存儲(chǔ)到HDSF上，為了更好區(qū)分業(yè)務(wù)類型以及文件類型，對(duì)數(shù)據(jù)文件進(jìn)行了組織。

目錄格式：/data/rms/業(yè)務(wù)分類/日期/.其中業(yè)務(wù)分類和數(shù)據(jù)表組織的第二級(jí)一樣，文件格式為：file_表名_屬性_日期.txt。屬性為：add-增量，all-全量。

例如：

/data/rms/CST/20160701/file_CST_ENT_

BASE_INFO_ADD_20160701.txt表示的是2016年7月1日對(duì)公客戶基礎(chǔ)信息的增量數(shù)據(jù)文件。

3.3 N作業(yè)組織

作業(yè)是一個(gè)作業(yè)處理多個(gè)數(shù)據(jù)邏輯或者是一個(gè)業(yè)務(wù)邏輯差分為多個(gè)作業(yè)進(jìn)行處理。

作業(yè)格式：JOB_類型_含義_屬性。其中類型指：SQL是指sql語(yǔ)句， SH指shell。其中含義指:表示此過(guò)程加工的目的，例如CST_ENT_

BASE_INFO對(duì)公客戶基礎(chǔ)信息。其中屬性指：LOAD文件加載，INIT是初始化，PROCESS是數(shù)據(jù)加工。例如：JOB_SH_CST_ENT_BASE_INFO_LOAD表示作業(yè)對(duì)公客戶基礎(chǔ)信息裝載。

4 預(yù)警系統(tǒng)的實(shí)現(xiàn)

4.1 貼源數(shù)據(jù)區(qū)的實(shí)現(xiàn)

貼源數(shù)據(jù)區(qū)是為了數(shù)據(jù)加載和轉(zhuǎn)換而設(shè)計(jì)的一個(gè)數(shù)據(jù)區(qū)，是一個(gè)純技術(shù)加工的數(shù)據(jù)區(qū)，將按照源系統(tǒng)相同的數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)內(nèi)容加載到貼源數(shù)據(jù)區(qū)，此步驟主要包括兩部分：建立數(shù)據(jù)表和數(shù)據(jù)的導(dǎo)入。

第一部分建立數(shù)據(jù)表。為了保證數(shù)據(jù)的完整性，數(shù)據(jù)表的建立將和源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)保持一致。本系統(tǒng)采用hive作為數(shù)據(jù)倉(cāng)庫(kù)，建立貼源區(qū)客戶基礎(chǔ)數(shù)據(jù)表結(jié)構(gòu)如下：

create table tb_ent_cust_address

(

address_id string,

party_id string,

customer_num string,

address_type_cd string,

nationality_cd string,

province_cd string,

district string,

city_cd string,

street_address string,

zip_num string,

telephone string,

fax string,

website string,

mobile_phone string,

email string,

update_date string,

regionalism_cd string,

rural_id string,

villages_id string,

customer_name string,

) row format delimited fields terminated by '|'

stored as text;

第二部分?jǐn)?shù)據(jù)的裝入。數(shù)據(jù)的轉(zhuǎn)入采用load的方式進(jìn)行轉(zhuǎn)入。命令如下：

load data inpath '/data/rms/cst/20160701/file_cst_ent_address_info.txt' into table sr_cst_ent_address_info;

4.2 數(shù)據(jù)標(biāo)準(zhǔn)區(qū)的實(shí)現(xiàn)

數(shù)據(jù)標(biāo)準(zhǔn)區(qū)是為了實(shí)現(xiàn)將貼源數(shù)據(jù)區(qū)的數(shù)據(jù)按照信貸業(yè)務(wù)的分類進(jìn)行標(biāo)準(zhǔn)化的過(guò)程，這部分主要包括代碼的標(biāo)準(zhǔn)化和碼值的標(biāo)準(zhǔn)化。此步驟包括兩部分：建立標(biāo)準(zhǔn)化的數(shù)據(jù)表和建立標(biāo)準(zhǔn)的碼值數(shù)據(jù)。

第一部分建立標(biāo)準(zhǔn)數(shù)據(jù)表，按照數(shù)據(jù)組織格式建立的標(biāo)準(zhǔn)表如下結(jié)構(gòu)：

create table sd_cst_ent_address_info

(

ADDRESS_ID string,

CST_NO string,

ADDRESS_TYPE string,

NATIONALITY_CD string,

PROVINCE_CD string,

DISTRICT_CD string,

AREA_CD string,

ADDRESS string,

ZIP_NO string,

TELEPHONE string,

FAX string,

WEBSITE string,

MOBILE_PHONE string,

EMAIL string,

UPDATE_DT string,

AD_DIVISION string,

RURAL_ID string,

VILLAGES_ID string

) row format delimited fields terminated by '|'

stored as orc;

第二部分是實(shí)現(xiàn)碼值的轉(zhuǎn)換，實(shí)現(xiàn)過(guò)程主要是通過(guò)在標(biāo)準(zhǔn)化數(shù)據(jù)的過(guò)程中實(shí)現(xiàn)轉(zhuǎn)換，例如：將地址類型轉(zhuǎn)換。轉(zhuǎn)換規(guī)則表3所示。

4.3 數(shù)據(jù)匯總區(qū)的實(shí)現(xiàn)

數(shù)據(jù)匯總區(qū)是為了實(shí)現(xiàn)將標(biāo)準(zhǔn)數(shù)據(jù)區(qū)的數(shù)據(jù)按照信貸業(yè)務(wù)的風(fēng)險(xiǎn)指標(biāo)加工規(guī)則進(jìn)行數(shù)據(jù)加工的過(guò)程。此步驟包括兩部分：建立匯總的數(shù)據(jù)表和數(shù)據(jù)表的加工過(guò)程。

表3 碼值轉(zhuǎn)換規(guī)則Tab.3 Coding conversion rule

第一部分建立匯總數(shù)據(jù)表，按照數(shù)據(jù)組織格式建立的標(biāo)準(zhǔn)表如下結(jié)構(gòu)：

create table SM_CST_BASE_INDEX

( biz_date string,

cst_no string,

conn_cst_warn_flg string,

lawsuit_cst_flag string,

conn_lawsuit_flag string,

conn_promises_flag string,

staff_FLAG string,

conn_NEGATIVE_flag string

)row format delimited fields terminated by '|'

stored as orc;

第二部分是實(shí)現(xiàn)匯總數(shù)據(jù)的加工，例如：客戶關(guān)聯(lián)人信息加工如下：

select

A.CST_NO,

case when B.Warn_Level = '01' then 1 else 0 end warn_level,

case when C.executed_no is not null or C.executed_no != '' then 1 else 0 end executed_no,

case when (to_date('$INPUT_DATE', 'YYYYMMDD') - C.filing_dt) < 5 then 1 else 0 end difference_time,

case when F.dishonest_no is not null or F.dishonest_no != '' then 1 else 0 end dishonest_no,

case when D.STAFF_ID is not null or D.STAFF_ID != '' then 1 else 0 end staff_id,

case when E.new_no is not null or E.new_no != ''then 1 else 0 end new_no

from TM_CST_CONNECTOR A

left join T_WARN_Info B on A.CST_NO =B.Cst_NO

and B.Warn_TM

left join T_WARN_THE_EXECUTED C on A.CONN_CST_NO = C.cst_sku_no

and C.create_dt <=to_date('$INPUT_DATE','yyyymmdd')

left join F_STAFF_H D on A.CONN_CST_NO =D.CERTIFICATE_NO

and D.DATA_START_DT >= '$INPUT_DATE'

and D.DATA_END_DT < '$INPUT_DATE'

left join T_WARN_NEGATIVE_NEWS E on A.CONN_CST_NM = E.cst_nm

and E.create_dt <=to_date('$INPUT_DATE','yyyymmdd')

left join T_WARN_DISHONEST_PERSON F on A.CONN_CST_NO = F.cst_sku_no

and F.create_dt<=to_date('$INPUT_DATE','yyyymmdd');

4.4 hive中數(shù)據(jù)傳輸?shù)絆RACLE的實(shí)現(xiàn)

在此項(xiàng)目中，Sqoop實(shí)現(xiàn)數(shù)據(jù)的傳輸，將 hive中基礎(chǔ)應(yīng)用數(shù)據(jù)和匯總數(shù)據(jù)傳輸?shù)疥P(guān)系型數(shù)據(jù)庫(kù)中供數(shù)據(jù)應(yīng)用成使用。

實(shí)現(xiàn)部分代碼如下：

sqoop import --connect jdbc:oracle:thin:@10.100.85.21:5021:RDMS --username udmp

--password udmp

--table cust_info --fields-terminated-by '|'

--hive-import

--hive-database RDMS—— --hive-overwrite

--hive-table rms_cust_info

4.5 流程調(diào)度的實(shí)現(xiàn)

流程調(diào)度主要是實(shí)現(xiàn)作業(yè)的調(diào)度管理，此系統(tǒng)大部分的實(shí)現(xiàn)都是通過(guò)腳本實(shí)現(xiàn)，因此調(diào)度的作業(yè)類型都是shell作業(yè)。流程調(diào)度主要包括3個(gè)實(shí)現(xiàn)文件，一個(gè)是作業(yè)流程，一個(gè)是配置信息，一個(gè)是腳本信息。作業(yè)流程主要是作業(yè)調(diào)度的管理，配置信息主要是多參數(shù)的說(shuō)明，而腳本主要是對(duì)實(shí)現(xiàn)過(guò)程的封裝。其中作業(yè)流程如下所示：

${jobTracker} $ {nameNode}

Workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

針對(duì)性的配置信息如下所示：

nameNode=hdfs://10.100.2.220:8020

jobTracker=vm.datanode1.hdp:8050

queueName=default

examplesRoot=examples

oozie.libpath=${nameNode}/user/oozie/share/lib

oozie.use.system.libpath=true

oozie.wf.application.path=${nameNode}/user/${user.name}/portal/shell

exec=create.sh

客戶預(yù)警風(fēng)險(xiǎn)統(tǒng)計(jì)和押品預(yù)警風(fēng)險(xiǎn)統(tǒng)計(jì)指標(biāo)如圖3圖4所示。

5 結(jié)束語(yǔ)

本文主要闡述了基于大數(shù)據(jù)平臺(tái)的信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。使用信貸業(yè)務(wù)數(shù)據(jù)結(jié)合外部數(shù)據(jù)，通過(guò)大數(shù)據(jù)平臺(tái)上實(shí)現(xiàn)信貸風(fēng)險(xiǎn)預(yù)警系統(tǒng)，建立360度的風(fēng)險(xiǎn)評(píng)估體系。經(jīng)測(cè)試證明，此設(shè)計(jì)可以滿足對(duì)信貸風(fēng)險(xiǎn)的全方位的評(píng)估要求，具有一定的實(shí)用價(jià)值。

圖3 客戶風(fēng)險(xiǎn)預(yù)警指示圖Fig.3 Credit risk pre-warning direction

圖4 押品風(fēng)險(xiǎn)預(yù)警指示圖Fig.4 mortgage risk pre-warning direction

[1] 程學(xué)旗, 靳小龍, 王元卓. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào), 20149: 1889-1890.CHEN XueLong, JIN XiaoLong, WAN GYuanZhuo. A review of large data systems and analysis techniques[J]. Journal of software, 20149: 1889-1890.

[2] 于千程. 淺析大數(shù)據(jù)時(shí)代下商業(yè)銀行信貸業(yè)務(wù)[J]. 網(wǎng)絡(luò)應(yīng)用, 2014.18: 56-57.YU QianCheng.Analysis of commercial bank credit business in big data Era[J]. network application, 2014. 18: 56-57.

[3] 楊艷. 大數(shù)據(jù)環(huán)境下海量多媒體信息過(guò)濾技術(shù)改進(jìn)[J]. 西安工程大學(xué)學(xué)報(bào). 2017. 31(4): 569-575.YANG Yan. Improvement of massive multimedia information filtering technology in large data environment[J]. Journal of Xi'an Polytechnic University. 2017. 31(4): 569-575.

[4] 杜艷綏. 移動(dòng)互聯(lián)網(wǎng)環(huán)境下大數(shù)據(jù)的存儲(chǔ)技術(shù)分析[J]. 數(shù)字技術(shù)與應(yīng)用, 2015. 10: 229-230.DU Yan. Analysis of storage technology of large data in mobile Internet environment[J]. Digital technology and Application. 2015. 10: 229-230.

[5] 申旭. 住房公積金EXLφ系統(tǒng)的發(fā)展與空間研究[J]. 電子技術(shù)與軟件工程, 2017. 09.SHEN Xu. Development and space research of ECIF system for housing accumulation fund[J]. electronic technology and software engineering.2017. 09.

[6] 張敏, 魯筠, 石磊. 基于高層次結(jié)構(gòu)數(shù)據(jù)的多水平發(fā)展模型設(shè)計(jì)及應(yīng)用[J]. 數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究, 2017. 6: 134-147.ZHANG MIN,LU Jun,SHI Lei. Design and application of multi level development model based on high-level structure data[J]. Quantitative economic, technical and Economic Research. 2017. 6: 134-147.

[7] 郭春霞. 大數(shù)據(jù)環(huán)境下高校圖書館非結(jié)構(gòu)化數(shù)據(jù)融合分析[J]. 圖書館學(xué)研究, 2015. 5: 30-34.GUO Chunxia.unstructured data fusion analysis of University Libraries in large data environment[J]. Library Science. 2015.5: 30-34.

[8] 薛慧麗, 邵孟良. 移動(dòng)云環(huán)境下多ΔAΓ節(jié)能調(diào)度算法 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017, 48(3): 327-333.XUE Huili,SHAO Mengliang. Multi DAG energy saving scheduling algorithm in mobile cloud environment [J] Journal of Shandong Agricultural University (NATURAL SCIENCE EDITION). 2017, 48(3): 327-333.

[9] 李飛云, 鄢飛, 張謙. 基于GA-SVW的上市公司財(cái)務(wù)危機(jī)預(yù)警研究[J]. 西安工程大學(xué)學(xué)報(bào). 2010(12): 822-826.LI Feiyun, YAN Fei, ZHANG Qian. Study on financial crisis early warning of listed companies based on GA-SVW[J].Journal of Xi'an Polytechnic University. 2010(12): 822-826.