生態大數據數據管理平台項目競爭性談判公告

2019/11/04 招標信息


一、采購條件

內蒙古大福彩票网站草原生態大數據研究院有限公司針對生態大數據數據管理平台項目競爭性談判。

二、項目概況

(一)項目名稱:生態大數據數據管理平台項目

(二)項目編號:MCSTHJ-2019-FW015

(三)采購方式:公開競爭性談判

(四)資金來源:專項資金

(五)資金落實情況:已落實

三、采購內容

(一)融合數據産品工具

基于融合數據軟件,建立數據融合采集系統,實現結構化、半結構化、非結構化數據的采集能力,有效解決大福彩票网站集團內外部數據收集和轉換和彙總的問題。具體技術指標要求如下:

1.數據接入

(1)支持国内外主流的关系型数据库,包括:Oracle、DB2、Teradata、SQL Server、Sybase、Informix、MySQL、PostgreSQL、Greenplum、Netezza、Vertica、Teradata、人大金仓数据库KingbaseES、南大通用Gbase、华为Libra、达梦数据库DM、神通数据库等。

(2)支持普通文本、CSV、XML、Excel、Json等多種格式的文件的接入。

(3)支持HTTP、JMS、FTP、Web Services等协议和其他应用系统进行交互。

(4)支持消息傳輸通道(Kafka輸入,Kafka輸出)、大數據搜索引擎組件(ElasticSearch輸入、ElasticSearch輸出)等。

(5)支持大数据存储和访问,支持大数据环境的数据采集。支持MongoDB、HBase等主流大数据数据库等,支持大数据存储载体Hadoop,适配SDC Hadoop、Apache开源大数据平台、华为大数据平台安全模式、星环大数据平台安全模式等国内主流大数据平台。

2.數據轉換

(1)支持拖拽的方式快速構建各種數據集成流程化設計。

(2)轉換組件主要涵蓋空值替換、數據校驗、常量值、值映射、字段選取、數據去重、排序、字符切割、字符替換、拆分字段、值運算、值連接、範圍劃分、行列轉換等複雜處理;

(3)作業組件主要涵蓋文件處理,大數據處理,配置處理條件,自定義腳本等任務配置組件。

(4)支持文件和數據斷點續傳:支持G級別大小的文件斷點續傳,傳輸過程中網絡中斷後,在重新傳輸時,通過檢測文件長度和斷點位置,從斷點處開始傳輸,可節省時間和其它資源。

3.任務監控

支持可视化任務監控:以可视化界面监控任务运行详情、数据处理流程、任务执行日志、步骤度量和历史详情,并提供实时报警。

4.作業調度

提供強大的調度引擎,支撐各種複雜的任務調度流程的高效運行,爲海量的異構數據集成提供保障。支持關系型數據采集、大數據采集(Hbase采集)、文件數據采集、接口數據采集任務的統一管理和調度。

(二)數據治理産品工具

以國標、行標等數據規範爲指導,結合大福彩票网站自有基礎數據規範標准,針對大福彩票网站業務系統,對其數據進行整合集成。構建元數據管理、數據標准管理、數據質量管理、數據資産管理、數據服務等功能模塊。主要模塊具體技術指標要求如下:

1.元數據管理

(1)支持基于CWM元數據標准實現對業務元數據、技術元數據、管理元數據的統一管理和存儲。

(2)支持基于CWM元數據標准實現對業務元數據、技術元數據、管理元數據的統一管理和存儲。

(3)提供影響分析、血緣分析、全鏈分析、關聯分析等功能,支持業務元數據和技術元數據關聯關系自動解析,提供友好的圖形展示分析功能。

(4)支持元數據權限管理,可按照用戶和角色進行授權,權限顆粒度細化到按照列和行進行授權。

(5)支持元數據地圖的全景關系展示,可下鑽到表、字段級別查看血緣關系。

2.數據標准管理

(1)依據數據訪問頻率、數據引用情況、數據唯一性、元數據屬性、等進行智能識別,基于技術元數據的分類作爲樣本進行訓練,智能生成數據元標准和數據集。

(2)支持智能生成數據元與技術元數據、數據集與技術元數據的關聯關系。

(3)支持針對數據元標准的規則配置,包括類型,長度,值域,正則表達式,數據範圍。

3.數據質量管理

(1)支持大数据主流厂商Hive、HBase数据源的数据质量任务运行能力,主要包括(SDC Hadoop、CDH、HDP、星环TDH、华为Fusioninsight)。

(2)支持雙引擎模式,針對不同數據量的質量任務提供分布式任務和集群任務同時設計、運行、輸出質量報告。

(3)支持通過識別技術元數據與業務元數據的關系,智能生成待治理表的質量規則,智能生成質量規則包括數據格式校驗、值域校驗、數據範圍校驗、正則表達式校驗、空值校驗。

(4)支持拖拽的方式快速構建各種數據校驗流程化設計。校驗組件涵蓋數據格式校驗、數據範圍校驗、正則表達式、值域校驗、字段值缺失、唯一性校驗、記錄數缺失、Switch/case、主外鍵一致性校驗、字段值比對、身份證校驗、及時性校驗、精度校驗、JavaScript、Java;支持校驗規則的自定義,支持校驗流程分支設計。

(5)探查和識別數據,可以針對數據進行准確性、完整性、唯一性等類別進行自動識別,自動生成質量報告,提升數據管理水平。可按照年、月、季度等時間維度,也可按照每個數據源的維度生成質量報告,支持質量報告的下載。

4.數據資産管理

(1)支持對數據資産全生命周期管理,根據自定義策略,可將數據及關聯的文件進行自動化的清理和歸檔。

(2)支持數據地圖功能,支持從宏觀角度可視化查看各存儲介質之間數據流向關系,支持從數倉分層到數據庫的下鑽及相關信息的展示,支持數據庫逐層下鑽。

5.數據共享服務

(1)支持通過web界面即可完成數據服務接口的服務發布、審核、共享,無需編程人員開發代碼。

(2支持數據脫敏:規則配置簡單易用,支持替換,截斷,掩碼,重排,日期偏移取整脫敏規則的配置。

(三)數據倉庫建設

遵循數據標准的數據信息項和標准代碼,結合國內外綜合科學模型建設方法,作爲邏輯數據模型建設的參考標准,構建大福彩票网站數據資源倉庫爲四層架構設計,其中包括ODS數據准備層、DWD數據基礎層、DM數據集市層、數據應用層。

詳細采購內容見《競爭性談判文件》

四、投標人資格要求

(一)具有足夠資産和能力來有效地履行合同,近三年無違法違規行爲,沒有處于被責令停業或破産狀態,且資産未被重組、接管和凍結。

(二)有依法繳納稅收和社會保障資金的良好記錄。

(三)有獨立項目開發成功案例,須提本次項目規模相當的成功案例。

(四)近3年內未出現過驗收蝹鰼通過的項目或者應由企業承擔責任的用戶重大投訴。

五、公告發布媒介

(一)中國采購與招標網         網址:www.chinabidding.com.cn

(二)內蒙古大福彩票网站公司官網       網址:www.mengcao.com

六、報名須知及資格審查

(一)报名时间:2019年11月4日至2019年11月10日,8:30-12:00, 14:30-18:00时(北京时间,下同),报名截止时间为2019年11月10日18:00,逾期不再受理。

(二)報名方式:投標人填寫《投標報名表》,簽字確認並連同企業營業執照、開戶許可證、軟件資質于報名截止時間前發回到服務中心報名郵箱yyang0102@126.com。(注:報名表需word版+掃描蓋章版)采購人在指定日期回複競談文件至對應報名郵箱,不需要現場領取)。

七、競談文件的獲取

(一)獲取時間:2019年11月4日至2019年11月10日,上午8:30-12:00,下午13:30-17:30,逾期不再受理。

八、其他事項

(一)開標時間:2019年11月11日上午9:00時

開標地點:內蒙古呼和浩特市新城區大福彩票网站集團百草園會議室

(二)本次招標不洁]苈摵象w投標,不洁]茑]寄投標。

(三)投標費用:投標人應承擔其編制與遞交投標文件所涉及的一切費用,無論投標結果如何,采購人對上述費用概不負責,均由投標人承擔。

九、聯系方式

采購人:內蒙古大福彩票网站草原生態大數據研究院有限公司

投標報名聯系人及電話:  楊陽  18248115918

需求部门答疑联系人及電话: 徐敏  15548139860

      話:0471-6695191-810   

      真:0471-6695192

      箱:yyang0102@126.com

 

 

 

 

附件一:投標報名表

 

 

                                                   采購人:內蒙古大福彩票网站草原生態大數據研究院有限公司

                                                                    日期:二○一九年十一月四日

 

  

報名表下載鏈接

fd8ce6b1e1384fc401ff65fdadede8dd.docx

 

友情链接:上海快三开奖查询快  急速赛车pk10网址  35选7开奖结果  宝赢彩票网址  冠军彩票网址  广东36选7走势图  海南彩票官网  至尊天下彩票平台  ag体育投注规律  湖北快3官网