盡管大型制造商多年來一直在使用統(tǒng)計流程控制和統(tǒng)計數(shù)據(jù)分析來優(yōu)化生產(chǎn)，但當今數(shù)據(jù)的復(fù)雜結(jié)構(gòu)成為部署新方案、基礎(chǔ)架構(gòu)和工具帶來了重大機遇。得益于更卓越的計算性能的涌現(xiàn)、開放標準的推出和廣泛可用的行業(yè)專長，制造業(yè)已經(jīng)準備好充分利用大數(shù)據(jù)。此外，在學(xué)術(shù)研究的推動下，技能嫻熟的數(shù)據(jù)科學(xué)家數(shù)量龐大，他們將能夠在使用大數(shù)據(jù)方面為制造業(yè)提供更出色的支持。

借助全新的制造智能特性，制造商能夠提高質(zhì)量，增加產(chǎn)量，更準確地了解制造問題的根本原因，以及減少機器故障和宕機情況。借助新的業(yè)務(wù)價值和技術(shù)能力，制造商將能夠改變業(yè)務(wù)模式和實踐，以優(yōu)化設(shè)計，實現(xiàn)出色的可制造性，從而改進供應(yīng)鏈管理，并采用定制的制造服務(wù)縮短專為各地消費者量身定制的產(chǎn)品的上市時間。

本文概述了英特爾一家制造工廠的物聯(lián)網(wǎng)（IoT）試點計劃，以說明將數(shù)據(jù)分析應(yīng)用于工廠設(shè)備和傳感器可如何提升制造流程的運營效率并節(jié)約生產(chǎn)成本。在實施這一物聯(lián)網(wǎng)大數(shù)據(jù)分析項目的過程中，英特爾與Cloudera、戴爾、三菱電機和Revolution Analytics進行了緊密的行業(yè)協(xié)作，預(yù)計每年將能夠節(jié)省數(shù)百萬美元，并帶來更高的投資回報。

大數(shù)據(jù)實質(zhì)上是包含各種數(shù)據(jù)類型的龐大數(shù)據(jù)集，可以分為結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化，如表1所示。結(jié)構(gòu)化數(shù)據(jù)適合放在格式整齊的表格中，因此相對容易管理和處理。結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢是便于輸入、存儲、查詢和分析。相關(guān)示例包括關(guān)系數(shù)據(jù)庫中存儲的制造數(shù)據(jù)，以及來自制造執(zhí)行系統(tǒng)和企業(yè)系統(tǒng)的數(shù)據(jù)。另一方面，非結(jié)構(gòu)化數(shù)據(jù)（例如圖片、文本、設(shè)備日志文件、人工操作員生成的值班報告和制造社交協(xié)作平臺文本等）可能為原始格式，需要經(jīng)過解碼才能提取數(shù)據(jù)值。半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種，其格式不符合關(guān)系數(shù)據(jù)庫或其他形式的數(shù)據(jù)表關(guān)聯(lián)的數(shù)據(jù)模型標準結(jié)構(gòu)，但包含用于分隔語義要素的標記或其他記號，并且數(shù)據(jù)中明確了記錄和字段層次結(jié)構(gòu)。在制造業(yè)，要想發(fā)揮大數(shù)據(jù)技術(shù)的強大作用，需要將這些數(shù)據(jù)集類型進行合并與關(guān)聯(lián)，從中發(fā)現(xiàn)新的洞見，從而創(chuàng)造出色的業(yè)務(wù)價值。大數(shù)據(jù)技術(shù)的另一個價值定位就是，支持制造商以經(jīng)濟高效、可擴展的方式聚合并集中各類數(shù)據(jù)。

表1 制造數(shù)據(jù)示例

制造流程存在各種變量，如材料、流程方案和方法以及設(shè)備差異，這就要求制造商采用基于可擴展平臺的大數(shù)據(jù)解決方案，這種平臺能夠隨著業(yè)務(wù)增長和制造要求的提高而擴展。機器數(shù)據(jù)與產(chǎn)量和質(zhì)量密切相關(guān)，因此能夠為主動檢測將要失去控制的流程提供重要信息。然而，一些類型的制造流程會產(chǎn)生大量數(shù)據(jù)文件（每個工具類型幾天就可產(chǎn)生GB級數(shù)據(jù)，如表2所示），限制了使用傳統(tǒng)方法從這些數(shù)據(jù)中分析、提取和存儲有用信息的能力。如果不使用大數(shù)據(jù)技術(shù)，直觀呈現(xiàn)來源廣泛的大型數(shù)據(jù)集中的信息都非常困難。

表2 數(shù)據(jù)大小示例

圖1 支持為從工廠車間到數(shù)據(jù)中心的整個過程提供制造智能的端到端基礎(chǔ)架構(gòu)構(gòu)建模塊

圖1所示為面向大小型數(shù)據(jù)集的高級物聯(lián)網(wǎng)制造架構(gòu)，這些數(shù)據(jù)集包含來源于制造車間和制造網(wǎng)絡(luò)、可供收集和聚合的各類數(shù)據(jù)。該架構(gòu)為通過數(shù)據(jù)可視化、監(jiān)控和挖掘創(chuàng)建新型商業(yè)智能提供了全新可能。

舉例來說，該架構(gòu)可以清理、提取和轉(zhuǎn)換來自現(xiàn)有數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)、來自工具傳感器的非結(jié)構(gòu)化數(shù)據(jù)以及來自傳統(tǒng)設(shè)備的日志文件，并將它們整合在一個數(shù)據(jù)存儲平臺（即Hadoop）中。然后，運行在內(nèi)部服務(wù)器（即數(shù)據(jù)存儲服務(wù)器）上不同虛擬機的高級工廠應(yīng)用可對數(shù)據(jù)進行可視化和分析?；蛘撸脩艨墒褂镁W(wǎng)絡(luò)上的其他分析或監(jiān)控應(yīng)用訪問這些數(shù)據(jù)。其他增強功能包括在Hadoop或其他類型文件系統(tǒng)中進行分析或在內(nèi)存中進行分析以提升性能。分析結(jié)果可通過網(wǎng)絡(luò)商業(yè)智能層中的直觀可視化功能展示給用戶。

英特爾制造部門試點計劃中的大數(shù)據(jù)分析物聯(lián)網(wǎng)服務(wù)器設(shè)置

圖2 大數(shù)據(jù)分析服務(wù)器

英特爾制造部門在其試點部署中使用的大數(shù)據(jù)分析服務(wù)器如圖2所示。戴爾的緊湊型系統(tǒng) PowerEdge*VRTX2被選作內(nèi)部服務(wù)器，以在私有云環(huán)境中托管大數(shù)據(jù)和分析軟件。該系統(tǒng)包含一個Dell PowerEdge VRTX機箱，配備25塊900GB硬盤和2臺Dell PowerEdgeM820刀片式服務(wù)器，每一臺服務(wù)器配備E5-4600產(chǎn)品家族中的4顆英特爾?至強?處理器。英特爾至強處理器E5-4600 產(chǎn)品家族提供了一款成本適宜的緊湊型四路處理器解決方案，最高支持8個內(nèi)核、20MB末級高速（L3）緩存和1. 5TB內(nèi)存容量，同時具備可快速轉(zhuǎn)移數(shù)據(jù)的信道。

兩臺M820 服務(wù)器可托管分析和應(yīng)用軟件，以及在多臺虛擬機中運行的 Hadoop節(jié)點。Red Hat Enterprise Linux* forVirtual Datacenters操作系統(tǒng)為針對可擴展、完全虛擬化數(shù)據(jù)中心而設(shè)計的服務(wù)器提供了一種全面的虛擬化軟件解決方案。

圖3 大數(shù)據(jù)分析服務(wù)器上軟件分配至虛擬機的情況

圖 3 顯示了軟件被如何分配至不同虛擬機（VM）。該節(jié)點托管著 5 臺虛擬機，分別運行著不同的分析和應(yīng)用工作負載。具體包括：

 ·來自Revolution Analytics的Revolution REnterprise* 是一款基于強大的開源R統(tǒng)計語言的分析軟件。該軟件可在分析解決方案和企業(yè)軟件之間提供無縫、安全的數(shù)據(jù)橋，可解決采用基于R的分析功能及現(xiàn)有IT基礎(chǔ)架構(gòu)的企業(yè)所面臨的關(guān)鍵集成問題。

· MonetDB*：一種面向列的開源數(shù)據(jù)庫管理系統(tǒng)，旨在幫助高效完成對大型數(shù)據(jù)庫進行的復(fù)雜查詢?nèi)蝿?wù)，如將表格與數(shù)百個列和數(shù)百萬行進行組合。MonetDB已使用在各種需要高性能的應(yīng)用中，如數(shù)據(jù)挖掘、在線分析處理（OLAP）、地理信息系統(tǒng)和流數(shù)據(jù)處理等。

·PostgreSQL*：一款強大的開源對象關(guān)系型數(shù)據(jù)庫系統(tǒng)，用于在線交易處理（OLTP）。

三菱電機MELSEC-Q系列* C語言控制器是一款基于英特爾?凌動?處理器的網(wǎng)關(guān)，用于聚合并安全攝入數(shù)據(jù)至大數(shù)據(jù)分析服務(wù)器。數(shù)據(jù)攝入指驗證、過濾和重新格式化數(shù)據(jù)，以便大數(shù)據(jù)分析軟件更輕松地對其進行分析。

三菱電機MELSEC-Q系列C語言控制器是具備眾多智能系統(tǒng)功能特點的嵌入式解決方案，包括處理從傳感器或通過網(wǎng)絡(luò)收集的大量數(shù)據(jù)所需的穩(wěn)定網(wǎng)絡(luò)連接和卓越計算性能，同時支持復(fù)雜的系統(tǒng)控制和操作。這一控制器的核心是采用英特爾? 架構(gòu)和 Wind River VxWorks* 實時操作系統(tǒng)的硬件平臺。

三菱電機開發(fā)了 MELSEC- Q系列C語言控制器，旨在滿足多種工廠自動化要求，具備卓越的可靠性，可適應(yīng)苛刻的環(huán)境， 且長期可用。這些特性助它成為一款堅 實可靠的產(chǎn)品，幾乎無需維護物聯(lián)網(wǎng)制造應(yīng)用。

MELSEC-Q 系列C語言控制器取代了傳統(tǒng)可編程控制器中使用的梯形邏輯，使用國際標準 C 語言（C和C++）提供了更靈活的編程能力。它能夠支持用戶充分利用現(xiàn)有的C語言軟件和開發(fā)資源。

CIMSNIPER* 是一款適用于三菱電機 MELSEC-Q 系列 C 語言控制器的數(shù)據(jù)獲取和處理軟件包。它能夠收集流程數(shù)據(jù)（包括 SECS 信息）和制造設(shè)備錯誤， 而無需修改現(xiàn)有系統(tǒng)。

縮短產(chǎn)品測試時間

英特爾? 制造的每一枚芯片都要經(jīng)過徹 底的質(zhì)量檢查，通過多種復(fù)雜的測試。

英特爾發(fā)現(xiàn)，利用制造過程中收集的歷史信息可以減少測試所需的產(chǎn)品數(shù)量，從而縮短測試時間。作為概念驗證實施的這款解決方案在 2012 年為英特爾? 酷睿? 系列處理器節(jié)約了 300 萬美元的測試成本。將這款解決方案擴展到更多產(chǎn)品后，英特爾 預(yù)計會節(jié)約3,000 萬美元的成本。

改善制造監(jiān)控

數(shù)據(jù)密集型流程也用于幫助英特爾在生產(chǎn)線上檢測故障，這是一個高度自動化的環(huán)境。英特爾從整個工廠網(wǎng)絡(luò)的制造工具和測試工具中提取日志文件，每小時多達 5 TB。通過捕獲和分析這些信息，英特爾能夠確定在制造流程中的哪個步驟開始偏離常規(guī)容差。

針對此處討論的當前端到端平臺試點部署，英特爾與三菱電機、Cloudera、Revolution Analytics 和戴爾進行了緊密合作，成功開發(fā)了許多卓越功能，在使用數(shù)據(jù)挖掘科學(xué)解決實際制造問題方面取得了巨大進展，并通過成本節(jié)省和決策改進為英特爾節(jié)約了數(shù)百萬美元。該項目的主要目標是發(fā)掘數(shù)據(jù)和數(shù)據(jù)分析的價值，通過預(yù)測制造獲得更深刻的洞察力，并降低制造成本，同時不影響生產(chǎn)量或質(zhì)量。

下面詳述了英特爾通過集成面向制造物聯(lián)網(wǎng)的大數(shù)據(jù)分析和技術(shù)獲得了一些突破性成就和發(fā)現(xiàn)。

試點計劃成效：

圖4 高級數(shù)據(jù)流

圖4顯示了上述使用案例中的數(shù)據(jù)如何 傳輸。

基于英特爾凌動處理器的網(wǎng)關(guān)將實時獲取的機器數(shù)據(jù)和傳感器數(shù)據(jù)發(fā)送至大數(shù)據(jù)分析服務(wù)器（BDAS）。例如，焊球焊接模塊的機器數(shù)據(jù)通過機器界面端口收集，來自模擬傳感器的機器數(shù)據(jù)以數(shù)秒數(shù) MB 的速度進行流傳輸。

· 收集到的所有工廠數(shù)據(jù)都存儲在 Hadoop* 中。以下不完全列表顯示了使用 Hadoop 的現(xiàn)有功能可實現(xiàn)的可能性： 

- HTTP：大數(shù)據(jù)分析服務(wù)器展示一個支持對 HDFS 進行操作的經(jīng)驗證的 REST HTTP 端點。

- Apache Sqoop* 提供了連接工具， 用于將非 Hadoop 數(shù)據(jù)存儲（如關(guān)系數(shù)據(jù)庫和數(shù)據(jù)倉庫）中的數(shù)據(jù)遷移至 Hadoop。

- Flume* 能夠接收持續(xù)的日志數(shù)據(jù)。

·本部分上述使用案例中的特定數(shù)據(jù)格式為逗號分隔值（CSV） 文件或原始圖像。盡管 Hadoop 生態(tài)系統(tǒng)包含多種數(shù)據(jù)攝入途徑（如上所述），但一些工廠機器的網(wǎng)絡(luò)傳輸能力有限，要求通過定制工程向 HDFS 提交數(shù)據(jù)： 

- FTP：物聯(lián)網(wǎng)網(wǎng)關(guān)擁有一個 FTP客戶端，定期連接到大數(shù)據(jù)分析服務(wù)器，并將最新獲取的數(shù)據(jù)直接傳輸?shù)?HDFS。也可以根據(jù)實時數(shù)據(jù)流和分析要求使用 MQTT 和 REST 等其他數(shù)據(jù)流協(xié)議。

- CIFS 共享（Windows 共享）：大數(shù)據(jù)分析服務(wù)器提供了一種 Windows/CIFS 共享目錄，網(wǎng)關(guān) 可將文件復(fù)制到該目錄中。

·CSV 文件被使用 Pig 直接導(dǎo)入HBase*，而原始圖像會先使用計算機視覺技術(shù)和 map-reduce 任務(wù)進行預(yù)處理，生成圖像的文本數(shù)據(jù)表示。 

·根據(jù)操作要求，數(shù)據(jù)將在三個數(shù)據(jù) 庫中的一個進行存儲：NoSQL （Hadoop）、RDMS/SQL或 Coli/ OLAP。

·數(shù)據(jù)庫可使用各種工具訪問和處理， 包括 AquaFold、專門報告、工作流調(diào)度、ETL 和數(shù)據(jù)庫集成。同時， Cloudera Distribution for Hadoop 可對數(shù)據(jù)實施各種操作。

·處理過的數(shù)據(jù)使用專為工廠應(yīng)用設(shè)計的Revolution Analytics 工具進行進一步分析。

·這些數(shù)據(jù)在易于理解的儀表盤中向用戶展示。

使用了大數(shù)據(jù)分析服務(wù)器和物聯(lián)網(wǎng)網(wǎng)關(guān)上各種軟件構(gòu)建模塊的集成套件。尚未開始利用制造數(shù)據(jù)中包含的智能優(yōu)勢的制造商，可以應(yīng)用并實施此框架。已經(jīng)使用數(shù)據(jù)提升效率的制造商可以進一步增強現(xiàn)有能力，以提高數(shù)據(jù)挖掘和分析能力。

對于英特爾而言，此試點計劃預(yù)計每年可節(jié)約數(shù)百萬美元，并能夠帶來更高的投資回報。優(yōu)勢包括延長設(shè)備組件正常運行時間、最小化良品和次品錯誤分類（從而提高產(chǎn)能和生產(chǎn)力），支持預(yù)測維護，同時減少組件故障。英特爾的制造環(huán)境和設(shè)備中還有多種其他類型的參數(shù)、度量法、產(chǎn)品和設(shè)備數(shù)據(jù)（結(jié)構(gòu)化和非結(jié)構(gòu)化），可以通過挖掘和分析這些數(shù)據(jù)獲取新的業(yè)務(wù)價值。通過利用這一機會,英特爾將能夠進一步提高工廠的效率和生產(chǎn)力，建立出色競爭優(yōu)勢。