數據密集型計算的遙感圖像預處理方法①

周 兵, 劉曉楠,, 臧文乾, 陳 恒,(河南大學 計算機與信息工程學院, 開封 47500)(中國科學院遙感與數字地球研究所, 北京 000)

數據密集型計算的遙感圖像預處理方法①

周 兵1, 劉曉楠1,2, 臧文乾2, 陳 恒1,21(河南大學 計算機與信息工程學院, 開封 475001)2(中國科學院遙感與數字地球研究所, 北京 100101)

針對大數據時代, 數據密集型計算已經成為國內外的一個研究熱點. 遙感數據具有多源化、海量化特點,是名副其實的大數據. 研究適用于遙感影像自動化、業務化處理的數據密集型計算方法, 是目前遙感應用技術面臨的挑戰所面臨的挑戰, 本文提出了一種基于數據密集型計算的遙感圖像處理方法. 在文中, 首先圍繞遙感數據自動化、業務化預處理等問題, 深入調查和分析了國內外研究現狀, 進而介紹了系統體系結構, 通過工作流靈活組織多種算法模型協同工作, 設計以“5并行1加速”的計算體系解決數據密集型的遙感圖像預處理, 并通過產品生產實例對其性能進行測試. 結果表明, 該系統在保證處理精度的前提下, 大大提高了遙感大數據預處理的效率.

遙感數據; 遙感預處理; 數據密集型計算; 并行計算; 5并行1加速; 工作流

隨著航空與遙感技術的不斷發展, 遙感數據正在以太比特級(TB)速度增長, 數據的處理環節速度卻普遍緩慢, 現有的人工作業方式的時效性已經不能滿足日常科研和生產活動的要求[1]. 由于遙感衛星上的傳感器種類眾多, 各類型數據處理的算法不同, 進行大尺度范圍、長時間序列的數據密集型計算[2]特性日漸凸顯, 因此通過獨立于數據處理的流程來組合算法減少系統復雜度成為了當下研究的熱點問題.

商用軟件存在操作方法各異、參數設置復雜等問題,而且涉及幾何處理上欠缺自動化批量處理的模式[3]. 針對這些問題遙感數據處理需要設計出一個可靠的半自動生產模型并在保證精確度的同時提高處理的效率.國內外一些學者對于這些問題也做了一定研究, 如文獻[4]提出一種帶幾何約束的大幅面自動快速配準方法來提升影像處理速度. 針對海量數據的遙感圖像處理,除了提高處理效率還需要可靠、魯棒的自動化生產.文獻[5]和文獻[6]運用主副版本機制有效的提高了調度算法的可靠性. 文獻[7]通過工作流實現遙感數據和處理算法的統一控制和管理, 以達到簡化系統復雜度的目的. 通過工作流和有效的調度算法可以極大的提高構件的可復用性, 更好的實現數據流的自動控制.文獻[8]和文獻[9]通過GPU-CPU協同模式為算法的性能提高和遙感影像處理系統構建提供了高效的解決方案, 充分發揮單機環境下不同硬件資源的計算優勢.文獻[10]通過最大值似然分類算法驗證基于云計算可以實現遙感圖像的快速處理. 文獻[11]將數據、功能、任務并行融合到遙感生產中, 形成三級并行的設計方案有效的提高業務化處理的效率.

結合目前的研究現狀, 本文設計的遙感預處理系統根據定量化應用需求, 利用0-2級產品進行幾何和光譜精化校正獲得基礎標準信息產品. 針對遙感影像數據量大、涵蓋信息多、處理模型復雜、處理時間長等問題, 采用靈活的工作流模式組織幾何糾正、云檢測、大氣糾正、融合、數據標準化等多種算法模型形成全鏈路處理系統, 并實現結構簡單具備通用性、可擴展性的處理架構, 結合多種并行方式來縮短遙感影像處理的生產時間, 實現遙感數據的業務化生產.

1 系統的體系結構

本系統針對遙感產品的生產需求和遙感數據量大、數據類型復雜的特點, 結合多種并行方式縮短遙感數據的生產時間, 利用生產節點、分布式數據庫構成高速計算環境, 通過資源的合理配置有效的組織多種模型協同工作, 系統體系結構如圖1所示.

(1) 人機交互層的主要作用是由任務訂單推送得到要處理的原始數據; 然后針對不同類型的數據調用不同的算法進行處理, 按照訂單需求定制合理的工作流進行數據生產; 最后將結果和分析以可視化的方式呈現并提供質量檢測查看數據精度.

(2) 通訊層主要包括各生產節點之間的數據和消息傳輸, 服務于自動配準的瓦片獲取和將處理好的產品數據入庫.

(3) 基礎算法層集成了大量的算法模型, 解決不同遙感數據在具體問題上的分析計算, 通過工作流實現算法模型的統一管理和調用觸發.

圖1 系統總體框圖

2 系統架構設計

系統的工作核心是生產多源定量遙感產品, 通過任務推送和本地文件獲得要處理的數據集, 以工作流形式組織管理多種算法模型, 支持協同處理過程中的順序、異步和并行等多種業務流程與批處理等工作模式, 通過XML記錄算法模型、業務流程和數據等信息并對生產過程進行監控.

2.1 算法模型的組織管理

遙感觀測數據通過遙感算法模型與地表目標參數聯系起來, 遙感數據的生產過程是一系列包含大量計算的復雜過程, 將這個復雜過程分解為多個環節處理, 每個處理環節對應于具體的遙感算法模型, 將這些算法模型集成起來協同完成整個處理來解決定量遙感生產問題.

由于模塊眾多、參數復雜等問題, 為了處理不同的任務往往需要對算法進行靈活組合, 進而形成自適應的工作流程. 將業務過程按照預先設定的規則借助應用程序和操作人員對相關數據的處理形成的工作流模式, 正適應于這種多模塊多種參數調節的批量數據業務化生產. 將算法統一編譯為基于命令行的無GUI信息的控制臺程序, 系統通過插件模式, 動態組織、加載現有的算法模型, 并將輸入輸出參數以及運行所依賴的庫文件等信息以XML文件的形式保存起來, 以便進行參數校驗和異常處理. 將算法模型按照一定的邏輯功能順序有機的組合成階段性任務, 根據需求設置配置文件定制相應的業務生產流程, 執行時解析模型屬性類實現模型和數據交換. 如圖2所示, 以工作流[12]模式來組合算法模型能更好的解決業務化中模塊多、算法重復使用、開發和維護成本高等問題, 實現將業務邏輯和實際應用分離, 更好的適應遙感數據處理的快速變化.

圖2 工作流組織管理算法模型

2.2 工作流程

由于遙感圖像成圖時受傳感器、地球旋轉、大氣等因素影響, 圖像與其對應地物的實際信息會產生一定的偏差. 為了糾正這些偏差本系統以模型庫和任務流方式, 集成了圖像配準、幾何糾正、大氣糾正、融合、云檢測、信息統計、數據標準化和快視圖等多種處理模型應用于遙感大數據密集型預處理計算工作流程如圖3所示. 圖像配準主要根據底圖與配準影像的特征地物來保證圖像位置的正確性, 通過原始影像經緯度范圍按照圖像分辨率經過公式轉換成對應的層級和行列號范圍, 通過Web Service服務從數據庫中檢索瓦片并下載到本地, 將獲取的瓦片數據拼接為區域一致的基準影像經過HARRIS或SIFT算法自動提取控制點. 訪問數據庫獲取基準圖像動態提取控制點的方法省去了人工采集的繁瑣; 基準圖像存儲在分布式的數據庫中節省本地存儲空間提高系統可移植性; 基準影像的數據類型可按照生產需要進行調整進一步提高配準精度.

經緯度轉換行列號公式為:

其中某個點的經緯度坐標為(Long, Lat), Z為影像層級x瓦片分割間隔度數的倒數, floor為下取整函數.

幾何糾正模塊主要通過有理函數模型或多項式模型來消除影像中的幾何誤差. 有理函數模型根據原始影像的RPC參數, 通過最小二階乘法求解RPC參數結合嶺估計[13]實現函數模型糾正. 多項式模型不考慮成像空間幾何過程, 直接對影像變形本身進行數學模擬,計算中的待定系數由控制點坐標確定. 根據幾何糾正模型中不同模塊的數據依賴關系, 在模型調用前根據生產要求結合文件檢測自動匹配合適的糾正模型進行處理. 融合模塊利用全色的高分辨率和多光譜的波普信息進行融合獲得比單一數據更豐富的信息. 目前僅對高分一號2m全色和8m多光譜以及高分二號1m全色和4m多光譜進行融合, 其它數據類型則不做融合處理. 針對這種情況采用條件觸發方式調用, 根據衛星和傳感器判斷數據類型, 對滿足條件的數據檢索模型參數是否存在即幾何糾正后的多光譜及全色數據,參數檢測正常則進行融合處理.

標準化模塊將糾正后的數據按照五層十五級標準[14]進行切分, 切分后的數據可以快速聚合實現了靈活的管理調度服務于并行計算. 工作流在執行過程中進行過程控制, 通過Log類監控每個任務標記其屬性并輸出日志文件記錄主任務時間和算法模型執行時間以及錯誤信息, 通過時間和異常信息判斷模型的調用情況.根據模型間的邏輯關系建立的工作流既能滿足算法模型的靈活組織管理, 又能服務于業務化生產減少人工操作更好的應用于數據密集型計算.

3 “5并行1加速”計算體系

遙感數據呈現出的多時相、多光譜、多分辨率和多傳感器等現狀形成了數據量大且類型各異的特點.遙感數據的處理是一個復雜的過程涉及處理器硬件、磁盤存儲、算法模塊、網絡通信等一系列因素. 處理環節中除了將算法模型進行合理的組織管理, 還需要提高數據的處理效率. 在業務化的處理時根據數據量將數據按生產訂單進行劃分, 分布到多機環境下進行同步處理縮短生產時間. 在生產節點按時間和優先級結合的方式處理任務上結合算法模型間的邏輯關系并行處理數據提高CPU利用率. 針對一景遙感影像數據量很大無法全部讀入計算機內存的現象, 通過對數據分區分塊, 利用GPU在圖形圖像上的處理優勢在算法中進行加速. 待一景遙感數據分為較小圖像后可以通過多線程將不同數據塊同時處理. 形成結合多機并行、任務并行、數據并行、算法并行、多線程并行和GPU加速的“5并行1加速”的計算體系, 結構體系如圖3所示.

圖3 系統工作流程圖

圖4 “5并行1加速”結構體系圖

3.1 多機并行

多機并行是一組計算機通過網絡連接部署相同的處理環境使其能協作完成計算工作. 每臺參與計算的計算機都是一個生產節點, 負責一部分任務的執行處理. 在接收到產品生產訂單后分給調度服務器進行任務分配, 多機環境下要充分考慮節點的負載通過任務分配進行調度, 節點的生產能力主要取決于當前的可用內存、CPU利用率、磁盤讀寫速度、網絡帶寬, 綜合這四方面性能指標通過公式分析節點生產能力值Pi,對Pi值高的節點優先分配任務, 實現滿足節點負載均衡的多機計算環境.

其中Mi、Ci、Di、Ni表示第i個節點的可用內存、CPU利用率、磁盤讀寫速度及網絡帶寬, Mmax、Cmax、Dmax、Nmax分別對應四個方面上的最大值, W1、W2、W3、W4為四個指標的權重系數, 且W1+W2+ W3+W4=1, 根據節點即要滿足數據傳輸又要處理密集型計算, 這里設置w值均為0.25.

在任務分配服務器上存有生產訂單Dready、等待訂單Dwait用于分配任務, 空閑隊列Nspare和忙碌Nbusy隊列用于調度節點. 任務訂單信息D(D1,D2,…,Di)其中Di為訂單編號, 節點隊列信息N (Node1, Node2,…,Nodei),其中 Nodei(Mi,Ci,Di,Ni,Pi,Numi) 存儲節點的基本信息信息, 其中Numi為節點i的當前任務數.

對節點進行任務分配方法如下:

(1) 任務調度解析訂單信息, 對任務編號形成子任務并放入Dwait.

(2) 判斷Nspare是否為空, 不為空則根據節點Pi值對節點空閑隊列排序, 對Pi值相等的節點按Numi值排序, 從Dwait中移出子任務加入Dready并分配生產節點,同時把生產節點從Nspare中移出存入Nbusy; Nspare為空則繼續等待.

(3) 收到子任務生產完成消息時, 將子任務從Dready中移除, 并將生產節點從Nbusy中刪除, 加入Nspare.

(4) 判斷Dwait是否為空, 不為空執行(2), 為空則執行(5).

(5) 判斷Dready是否為空, 不為空則任務沒有執行完等待, 等待直到有子任務生產完成即第3步; 為空則任務生產結束執行結束.

3.2 任務并行

在完成任務分配后任務訂單被分配到生產節點上,分解產品訂單生成任務, 由于遙感數據處理時間長、耦合高將任務根據類別分為普通任務隊列Tcom(T1,T2,…Ti)和應急任務隊列Temer(T1,T2,…Ti)Ti為任務編號, 任務隊列基于FIFO先來先服務策略按任務到達時間順序執行, 在每個任務執行前會先判斷Temer是否為空, 是則繼續Tcom隊列按順序生產, 否則結合基于優先級的調度算法, 暫停Tcom隊列出隊生產Temer中數據直到結束后繼續Tcom. 將任務按照優先級和時間戳屬性進行劃分通過任務隊列的協同處理模式提高生產效率.

3.3 數據并行

數據并行分為數據傳輸上的并行和數據計算上的并行. 數據傳輸上的并行主要通過將數據分發到多個生產節點進行同時生產, 數據計算上的并行主要在單機環境下對工作流引擎執行過程中產生的中間數據集進行并行計算, 這些數據一般會繼續被后續子任務使用, 數據放置在相關度[15]最大的數據中心減少不必要的傳輸開銷. 相對像素級的并行處理來說, 其數據之間相關性較小, 不同的數據塊可能需要執行相同的操作. 通過線程各自讀取分配的影像, 每個數據獨立完成其計算任務. 例如在一景影像分波段后得到紅綠藍波段和紅外波段, 通過數據標準化算法分別開設線程對四個波段的圖像同時執行切片操作得到瓦片數據.融合后的切片數據量多達上百個, 在大量瓦片數據生成快視圖時按順序操作處理時間長, 需要對不同行列號下的數據同時生產提高效率.

3.4 算法并行

算法并行在工作流中結合算法參數信息, 調用多個算法模型同時處理. 下一級算法之間共享數據的讀取, 不同算法輸出不同的結果防止寫入沖突, 處理完成后的結果由上級算法使用. 遙感產品生產的依賴關系不容易形成回路依賴, 通過有向無環圖的算法描述結構分析算法之間的依賴關系進一步并行提高效率.如圖5所示云檢測、天頂角方位角(AZ)、和融合主要依賴于幾何糾正后的數據, 在幾何糾正完成后通過共享數據讀取的方式并行啟動上一級算法. 由于遙感數據存在部分需要做融合處理, 所以將分波段算法放入更高級等待當前算法均完成處理后啟動. 生成快視圖需要Alpha通道和分波段后的影像數據做波段組合,位于同一并行級別的生成Alpha通道算法和分波段算法則可并行生產獲得快視圖產品.

圖5 算法依賴關系描述圖

3.5 多線程并行

大數據量的遙感數據由于一次只能讀取一部分數據造成磁盤訪問頻繁, 等待過程未充分利用CPU資源.系統對整景影像在單個計算節點上通過OpenMP進行多線程加速, 在切片處理后形成數據個數多而數據量小的瓦片數據, 通過Parallel類中的方法生成并行工作計劃處理數據集中數據. 根據IOCP原理線程開設應為CPU數量的2倍, 然而處理中有大量讀寫硬盤文件的操作造成線程等待, 這里使用動態創建線程法, 保留一個等待線程數量的屬性作為線程喚醒時的判斷,并設置其值為最大線程數量, 以此提高CPU的利用率進而提高生產效率. 主要流程為: 讀取圖像寬高或個數等圖像信息; 動態創建線程完成數據處理修改等待線程數量的值防止創建過多; 查詢線程狀態標識已處理完則釋放結束操作, 否則繼續等待.

3.6 GPU加速

GPU的全稱是圖形處理器, 適用于具有相似處理過程的大數據的并行計算. 在遙感影像數據的計算上, GPU的性能是基于CPU的并行計算方式的數十倍甚至上百倍. 這主要是由于CPU所要處理的任務種類類型繁多, 其不僅要負責內存管理還要負責任務調度等一系列非計算類任務, 通過OpenMP等多線程機制實現的是一種軟件粗粒度的多線程, 有線程上下文的切換的時間開銷. 而GPU則是專門為數據的并行計算而設計的, 其內部沒有CPU那樣復雜的控制單元和寄存器, 取而代之的是大量的計算核心, 并且基于硬件管理的輕量級線程在計算密度較高可以隱藏其延遲從而實現零開銷的線程切換. 這些差異使GPU在執行數據密集型計算時性能遠超過同期CPU. 系統中用于控制點提取的SIFT算法, 用于圖像融合的atrous小波、HIS等多種算法都是通過CUDA的GPU計算框架實現的.

由于遙感影像的數據量較大, GPU的可用顯存有可能不足以加載整景的遙感數據, 所以需要對遙感數據進行分片. 但是顯存的讀取操作是經過PCI Express接口傳輸的, 顯存與內存之間的傳輸效率很低, 因此分片不能過小, 過小的話會導致頻繁的數據交互從而嚴重的降低運算效率. 分片的過程主要是根據GPU當前的可用顯存結合遙感影像的寬度將原始影像劃分為n個條帶狀的影像塊, 該步驟的計算量小并且需要持久化分塊信息因此需要在CPU上運行.當計算出影像塊的行列號范圍后, 在CPU的調度下影像塊被依次傳輸至GPU中進行計算. 傳輸完成后CPU會通知GPU調用相應的內核函數對顯存中的數據進行并行計算. 內核函數會調用GPU中的多個處理單元, 每個處理單元可以看作一個計算線程. 每個線程負責一部分數據的計算, 由于各個數據之間沒有依賴關系因此各個線程可以在不受其他線程影響的情況下對數據進行計算. 在線程的運算完成時, 運算結果會被暫存在顯存中, 當所有的線程都完成計算的時候喚醒CPU, 然后在CPU的調度下將計算結果從顯存重新傳輸到內存中.

4 系統性能分析

為了驗證預處理系統在保證處理精度的同時能有效的縮短生產時間, 本文通過對不同類型的高分數據進行實驗, 從并行后的算法執行時間、多景影像處理時間和模型精度三個方面說明. 實驗中用到的CPU型號為Intel Core i7 4核處理器, 顯卡型號為NVIDIA Tesla C2050.

表1為算法模型的執行時間表, 表中的數據是通過對GF數據不同類型的5景數據多次測試取平均值得到的. 實驗中用到的全色數據均指融合后的圖像,通過表中數據可以看出數據標準化和快視圖生成這兩個算法模塊通過多線程加速能夠有效的縮短生產時間,大幅提升處理效率.

表1 各算法執行時間比較

PCI GXL是用于衛星影像數據自動化生產的地理影像集成軟件系統, 具有強大的海量數據批量生產能力, 采用靈活的模塊組合實現自動化生產, 相較于其他遙感影像處理系統有其獨特的優勢. 本文選取北京地區的50景高分數據進行數據處理實驗, 通過對比在本系統上和PCI GXL系統上的數據處理耗時來驗證系統能在一定程度上縮短影像生產時間. 表2是每景影像在各個模塊上的平均處理時間. 從表中可以看出,本系統在幾何糾正和圖像融合上花費的時間遠小于PCI GXL系統, 配準時間稍長的原因在于需要從數據庫中檢索瓦片下載到本地然后再拼接為基準影像, 這一步驟要花費一定時間. 經過與商業軟件的對比得出:利用“5并行1加速”的計算體系對高分數據的生產效率有了很大的提高.

表2 影像處理時間表

圖6 GF1數據瓦片卷簾對比圖

圖7 GF2數據瓦片卷簾對比圖

通過不同時間拍攝的影像數據在同一層級行列號下瓦片數據地理位置基本一致驗證模型精度. 如圖6為高分一號8米瓦片數據, 標注為1的是20151012日數據, 標注為2的是20160324日數據; 圖7為高分二號4米瓦片數據, 標注為1的是20150217日數據, 標注為2的是20150912日數據. 由圖中可以看出系統能在一定范圍內保證模型精度.

5 結語

在遙感數據處理中, 如何快速準確的解決影像處理任務、找到適應于影像業務化處理的數據密集型計算方法是現階段的研究方向. 本文設計的預處理系統通過組織多種遙感算法模型形成工作流來完成遙感數據的業務化處理, 借助不同的并行方式提升計算能力、縮短生產時間形成“5并行1加速”的計算體系. 通過實際驗證在高分數據的生產上能夠保證處理精度的同時大幅度提升生產效率.

1 何國金,王力哲,馬艷,等.對地觀測大數據處理:挑戰與思考.科學通報,2015,60(5-6):470–478.

2 Ma Y, Wang L, Liu P, et al. Towards building a data-intensive index for big data computing–A case study of remote sensing data processing. Information Science, 2014, 319: 171–188.

3 Tang P, Zhang HW, Zhao YC, et al. Practice and thoughts of the automatic processing of multispectral images with 30 m spatial resolution on the global scale. Journal of Remote Sensing, 2014, 18(2): 1007–4619.

4 張謙,賈永紅,吳曉良,等.一種帶幾何約束的大幅面遙感影像自動快速配準方法.武漢大學學報:信息科學版,2014. 39(1):17–21.

5 Zhang J, Sha HM, Zhuge Q, et al. Efficient fault-tolerant scheduling on multiprocessor systems via replication and deallocation. International Journal of Embedded Systems, 2014, 6(2/3): 216–224.

6 景維程.海量遙感數據的高可靠并行處理方法.測繪工程, 2015,(6):14–17.

7 Peter F, Matthew B, Mark B, et al. Web-based processing of remote sensing data in a workflows environment. ISRSE2011: The GEOSS Era: Towards Operational Environmental Monitoring, Sydney Convention&Exhibition Centre. 2011.

8 Tang M, Zhao JY, Tong RF, et al. GPU accelerated convex hull computation. Computers & Graphics, 2012, 36(5): 498–506.

9 盧敏,王金茵,盧剛,等.CPU/GPU異構混合并行的柵格數據空間分析研究--以地形因子計算為例.計算機工程與應用, 2015.

10 Wang P, Wang J, Chen Y, et al. Rapid processing of remote sensing images based on cloud computing. Future Generation Computer Systems, 2013, 29(8): 1963–1968.

11 張樹凡,余濤,李家國,等.基于三級并行的遙感業務化處理系統研究.計算機工程與設計,2012,10(33):3828–3832.

12 孫小涓,雷斌,程兆運,等.遙感數據處理運行控制中的工作流應用.計算機工程,2012,38(4):28–30.

13 張過.缺少控制點的高分辨率衛星遙感影像的幾何糾正[博士學位論文].武漢:武漢大學,2005.

14 王棟,鄭逢斌,賴積保，等.基于五層十五級遙感數據結構的并行算法研究.微計算機信息,2012,28(1):116–167.

15 劉少偉,孔令梅,任開軍,等.云環境下優化科學工作流執行性能的兩階段數據放置與任務調度策略.計算機學報, 2011,34(11):2121–2130.

Remote Sensing Image Preprocessing Method Based on the Data Intensive Computing

ZHOU Bing1, LIU Xiao-Nan1,2, ZANG Wen-Qian2, CHEN Heng1,21(School of Computer and Information Engineering, Henan University, Kaifeng 475001, China)2(Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China)

In the era of big data, the research on data-intensive computing is becoming more and more popular both at home and abroad. As a typical branch of big data, remote sensing data is characterized both by the variety of the data sources and the huge data quantity. One of the biggest challenges facing the remote sensing application is how to find out a data-intensive computing method which aims at the automation of the business processions of remote sensing images. In this paper, a new data-intensive computing method for the procession of remote sensing images is proposed. After a deeply study focusing on the automation of the business processions of remote sensing data, a new systematic architecture using workflow is introduced which can coordinate the work among different algorithm models. In addition, in the pre-processing of the remote sensing images, a new computing architecture with five different types of parallelism and a stage of acceleration is also adopted. The computing method proposed in this paper has been tested in many products in real production environment in order to testify its effectiveness. The results show a significant improvement on the efficiency of the pre-processing of remote sensing data in the condition of ensuring the processing precision.

remote sensing data; remote sensing data preprocessing; data intensive computing; parallel computing; five parallelism and one acceleration; workflow

高分重大專項(Y4D00100GF);高分重大專項(Y4D0100038);中科院戰略先導專項課題(Y1Y02230XD)

2016-07-21;收到修改稿時間:2016-09-02

10.15888/j.cnki.csa.005699