一、特點(diǎn)直接映射 原來(lái)是數據什么就是什么，原封不動(dòng)照搬過(guò)來(lái)，遷移對這樣的平臺規則，如果數據源字段和目標字段長(cháng)度或精度不符，特點(diǎn)需要特別注意看是數據否真的可以直接映射還是需要做一些簡(jiǎn)單運算。 二、遷移字段運算 數據源的平臺一個(gè)或多個(gè)字段進(jìn)行數學(xué)運算得到的目標字段，這種規則一般對數值型字段而言。 三、參照轉換 在轉換中通常要用數據源的一個(gè)或多個(gè)字段作為Key，去一個(gè)關(guān)聯(lián)數組中去搜索特定值，而且應該只能得到唯一值。這個(gè)關(guān)聯(lián)數組使用Hash算法實(shí)現是比較合適也是最常見(jiàn)的，在整個(gè)ETL開(kāi)始之前，它就裝入內存，對性能提高的??幫助非常大??。 四、字符串處理 從(cong)數據源某個(gè)字符串字段中經(jīng)?？梢垣@取特定信息，例如身份證號。而且，經(jīng)??常會(huì )有數值型值以字符串形式體現。對字符串的操作通常有類(lèi)型轉換、字符串截取等。但是由于字符類(lèi)型字段的隨意性也造成了臟數據的隱患，所以在處理這種規則的時(shí)候，一定要加上異??常??處理。 五、空值判斷 對于空值的處理是數據倉庫中一個(gè)??常見(jiàn)問(wèn)題，是將它作為臟數據還是作為特定一種維成員？這恐怕還要看應用的情況，也是需要進(jìn)一步探求的。但是無(wú)論怎樣，對于可能有NULL值的字段，不要采(⊙_⊙)用“直接映射”的規??則類(lèi)型，ヽ(′▽?zhuān)?ノ必須對空值進(jìn)行判斷，我們的建議是將它轉換成特定的值。 六、日期轉換 在數據倉庫中日期值一般都會(huì )有特?????定的，不同于日期類(lèi)型值的表示方法，例如使用8位整型20040801表示日期。而在數據源中，這種字段基本都是日期類(lèi)型(xing)的，所以對于這樣的規則，需要一些共通函數來(lái)處理將日期轉換為8位日期值、6位月份值等。 七、日期運算 基于日期，我們通常會(huì )計算日差、月差、時(shí)長(cháng)等。一般數據庫提供的日期運算函數都是基于日期型的，而在數據倉庫中采用特定類(lèi)型來(lái)表示日期的話(huà)，必須有一套自己的日期運(╯°□°）╯︵ ┻━┻算函數集。 八、聚集運算(suan) 對于事實(shí)??表中的度量字段，他們通常是通過(guò)數據源一個(gè)或多個(gè)字段運用聚集函數得來(lái)的，這些聚集函ヾ(?■_■)ノ數為SQL標準中，包括sum,count,avg,min,max。 九(jiu)、既定取值 這種規則和以上各種類(lèi)型規則的差別就在于它不依賴(lài)于數據源字段，對目標字段取一個(gè)固定的或是依賴(lài)系統的值。 通俗地講，數據遷移 是一種可以把大量不經(jīng)常訪(fǎng)問(wèn)的數據存放在帶庫、盤(pán)庫等離線(xiàn)介質(zhì)??上，只在??盤(pán)陣上保存少量訪(fǎng)問(wèn)頻率高的數據的技術(shù)。當那些磁帶等介質(zhì)上數據被訪(fǎng)問(wèn)時(shí)，系統自動(dòng) 的把這些數據回遷到盤(pán)陣中；同樣，盤(pán)陣中很久未訪(fǎng)問(wèn)的數據被自動(dòng)遷移??到磁帶介質(zhì)上，從而大大降低投入和管理成本。小伙伴們要想獲得更多數據遷移平臺的內容，請關(guān)注新網(wǎng)。
