最全Facebook圖片存儲架構(gòu)技術(shù)

申請免費試用、咨詢電話：400-8352-114

舊的相片根底架構(gòu)包括幾個條理：

◆上傳層接納用戶上傳的相片，測量原始圖像的巨細(xì)并將其保管到NFS存儲層。

◆相片效勞層接納HTTP相片懇求，并向用戶供應(yīng)保管于NFS存儲層的相片。

◆NFS存儲層樹立于貿(mào)易存儲設(shè)備之上。

因為每個圖像存儲在本人的文件內(nèi)，所以依據(jù)定名空間目次和文件inode（內(nèi)節(jié)點），在存儲層發(fā)生了很多的元數(shù)據(jù)。這些元數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超越了NFS存儲層的緩存才能，招致了上傳和讀取每張相片時成倍的I/O操作。整個相片效勞的根底架構(gòu)因為NFS存儲層的很多元數(shù)據(jù)負(fù)荷而成為了一個瓶頸，這就是Facebook嚴(yán)峻依靠CDNs來供應(yīng)相片效勞的緣由之一。以下兩個附加的優(yōu)化擺設(shè)，用來在必然水平上減輕這個問題：

Cachr ：一個緩存效勞層，用來緩存Facebook中較小的“小我材料”圖像。

NFS文件句柄緩存——擺設(shè)在相片效勞層，消弭了一些NFS存儲級元數(shù)據(jù)負(fù)荷

Haystack相片根底架構(gòu)

新的相片根底架構(gòu)將相片效勞層和存儲層兼并為一個物理層。它完成了一個基于HTTP的相片效勞器，把相片存儲在名為Haystack的通用對象中。關(guān)于新條理的首要要求是消弭任何相片讀取操作的不用要的元數(shù)據(jù)開支，使每個讀取I/O操作只是讀取實踐相片數(shù)據(jù)（而不是文件系統(tǒng)元數(shù)據(jù)）。Haystack可劃分為以下一些功用層-

◆HTTP效勞器

◆相片存儲

◆Haystack對象存儲

◆文件系統(tǒng)

◆存儲設(shè)備

以下各節(jié)中，我們會自底向上親密存眷每一個功用層。

存儲設(shè)備

Haystack擺設(shè)于日常存儲片之上。一個2U存儲片的典型硬件裝備的是-

◆2 x 4核CPUs

◆16GB – 32GB內(nèi)存

◆具有256MB – 512MB NVRAM緩存的硬件RAID節(jié)制器

◆12+ 1TB SATA驅(qū)動器

每個存儲片供應(yīng)大約10TB的可用空間，裝備為一個RAID-6分區(qū)，由硬件RAID節(jié)制器進(jìn)行治理。RAID 6供應(yīng)了足夠的冗余性和超卓的讀取功能，可以降低存儲本錢。RAID節(jié)制器NVRAM回寫高速緩存可以局部緩解低質(zhì)的寫功能。因為讀取大多是隨機(jī)的，所以NVRAM緩存完全保存給寫操作。磁盤高速緩存被禁用，以包管在系統(tǒng)解體或電源斷電時數(shù)據(jù)的一致性。