存放温冷数据最合适的技术手段——光存储
扫描二维码
随时随地手机看文章
我们身处一个大数据的时代,对大数据应该各有各的感悟,以新闻客户端为例,在首屏看到的都是各自感兴趣的新闻类型和新闻内容;电商网站首页,焦点位置也是个性化推荐。两个星期前,我参加一个朋友给孩子办的满月酒,当我回到家,打开我小米电视机的时候,首屏投出来的是一个婴儿奶粉的广告,当然有些可笑,但的的确确发生了。这都是大数据系统根据我们以往的使用习惯,上网痕迹,借助大数据引擎挖掘、分析的结果,从某种意义上来说,大数据可能比你更懂你自己。各行各业都在收集并利用大量的数据分析结果,降本增效提高产品质量以及不断创新。数据爆炸式增长及价值扩大化,将对企业未来发展产生深远的影响,数据的收集挖掘和应用成为企业生存发展的核心推动力。世界经济格局也将因为大数据时代而产生巨大的变革。
光存储是大数据时代存放温冷数据最合适的技术手段。原因在于蓝光光盘具有50年存储寿命;其原始数据在物理上不可删改;使用成本是传统存储介质的1/10,此外它可以应付恶劣环境影响,具有非常强的容灾抗灾的能力。光存储是现有存储模式最好的补充。全息光盘的研发,单张光盘获得了1.5TB的容量。如果采用更高性能的传感器,更高性能的感光材料,在2020年将单张光盘容量有望提升到40TB,这将使得我们在第四代光盘技术规格竞争中获胜,那会是中国第一次参与主导光盘技术的规格和标准的制定。
当今世界我们个人和家庭大概拥有并长期保存接近1TB数据,企业长期拥有PB级规模数据;城市拥有EB级规模数据,而国家早就超过了EB级规模。这些,大数据呈现这四个特点:
第一个特点是IDC在2017年预计2020年全球数据规模将达到44个EB,而中国将达到8个EB,这里我发现了一个很有趣比例关系,这个比例非常接近于中国人口和全球人口规模的比例,由此得出两个猜测,一个猜测是说数据规模和人口规模密切相关。第二个猜测也许和大家有点不一致,是说中国在大数据应用EB领域,我们只是平均水平。
第二个特点就是我们数据产生越来越快,流转越来越快,数据产生加速增长。如今,我们使用更多摄像头,使用更高像素的摄像头,因此每天产生更多的数据,这些数据需要更强大计算能力处理。这里不仅有结构化数据,也有一些以网页数据为代表的非结构化数据,非结构化数据规模巨大,以音视频、空间物理信息为代表。海量数据如何通过挖掘算法更迅速有效完成价值提存,成为大数据背景下需要解决的难题。
迅速增长的数据是人类社会宝贵财富,但是与此同时也对我们的社会提出了严峻的挑战,在这里我们看到,2017年三峡大坝全年的发电总量大致在1000亿度,与此同时,2017年全国数据中心耗电量已超过了这一数字,达到了1200亿~1300亿度。2020年数据中心耗电量相当于3个三峡大坝,2025年接近于4个,换句话说,呈指数级增长的数据和带来了线性增长的耗电量。在数据中心的成本构成上,不仅有耗电量,还有地产空间的投入,安全方面的投入,涉及数据泄露和数据存储传输过程中数据损失。
我们使用传统的存储介质只有3~5年寿命,由此势必需要面对数据迁移的损失风险,以及介质更换的成本。大数据是财富,原始数据不可再生,大数据如何安全的长期保存,这是我们与大家面临的问题。数据存储不管是在云端还是在本地,存储介质都是数据最终的物理载体。就目前的技术发展而言,我们大致会分成三种技术存储介质,机械硬盘、光盘和固态硬盘,他们有各自不同的特性。我们认为在大数据时代光存储是存放温冷数据最合适的技术手段。
第一个原因是蓝光光盘具有50年存储寿命。
第二点原因是原始数据在物理上不可删改。
第三点是其使用成本是传统存储介质的1/10
此外,它可以应付恶劣环境影响,具有非常强的容灾抗灾的能力。
我们今天进入了工业4.0时代,光存储技术凭借绿色节能安全长效的优势,契合了当今信息时代长期安全存储的需求。以此为契机,工信部科技部等部委相关政策的陆续出台,中国光存储技术进入了快速发展阶段。光存储技术首先能够降低耗电成本,光盘介质能够在相对恶劣的环境下保存数据,大大节约了为了维持恒温和环境而消耗大量的能源成本,节约了大量物理空间建设成本,空调散热方面的投入。长达50多年存储寿命,节约了存储介质更换成本以及数据迁移的风险。
这里讲的一个数据迁移方式简单,我们假设一个场景,在北京有5PB数据迁移到上海,通过网络传输,成本高、耗时长,光盘能够应付恶劣的运输环境条件,把我们的数据介质从北京寄到上海,就很容易实现这个物理上的数据迁移。兼容性方面,数据存储的本质是为了使用数据,紫晶存储的光存储系统,从第一天开始,就是在一个光电磁混合下面发展,天然对我们各类文件、对象的使用有一个很好的兼容性。光盘在物理上不被篡改,天然对病毒木马以及逻辑错误免疫。
光存储是现有存储模式最好的补充,Gartner把存储系统进行了新的分类,以数据库为主体的结构化数据作为关键业务存储,第二存储针对一些长期保存的非结构化数据。光存储属于第二存储范畴,我相信它能够成为我们的机械硬盘和固态硬盘之外的一个非常好的补充。我相信一个完整高效的针对多种应用的存储框架里面,必然会是这三种技术混合的协同应用。紫晶存储专注于光存储技术的发展,在发展光存储技术的时候,我们提出了一个光电磁融合存储的系统架构,这个架构左边是硬件是远景图,右边是软件的远景图、。我们实现全集统一管理,统一接口扩展虚拟资源池,实现正确时间正确数据存放到正确介质上面去。
接下来看一下光存储技术展望,其中有一个全息技术的维度,就是说,从蓝光到全息。第一代光盘介质是CVD光盘,第二代DVD光盘,第三代蓝光光盘,技术规格和技术标准都是日本欧洲企业主导的,一直紫晶存储在国内推动光存储顶层技术,参与了各项国家各项光盘的标准的制定。今年紫晶参与了另外一个存储项目,就是全息光盘研发,单张光盘获得了1.5TB的容量。这个是我们目前同轴全息技术的原理图。全息技术通常从三个维度增加我们记录的容量,第一个就是位移复用,第二个交叉复用,第三个角度复用,前面所说的1.5TB单张光盘技术只使用位移复用取得的成果,这是全球最接近商业化的全息光盘技术。
如果明年我们能够进一步结合交叉复用和角度复用迅速的把单张光盘容量从1TB提升5~10倍。预计在明年大概率能够获得5TB单张光盘容量。如果采用更高性能的传感器,更高性能的感光材料,我们计划在2020年将单张光盘的容量提升到40TB,我们相信这项技术将使我们在第四代光盘技术规格竞争中获胜,最终获得胜利的技术,那会是中国第一次参与主导光盘技术的规格和标准的制定。未来我们期待能够与更多的研究机构院校以及客户、合作伙伴深入沟通,探索不断完善我们的产品和解决方案,以创新赋能中国存储,做大数据时代的“追光者”。