文件存储

文件存储与对象存储_文件存储的特点_个人云存储哪个好用

我们都知道Python是一个非常灵活的语言,以至于如果它不是你的第一门语言,你会发现它总能给你各种各样的惊喜,让你忍不住惊叹:woc,还有这种操作。尤其我在系统地学习Python之前是Java后端出身,所以每一阶段几乎都会让我觉得打开了新世界的大门。今天就和大家介绍一个最基础,非常好用,但是很多人不知道的操作。作为分布式文件系统的HDFS,在Hadoop技术生态当中,始终是不容忽视的。HDFS的稳定性和可靠性,对于后续的数据处理环节,提供底层支持,起着至关重要的作用。今天的大数据培训分享,我们就主要来讲讲HDFS的故障恢复和高可用。

文件存储

文件存储与对象存储_文件存储的特点_个人云存储哪个好用

我们都知道Python是一个非常灵活的语言,以至于如果它不是你的第一门语言,你会发现它总能给你各种各样的惊喜,让你忍不住惊叹:woc,还有这种操作。尤其我在系统地学习Python之前是Java后端出身,所以每一阶段几乎都会让我觉得打开了新世界的大门。今天就和大家介绍一个最基础,非常好用,但是很多人不知道的操作。作为分布式文件系统的HDFS,在Hadoop技术生态当中,始终是不容忽视的。HDFS的稳定性和可靠性,对于后续的数据处理环节,提供底层支持,起着至关重要的作用。今天的大数据培训分享,我们就主要来讲讲HDFS的故障恢复和高可用。

数据存储(1):从数据存储看人类文明-数据存储器发展历程

数据存储(1):从数据存储看人类文明-数据存储器发展历程

传统的考古学家和历史学家认为,楔形文字起源于美索不达米亚特殊的渔猎生活方式。这是较为通行的看法,西方的各种百科全书大都持这一观点。约在公元前3400年左右,楔形文字雏形产生,多为图像。到公元前 500 年左右, 这种文字甚至成了西亚大部分地区通用的商业交往媒介。楔形文字一直被使用到公元元年前后,使用情景如同现今的拉丁文。...

分布式QoS算法解析

分布式QoS算法解析

QoS对于服务多租户多业务的整体系统来说,不管对网络还是存储,都格外重要,没有QoS,会造成不同租户及业务之间对资源的抢占,用户A用爽了,用户B却遭了殃,频频投诉,这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前,我们先来了解背景知识,即什么是QoS,分布式QoS又是什么,有哪些常见的QoS算法。最后我们再来讨论本文正题:mClock算法和dmClock算......

滥用Jsdelivr之存储视频/m3u8,并使用DPlayer加载

滥用Jsdelivr之存储视频/m3u8,并使用DPlayer加载

对于博客来说,媒体资源的存取方式至关重要,借助Jsdelivr加速Github上存储的图片已经是公认的方案,但对于视频来说,面对动辄几百兆的视频资源,你几乎无法找到一个免费的“视频床”,在第三方直接防盗链能力日渐完善的当下,急切需要一种折中方案。本文就借鉴前辈的尝试,将视频存放在Github之上并利用Jsdelivr实现加速,并利用DPlayer将其插入到自己的博客中。...

当容器遇见存储

当容器遇见存储

IT领域,变革的速度令人瞠舌。快速增长的数据,云计算规模的处理正推动企业向着更高效、更可靠和可扩展的方向前行。传统的应用架构已日趋极限,所幸的是,最被看好的容器化技术正成为应对上述难题的妙药良方。...

大数据开发:分布式文件存储系统简介

大数据开发:分布式文件存储系统简介

在分布存储式存储技术体系当中,分布式文件存储是其中的分类之一,也是大数据架构当中常常用到的。得益于Hadoop的高人气,Hadoop原生的HDFS分布式文件系统,也广泛为人所知。但是分布式文件存储系统,并非只有HDFS。今天的大数据开发分享,我们就主要来讲讲常见的分布式文件存储系统。...

Python应用——灵活地处理多个变量

Python应用——灵活地处理多个变量

我们都知道Python是一个非常灵活的语言,以至于如果它不是你的第一门语言,你会发现它总能给你各种各样的惊喜,让你忍不住惊叹:woc,还有这种操作。尤其我在系统地学习Python之前是Java后端出身,所以每一阶段几乎都会让我觉得打开了新世界的大门。今天就和大家介绍一个最基础,非常好用,但是很多人不知道的操作。...

你了解自己的业务IO么?

你了解自己的业务IO么?

我们为什么要关注业务的IO行为,或者IO访问模型呢?原因很简单,任何系统都要关注自己服务的对象,存储系统服务的对象就是上层应用,所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构,是多种因素综合权衡的结果。在存储系统性能达到极限的时候,无论是存储的开发者还是使用者,都想知道IO的具体表现行为,开发者是为了能够找到瓶颈点,更好地优化存储系统,使用者是为了能够更优地使用存储系统,让业......

如果说数据是推动自动驾驶的原动力,那么存储扮演什么角色?

如果说数据是推动自动驾驶的原动力,那么存储扮演什么角色?

近年来,互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前,信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时,新能源汽车、车联网、自动驾驶等新技术兴起,特斯拉、蔚来、理想、小鹏等新厂商涌入汽车制造行业,汽车行业竞争愈发激烈,十年内实现全自动或“无人驾驶”汽车,成为了传统汽车制造商、新兴汽车制造商、专业自动驾驶解决方案供应商共同争夺的新......

搭建多地域共享存储(附视频)

搭建多地域共享存储(附视频)

最近,隔壁部门的工程师小刘正在探索如何搞一套支持多地域容灾、且能共享访问的文件服务解决方案。在之前他尝试过本地的NAS存储,无奈扩容艰难、远程访问性能和吞吐量都很受限,管理复杂且成本高昂,多地备份服务更是代价巨大。其实这些功能,利用腾讯云的公有云基础服务,简单几步就可以实现。这篇小教程中,将和大家一起轻松探索,在腾讯云上搭建高可用的共享存储解决方案。...

WD MyCloud Gen2 折腾笔记

WD MyCloud Gen2 折腾笔记

这款产品有一个比较有意思的地方,使用规格不高的硬件提供了不错的应用服务,但是使用了一些特殊的方法,限制了用户自行改造硬盘容量,网上也有不少网友针对这款产品进行了研究和实践。...

「首度揭秘」大规模HPC生产环境 IO 特征

「首度揭秘」大规模HPC生产环境 IO 特征

在王坚博士的《在线》一书中提到,单纯谈数据的“大”,意义是不大的。欧洲核子研究中心(CERN)进行一次原子对撞产生的数据大到惊人,而如何通过计算的方式去挖掘出这些数据背后的价值,才是数据意义的本身。HPC高性能计算,就是完成这种价值转换的重要手段。近年来,HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据,并将其存储......

使用 Serverless 云函数 + ffmpeg 实现音视频转码服务

使用 Serverless 云函数 + ffmpeg 实现音视频转码服务

Serverless 已经成为近期热度越来越高的技术,众所周知,Serverless 的核心是帮用户屏蔽了底层的资源、提供按需请求、按需使用、按需付费的一种全新服务,像腾讯云的云函数(SCF)和对象存储等都是 Serverless 化的服务。基于 Serverless 云函数,用户可以快速构建各种功能性的 REST API 服务,如 WEB 服务后台、APP 应用后台、小游戏的聊天服务、图片处理、......

存储性能加速引擎之预读

存储性能加速引擎之预读

顺序预读(prefetch,在Linux中也称为预读,read ahead)是一种用于提升顺序读性能的技术,用于缩小存储设备和应用程序之间巨大的效率差距。Linux内核在通用预读框架中执行顺序文件预读,它主动拦截VFS层中的文件读取请求,并将顺序的请求转换为异步预读请求,为即将到来的请求引入数据块,并在大块中进行。...

「深度解析」告诉你如何选择容器存储

「深度解析」告诉你如何选择容器存储

随着容器技术在生产环境中越来越多被使用,实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告,就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。...

Ext2文件系统及磁盘布局

Ext2文件系统及磁盘布局

大家知道Linux内核初始发布的时候使用的是Minix文件系统,但是该文件系统基本上就是一个玩具。它有很多限制,比如只能支持64MB的磁盘空间,而文件名最大只能11个字节等等。这些限制对于今天来看似乎是不可思议的。...