Hadoop的核心三大组件之一，HDFS主要负责分布式文件存储，将大规模的数据存储任务拆分成小块，分布到不同的机器上，从而以低成本的方式解决大数据存储问题。今天的大数据入门分享，我们就主要来讲讲伴随着Hadoop的迭代更新，HDFS架构是如何演进的。...

传统的考古学家和历史学家认为，楔形文字起源于美索不达米亚特殊的渔猎生活方式。这是较为通行的看法，西方的各种百科全书大都持这一观点。约在公元前3400年左右，楔形文字雏形产生，多为图像。到公元前 500 年左右， 这种文字甚至成了西亚大部分地区通用的商业交往媒介。楔形文字一直被使用到公元元年前后，使用情景如同现今的拉丁文。...

Hadoop作为大数据主流的基础架构选择，至今仍然占据着重要的地位，而基于Hadoop的分布式文件系统HDFS，也在大数据存储环节发挥着重要的支撑作用。今天的大数据入门分享，我们就主要来讲讲HDFS分布式文件管理系统。...

...

...

QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。最后我们再来讨论本文正题：mClock算法和dmClock算......

对于博客来说，媒体资源的存取方式至关重要，借助Jsdelivr加速Github上存储的图片已经是公认的方案，但对于视频来说，面对动辄几百兆的视频资源，你几乎无法找到一个免费的“视频床”，在第三方直接防盗链能力日渐完善的当下，急切需要一种折中方案。本文就借鉴前辈的尝试，将视频存放在Github之上并利用Jsdelivr实现加速，并利用DPlayer将其插入到自己的博客中。...

IT领域，变革的速度令人瞠舌。快速增长的数据，云计算规模的处理正推动企业向着更高效、更可靠和可扩展的方向前行。传统的应用架构已日趋极限，所幸的是，最被看好的容器化技术正成为应对上述难题的妙药良方。...

CloudBase Framework 是云开发官方出品的云原生一体化部署工具，可以帮助开发者将静态网站、后端服务和小程序等应用，一键部署到云开发 Serverless 架构的云平台上，自动伸缩且无需关心运维，聚焦应用本身，无需关心底层配置和资源...

在分布存储式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。...

我们都知道Python是一个非常灵活的语言，以至于如果它不是你的第一门语言，你会发现它总能给你各种各样的惊喜，让你忍不住惊叹：woc，还有这种操作。尤其我在系统地学习Python之前是Java后端出身，所以每一阶段几乎都会让我觉得打开了新世界的大门。今天就和大家介绍一个最基础，非常好用，但是很多人不知道的操作。...

如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。...

我们为什么要关注业务的IO行为，或者IO访问模型呢？原因很简单，任何系统都要关注自己服务的对象，存储系统服务的对象就是上层应用，所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构，是多种因素综合权衡的结果。在存储系统性能达到极限的时候，无论是存储的开发者还是使用者，都想知道IO的具体表现行为，开发者是为了能够找到瓶颈点，更好地优化存储系统，使用者是为了能够更优地使用存储系统，让业......

近年来，互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前，信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时，新能源汽车、车联网、自动驾驶等新技术兴起，特斯拉、蔚来、理想、小鹏等新厂商涌入汽车制造行业，汽车行业竞争愈发激烈，十年内实现全自动或“无人驾驶”汽车，成为了传统汽车制造商、新兴汽车制造商、专业自动驾驶解决方案供应商共同争夺的新......

...

最近，隔壁部门的工程师小刘正在探索如何搞一套支持多地域容灾、且能共享访问的文件服务解决方案。在之前他尝试过本地的NAS存储，无奈扩容艰难、远程访问性能和吞吐量都很受限，管理复杂且成本高昂，多地备份服务更是代价巨大。其实这些功能，利用腾讯云的公有云基础服务，简单几步就可以实现。这篇小教程中，将和大家一起轻松探索，在腾讯云上搭建高可用的共享存储解决方案。...

当今数字芯片技术飞速发展，数字半导体芯片已经渗透到社会生活的各个领域，从消费电子产品、工业自动化设备到航天技术都能看到半导体芯片技术的身影。国家在芯片技术上的投入和重视程度也提升到战略层面，芯片设计制造正在成为新一代的国之重器。...

这款产品有一个比较有意思的地方，使用规格不高的硬件提供了不错的应用服务，但是使用了一些特殊的方法，限制了用户自行改造硬盘容量，网上也有不少网友针对这款产品进行了研究和实践。...

...

在王坚博士的《在线》一书中提到，单纯谈数据的“大”，意义是不大的。欧洲核子研究中心（CERN）进行一次原子对撞产生的数据大到惊人，而如何通过计算的方式去挖掘出这些数据背后的价值，才是数据意义的本身。HPC高性能计算，就是完成这种价值转换的重要手段。近年来，HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据，并将其存储......

...

类似的情况让我想起了Windows入域前修改SID的场景，微软的sysprep既慢还丢家目录数据，最后我用第三方工具SIDCHG又快又好地解决还不丢数据，反馈给腾讯云后放到了他们官网。...

...

...

作为分布式文件系统的HDFS，在Hadoop技术生态当中，始终是不容忽视的。HDFS的稳定性和可靠性，对于后续的数据处理环节，提供底层支持，起着至关重要的作用。今天的大数据培训分享，我们就主要来讲讲HDFS的故障恢复和高可用。...

Serverless 已经成为近期热度越来越高的技术，众所周知，Serverless 的核心是帮用户屏蔽了底层的资源、提供按需请求、按需使用、按需付费的一种全新服务，像腾讯云的云函数（SCF）和对象存储等都是 Serverless 化的服务。基于 Serverless 云函数，用户可以快速构建各种功能性的 REST API 服务，如 WEB 服务后台、APP 应用后台、小游戏的聊天服务、图片处理、......

顺序预读（prefetch，在Linux中也称为预读，read ahead）是一种用于提升顺序读性能的技术，用于缩小存储设备和应用程序之间巨大的效率差距。Linux内核在通用预读框架中执行顺序文件预读，它主动拦截VFS层中的文件读取请求，并将顺序的请求转换为异步预读请求，为即将到来的请求引入数据块，并在大块中进行。...

随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告，就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。...

...

大家知道Linux内核初始发布的时候使用的是Minix文件系统，但是该文件系统基本上就是一个玩具。它有很多限制，比如只能支持64MB的磁盘空间，而文件名最大只能11个字节等等。这些限制对于今天来看似乎是不可思议的。...