视频网站是怎样储存每天都在增多的视频的?
时间:2023-11-12 03:48:02 | 来源:网站运营
时间:2023-11-12 03:48:02 来源:网站运营
视频网站是怎样储存每天都在增多的视频的?:自我理解,可能并不是市场使用的或已知平台使用。
我理解的题主所说的视频网站应当是,国内爱奇艺、腾讯、B站等视频平台?或者短视频平台,抖音、快手等(大差不差)
平台体量越大,数据几何增长,存储设备非常重要,视频平台在现有的数据要增加存储空间,那么就得通过集群进行处理,一台主控进行负载均衡,根据日常增长量进行预测性增加存储设备,例如当前通过一台服务器作为主控进行控制物理机或者虚拟机,这些物理机或虚拟机称为节点。
每一个节点都拥有存储的能力,当数据进入队列中,程序进行处理现有根据不同的内容、类别、或大小等,进行分配到各自所对应的节点,节点进行转码、转存、备份等操作后进行创建索引。
索引服务器则进行获取队列中的内容进行处理,从而展示给用户。
这中间节点的数量根据项目不同可以几十上百,每个所存储的数量都在T或BP级别。
当然,根据时间节点的不同,一个视频网站所拥有的的内容可以做分表、分索引,根据时间,例如2020年,2019年进行区分,根据分类进行区分开,例如,2019年动画分类有多少的总量,放在一个地方,这样每一个所占用的大小都是可操作的。
其次,数据增长没有你想想的多,因为不是每个平台都是UGC,也不是每个平台的每个用户都发布内容。
其次还有对象存储进行归档。
有钱大法随便买呀。