我目前正在寻找一个好的分布式文件系统。 它应该: 开源 具有水平扩展性(复制和分片) 没有单点故障 占用空间相对较小 以下是我认为最有前途的四个候选者: GridFS(基于MongoDB) GlusterFS Ceph HekaFS 该文件系统将主要用于媒体文件(图像和音频)...
在Ubuntu 14.04,内核版本为4.4.0-51-generic上安装Ceph teuthology失败,出现以下错误: ImportError: <module 'setuptools.dist' from '/usr/lib/python2.7/dist-packages/...
WAL(Write-Ahead Log)技术已经被许多系统使用。WAL的机制是,当客户端写入数据时,系统会执行以下两个操作: 1. 将日志写入磁盘并返回给客户端 2. 异步地将数据写入磁盘、缓存或内存中 这样做有两个好处: 1. 如果出现异常情况(如断电),我们可以从日志中恢复数据。 2...
我正在运行Proxmox,尝试删除一个我错误创建的池。 然而,它一直给出这个错误:mon_command failed - pool deletion is disabled; you must first set the mon_allow_pool_delete config option...
我同时遇到了这两个错误。我无法减少页数,也无法增加存储空间。这是一个新集群,在我上传了约40GB后出现了这些警告。我猜是因为radosgw创建了一堆池。如果Ceph每个OSD的PG太多,但每个PG的对象数量比平均水平高,那么应该怎么做?提示有太少的pgs?HEALTH_WARN too man...
我按照文档中的公式使用了推荐值来配置Ceph。 我有3个OSD,并且我的配置(我已经放在监视器节点和所有3个OSD上)包括以下内容:osd pool default size = 2 osd pool default min size = 1 osd pool default pg num =...
我使用cephadm配置了一个简单的Ceph集群,如下: cephadm bootstrap --mon-ip 192.168.0.4 ssh-copy-id -f -i /etc/ceph/ceph.pub root@host2 ssh-copy-id -f -i /etc/ceph/ce...
我准备建立我的第一个Ceph集群(在Fedora上的Luminous),供生产使用,到目前为止,我已经完成了在大型ZFS池中每个节点运行单个OSD的过程,这样我就有了读取时校验位腐败保护和自动修复(如果可能的话)。我之所以这么做,是因为我所看到的所有文献都表明,Ceph并没有将位腐败保护作为其...
有人尝试过将GlusterFS或Ceph作为Hadoop的后端吗?我不是指仅使用插件来缝合它们。性能是否比HDFS本身更好?它是否适用于生产环境。 此外,将对象存储、Hadoop HDFS存储和所有内容合并为单个存储是一个真正好的想法吗?还是最好保持它们分开。
看起来RADOS最适合用作Ceph块存储和文件系统的存储后端。但是如果我想使用对象存储本身: 是否有最佳对象大小可获得最佳性能? 大量小对象会有问题吗? 多大的对象可以避免出现问题? 如果您能分享您的经验,那就太好了。