怎样应用平常硬件配置和随意手机软件构建1个数

2021-02-26 14:50 jianzhan

      你想不想运用自身手头上的现有平常硬件配置、随意手机软件等資源去构建1个属于本人的小型数据信息管理中心呢?  

 

        1.硬件配置

  设计方案数据信息管理中心的情况下,大家的总体目标是在每一个阶段上有冗余的情况下维持系统软件最大的能用性,因而,即便一些阶段不工作中了,可危害不容易遭受危害。

 

  ·服务器应用了平常硬件配置:大家全部的服务器硬件配置根据Inter Core i3解决器,16G运行内存和3TB的储存室内空间,以便保证最大能用性,机器设备同用了电脑硬盘、网卡、路由器和互换机。

 

  多UPS和发电机器设备:大家观念到在印度常常会停电。大家不可以由于停电而放弃服务器,因而大家设定了好几个UPS,1个额外的发电机器设备——用来提防USP也撑不住的情况下。

 

  ·好几个互联网专线:尽管有1条专线大家的服务器和爬虫就应当能7×24小时的工作中,但以便避免互联网终断,大家做了冗余——来自两个不一样服务商的专线。

 

  2.硬件配置监管和手机软件配备的专用工具

  全自动化的安裝、配备和监管相当关键,能够接纳平常的维护保养工作中。

 

  ·全自动安裝和配备:Mondo (linux下的ghost)和 Puppet用来进行系统软件配备的全自动化管理方法。Mondo 用来大批量安裝Puppt到裸机,Puppt安裝既定的设定开展管理方法和配备。

 

  ·监管和警示: Nagios, Munin and WinPower(伊顿我国|winpower),这些手机软件用来监管大家的独享云机器设备。Nagios 对主机开展经常的查验并根据电子邮件、短消息、闲聊专用工具提出报警,大家根据1个手机蓝牙发射器联接1个废料手机上,用来推送报警短消息。

 

  ·数据信息备份数据:全部数据信息拷贝在好几个电脑硬盘上备份数据。重要数据信息依然要用1套单独的外界系统软件和储存机器设备再备份数据1次。大家应用rsync相互配合BackupPC开展每周1次的全局性备份数据和每天的增加量备份数据。周备份数据准时传输到外界电脑硬盘上。

 

  3.设定抓取设备

 

  大家应用以下开源系统手机软件开展7×24小时的抓取、遍布式储存和工作中解决。

 

  ·Hadoop HDFS:阿帕奇Hadoop 是1个适用数据信息库遍布式解决的开源系统架构。Hadoop Distributed File System (HDFS)是其应用的关键储存系统软件,HDFS可以串连1个测算机群集中以极快的速率地为数据信息块开展复制和派发。

 

  ·上面提到的Cassandra 非关联型数据信息库:阿帕奇Cassandra 是1个开源系统的遍布式数据信息库管理方法系统软件。它被设计方案用来根据平常服务器解决绝大多数量级的数据信息,出示沒有多点常见故障的高能用性。

 

  ·Hadoop Map-Reduce :是1个应用简单的手机软件架构,根据它写出来的运用程序流程可以运作在由上千个商用设备构成的遍布式大中型群集构架上,并以1种靠谱容错机制的方法并行处理解决上T级別的数据信息集。

 

  ·Pig脚本制作:“ Pig是1种程序编写語言,它简化了Hadoop普遍的工作中每日任务。Pig可载入数据信息、表述变换数据信息和储存最后結果。Pig内嵌的实际操作使得半构造化数据信息变得成心义(如系统日志文档)。另外Pig可拓展应用Java中加上的自定数据信息种类并适用数据信息变换。”

 

  ·Zookeeper:是Hadoop的宣布子新项目,它是1个对于大中型遍布式系统软件的靠谱融洽系统软件,出示的作用包含:配备维护保养、姓名服务、遍布式同歩、组服务等。

 

  ·Apache Nutch :根据Lucene 和 Java的开源系统检索模块,用于爬虫检索和数据库索引。

 

  ·文字解决根据Lucene

 

  4.成本费

 

  1)机器设备开支:

  全部设备花销了大约1万2千美元,包含服务器、冷却系统软件、开关电源组件的价钱,大家从本地供货商选购,自身拼装,每一个服务器成本费操纵在了500美元。高效率层面从拼装到出示给客户必须2⑶小时刻间。(1小时拼装,30分钟用Mondo修复统1镜像系统,1小时用Puppt安裝和配备)

 

  可视性化监管应用了1台LED电视机,450美元,用于监测运行内存应用率、IO情况和抓取情况,另外配搭1个手机蓝牙发射器(4美元)和废料手机上。

 

  2)机器设备每个月的经营成本费

  全部系统软件每个月花销1000美元,包含每个月互联网技术路线的租赁、电费和房屋房租。两个单独路线每个月250美元。