关于用debian cluster的建议

favoyun

今天看到坛里有弟兄问用debian作集群的问题，我谈一些想法，我去年用debian作了一个hpc集群，共45个节点（包括主节点），加一个NFS文件服务器（挂5TB的盘柜），每个节点都是双2.8GHz intel xen cpu，子节点73gscsi硬盘，双千兆网卡，再加一块intel 100M网卡，1gb内存，主节点是双73gscsi硬盘（raid0），2g内存，双千兆网卡，开始公司给装的是rh4加oscar，但是实验室所有工作电脑都是debian，为了平台统一，便于维护，就自己将rh格掉，重新装了debian sarge，而且采用2.6.8-2的内核，cluster管理软件当时让我非常伤神，说实话，oscar是非常不错的，但是那时debian的ports还没有，用FAI来装，设置起来比较复杂，而且当时FAI不支持2.6内核，cluster管理软件也要单独自己安装，当时是刚接触集群，FAI只好放弃，最后决定采用dcc，简单，效率还很高。
下面是dcc的链接
http://dcc.irb.hr/
下面是oscarondebian的链接，用subversion可以安装了
http://oscarondebian.gforge.inria.fr/
dcc运行了一段时间了，总的来说还不错，但是官方技术支持几乎没有，所以下一步想装oscar，技术支持文档多，而且有ibm等大公司支持，等etch正式发布后就进行。
抛砖引玉吧，有兴趣的话，大家一块讨论讨论，

ipconfigme

这么帅的机群~~~
我这边是一批旧机器，想做集群

favoyun

那是作计算用的，说实在的，那是我第一次，也是迄今为止唯一的一次接触集群，好在平时折腾debian多了，否则也是两眼一抹黑，不知咋办，看过的资料，现在想起来都佩服自己这么有耐心。如果机器配置不一样，可能FAI很合适，以下是它的链接：
http://www.informatik.uni-koeln.de/fai/

d00m3d

搜索 OpenMosix

favoyun

openMOSIX适合负载均衡型的服务集群，高性能计算还是oscar和dcc比较理想，而且openMOSIX需要修改内核，以前只支持2.4内核，不知现在是否支持2.6内核。

deerlux

我也做过一个16节点的集群，不过没有自动安装，都是手动安装的。后来试过无盘工作站，调通了，但是没有机子给我做实验了。估计对于规模不大而且配置相同的集群用无盘工作站的方式也还可以，管理起来比较方便。

顺便问一句，楼主用什么做集群负载管理系统，我们单位给买了LSF，搞得我现在没怎么研究过PBS、condor之类的东西，不知道好不好用？

favoyun

pbs是不免费的，有个openpbs，但是有节点限制，后来一帮大侠们就以openpbs为基础开发了torque还有maui，maui我也没来得及用过，oscar里带了这些软件，一般现在都是用torque吧，condor也不是free的，自然也就没用过了。
我没有用过别的软件，因此就没的比较，倒是你可以试试。

bexley

你的机器真好。
我自己建了一个小的cluster，用的是torque做管理软件。dcc好用吗？
是不是一下这些都是相似的管理软件？
PBS Pro
Open-PBS
TORQUE
DCC
OSCAR

Post by favoyun
今天看到坛里有弟兄问用debian作集群的问题，我谈一些想法，我去年用debian作了一个hpc集群，共45个节点（包括主节点），加一个NFS文件服务器（挂5TB的盘柜），每个节点都是双2.8GHz intel xen cpu，子节点73gscsi硬盘，双千兆网卡，再加一块intel 100M网卡，1gb内存，主节点是双73gscsi硬盘（raid0），2g内存，双千兆网卡，开始公司给装的是rh4加oscar，但是实验室所有工作电脑都是debian，为了平台统一，便于维护，就自己将rh格掉，重新装了debian sarge，而且采用2.6.8-2的内核，cluster管理软件当时让我非常伤神，说实话，oscar是非常不错的，但是那时debian的ports还没有，用FAI来装，设置起来比较复杂，而且当时FAI不支持2.6内核，cluster管理软件也要单独自己安装，当时是刚接触集群，FAI只好放弃，最后决定采用dcc，简单，效率还很高。
下面是dcc的链接
http://dcc.irb.hr/
下面是oscarondebian的链接，用subversion可以安装了
http://oscarondebian.gforge.inria.fr/
dcc运行了一段时间了，总的来说还不错，但是官方技术支持几乎没有，所以下一步想装oscar，技术支持文档多，而且有ibm等大公司支持，等etch正式发布后就进行。
抛砖引玉吧，有兴趣的话，大家一块讨论讨论，

favoyun

dcc更加符合debian的方式吧，而且适合刚接触用debian作cluster的，目前恐怕除了FAI就是dcc最适合debian cluster了，使用下来还是不错的，管理软件确实是相似的，你可以在它的主页找到它的所用的软件。
dcc不便的地方就是支持文档几乎没有，曾经mail，结果说不知道，还是自己解决的。

bexley

DCC也太夸张了吧！连文档都没有。

我这里的几台机器，什么操作系统都有，RH8、RH9、Fedora3、Debian。
还有一台安腾的4 CPU的机器打算装。看来DCC是不太适合了。
TORQUE也可能用，虽然一些设置我还弄得不是很清楚。

一点体会就是，只要NFS搞定就是成功了一半，剩下的任务管理软件如果能顺利编译通过，基本上就没问题了。
我还想请教一下，用NFS，不同机器是不是相同用户的uID都得是一样的？我这边都是旧系统，不得已，只能手工统一修改/etc/group里的用户uID号。

Post by favoyun
dcc更加符合debian的方式吧，而且适合刚接触用debian作cluster的，目前恐怕除了FAI就是dcc最适合debian cluster了，使用下来还是不错的，管理软件确实是相似的，你可以在它的主页找到它的所用的软件。
dcc不便的地方就是支持文档几乎没有，曾经mail，结果说不知道，还是自己解决的。