Tag Archive: cluster


A BSRSoft atingiu na tarde de hoje, após algumas melhorias na rede gigabit do cluster de supercomputação a marca dos 18,2 TFlops de potência computacional (18,2 trilhões de operações em ponto flutuante por segundo).

A marca foi atingida com nosso cluster formado por 1956 núcleos XEON, rodando inteiramente sob sistemas Linux Ubuntu Server 9.04.

Isso ainda não foi o bastante para entrarmos no famoso ranking TOP500 dos 500 mais potentes supercomputadores do mundo, mas falta pouco  🙂

O cluster é formado inteiramente por máquinas do tipo commodity (não são servidores high end).

Os 18,2 TFlops foram atingidos com um algoritimo escrito em Python utilizando a biblioteca Parallel Python (biblioteca open source em Python para computação paralela em rede e local) e foi sustentável. Não se trata portanto da potência de pico de processamento. A potência pico foi de 22,32 TFlops.

O cluster serve para montagem sob demanda e por períodos variáveis de supercomputadores para os mais diversos tipos de tarefas. Está acessível a qualquer empresa por baixos valores de locação da potência de processamento desejada. (o cluster é escalável pelo menos até 100 TFlops atualmente se necessário, com a simples adição de mais nós de processamento à nossa rede)

Mais informações sobre a estrutura e sobre como contratar os serviços de supercomputação sob demanda, por favor visite:

http://bsrsoft.com.br/portal/super-computacao/

A BSRSoft disponibiliza dentro de seu parque de servidores a tecnologia de construção sob demanda de supercomputadores baseada no conceito de clusters interligados via rede interna de alta velocidade (Gigabit) e servidores comodite.

Todos os clusters disponibilizados pela companhia rodam Linux Ubuntu Server 9.04  64bits com partições de trabalho EXT4 e sob consulta, partições  XFS.

Os servidores são do tipo: Xeon X3220 Quad Core Dedicated Server – SINGLE CPU QUAD CORE 2.4GHZ 1066FSB (2×4MB CACHE) com HDs SCSI em RAID 10 e 6 GB de RAM DDR2.

Todos possuem compiladores C, C++, Fortram e interpretador Python instalados com o bônus do uso imediato da biblioteca Parallel Python (http://www.parallelpython.com) que possibilita computação distribuida paralela em nossa rede. Outros softwares podem ser instalados conforme demanda e disponibilidade técnica.

Todo o software que provê o controle e funcionamento do supercomputador é open source.

Em testes com o Parallel Python atingimos em 06/01/2010 a marca dos 13,2 TFlops, que é uma potência respeitável para muitas aplicações conhecidas. Na prática, a estrutura pode atingir com relativa facilidade a marca dos 100 TFlops segundo nossos cálculos, caso haja demanda computacional, já que o cluster é expansível quase que automaticamente com a simples adição de máquinas à rede.

Algumas áreas que podem se beneficiar da potência destes supercomputadores sob demanda são: finanças, engenharia, geoprocessamento, geofísica, química quantica, arquitetura, industria aeroespacial, energia, medicina, inteligência artificial, modelagem atmosférica etc tanto em empresas como em institutos de pesquisa e desenvolvimento.

A BSRSoft já vem utilizando a tecnologia para processamento de dados em redes neurais distribuídas nos serviços suportados pelo SIDD (Sistema de Inteligência e Defesa Digital). Estamos re-escrevendo algumas bibliotecas do sistema para fazerem uso do Parallel Python.

Para mais informações:  http://bsrsoft.com.br/portal/super-computacao/

Acabamos de disponibilizar ao mercado nosso novo serviço na nuvem:

O grid de servidores MySQL:

Servidores MySQL 5 com espaço variável (à escolha do cliente) para bases de dados sem limite de quantidade. Pagamento mensal.

Os servidores no Grid são todos Xeon Quad 3.0 com 32 GB de RAM, HDs SCSI 15.000 RPM em RAID 5 (alta velocidade e tolerância a falhas), com alto desempenho tanto em leitura e escrita normais quanto em transações complexas e backup automático diário mais backup manual disponível ao usuário a qualquer momento.

Baixa latência de conexão (baixo ping).

Servidores altamente escaláveis, em rede escalável, monitoramento completo de cada instância do MySQL contra falhas ou degradação de performance, monitoramento de rede contra falhas e degradação de performance.

Sistemas operacionais utilizados: Red Hat Linux 64 bits e CentOS 64 bits.

Backup automático diário mais backup manual disponível ao usuário a qualquer momento.

Crie e gerencie seus próprios bancos de dados, da maneira que quiser, através de nosso painel de controle web ou através de scripts próprios.

Upgrades ou downgrades de palnos podem ser solicitados pelo cliente sempre que desejado.

Para ver os planos e para aquisição, visite:  http://shop.bsrsoft.com.br/category.php?id_category=18

Engines disponíveis em nosso Grid MySQL:

MyISAM Default engine as of MySQL 3.23 with great performance
MEMORY Hash based, stored in memory, useful for temporary tables
InnoDB Supports transactions, row-level locking, and foreign keys
BLACKHOLE /dev/null storage engine (anything you write to it disappears)
EXAMPLE Example storage engine
ARCHIVE Archive storage engine
CSV CSV storage engine
FEDERATED Federated MySQL storage engine
MRG_MYISAM Collection of identical MyISAM tables

A BSRSoft partir de hoje passou a disponibilizar a seus clientes infraestrutura baseada em Postgre além do MySQL e Oracle 10g.

Com mais este poderoso banco de dados relacional de código aberto, nós passamos a oferecer as soluções mais consagradas em processamento de grandes volumes de informação do mundo.

Inicialmente instalamos ele em nossos servidores de hospedagem de sites e em servidores dedicados a banco de dados para clientes de alta demanda. Todas asintâncias Postgre rodam conosco sob o Linux.

Em 1 semana colocaremos no ar nosso cluster Postgre, a exemplo do cluster MySQL que já possuímos. O objetivo é atender a clientes que precisam de altíssima potência de processamento, alta escalabilidade e grande disponibilidade. Somos a única companhia no Brasil a disponibilizar clusters MySQL e Postgre para clientes sob o regime normal de locação da hospedagem de seus dados e de seu processamento.

Essa solução é perfeita para grandes provedores de SaaS (Software como Serviço) e para provedores de computação em nuvem (cloud computing), além de aplicações cientificas, engenharia, finanças, CRM, ERP, BI e grandes portais de internet.

PS: Estamos planejando o upgrade para o Postgre 8.4 (última versão em algumas semanas, dependendo do feedback da comunidade sobre sua estabilidade)

Algumas caracteristicas do Postgre:

O PostgreSQL é um poderoso sistema gerenciador de banco de dados objeto-relacional de código aberto.  Tem mais de 15 anos de desenvolvimento ativo e uma arquitetura que comprovadamente ganhou forte reputação de confiabilidade, integridade de dados e conformidade a padrões.  Roda em todos os grandes sistemas operacionais, incluindo GNU/Linux, Unix (AIX, BSD, HP-UX, SGI IRIX, Mac OS X, Solaris, Tru64), e MS Windows. É totalmente compatível com ACID, tem suporte completo a chaves estrangeiras, junções (JOINs), visões, gatilhos e procedimentos armazenados (em múltiplas linguagens).  Inclui a maior parte dos tipos de dados do ISO SQL:1999, incluindo INTEGER, NUMERIC, BOOLEAN, CHAR, VARCHAR, DATE, INTERVAL, e TIMESTAMP.  Suporta também o armazenamento de objetos binários, incluindo figuras, sons ou vídeos.  Possui interfaces nativas de programação para C/C++, Java, .Net, Perl, Python, Ruby, Tcl, ODBC, entre outros, e uma excepcional documentação.

Como um banco de dados de nível corporativo, o PostgreSQL  possui funcionalidades sofisticadas como o controle de concorrência multiversionado (MVCC, em inglês), recuperação em um ponto no tempo (PITR em inglês), tablespaces, replicação assíncrona, transações agrupadas (savepoints), cópias de segurança a quente (online/hot backup), um sofisticado planejador de consultas (otimizador) e registrador de transações sequencial (WAL) para tolerância a falhas.  Suporta conjuntos de caracteres internacionais, codificação de caracteres multibyte, Unicode e sua ordenação por localização, sensibilidade a caixa (maiúsculas e minúsculas) e formatação.  É altamente escalável, tanto na quantidade enorme de dados que pode gerenciar, quanto no número de usuários concorrentes que pode acomodar. Existem sistemas ativos com o PostgreSQL em ambiente de produção que gerenciam mais de 4TB de dados.  Alguns limites do PostgreSQL estão incluídos na tabela abaixo.

Limite Valor

Tamanho Máximo do Banco de Dados Ilimitado
Tamanho máximo de uma Tabela 32 TB
Tamanho Máximo de uma Linha 1.6 TB
Tamanho Máximo de um Campo 1 GB
Máximo de Linhas por Tabela Ilimitado
Máximo de Colunas por Tabela 250–1600 dependendo do tipo de coluna
Máximo de Índices por Tabela Ilimitado

PostgreSQL has won praise from its users and industry recognition, including the Linux New Media Award for Best Database System and five time winner of the The Linux Journal Editors’ Choice Award for best DBMS.

Featureful and Standards Compliant

PostgreSQL prides itself in standards compliance. Its SQL implementation strongly conforms to the ANSI-SQL 92/99 standards. It has full support for subqueries (including subselects in the FROM clause), read-committed and serializable transaction isolation levels. And while PostgreSQL has a fully relational system catalog which itself supports multiple schemas per database, its catalog is also accessible through the Information Schema as defined in the SQL standard.

Data integrity features include (compound) primary keys, foreign keys with restricting and cascading updates/deletes, check constraints, unique constraints, and not null constraints.

It also has a host of extensions and advanced features. Among the conveniences are auto-increment columns through sequences, and LIMIT/OFFSET allowing the return of partial result sets. PostgreSQL supports compound, unique, partial, and functional indexes which can use any of its B-tree, R-tree, hash, or GiST storage methods.

GiST (Generalized Search Tree) indexing is an advanced system which brings together a wide array of different sorting and searching algorithms including B-tree, B+-tree, R-tree, partial sum trees, ranked B+-trees and many others. It also provides an interface which allows both the creation of custom data types as well as extensible query methods with which to search them. Thus, GiST offers the flexibility to specify what you store, how you store it, and the ability to define new ways to search through it — ways that far exceed those offered by standard B-tree, R-tree and other generalized search algorithms.

GiST serves as a foundation for many public projects that use PostgreSQL such as OpenFTS and PostGIS. OpenFTS (Open Source Full Text Search engine) provides online indexing of data and relevance ranking for database searching. PostGIS is a project which adds support for geographic objects in PostgreSQL, allowing it to be used as a spatial database for geographic information systems (GIS), much like ESRI’s SDE or Oracle’s Spatial extension.

Other advanced features include table inheritance, a rules systems, and database events. Table inheritance puts an object oriented slant on table creation, allowing database designers to derive new tables from other tables, treating them as base classes. Even better, PostgreSQL supports both single and multiple inheritance in this manner.

The rules system, also called the query rewrite system, allows the database designer to create rules which identify specific operations for a given table or view, and dynamically transform them into alternate operations when they are processed.

The events system is an interprocess communication system in which messages and events can be transmitted between clients using the LISTEN and NOTIFY commands, allowing both simple peer to peer communication and advanced coordination on database events. Since notifications can be issued from triggers and stored procedures, PostgreSQL clients can monitor database events such as table updates, inserts, or deletes as they happen.

Highly Customizable

PostgreSQL runs stored procedures in more than a dozen programming languages, including Java, Perl, Python, Ruby, Tcl, C/C++, and its own PL/pgSQL, which is similar to Oracle’s PL/SQL. Included with its standard function library are hundreds of built-in functions that range from basic math and string operations to cryptography and Oracle compatibility. Triggers and stored procedures can be written in C and loaded into the database as a library, allowing great flexibility in extending its capabilities. Similarly, PostgreSQL includes a framework that allows developers to define and create their own custom data types along with supporting functions and operators that define their behavior. As a result, a host of advanced data types have been created that range from geometric and spatial primitives to network addresses to even ISBN/ISSN (International Standard Book Number/International Standard Serial Number) data types, all of which can be optionally added to the system.

Just as there are many procedure languages supported by PostgreSQL, there are also many library interfaces as well, allowing various languages both compiled and interpreted to interface with PostgreSQL. There are interfaces for Java (JDBC), ODBC, Perl, Python, Ruby, C, C++, PHP, Lisp, Scheme, and Qt just to name a few.

Best of all, PostgreSQL’s source code is available under the most liberal open source license: the BSD license. This license gives you the freedom to use, modify and distribute PostgreSQL in any form you like, open or closed source. Any modifications, enhancements, or changes you make are yours to do with as you please. As such, PostgreSQL is not only a powerful database system capable of running the enterprise, it is a development platform upon which to develop in-house, web, or commercial software products that require a capable RDBMS.

O sistema de computação em nuvem da BSRSoft é baseado em uma tecnologia EC2-like, tal como a utilizada pela Amazon EC2. O sistema cria sob demanda servidores em nossa nuvem que se comportam como se fossem servidores dedicados disponíveis imediatamente aos clientes com todas as caracteristicas que estes escolherem (o cliente monta o seu servidor dedicado cloud conforme sua demanda).

Esse tipo de tecnologia é ideal para aplicações missão crítica (permite rápido e barato balanceamento de cargae espelhamento entre servidores), aplicações que exigem alta escalabilidade (servidores podem ter o seu número de núcleos, tamanho de HD e quantidade de RAM aumentados em questão de minutos assim como mais servidores podem ser criados para darem conta da demanda do cliente também em minutos), aplicações que são de curto prazo (o cliente só paga pelo número de horas em que os recursos foram utilizados, não estando obrigado a pagar por um mês inteiro) e diversas outras aplicações.

Nosso sistema permite a criação, por parte de nossos clientes, de sua própria nuvem de computação em nossos clusters, de maneira simples, rápida, econômica e completamente automatizada.

Todo o sistema roda sob plataforma Linux Ubuntu Server 9.04 64 bits. Permite a criação de servidores em nuvem utilizando sistemas operacionais dos mais variados (MS Windows 2003-2008, Linux Ubuntu-CentOS-Fedora-Debian, OpenSolaris etc).

Facilidades como a interface compatível com o EC2 (reduz a curva de aprendizagem das empresas que já utilizam a ferramenta), storages disponíveis para as mais diversas aplicações (inclusive backup e repositório de SOs para a nuvem), IPs públicos disponíveis prontamente para serem atribuí­dos para os servidores na nuvem (automaticamente), protocolos de segurança interna para garantia da inviolabilidade dos dados de nossos clientes entre nuvens, reboot automático virtual de qualquer instância rodando na nuvem, tecnologia de virtualização KVM aproveitando ao máximo os recursos físicos computacionais em nossa infraestrutura e muito mais.

Clientes com mais de um servidor na nuvem ao mesmo tempo podem montar suas próprias VLANs (LANs Virtuais) para tráfego de dados entre seus servidores sem tarifação de tráfego. Esse é um ótimo recurso para tráfego entre servidores web/banco de dados, web balanceados etc.

Em breve iremos disponibilizar balanceadores de carga dedicados gratuítos para todos os clientes cloud.

Preço:


1 GB de RAM + 1 núcleo* + 1 TB de tráfego incluído + 110 GB de HD* + 1 IP* público e ilimitados IPs* privados= R$ 0,22/hora* = R$ 158,00/mês*



Núcleo* adicional = R$ 0,10/hora* = R$ 72,00/mês*

1 GB de RAM adicional = R$ 0,10/hora* = R$ 72,00/mês*

1 TB de tráfego adicional = R$ 10,00

100 GB de HD* adicionais = R$ 12,00

15 IPs públicos (bloco /28) adicionais = R$ 15,00

250 IPs públicos (bloco /24 Classe C) adicionais = R$ 300,00 (disponível para aluguel mensal somente)


*Núcleo = 1 núcleo de processamento 2.4GHz 1066FSB (2x4MB CACHE)

*HD = HD SCSI 10.000 RPM em RAID 10 suportando os servidores cloud

*Tarifação/hora = valor cobrado/hora de uso de cada servidor na nuvem posto a disposição para o cliente pelo sistema

*Tarifação/mês = estimativa de valor gasto quando o cliente utiliza os recursos durante os 30 dias do mês sem interrupção (720 horas/30 dias)

*IP público = IP válido dedicado

*IP privado = IP de rede local privativa da nuvem do cliente para comunicação entre servidores na lan virtual (sem tarifação de tráfego)

Contrate o número de horas que desejar (pré-pago). Caso deseje extender o número de horas sem desligar seus servidores, basta contratar mais horas ou 1 mês inteiro (720 horas) com o nosso suporte.

Para adquirir:  http://bsrsoft.com.br/cloud_servers.php

%d blogueiros gostam disto: