Am 26.11.2004 (Freitag) wird es zwischen 5 und 7 Uhr morgens zu einem ca. 30 minütigen Ausfall der Internetkonnektivität der Server kommen.

Um ein Upgrade der Core-Komponenten des Netzwerk durchzuführen, muss der Accessrouter von dem Backbonerouter in dieser Zeit entkoppelt werden. Dieses Upgrade ist nötig um auch in Zukunft ausreichend Bandbreite, beste Netzqualität sowie höchst mögliche Ausfallsicherheit gewährleisten zu können.

Wir möchten uns für die entstehenden Unannehmlichkeiten in aller Form entschuldigen und hoffen auf Ihr Verständniss.

Gerade wurde ich von einem unserer NOC-Techniker informiert, dass er "mit ein paar Schüssen ins Blaue" einen Routing-Update auf dem IP-Plus Router auslösen konnte und somit den Fehler bei IP-Plus beheben konnte.

Zitat

So wie ich das sehe, hat der IP+ DE-CIX Router ein (paar) Problem(e). Ich habe IP+ darauf hingewiesen, mit der bitte bei Zeiten danach zu sehen. Anscheinend synchronisiert er RIB/FIB nicht anstaendig, was ggf. an zu wenig Speicher oder an einem Fehler in der Router Software liegen kann. Ohne Zugriff auf den Router laesst sich das jedoch schwer genauer rausfinden. Ich habe nun dafuer gesorgt, dass Routing Updates unserer Prefixes zu IP+ kommen, nun spricht der IP+ DE-CIX Router wieder mit unserem.

Eine Reaktion auf die Störungsmeldungen seitens der IP-Plus steht immer noch aus!

Update
IP-Plus hielt nun Rücksprache und bestätigte die Lösung des Problemes.

Nach Berichten unserer Kunden liegt seit ungefähr gestern Mittag ein Routing-Problem beim IP-Plus Backbone vor, welcher von der Bluewin benützt wird. Da wir selbst weder direkter Kunde von IP-Plus sind noch von Bluewin sind, gestalten sich eigene Tests entsprechend schwierig.

Dieser Fehler in Routing Policies der von IP-Plus betrifft nach aktuellem Kenntnisstand nur die IP-Range 83.0.0.0/8 und mindestens den Backbone AS25560. Ob noch weitere Routen betroffen lässt sich von unserer Seite nicht abklären.

Das heisst der angesprochenen Gruppe ist es nicht möglich eine Verbindung zum Backbone AS25560 aufzubauen und somit sind alle Server von rubas.net für Betroffene nicht zu erreichen.

Folgende Seite gibt Ihnen über Ihre eigene IP Auskunft:
http://whatismyip.com/


Der Fehler liegt ausserhalb der Reichweite von rubas.net und unserem Connectivity-Partner, so das uns leider die Hände gebunden sind!


In einem solchen Szenario können wir nur die andere Partei über Ihre Fehlfunktion der Dienstleistung informieren und sie motivieren das Problem aus eigenem Interesse möglichst rasch zu beheben.

Die direkte Störungsmeldung beim Helpdesk von IP-Plus wurde eiskalt abgelehnt,da keine direkte Geschäftsbeziehung besteht.

Bei Helpdesk Bluewin wird dieses Problem unter der Case ID 420810 behandelt und mit hoher Priorität weitergeleitet.
Nach meinem aktuellen Kenntnisstand stehen noch weitere Bluewin-Kunden im direkten Kontakt mit dem Helpdesk betreffend dieses Problems.

Weiter wurde auch die verantwortliche Abteilung sowohl bei Bluewin wie auch bei IP-Plus direkt und ausführlich über das Problem informiert.

Und auch das Spezialisten-Team, welches den Backbone AS25560 betreutet, hat Kontakt mit der Gegenseite aufgenommen und Unterstützung bei der Lösung des Problemes angeboten.

Lange Rede, kurzer Sinn:
Es bleibt uns leider nichts anderes übrig als die Gegenseite über ihre Probleme zu informieren, unsere Unterstützung anzubieten und abzuwarten bis man sich dem Problem annimmt.


Tipp:
Wenn Sie die Verfügbarkeit Ihrer Seite überprüfen möchte, empfehle ich folgendes Vorgehen.
Besuchen Sie http://www.alertra.com/ und füttern Sie nun das Eingabefeld rechts oben mit Ihrer Adresse, danach wird man versuchen von verschiedenen Städten auf der Welt Kontakt zu der angegebenen Seite aufzunehmen. So können eventuelle Verbindungs-Probleme leicht aufgedeckt werden.

Aufgrund einer Explosion in einem Blockheizkraftwerk im Westen von Frankfurt kam es zu einem totalen Stromausfall in diversen Stadtvierteln, darunter auch in Frankfurt Nierrad in welchem das Rechenzentrum angesiedelt ist.

Erwartungsgemäss hat es bei der Umstellung auf USV-Strom keinerlei Komplikationen gegeben, so dass wir einen reibungslosen Betrieb weiterhin garantieren können.

Umschaltvorgänge zwischen Stromversorgungen sowie das Anfahren der Dieselaggregate sind immer mit einem Restrisiko versehen und werden deshalb regelmäßig erprobt.

Newsbeitrag zur Explosion
Aussen-Webcam am RZ-Gebäude

Sehr schön ist aktuell auf der Aussen-Webcam zu erkennen, dass ausgenommen von einigen Auto-Scheinwerfer die Umgebung im Dunkeln liegt.


Update 02.11.2004 09:22
Nach rund 10,5h konnte die Stromversorung durch den lokalen Anbieter Mainova wieder sichergestellt werden und alles läuft nun im Normalbetrieb.

Es kam zu keinerlei Beeinträchtigung der Dienstleistung durch den Ausfall im Stromnetz.


Eventuell fragen Sie sich, wie lange es uns möglich ist einen Stromausfall in einer Notsituation zu überbrücken.

Im Rechenzentrum selbst wird rund 60'000 Liter an Diesel für die Aggregate gelagert, was einen reibungslosen Betrieb für etwas mehr als 100h garantiert.

Desweiteren wurden spezielle Verträge abgeschlossen, die Lieferungen von grossen Mengen an Diesel-Nachschub innerhalb weniger Stunden garantieren, so dass wir de facto absolut unabhängig von der lokalen Stromversorgung operieren können.

Heute abend wird nach 23:30 Apache sowie mod_ssl geupdatet.


Datum: 31.10.2004
Zeit: ab 23:30

Update:
Apache: 1.3.33
mod_ssl: 2.8.22-1.3.33


Status: Erledigt


Ab 23:30 kann es aufgrund der geplanten Wartungs-Arbeiten zu einem kurzen Unterbruch des http-Dienstes kommen, ich möchte Sie hierfür um Verständnis bitten.

Soeben wurde der mySQL Datenbank Server auf die Version 4.0.22 geupdatet.

http://www.mysql.com/

Status: Erledigt


Notiz:
Auch wenn die Version 4.1 seit anfangs dieser Woche offiziel als stabil und für den produktiven Betrieb geeignet deklariert wird, erfolgt ein Update erst zu einem vernüftigen Zeitpunkt, da erfahrungsgemäss in den ersten Versionen einige Fehler auftreten werden, die sich nicht in den Betaphasen entdecken liessen.

Aufgrund mehrerer kritischer Sicherheitslücken im cPanel wurden heute morgen entsprechende Sicherheits-Patches eingespielt, welche zu einzelnen Funktions-Störungen bei dem Zugriff über die Frontpage-Extensions führten.

Die Sicherheits-Patches hatten natürlich absolute Priorität und die Probleme mit dem Zugriff über Frontpage wurden nach und nach behoben und sind nun endgültig gelöst.

Morgen wird vorraussichtlich eine gepatchte Version des cPanel in den stabilen Zweig aufgenommen und die Server werden erneut geupdatet.
Durch das Update des cPanels wird es zu keiner Beeinträchtigung des Services kommen.

--

Nach 23:30 wird auf allen Server ein Update von mod_ssl durchgeführt, was zu einem Unterbruch des entsprechend http Servers für 2-4 Minuten führt.

Status: Erledigt

Sollten die heutigen abschliessenden Tests mit der neuen cPanel Version aus dem "stable tree" wie erwartet erfolgreich verlaufen, so wird heute Nacht die neue Version eingespielt.


Datum: 12.10.2004
Zeit: ab 23:30

Update:
cPanel 9.9.2-STABLE_8
PHP 4.3.9
sowie eine Reihe weiterer kleiner Updates

Status: Erledigt


Ab 23:30 kann es aufgrund der geplanten Wartungs-Arbeiten zu kurzzeitigen Störungen einzelner Server-Dienste kommen, ich möchte Sie hierfür um Verständnis bitten.

Es gab heute gegen 14:30 einen Ausfall des Backbones und alle Server waren während rund 25 Minuten nicht erreichbar.

Der Grund dieses Ausfalls scheint ein gezielter Angriff auf den Corerouter gewesen zu sein, nähere Analysen stehen jedoch noch aus.

Wir möchten uns an dieser Stelle ausserordentlich für die Unannehmlichkeiten entschuldigen.

Aufgrund eines Kernel Update wird der Server in den nächsten Minuten rebootet.

Zitat

This is the third regular kernel update to Red Hat Enterprise Linux 3. New features introduced by this update include: - a disk dump facility (for the x86 and Itanium architectures) - no-execute (NX) page protection and the enabling of ExecShield, which is used to minimize potential vulnerability to buffer overflow exploits (for the x86, EM64T, and AMD64 architectures) - support for dynamic addition of SCSI host adapters - support for new IBM POWER5 systems - support for new I/O devices There were many bug fixes in various parts of the kernel. The ongoing effort to resolve these problems has resulted in a marked improvement in the reliability and scalability of Red Hat Enterprise Linux. Some key areas affected by these fixes are disk and network drivers, USB and SATA support, and the VM, NFS, SCSI, and auditing subsystems. There was also a major overhaul of SAL/MCA handling for Itanium (now integrated with a new "salinfo" daemon), as well as a significant upgrade to the autofs4 subsystem, which is now fully supported. The following device drivers have been upgraded to new versions: aacraid ---- 1.1.5-2339 aic79xx ---- 1.3.10-RH1 b44 -------- 0.93 cciss ------ 2.4.52.RH1 e100 ------- 2.3.43-k1 e1000 ------ 5.2.52-k3 emulex ----- 7.0.3 (new in Update 3) fusion ----- 2.05.16 ipr -------- 1.0.4 ips -------- 7.00.15 lvm -------- 2.4.26 megaraid2 -- 2.10.6 qla2x00 ---- 2.10.6-RH1 qlogic ----- 7.00.03-RH1 sx8 -------- 0.8-24.1 (new in Update 3) tg3 -------- 3.6RH z90crypt --- 1.2.1

Status: Erledigt

In Zusammenarbeit mit rostock-digital GbR wurde eine Testphase für ein innovatives Online-Beratungscenter gestartet.

Interessierte Besucher haben nun die Möglichkeit mit einem Klick auf den LiveHelp Button einen Chat mit einem Mitarbeiter zu eröffnen um sich ausführlich beraten zu lassen.

Es ist nun nicht mehr notwendig für eine Frage zu unseren Angeboten zum Telefon zu greifen oder eine E-Mail zu versenden.

Ein Klick und Sie werden direkt mit uns verbunden!

Mit Freude darf ich Ihnen das neue Erscheinungsbild von rubas.net präsentieren.


Klarheit und Übersicht
Es blieb kein Stein auf dem andern. Die Website sowie der komplette Kundenbereich wurden vollständig überarbeitet.
Das Grundkonzept bestand darin, Klarheit und Übersicht in einer optisch ansprechender Form zu verpacken.

Auch das verstaubte Foren-System musste einer moderneren Variante weichen, welche vorallem dank der Abonnements-Funktion für Beiträge aber auch ganze Foren mehr Komfortabilität bietet.


Um die Veränderungen im Laufe der Zeit zu dokumentieren, wurden die alten Websiten noch einmal im Archiv aufgestöbert - geniessen Sie die Reise in die Vergangenheit.

Aufgrund eines Kernel Update wird der Server in den nächsten Minuten rebootet.

Zitat

Security Advisory - RHSA-2004:413-01 ------------------------------------------------------------------------------ Paul Starzetz discovered flaws in the Linux kernel when handling file offset pointers. These consist of invalid conversions of 64 to 32-bit file offset pointers and possible race conditions. A local unprivileged user could make use of these flaws to access large portions of kernel memory. The Common Vulnerabilities and Exposures project (cve.mitre.org) has assigned the name CAN-2004-0415 to this issue. These packages contain a patch written by Al Viro to correct these flaws. Red Hat would like to thank iSEC Security Research for disclosing this issue and a number of vendor-sec participants for reviewing and working on the patch to this issue. In addition, these packages correct a number of minor security issues: An bug in the e1000 network driver. This bug could be used by local users to leak small amounts of kernel memory (CAN-2004-0535). A bug in the SoundBlaster 16 code which does not properly handle certain sample sizes. This flaw could be used by local users to crash a system (CAN-2004-017. A possible NULL-pointer dereference in the Linux kernel prior to 2.4.26 on the Itanium platform could allow a local user to crash a system (CAN-2004-0447). Inappropriate permissions on /proc/scsi/qla2300/HbaApiNode (CAN-2004-0587). ------------------------------------------------------------------------------

Status: Erledigt

Wir möchten Sie hiermit informieren, dass es am Donnerstag, den 5. August 2004 zwischen 23:00 und 02:00 aufgrund der Migration zu komplett neuem Equipment für den Backbone inklusive neuer Leitungen zu einem Totalausfall des Netzwerkes kommen wird.

Die geplante Dauer für den Ausfall beträgt 30 Minuten.

In dieser Zeit werden vier neue Router in Betrieb genommen, zwei im Backbone Layer und zwei im Access Layer. Jeder dieser Router verfügt über in sich redundante Routingengines. Weiter werden diese Router Kreuzverschaltet um auch eine physikalische Redundanz zu schaffen.

Leider ist es nicht möglich die Migration auf die neue Hardware ohne einen Ausfall durchzuführen.

Wir bitten Sie den Ausfall zu entschuldigen.

Ausfalldauer: ~30 Minuten

Status: Erledigt

Aufgrund eines Netzwerkausfalles waren gerade alle Server für eine kurze Zeit nicht erreichbar.

Das Problem wurde aber behoben und die Situation ist stabil.

Zur Zeit analysieren die Netzwerk-Techniker den Vorfall und sobald die Abklärungen abgeschlossen sind, wird ein Statement mit den genauen Ursachen folgen.

Aufalldauer: 49 mins, 54 secs

Start: 30.07.2004 00:26

Wir bitten Sie den Ausfall zu entschuldigen.

Es wurde eine neue Version des Cpanel in den "stable Tree" aufgenommen und wir werden natürlich die Server entsprechend updaten.

Status: Erledigt

Wir werden im Laufe der Nacht auf den 15.07 die Server auf PHP 4.3.8 und MySQL 4.0.20 updaten.

Status MySQL: erledigt
Status PHP: erledigt



Note:
Ein Update auf PHP 5 wird es selbstverständlich ebenfalls geben, aber erst wenn die Stabilität und die Sicherheit der neuen Version zu 100% gewährleistet ist - dies wird noch einige Zeit dauern.

Aufgrund eines Kernel Update wird der Server in den nächsten Minuten rebootet.

Zitat

Security Advisory - RHSA-2004:360-05 ------------------------------------------------------------------------------ During an audit of the Linux kernel, SUSE discovered a flaw that allowed a user to make unauthorized changes to the group ID of files in certain circumstances. In the 2.4 kernel, as shipped with Red Hat Enterprise Linux, the only way this could happen is through the kernel nfs server. A user on a system that mounted a remote file system from a vulnerable machine may be able to make unauthorized changes to the group ID of exported files. The Common Vulnerabilities and Exposures project (cve.mitre.org) has assigned the name CAN-2004-0497 to this issue. References: http://www.redhat.com/docs/manuals/enterprise/RHEL-3-Manual/ref-guide/s1-nfs-server-export.html ------------------------------------------------------------------------------

Status: Erledigt

Bedauerlicherweise kam es zu einem Fehler in dem Mailskript beim Versand der Rundmail, dies führte dazu, dass die Mail bis zu 8x an die betroffenen Kunden versandt wurde.

Dies war mein persönlicher Fehler und ich möchte mich hierfür in aller Form entschuldigen!


Rundmail vom 02.07.2004
Dies betrifft nur Kunden, welche sich vor dem 18. Mai 2004 registriert haben.

Zitat

Sehr geehrte Damen und Herren, dieses Rundschreiben soll Sie über sehr wichtige Veränderungen in der Dienstleistungsstruktur von rubas.NET in Kenntnis setzen. Bitte studieren Sie die Mail sorgfältig! -- Anfangs Mai wurde ein Serverwechsel vollzogen, Sie wurden hierüber per Mail und im Forum informiert. Dieser Wechsel führte dazu, dass sich ebenfalls die Nameserver für Ihre Domain geändert haben. Leider haben es einige Kunden versäumt die Nameserver für Ihre Domain anzupassen, was dazu führt, dass diese Accounts von einigen Providern zur Zeit nicht erreichbar sind. Sollten Sie die Änderungen der Nameserver noch nicht durchgeführt haben, so ist es zwingend notwendig dies jetzt zu tun! Sie können unter http://www.switch.ch/de/search/whois_form.html prüfen, ob die Änderungen bereits durchgeführt wurden. Geben Sie hierzu Ihre Domain in das Forumlar ein und drücken Sie "suchen". Finden Sie folgenden Eintrag vor, ist der Wechsel noch NICHT vollzogen: Name servers: ns3.rubas.net ns4.rubas.net Ändern Sie die Nameserver ihrer Domain zu: ns5.rubas.net [ 62.216.182.10 ] ns6.rubas.net [ 62.216.182.11 ] Eine Anleitung hierzu finden Sie unter: http://www.rubas.ch/forums/viewtopic.php?t=34 Sollten Sie die Domain über rubas.net bezogen haben, so wurden diese Änderungen bereits durch uns vorgenommen! Für weitere Fragen stehe ich Ihnen natürlich zur Verfügung. Referenz: Forumsthread über den Serverwechsel http://www.rubas.ch/forums/viewtopic.php?t=49 -- Mit freundlichen Grüssen, Dominic Rubas Geschäftsführer und Inhaber von rubas.NET http://www.rubas.net

Es wurde eine neue Version des Cpanel in den "stable Tree" aufgenommen und wir werden die Server entsprechend updaten.

Status: Erledigt