Najnowsze informacje dotyczące sytuacji w Strasburgu

Roubaix, Francja | 17-03-2021

Najnowsze informacje dotyczące sytuacji w Strasburgu

Strasbourg datacentre: latest information

Roubaix, France | 18 March 2021 - 16:30 (CET)

Customer information:

1. Service Status

  • In the OVHcloud Control Panel, each affected customer can view the status of their services located in Strasbourg (SBG) - as detailed in the FAQ.
  • The OVHcloud Community platform is now available to interact with community members and support you.
  • By following the security protocol defined for on-premises operations: the restart will be carried out room by room, aisle by aisle and rack by rack.
  • Procedures for restarting services will be communicated to affected customers as details become available in the coming days.
  • Real-time monitoring of the restart of SBG by room and planned rack is available at: status.ovh.com/vms/sbg.

2. Commercial actions

  • At the beginning of the week, all customers concerned received a communication on the commercial measures that will be applied to their situation. For customers who have not received the email, a procedure has been indicated in the FAQ.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

Datacentre operational.

 

Accomplished

Accomplished

First racks tested with success.

Handover to the customer today with visibility of the status in their OVHcloud Customer Control Panel.

SBG-2

Building non-operational.

Site secured.

 

 

Replacement of infrastructure in other datacentres: Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Datacentre operational.

 

Servers undamaged.

 

 

 

Accomplished

 

Accomplished

Test today on one rack and if conclusive provisional estimate for Friday 19 March for a progressive restart of the services.

SBG-4

Datacentre operational.

 

All floors and servers undamaged.

Accomplished

 

 

Accomplished

 

Provisional ETA: Monday, 22 March for gradual restart of services.

 

  • 136 people are mobilised on premises today
    • The team rotation schedule for the coming weekend has been established.
  • Cleaning of site:
    • Cleaning teams are active in SBG1 and SBG3 in all affected areas.
    • Some of the servers in SBG3 require specific cleaning prior to their return to service. We have started this process.

Priority 2: Provisioning of infrastructure for our customers in other datacentres

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres in Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), and Frankfurt (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks.
  • Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

4519

 

NAS HA

TB

246

Public Cloud

VPS

VM

12353

Hosted Private Cloud

Host

Servers

485

 

Datastore

Number of zpool

522

 

 

Volume of TB

3067

  • 400 servers will be produced today.

Due to the current demand, delivery times on our Bare Metal services may be longer than usual. Our teams are fully mobilised, and we are working hard to deliver to our customers as quickly as possible, especially all affected customers.

On the other hand, Public Cloud, Web Cloud and VPS services are being delivered as normal in all datacentres. 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

  • The OVHcloud Community platform is now available to interact with community members and support you.
  • An FAQ is available here.
  • To follow updates about this situation in real time:
    • Our main communication tool remains "Task Status"
    • Status videos are available here:

- FR : https://twitter.com/olesovhcom/status/1371908744775360518

- EN : https://twitter.com/olesovhcom/status/1371934994751500288

Our mission remains to provide our customers with the highest quality of service, to support their online business.  and we know how important this is to them. We sincerely apologise any inconveniences related  this situation An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

---------

17 March 2021 - 16:30 (CET)

Customer information:

1. Service Status

  • Octave Klaba, founder of OVHcloud, has released a new video on the situation in Strasbourg (SBG).
  • In the Control Panel, each affected customer can view the status of their services located in Strasbourg (SBG) - as detailed in the FAQ.
  • The OVHcloud Community platform is now available to interact with community members and support you.

By following the security protocol defined for on-premises operations: restarting will be carried out room by room, aisle by aisle and rack by rack.

  • Procedures for restarting services will be communicated to affected customers as details become available in the coming days.
  • Real-time monitoring of SBG restart by room and planned rack via: status.ovh.com/vms.
  • Progressive updates to the status page for services and backups in Strasbourg (SBG), from today onwards, accessible via the FAQ.
  • Updating and tracking the percentage of services restarted per datacentre scheduled in the “Task Status” interface in the coming days.
  • A new order form has been set up (for Bare Metal Cloud) to offer concerned customers services similar to those they had at the Strasbourg (SBG) site.

2. Commercial actions

  • All concerned customers received, at the beginning of the week, a communication on the commercial measures that will be applied to their situation. For customers who have not received the email, a procedure has been indicated in the FAQ.
  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

 

- Rooms 61AD/62AD: servers not affected

- Rooms 61E/62D: cleaning of servers underway

- Restored power to datacentre

 

- Backbone: reconnected

- Redeployment of the local network (Cabling finalised this Wednesday) and configuration today

 

 

A rack was tested today and if conclusive a provisional estimate of Friday, 19 March for a gradual restart of services after cleaning and drying servers.

 

SBG-2

Building out of use Site secured

 

 

Replacement of infrastructure in other data centres: Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Servers undamaged

 

 

 

- Restored power to datacentre

 

 

- New network power restored

- Redeployment of the local network this Wednesday 17th March (Cabling finalised).

 

Test tomorrow on a rack and if conclusive a provisional estimate of Friday, 19 March for a gradual restart of services.

SBG-4

All floors and servers were spared

- Restored power to datacentre

 

Redeployment of the local network carried out.

Provisional ETA: Monday, 22 March for gradual restart of services.

 

  • 116 people are mobilised at the premises today
  • Network redeployment: 
    • The SBG1, SBG3 and SBG4 datacentres will be connected to the network tonight.
  • Watercooling:
    • The entire system is operational in the SBG1/SBG3/SBG4 datacentres.
  • Cleaning of site:
    • Intensive mobilisation (24/24).
    • SBG1: finalisation of cleaning Wednesday, 17th March.

Priority 2: providing infrastructures in other datacentres for our affected customers

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres in Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), and Frankfurt (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks. Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

4200

 

NAS HA

TB

276

Public Cloud

VPS

VM

11998

Hosted Private Cloud

Host

Servers

434

 

Datastore

Number of zpool

466

 

 

Volume of TB

2950

 

  • 400 servers will be produced today.

Due to the current demand, delivery times on our Bare Metal services may be longer than usual. Our teams are fully mobilised, and we are working hard to deliver to our customers as quickly as possible, especially all affected customers.

On the other hand, Public Cloud, Web Cloud and VPS services are being delivered as normal in all datacentres. 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business.  and we know how important this is to them. We sincerely apologise any inconveniences related  this situation An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

------

16 March 2021 - 16:00 (CET)

Customer information:

1.  Service Status

  • Progressive updates to the status page for services and backups in Strasbourg (SBG), from today onwards, accessible via the FAQ.
  • Monitoring of the % of service restarts per datacentre to be displayed in the "Travaux" interface in the coming days. Restarts will be carried out room by room, aisle by aisle and rack by rack.
  • Finalized procedures for restarting services will soon be communicated to customers.

2. Commercial actions

  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

 

- Rooms 61AD/62AD: servers not affected

- Rooms 61E/62D: cleaning of servers underway

- Power restored

- Damaged UPS have been checked and are being replaced

- Backbone: temporary connection to SBG on 15th March

- LAN redeployment and configuration today

 

 

Provisional ETA: Monday, 22 March for gradual restart

SBG-2

Building out of use. Structural expertise carried out. Site secured.

 

 

 

 

Infrastructure replacement in other data centres Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Servers undamaged

 

 

- Power restored today

- All inverters are operational

 

 

- New network room powered up today

- Redeployment of the local network on 17th March

Provisional ETA: Monday, 22 March for gradual restart

 

 

SBG-4

All floors and servers were spared

Power restored today

 

Redeployment of the local network today

Provisional ETA: Monday, 22 March for gradual restart

 

  • 101 people are mobilised and on premises
  • Network redeployment:
    • SBG connection to the backbone today (alternative routes to Paris and Frankfurt underway)
    • Reconnection of buildings and rooms:
      • Fibre optic redeployment in progress 
      • Configuration underway
  • Watercooling:
    • The entire system is operational.
  • Cleaning of site:
    • Intensive mobilisation (24/24).

Priority 2: Provisioning of infrastructure for our customers in other datacentres

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres: Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), Francfort (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks. Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

3939

 

NAS HA

TB

242

Public Cloud

VPS

VM

10731

Hosted Private Cloud

Host

Servers

372

 

Datastore

Number of zpool

393

 

 

Volume of TB

2704

 

  • 350 servers will be produced today.

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business and we know how important this is to them. We sincerely apologise for any inconveniences related to this situation. An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-------

15 March 2021 - 17:00 (CET)

Customer information:

1 - Server status

  • The status page for services and backups in Strasbourg (SBG) is now available in the FAQ.
  • For VPS service, a question about “zone vs datacentre (SBG)” has been added for clarification in the FAQ.

2 - Commercial actions

  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3 - Action plan

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

 

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

Temporarily repowered on 13th March and will be restored permanently on 16th March

- Backbone: temporary connection to SBG on 15th March

- Internal network to be redeployed on 16th March

Provisional ETA: Monday, 22 March

for gradual restart

SBG-2

Building out of use

Structural expertise carried out.  Site secured

 

 

Replacement of infrastructure in other datacentres

SBG-3

Servers undamaged

Temporarily repowered on 12th March and will be restored permanently on 16th March

- New network room to be deployed and powered on 16th March

- Internal network to be redeployed on 17th March

Provisional ETA: Monday, 22 March

for gradual restart

SBG-4

Servers undamaged

Power to be restored on 16th March

- Internal network to be redeployed on 16th March

Provisional ETA: Monday, 22 March

for gradual restart

 

  • 111 people are dedicated on-site to connecting network and electricity units (in rotation, 24/24), for: 
  • Power redeployment:
    • The electrical installations required to restart SBG1/SBG4 have been verified.
    • The high-voltage power supply for SBG3 is deployed and operational.
    • Inverter re-commissioning protocol underway today (verification of all UPS).

 

  • Network redeployment:
    • The SBG1 network room is being tested.
    • The new network room is being completed and will be supplied with electricity as soon as the inverters are verified.
    • The installation of the network equipment will be finalised this evening.
    • The connection of the backbone is scheduled for tomorrow.
    • The local network is being redeployed.

 

  • The cleaning of any soot in the SBG3 server rooms will begin on Tuesday, 16 March. The clean-up teams have arrived on site and are beginning deployed.

 

Priority 2: providing infrastructures in other datacentres for our affected customers

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks.
  • 500 servers will be produced today.

 

  • Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

3658

 

HA-NAS

TB

220

Public Cloud

VPS

VM

8903

Hosted Private Cloud

Host

Servers

328

 

Datastore

Number of zpool

361

 

 

Volume of TB

2598

 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers, and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

 

Our mission remains to provide our customers with the highest quality of services to support their online activities, and we know how important this is to them. We sincerely apologise for the problems caused by this incident. An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-----------

 14 March 2021 - 15:00 (CET)
 

Customer information:

1 - Server status

  • A page has been created listing the backups of services hosted in Strasbourg (SBG) managed by the customer or by OVHcloud along with their status, which will be available in the FAQ within the next few hours.
  • For Public Cloud and VPS customers, a question about “zone vs datacentre (SBG)” has been clarified in the FAQ today.

2 - Commercial actions

  • All affected customers will be notified about their suspended March bill in their Control Panel.
  • Details on how these measures will be implemented will be sent next week, and will also apply to March bills for impacted services that were already issued before 10th March.

3 - Action plan:

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

 

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

Temporarily repowered on 13/03 and will be restored permanently on 17/03

- Backbone: temporary connection to SBG on 15/03

- Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

SBG-2

Building out of use

 

 

Replacing infrastructures in other datacentres

SBG-3

Servers undamaged

Temporarily repowered on 12/03 and will be restored permanently on 16/03

- New network room to be deployed and powered on 16/03

- Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

SBG-4

Servers undamaged

Power will return permanently on 17/03

Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

 

  • A team of 60 people is working on site to connect mobile network and electricity units (working in rotation, 24 hours a day)
    • Cabling in progress.
    • Connection planned for tonight.
  • The drying out of the SBG3 buildings will be finished tonight.
  • The cleaning of any soot in the SBG3 server rooms will begin on Tuesday, 16 March.
  • The cooling system is operational :
    • Water cooling is protected from the cold weather (forecast locally on Thursday, 18 March and Friday, 19 March).
    • The pumps are operational.
  • Priority 2: providing infrastructures in other datacentres for our affected customers
     
  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
  • We are committed to providing around 15,000 new servers in the coming weeks.
  • Update on quantities delivered since 10th March:

 

Statement

 

  • Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers
    • Our Support teams and Technical Account Managers are in contact with our customers, and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

 

Our mission remains to provide our customers with the highest quality of services to support their online activities, and we know how important this is to them. We sincerely apologise for the problems caused by this fire. We will continue to communicate with the utmost transparency about the cause of the fire and its consequences.

An investigation is ongoing. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-----------

13 March 2021 - 16:00 (CET)
 

Customer information:

1 - Server Status

  • We have sent emails to all our customers informing them of the status of their services.

2 - Commercial actions

  • Billing has been suspended for Strasbourg (SBG) datacentre customers from the date of the incident.
  • Commercial measures have been set out to each affected customer.
  • Details on how these measures will be implemented will be sent next week, and will apply in particular to March bills for impacted services that were already issued before 10th March.
  • We have updated the FAQs.

 Our three priorities are as follows:

  • Priority 1: restoring services to SBG1, SBG3, and SBG4
  • Priority 2: providing infrastructures in other datacentres for our affected customers
  • Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

Action plan:

Priority #1:

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Server restart

SBG-1

4 of 12 rooms were damaged

From Monday, 15 March

Progressive restoration of undamaged servers by Monday, 22 March

SBG-2

Building out of use

Audit and inventory of premises

Replacing infrastructures in other datacentres

SBG-3

Servers undamaged

Tests for the high voltage supply will be carried out this weekend.  Provisional restart on 15th March

A progressive restart of all services is estimated from Monday, 22 March.

 

SBG-4

Servers undamaged

Scheduled for Monday, 15 March

A progressive restart of all services is estimated from Monday, 22 March.

 

 

  • Mobile high-voltage network and electricity units arrived at the Strasbourg site today at 12pm.
  • 60 experts are currently working on site (in rotation over the weekend) in four teams, with the following missions:
  1. Team 1 (network) is tasked with connecting the mobile network unit and testing the network room in SBG1
  2. Team 2 (electricity) is working on high-voltage electricity connections
  3. Team 3 (electricity) is working on low-voltage electricity connections
  4. Team 4 is working on protecting and restoring the cooling systems

The aim is to reconnect, repower and restart the backbone access network from Monday, 15 March (following the authorisation of the ESR (Électricité de Strasbourg Réseaux)).

To repower the site:

  • Two generators have been rented since 11th March to power the temporary office.
  • One additional generator was rented to recharge the batteries of our generators following their activation during the incident.

 

  • Several service providers are currently working on site (30 people)
    • The water on the floor of the SBG3 building has been cleaned up
    • The SBG3 building is currently being dried out, which should be completed by Sunday evening
    • The cleaning of any soot in the server rooms of SBG3 will begin on Monday.
       
  • Repair of the damaged cooling system:
    • A crane has arrived on site.

Priority #2:

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
     
  • We are committed to providing around 15,000 new servers in the coming weeks.
     
  • Update on quantities delivered since 10th March:
•	Update on quantities delivered since 10/03

Priority #3:

  • Backup mechanisms:
    • An overview of all backup mechanisms will be published in the FAQ today.
    • For Public Cloud and VPS customers, questions about “zone vs datacentre (SBG)” will be clarified in the FAQ today.
    • An ad hoc mechanism is in place to help our customers set up their DRP system.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business. And we know how important this is to them. We sincerely apologise for the problems caused by this fire. We will continue to communicate with the utmost transparency about the cause of the fire and its consequences.

An investigation is ongoing. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

--------

12 marca 2021 – 14:00 (CET)
 

Informacje dla klientów:

  • Opublikowaliśmy materiały wideo z wypowiedziami Octave’a Klaby, założyciela OVHcloud, dotyczącymi bieżącej sytuacji:

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

  • Dzisiaj wyślemy do klientów wiadomość e-mail z informacją o statusie ich usług. Powołaliśmy również zespół pomocy pracujący 24/7, którego zadaniem jest bieżące wsparcie klientów.

Przypominamy nasze trzy priorytety:

  • Priorytet 1: przywrócenie usług w SBG1, SBG3 i SBG4
  • Priorytet 2: udostępnienie klientom infrastruktury w naszych centrach danych niedotkniętych skutkami incydentu
  • Priorytet 3: wdrożenie we współpracy z naszymi klientami wszystkich mechanizmów DRP (Disaster Recovery Plan).

Priorytet 1: przywrócenie usług w SBG1, SBG3 i  SBG4

  • W dalszym ciągu trwa diagnostyka i inwentaryzacja.
  • Trwa sprzątanie i naprawa uszkodzonych budynków w celu zapewnienia bezpieczeństwa naszych zespołów.
  • Usunięto pianę oraz wodę z ulicy. Zbiornik zapasu wody został opróżniony.
  • Wszystkie dalekobieżne łącza światłowodowe są sprawne.
  • Obiekt SBG1 został częściowo uszkodzony (4 pomieszczenia z 12).
    • Pomieszczenie sieciowe zostało wczoraj skontrolowane. Na ten weekend zaplanowane jest przeprowadzenie testu zasilania elektrycznego, bez podłączania do sieci. Przewidywany termin ponownego podłączenia do sieci elektrycznej: początek przyszłego tygodnia.
    • Wstępnie szacujemy, że ponowne włączenie sieci elektrycznej nastąpi w poniedziałek 15 marca.
    • Serwery będą po kolei poddawane kontroli i uruchamiane.
  • Obiekt SBG3 nie został uszkodzony przez pożar.
    • Pod koniec tego tygodnia zostanie utworzone pomieszczenie sieciowe, które będzie operacyjne na początku przyszłego tygodnia (tydzień 11).
    • W weekend przeprowadzone zostaną testy zasilania wysokiego napięcia. Wstępnie przewidywany termin przywrócenia zasilania: poniedziałek 15 marca.
    • Stopniowe uruchamianie wszystkich usług przewidywane od poniedziałku 22 marca.
  • Obiekt SBG4 nie został uszkodzony przez pożar.
    • Do końca tego tygodnia zakończymy realizację planu przywrócenia jego działania.

Wszystkie usługi E-mail Pro zostały przywrócone w czwartek 11 marca, od godziny 16:55. Brak utraconych wiadomości e-mail.

Priorytet 2: udostępnienie klientom infrastruktury w naszych centrach danych niedotkniętych skutkami incydentu

  • Klientom, którzy odczuli skutki incydentu oferujemy infrastrukturę zastępczą (Bare Metal, Hosted Private Cloud i Public Cloud) w centrach danych w Roubaix (RBX) i Gravelines (GRA).
  • Do tej pory dostarczyliśmy naszym klientom:
    • środa, 10 marca: 2 100 nowych serwerów,
    • czwartek, 11 marca: 630 nowych serwerów.
  • Nowa organizacja pracy linii montażowych działa od piątku 12 marca rano i pozwala na trzykrotne zwiększenie zdolności produkcyjnej (3000 do 4000 serwerów tygodniowo).
  • Podejmujemy zobowiązanie, że w ciągu najbliższych kilku tygodni wyprodukujemy około 15 000 nowych serwerów.
  • Terminy dostarczenia nowych usług zostaną podane do wiadomości klientów w najbliższym możliwym terminie.

Priorytet 3: wdrożenie we współpracy z naszymi klientami wszystkich mechanizmów DRP (Disaster Recovery Plan).

  • Nasze zespoły pomocy technicznej oraz Technical Account Managerowie określą na koniec tego tygodnia plan wsparcia dla klientów, którzy nie uruchomili jeszcze swoich planów Disaster Recovery.

Komunikacja

  • Sekcja FAQ dostępna jest pod adresem: https://help.ovhcloud.com/pl/faq/strasbourg-incident/
  • Rozwój sytuacji w czasie rzeczywistym możecie Państwo śledzić tutaj:
    • Naszym głównym kanałem komunikacji pozostaje platforma umożliwiająca śledzenie incydentów „Status prac
    • Materiały wideo przedstawiające bieżącą sytuację dostępne są tutaj:

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Naszą misją jest niezmiennie zapewnienie klientom najwyższej jakości usług wspierających ich działalność.  Przepraszamy za wszelkie problemy spowodowane przez zaistniałą sytuację. Będziemy nadal przekazywać transparentne informacje dotyczące bieżących działań, przyczyn pożaru i jego konsekwencji.

Trwają czynności mające na celu wyjaśnienie okoliczności, w jakich doszło do zdarzenia. OVHcloud analizuje obecnie potencjalne środki techniczne i operacyjne, które pozwolą zapewnić rozwiązania dla klientów, którzy odczuli skutki zdarzenia.

Wszystkie nasze kanały komunikacyjne, w tym platforma umożliwiająca śledzenie incydentów (travaux.ovh.com), pozostają dostępne, aby mogli Państwo w czasie rzeczywistym uzyskiwać informacje o rozwoju sytuacji.

------

11 Marca 2021 r. - 15:30 (CET)
 

Zespoły:

  • Zespół HR OVHcloud przybył dzisiaj na miejsce wydarzenia, aby wspierać zespoły pracujące na terenie obiektu.
  • Zorganizowane zostało biuro tymczasowe.
  • Na miejsce przybyły również zespoły techniczne, aby udzielić wsparcia i podzielić się swoją wiedzą specjalistyczną.
  • Szeregi pracowników we francuskim zakładzie produkcyjnym (Croix) wzmocnili wolontariusze z OVHcloud, którzy pomagają realizować bieżący plan produkcyjny oraz obsłużyć zwiększone obciążenie pracą spowodowane incydentem w Strasburgu.
  • Produkcja serwerów będzie odbywała się w wydłużonych godzinach pracy oraz w weekendy.

 

Produkcja i centra danych:

  • Zaoferowaliśmy naszym klientom alternatywną infrastrukturę (serwery dedykowane, rozwiązania Private i Public Cloud) w centrach danych w Roubaix i Gravelines.
  • Aby odpowiedzieć na bieżące zapotrzebowanie, w ciągu najbliższych 48 godzin zaplanowaliśmy uruchomienie dodatkowych linii montażowych, które zwiększą trzykrotnie naszą zdolność produkcyjną.

 

Obiekt w Strasburgu:

  • Diagnostyka i inwentaryzacja w trakcie.
  • Sprzątanie i naprawa uszkodzonych budynków w celu zapewnienia bezpiecznego środowiska pracy dla naszych zespołów.
  • Usunięto pianę oraz wodę z ulicy. Dzisiaj zostanie usunięta woda ze zbiornika przeciwpożarowego.
  • Obiekt SBG2 musi zostać odbudowany niemal w całości.
  • Obiekt OSBG1 został poważnie uszkodzony.
    • Pomieszczenie sieciowe SBG1 - po przeprowadzeniu wstępnego audytu pomieszczenie sieciowe zostanie przywrócone do normalnego trybu funkcjonowania na początku przyszłego tygodnia.
    • Przewidywany termin przywrócenia zasilania - poniedziałek 15 marca.
    • W ciągu najbliższych dni, po zakończeniu audytu, serwery będą stopniowo włączane
  • SBG4: wstępna ocena nie ujawniła żadnych problemów. Celem jest przywrócenie energii elektrycznej w 12. tygodniu i stopniowe przywracanie wszystkich usług.
  • Obiekt SBG3 nie został dotknięty pożarem. Celem jest przywrócenie prądu i sieci w 12. tygodniu i stopniowe przywracanie wszystkich usług.

Trzy priorytety na chwilę obecną:

  1. Rezerwacja infrastruktury w innych centrach danych dla klientów, którzy odczuli skutki pożaru: w Roubaix i Gravelines posiadamy zapasy nowych serwerów gotowych do dostarczenia większości klientów. W ciągu najbliższych kilku tygodni zwiększymy dostępność w tych centrach danych i uruchomimy produkcję blisko 10 000 nowych serwerów. Procedura zostanie jak najszybciej przekazana zainteresowanym klientom.
     
  2. Zabezpieczenie obiektu, do którego mamy teraz dostęp, oczyszczenie go, a następnie przywrócenie zasilania i sieci w trzech objętych skutkami wydarzenia centrach danych.
     
  3. Dalsza ocena, w porozumieniu z naszymi klientami, wpływu na ich usługi hostowane w dotkniętych skutkami pożaru centrach danych i znalezienie najlepszych rozwiązań.
     

Dodatkowe działania podjęte przez OVHcloud:

Sieć:

  • Wszystkie łącza światłowodowe w centrum danych są sprawne.
  • Wszystkie zamówienia złożone u różnych dostawców - termin dostawy 11 marca.

Komunikacja:

Naszą misją jest niezmiennie zapewnienie klientom najwyższej jakości usług wspierających ich działalność. Przepraszamy za wszelkie problemy spowodowane przez zaistniałą sytuację. Będziemy nadal przekazywać transparentne informacje dotyczące bieżących działań, przyczyn pożaru i jego konsekwencji.

Trwają czynności mające na celu wyjaśnienie okoliczności, w jakich doszło do zdarzenia. OVHcloud analizuje obecnie potencjalne środki techniczne i operacyjne, które pozwolą zapewnić odpowiednie rozwiązania dla klientów.

Wszystkie nasze kanały komunikacyjne, w tym platforma umożliwiająca śledzenie incydentów (travaux.ovh.com), pozostają dostępne, aby mogli Państwo w czasie rzeczywistym uzyskiwać informacje o rozwoju sytuacji.

Sekcja FAQ jest dostępna tutaj.

Kontakt dla prasy: press@ovhcloud.com

--------------

Stan na dzień 10/03/2021 - 21:00 (CET)

Przypomnienie zdarzeń:

  • 10 marca 2021 r., o godz. 00:47, wybuchł pożar w pomieszczeniu jednego z 4 centrów danych OVHcloud w Strasburgu (SBG2). 
  • Pożar został opanowany wczesnym rankiem.
  • Nie było ofiar.
  • Pożar zniszczył głównie centrum danych SBG2 i częściowo uszkodził centrum danych SBG1 (4 zniszczone pomieszczenia na 12). Ogień nie objął pozostałych dwóch centrów danych OVHcloud w Strasburgu. Serwery SBG3 i SBG4 są obecnie wyłączone, ale nie zostały uszkodzone.
  • Informujemy, że obiekt nie jest objęty zakresem stosowania dyrektywy Seveso. 
  • Obecnie badane są przyczyny pożaru. Wszczęta została procedura dochodzeniowa nadzorowana przez lokalne władze.

Działania podjęte przez OVHcloud:

  • Zespoły techniczne i handlowe na bieżąco informują naszych klientów o sytuacji i dokładają wszelkich starań, aby łagodzić skutki niedostępności obiektu w Strasburgu.
  • Octave Klaba, założyciel firmy, jest dziś rano na miejscu wraz z zespołami technicznymi.
  • Możecie Państwo śledzić rozwój sytuacji w czasie rzeczywistym:
  • Komunikat dla klientów, uzupełniony o sekcję „FAQ”, będzie dostępny jutro.
  • Aby ułatwić obsługę zapytań klientów, rekomendujemy tworzenie zgłoszeń na naszej stronie WWW lub korzystanie z naszego centrum pomocy.

Nasze trzy priorytety na chwilę obecną są następujące:

    1. Rezerwacja infrastruktury w innych centrach danych dla klientów, którzy odczuli skutki pożaru: w Roubaix i Gravelines posiadamy zapasy nowych serwerów gotowych do dostarczenia większości klientów, którzy potrzebują takiego rozwiązania. W ciągu najbliższych kilku tygodni uruchomimy produkcję blisko 10 000 nowych serwerów w tych centrach danych. Procedura zostanie jak najszybciej przekazana zainteresowanym klientom.
    2. Zabezpieczenie obiektu, do którego mamy teraz dostęp, oczyszczenie go, a następnie przywrócenie zasilania i sieci w trzech objętych skutkami wydarzenia centrach danych.
    3. Dalsza ocena, w porozumieniu z naszymi klientami, wpływu na ich usługi hostowane w dotkniętych skutkami pożaru centrach danych i znalezienie najlepszych rozwiązań.

Dokładamy wszelkich starań, aby zapewnić ciągłość usług naszym klientom:

  • Pracujemy nad planem jak najszybszego przywrócenia działania trzech nienaruszonych (SBG3 i SBG4) lub częściowo dotkniętych (SBG1) centrów danych oraz naszej sieci.
  • Prosimy klientów o zachowanie szczególnej ostrożności i zwrócenie uwagi na otrzymywaną pocztę e-mail. W sytuacjach kryzysowych często pojawiają się próby złośliwych ataków (phishing, spam, etc.).  

Wpływ na naszą działalność:

  • W dalszym ciągu oceniamy skutki incydentu, szczególnie odczuwane przez klientów, których dane znajdowały się w centrum danych zniszczonym przez pożar.
  • Usługi VOIP we Francji nie zostały zakłócone.
  • Wszystkie nasze usługi w innych centrach danych we Francji i na świecie (w tym 15 DC w Europie) są w pełni operacyjne.

Naszą misją jest niezmiennie zapewnienie klientom najwyższej jakości usług wspierających ich działalność. Przepraszamy za wszystkie niedogodności spowodowane przez wydarzenie. Zapewniamy, że będziemy regularnie przekazywać transparentne informacje na temat przyczyn pożaru i jego skutków.

Badamy również wpływ incydentu na środowisko. Współpracujemy w tym zakresie z odpowiednimi instytucjami i stosujemy przewidziane w takich sytuacjach procedury, aby potwierdzić brak skażenia środowiska.

Zapewniamy, że ludność zamieszkała w okolicach centrum danych nie jest zagrożona.

W sposób ciągły prowadzimy działania pozwalające ocenić skutki wydarzenia. Dokładamy starań, aby możliwie na bieżąco i w maksymalnie przejrzysty sposób informować o wynikach analiz i o wdrażanych rozwiązaniach.

Wszystkie nasze kanały komunikacyjne, w tym platforma umożliwiająca śledzenie incydentów (travaux.ovh.com), pozostają dostępne, aby mogli Państwo w czasie rzeczywistym uzyskiwać informacje o rozwoju sytuacji.

Prace: http://travaux.ovh.net/?do=details&id=49484

------------------

Stan na dzień 10/03/2021 - 11:00 (CET)

W środę, 10 marca br., o  godzinie 00:47 , w jednym z naszych 4 centrów danych w Strasburgu, SBG2, wybuchł pożar. Informujemy, że obiekt nie podlega postanowieniom dyrektywy Seveso.

Straż pożarna podjęła błyskawiczną interwencję, by zapobiec rozprzestrzenianiu się zagrożenia. O godzinie 2:54 odizolowano teren. Do godziny 4:09 pożar zniszczył SBG2 i nadal stanowił zagrożenie dla pobliskich centrów danych, dopóki nie opanowano ognia. Od godziny 5:30, na polecenie prefektury, teren ten jest niedostępny dla naszych zespołów z oczywistych względów bezpieczeństwa. Pożar został już opanowany. Odczuwamy ulgę, że nikt nie został ranny ani wśród naszych zespołów, ani wśród strażaków i służb prefektury, którym dziękujemy za wzorową mobilizację.


Dzięki naszym 15 centrom danych w Europie, zespoły techniczne i sprzedażowe OVHcloud angażują się we wspieranie naszych klientów, wdrażanie adekwatnych rozwiązań i łagodzenie skutków niedostępności lokalizacji w Strasburgu. Naszą misją jest niezmiennie zapewnienie klientom najwyższej jakości usług wspierających ich działalność. Szczerze przepraszamy za trudności i wyzwania spowodowane przez pożar.


Obecnie trwa ocena skutków wydarzenia, tak abyśmy mogli w możliwie najbardziej przejrzysty sposób informować o postępach czynności sprawdzających i wdrażaniu rozwiązań. Wszystkie nasze kanały komunikacyjne, począwszy od naszej platformy śledzenia incydentów (travaux.ovh.com), pozostają dostępne, aby mogli Państwo być na bieżąco informowani o rozwoju sytuacji.

Kontakt dla Prasy | OVHcloud

press@ovhcloud.com

Moje konto klientaKontakt z Działem SprzedażyWebmail OVHcloud Blog

Witamy w OVHcloud!

Zaloguj się, aby złożyć zamówienie, śledzić je oraz zarządzać produktami i usługami

Zaloguj się