Tales from the Machine Room


Home Page | Comments | Articles | Faq | Documents | Search | Archive | Tales from the Machine Room | Contribute | Set language to:en it | Login/Register


What you DO NOT know...

We keep talking about "Business Continuity", that, as explained before, is that thing that nobody understand until it stops working, and then everybody start screaming and running around like headless chickens.

Let's start by repeating my personal opinion that if "something" is an integral part of the chain of processes that in the end put money in your pocket, you should take care of it and not ignore it until it crashes, catch fire or show you the middle finger and walk out the door. This last one in case the "something" is actually a "somebody".

Of course my opinion is just my opinion, and everybody is entitles to his own wrong opinions, but I prefer that, once your wrong opinions are proven wrong, multiple times, with scientific details, you should stop bothering me.

And now we're back talking about $shitandstuff, of which I've already written some times ago, as you remember, those peoples were making money by buying junk and selling it on the internet. Nothing incredible in this, there are lots of companies that made lots of money reselling junk on the internet, and you only need to look at things like e-bay to realize that selling junk is a very lucrative activity with lots of participants.

In the specific case of $shitandstuff, those peoples had made that their religion and belief, to the point they had a system specifically developed to manage order and invoices.

This "thing" was based on some very old stuff, so old that it was running on Solari 8. Let's ignore why or what, in any event, it was hosted on a dedicated machine somewhere in $shitandstuff's office.

What I know is that that thing was in our monitoring, and I know that because one day somebody, let's call him Bob, phoned up to inform us he was going to do some maintenance on it and if we could please put it in downtime. And I remember that because normally nobody, I mean NOBODY, ever informed us before doing maintenance on their system and when we tried to get the irresponsible one, we got insults because we made him "miss the goal".

So, when that thing suddenly went "down" in the monitoring, I showed some surprise. After sending a message and receiving no answer (what were you thinking?) I simply acknowledged the error and that was it.

Days passes, about a week, and then a phone call arrive:

SL - I am SL of $shitandstuff, we have problems with the order processing!
Me - Hummm... I see your ERP software is still down, maybe that is the problem.
SL - Oh, good, put it back up then! Right away!
Me - No, you should put it back up.
SL - What do you mean "it's us"?
Me - That machine is somewhere in your office, we do not maintain it, we only do some monitoring on it.
SL - In our office?
Me - Yes. Don't know where, why or how, but is in your office.
SL - And if it is monitored why didn't you informed us?
Me - We sent a mail a week ago and never received any answer, since there is no established escalation policy and that thing is in your office there wasn't much we could do.
SL - Are you sure is in our office?
Me - Well, the IP address is from your office so...
SL - And now what am I supposed to do? We need that thing back right now!
Me - How about going to talk with your IT? Somebody should manage that thing.

After a bit of "discussion", SL, that apparently was the "Finance Director" goes on an hunt for whomever in IT is managing that thing. Several hours passes without any change on the status of the server.

At 17, I start putting up helmet and gloves and walking towards the door, when the phone start ringing, I ignored it and kept going. Of course once at home I noticed 3 missed calls on my cellphone (no, I don't answer the phone while I am riding, or driving for that matter). And I refrained to call back the caller because I do 24x7 support when it's my turn, not when it's somebody else turn.

Of course the next day DB came to visit when he gets to the office (I was in the office by a couple of hours already).

DB - Yesterday SL from $shitandstuff called.
Me - For that server they lost probably.
DB - They lost it?
Me - Seems like it, did they found it?
DB - They said doesn't start anymore.
Me - And why are they talking with us? Isn't our server.
DB - They asked if we can help in starting it up, we could get the job of "clouderizing" it.
Me - That thing is Solaris, and we have no idea what runs on it, I seriously doubt we can do something with it.
DB - Right, you have some experience with Solaris, right?

... I don't have to go on right? The result was that I found myself in $shitandstuff office, office that was on 2 floors on a building in some desolate zone of town. There I get to know SL1 (IT Manager) and SL2 (Finance). SL2 stresses the importance of restarting immediately the process that is "central to the business"... curious that they discovered that is "central" only now that is not working. SL1 just stresses. Let's go see this server then.

The server turns out to be a Sun Ultra 450, and it also turns out to be on top of a table with no network or power connected to it. Maybe that explains why is not working. I also meet CL that is the 'IT' techie.

Me - Ok, let's plug it in and turn it on.
CL - Yes but... How do we plug in the monitor, mouse and keyboard?
Me - The monitor can be any CRT monitor, keyboard and mouse should be PS2.
CL - CRwhat? PSWhat?

I look at him and realize that, with all probability, this guy has never seen a CRT monitor or a keyboard that was not a USB or wireless one in his entire life.

Me - Where was this thing before being on top of this table?
CL - Ehhhh.. it was under that desk, but the rest of the stuff we don't have them anymore.
Me - ...what do you mean "we don't have them anymore"?

Then I have a doubt and open the front panel. Nope. No disks inside it. Empty.

Me - And what happened to the disks that were in this thing?
CL - Ah, the disks are here.

And pull out a plastic box with a few disks inside. Disks that looks like somebody tossed them out of the window and then went to pick them up again.

At this point I already knew that the server wouldn't have restarted ever again. I also understood that the "IT experience" of CL could be summarized in "he saw Ubuntu Retarder Romba once", and the experience of SL1 is probably even lower. But at that point I am curious, so I sat down and asked The Question.

Me - Ok, what the fuck happened here?

After a long winded story, the Truth was revealed.

Once upon a time, there was a guy called Bob, that, during the years, had put together some sort of ERP thingy that was used by $shitandstuff to run their system. That thing was an incredible hack, it worked, but Bob was the only one that knew how. And it lived in an old Sun Ultra 450 that lived under Bob's desk.

Then, one day, somebody had hired a new "IT Manager" whom decided that the IT needed to get "younger", and since he knew nothing about what Bob did, managed to piss him off. Now, I can't and won't discuss if Bob's behavior was correct or not, but it was clear that they pissed him off enough that he flipped them the bird and walked out.

His "software" remained there, churning peacefully in its server for another month or so, until the IT Manager asked CL what that thing was for and, since CL had no idea, they decided to turn it off and see if somebody was complaining. And CL, that had no idea how to properly turn it off, pulled the plug. Since the process was using that thing only in burst and not continuously, nobody noticed right away. So after a week, SL told CL to throw away the machine. And he did.

That was a day or two before SL2 started to receive notices that they couldn't process order or invoices anymore. At that point CL was quickly sent to chase the garbage truck down the road.

And this, should demonstrate, again, like it was still required, that everything you DO NOT KNOW, could came back and bite you in the ass, and if what you DO NOT KNOW is an integral part of your job, maybe you should change job.
 

Davide
22/04/2021 12:03

Previous Next

Comments are added when and more important if I have the time to review them and after removing Spam, Crap, Phishing and the like. So don't hold your breath. And if your comment doesn't appear, is probably becuase it wasn't worth it.

17 messages post new

Messer Franz

By Messer Franz posted 17/05/2021 08:19 - reply

> tu dovresti prendertene cura e non ignorarlo bellamente finche' non si schianta brutalmente, prende fuoco o esce dalla porta dopo averti mostrato il dito medio. Quest'ultimo nel caso il "qualche cosa" sia in effetti un "qualcuno".

Abbi fede...magari creeranno un hardware adeguato ed anche i pc potranno mostrarti il dito medio non solo simbolicamente ma anche fisicamente... la ricerca sulla robotica , a quel punto, avrebbe finalmente senso...

Riguardo la storia : il fatto di spegnere i computer per poi vedere se qualcuno protesta deve essere un'usanza olandese. Qui nel nordest, invece, ti dicono di spegnerlo formattarlo bruciarlo e non rompere più le balle con cose inutili, se l'hardware può essere riutilizzato di buttarlo in un magazzino polveroso finchè non sarà obsoleto, e se non può essere riutilizzato perchè obsoleto di buttarlo in un magazzino polveroso che dobbiamo decidere cosa farci.

Quando scoppia la bomba le prove sono distrutte (formattato l'hdd) e tutti possono dire "quale server? io non ne so niente, non è nella nostra rete, non è mai esistito, è colpa del tizio licenziato ieri" "ma non abbiamo licenziato nessuno ieri" "allora è colpa del primo che incontri andando verso il baretto" "aziendale?" "no, quello all'angolo della strada, che se becchi uno sconosciuto e dai la colpa a lui è meglio per tutti"

-- Messer Franz

Davide Bianchi

@ Messer Franz By Davide Bianchi posted 17/05/2021 09:00 - reply

il fatto di spegnere i computer per poi vedere se qualcuno protesta deve essere un'usanza olandese. Qui nel nordest, invece, ti dicono di spegnerlo formattarlo bruciarlo...

Scherzi? buttare via qualche cosa che si potrebbe rivendere e farci qualche soldino? Un vero olandese non lo farebbe mai, semmai si riempie di ciarpame tutto lo spazio disponibile, incluso il bagagliaio dell'auto...

-- Davide Bianchi

Messer Franz

@ Davide Bianchi By Messer Franz posted 17/05/2021 10:10 - reply

>Scherzi? buttare via qualche cosa che si potrebbe rivendere e farci qualche soldino? Un vero olandese non lo farebbe mai, semmai si riempie di ciarpame tutto lo spazio disponibile, incluso il bagagliaio dell'auto...

 

...ed un giorno, tolto il turpiloquio (in genere legittimo) dalle storie dalla sala macchine (cioè circa il 90% del tutto), le storie divennero un libro per i più piccini (che tanto a bestemmie oggidì sono già piuttosto colti) dal titolo "le favolose avventure del simpatico Davide il Coraggioso Sistemista Programmatore nelle fredde terre degli Accumulatori Seriali Compulsivi Psicotici" con in copertina un disegno di te sorridente che ti allontani da una città che brucia con una fiaccola in una mano e una busta con scritto "pensione, finalmente" nell'altra .... di sicuro sarà un libro molto educativo...

 

-- Messer Franz

Davide Bianchi

@ Messer Franz By Davide Bianchi posted 17/05/2021 10:29 - reply

...ed un giorno, tolto il turpiloquio (in genere legittimo) dalle storie dalla sala macchine (cioè circa il 90% del tutto), le storie divennero un libro per i più piccini

Libri? Esisteranno ancora quel giorno?

-- Davide Bianchi

Thomas

@ Davide Bianchi By Thomas posted 17/05/2021 11:10 - reply

@Davide

Scherzi? buttare via qualche cosa che si potrebbe rivendere e farci qualche soldino?

Senza contare i capi per cui "potrebbe sempre servire, non buttarlo, mettilo in $stanza_immondezzaio".

che OK, in linea generale approvo questo concetto, ma dipende da COSA tieni)



Ah, e anche quelli che, appena ti vedono con roba da buttare in mano, ci frugano dentro in cerca di tesori nascosti...

-- Thomas

Manuel

By Manuel posted 17/05/2021 10:11 - reply

Grazie BigD per queste storie: mi fanno sentire meno alieno, soprattutto quando mi inbatto in server configurati in modo arcano e mi chiedo a cosa servano... Il test dello "spegni e vediamo chi si lamenta" lo faccio anche io, senza però formattare o compromettere nulla. Una volta lo spegnimento durò mesi, prima di capire a cosa servisse una particolare VM... Per fortuna che non serviva spazio sull'host, altrimenti sarebbe stata zappata via senza pietà.

-- ::: meksONE :::

Davide Bianchi

@ Manuel By Davide Bianchi posted 17/05/2021 10:28 - reply

Il test dello "spegni e vediamo chi si lamenta" lo faccio anche io,

@Messer Franz: vedi?? non siamo soli!

-- Davide Bianchi

Anonymous coward

@ Manuel By Anonymous coward posted 04/06/2021 14:24 - reply

 

Grazie BigD per queste storie: mi fanno sentire meno alieno, soprattutto quando mi inbatto in server configurati in modo arcano e mi chiedo a cosa servano... Il test dello "spegni e vediamo chi si lamenta" lo faccio anche io, senza però formattare o compromettere nulla. Una volta lo spegnimento durò mesi, prima di capire a cosa servisse una particolare VM... Per fortuna che non serviva spazio sull'host, altrimenti sarebbe stata zappata via senza pietà.

---------------

Eh, ma adesso ci devi spiegare a csa serviva la VM sulla cui utilità fu necessario indagare mesi. E ci devi speigare anche che tipi di indagine richiese un così lungo periodo... ABBIAMO DIRITTO DI SAPERE!

 

-- Anonymous coward

Anonymous coward

By Anonymous coward posted 17/05/2021 11:43 - reply

Sai ovviamente che il manager verrà ricompensato per il taglio costi? :\)

-- Anonymous coward

Anonymous coward

By Anonymous coward posted 17/05/2021 11:51 - reply

il test dello "spegni e vedi se qualcuno si lamenta" era la procedura standard in $isp_semi_monopolista_pec e probabilmente lo è tutt'ora.

In realtà era uno "scollega il cavo di rete ed aspetta".

Se per una settimana non si lamentava nessuno i dischi venivano inseriti in una lista che prevedeva l'attesa di un mese dentro ad un armadietto.

Allo scadere del mese i dischi venivano trattati con ripetuti passaggi di dd e riutilizzati.

 

Si è capitato, più volte, che la gente chiedesse dati ormai andati persi con questo metodo

No non è mai stata modificata la policy ma anzi si è sempre battuto sulla necessità di rispettare i tempi("si è detto un mese, perché sto disco è ancora in armadietto?il mese scadeva l'altro ieri").

Si lo penso anch'io.

-- Anonymous coward

Katrank

By Katrank posted 17/05/2021 14:55 - reply

Premessa: lavoro in $entepubblico e per tutte le scartoffie ormai digitali usiamo un sistema documentale fatto da una ditta che mi sembra proprio $brancodipaguri - posso chiamarla $paguri2lavendetta, vero?

Ora, quel sistema documentale gira grazie agli accrocchiosaurus rex del nostro Bob interno; ti giuro che mi vengono gli incubi notturni al pensiero di quando fatalmente Bob, esacerbato fino al midollo, si deciderà a mostrare il suo simbolo per il sorpasso - ahem, il dito medio - e a mollare baracca e burattini, perche di quegli accrocchiosaurus rex noi non sappiamo un tuboide: ce li ha tutti nella sua testa e, nonostante le implorazioni di condividerlo coi colleghi del reparto IT, non ne ha rivelato mezza parola a nessuno.

(Sarà la volta che manderemo $paguri2lavendetta a stendere, magari...)

-- Katrank

gabrielAnonymous coward

@ Katrank By gabrielAnonymous coward posted 19/05/2021 18:04 - reply

per me un sistema del genere andava buttato alle ortiche da molto tempo.

perchè ostinarsi ad utilizzare un sistema accrocchiato da qualcuno che non vuole condividere i suoi accrocchiamenti e invece comprarne uno nuovo o svilupparselo in casa dato che è un ente pubblico dovrebbe avere molta cartamoneta, che invece di essere spesa male per una volta può essere spesa in modo acconcio.

 

 

Premessa: lavoro in $ entepubblico e per tutte le scartoffie ormai digitali usiamo un sistema documentale fatto da una ditta che mi sembra proprio $ brancodipaguri - posso chiamarla $ paguri2lavendetta, vero?

Ora, quel sistema documentale gira grazie agli accrocchiosaurus rex del nostro Bob interno; ti giuro che mi vengono gli incubi notturni al pensiero di quando fatalmente Bob, esacerbato fino al midollo, si deciderà a mostrare il suo simbolo per il sorpasso - ahem, il dito medio - ea mollare baracca e burattini, perche di quegli accrocchiosaurus rex noi non sappiamo un tuboide: ce li ha tutti nella sua testa e, nonostante le implorazioni di test coi colleghi del reparto IT, non ne ha rivelato mezza parola a nessuno.

(Sarà la volta che manderemo $ paguri2lavendetta a stendere, magari ...)

 

 

-- gabrielAnonymous coward

Katrank

@ gabrielAnonymous coward By Katrank posted 20/05/2021 13:48 - reply

per me un sistema del genere andava buttato alle ortiche da molto tempo.

perchè ostinarsi ad utilizzare un sistema accrocchiato da qualcuno che non vuole condividere i suoi accrocchiamenti e invece comprarne uno nuovo o svilupparselo in casa dato che è un ente pubblico dovrebbe avere molta cartamoneta, che invece di essere spesa male per una volta può essere spesa in modo acconcio.

$paguri2lavendetta sono i classici "amici di amici", raccomandati da qualcuno in alto loco - come avviene quasi sempre in qualunque $entepubblico. Quanto ai d€nari, vengono sempre spesi male, e poi non ne rimangono più per le spese serie.

-- Katrank

Nik

By Nik posted 17/05/2021 17:26 - reply

Quindi: in un mondo giusto SL1 dovrebbe essere impalato su un palo precedentemente cosparso di peperoncino Carolina Reaper, invece probebilmente riceverà un aumento.

-- Se striscia fulmina, se svolazza l'ammazza

Ammammata

By Ammammata posted 24/05/2021 18:50 - reply

il mio capo olandese NON butta via solo i messaggi di posta, ha l'archivio completo dai tempi dei romani; per lo hardware, invece, ogni 3-4 mesi si presenta con una scatola piena di monnezza informatica e mi dice di smaltire: tra le chicche recuperate è saltata fuori anche una Logitech Pocket Digital Camera :\)

-- Ammammata

Massimo M.

By Massimo M. posted 30/05/2021 00:25 - reply

Vedi un "compiuter" grosso, rumoroso, dall'apparenza molto costosa, e senza fare indagini lo butti via?

Io fossi il proprietario di quell'azienda prenderei quell'idiota a calci nel culo finche' non gli esce una scarpa dalla bocca.

Ma stiamo scherzando?

-- Massimo M.

Anonymous coward

By Anonymous coward posted 04/06/2021 14:21 - reply

C'E' UN BOB IN OGNUNO DI NOI CHE URLA PER MOSTRARSI.

IL DITO MEDIO ERA DI BOB, MA LA MANO CHE L'HA ALZATO E D'OGNUNO DI NOI.

TEMI BOB, O MANAGER MINCHIONE!

-- Anonymous coward

17 messages post new

Previous Next


This site is made by me with blood, sweat and gunpowder, if you want to republish or redistribute any part of it, please drop me (or the author of the article if is not me) a mail.


This site was composed with VIM, now is composed with VIM and the (in)famous CMS FdT.

This site isn't optimized for vision with any specific browser, nor it requires special fonts or resolution.
You're free to see it as you wish.

Web Interoperability Pleadge Support This Project
Powered By Gojira