VPN-tunnlar till hela världen, från $0.001

Företaget Enomaly som bygger plattformen ECP, som bland andra City Cloud använder för sin molntjänst har skapat en marknadsplats för att köpa och sälja servrar världen över.

Det är väldigt enkelt att komma igång som köpare, man registrerar sig på www.spotcloud.com och laddar sitt konto med pengar, sedan laddar man upp en eller flera appliances, servermallar som man vill använda. Till sist väljer man vart i världen eller vilken timkostnad man vill ha på maskinen och så sköter Spotcloud resten.

Det finns färdiga appliances att ladda ner på http://www.spotcloud.com/dl.44.0.html den appliance jag tycker är häftigast är helt klart OpenVPN appliancen. På några minuter kan man enkelt sätta upp en VPN-tunnel till andra sidan världen och surfa helt anonymt via den, perfekt för utlandssvenskar som vill titta på SVT-play eller för oss som vill se amerikanska serier online som bara får visas i USA.

Ett räkneexempel som jag såg på twitter häromdagen visar att man för 1 Dollar / timme, kan ha 1000 servrar runt om i världen, perfekt om man behöver mycket beräkningskapacitet tillfälligt.

En liten nackdel med Spotcloud är att alla servrar är tidsbegränsade, man kan således inte sätta upp en maskin och sen låta den rulla månad för månad, men kan man ladda ner en appliance som körs, och starta upp den igen någon annanstans.

Testa själv på www.spotcloud.com !

Publicerat i Teknik | Etiketter , , , | Lämna en kommentar

Det är mycket nu…

Just nu är det sjukt mycket att göra, fullt upp i skolan, ett sjukligt roligt kundprojekt där jag bygger ett grymt webbkluster och databaskluster (lovar mer info om det här senare).

Dessutom så har jag hittat till www.witsbits.se som har en tjänst som kallas GoCloud och är en molntjänst för att bygga publika eller privata moln  i stil med CityCloud, tjänsten har inte släppts ännu men jag lovar att komma med mer så fort jag vet något!

Som kanske märks så älskar jag projektet Icinga, okej jag kan medge att WebbUIt är lite segrott, men det är bra. Efter en diskussion med ledningen för projektet så har det nu skapats en svensk wiki-avdelning som hittas på https://wiki.icinga.org/display/sweden/Sverige där kan du hitta svenska Icinga användare, diskutera nya features eller problem och få hjälp med dina problem, antingen via communityn eller kommersiellt.

Som sagt, det är mycket nu!

Publicerat i Okategoriserade | Etiketter , , , | Lämna en kommentar

Lärt mig nytt om Active Directory

Igår lärde jag mig en intressant om Microsoft Active Directory, nämligen att det är väldigt beroende av DNSen för att fungera, något som jag både kan tycka är smart och ganska dumt.

Uppenbarligen så är det så att en massa pekare om vart klienten ska leta efter saker finns i en DNZ zon som heter _msdcs som Microsoft skapar i DNSen för att hantera pekare till olika tjänster, som tex Active Directory. När man lägger till en klient i domänen så letar klienten efter subdomänen _msdcs.domännamnet.tld efter de pekare som behövs, bland andra hosten _ldap som ska finnas i sub-subdomänerna dc,_tcp med andra ord så slår den upp adressen _ldap._tcp.dc._msdcs.domänen.tld för att ta reda på vilken maskin som är DC för den aktuella domänen.

TechNet finns en förteckning över alla records som behövs för att det ska fungera, vilket är bra att veta om man vill använda en extern DNS istället för Microsofts inbyggda.

Min gissning till att man valt att göra såhär är för att man dels ska kunna använda en externs DNS, men det har nog också med skalbarhet att göra, exakt hur, varken kan eller orkar jag ta upp nu.

Publicerat i Teknik | Etiketter , , | 1 kommentar

Icinga – Systemövervakning baserad på nagios.

Jag är en extrem nagiosfanboy, i princip alla system och verktyg som är baserade på nagios gör mig glad. Ett av de allra nyaste och i mitt tyckte, bland de bästa i Communitykategorin är Icinga.

Projektet är en fork av Nagios och många av utvecklarna har tidigare utvecklat delar för nagios men nu har man valt att bryta sig loss, som jag förstår det, mycket på grund av nagiosprojektets motsträvighet med att ta in communitypatchar.

En av de allra största förändringarna är det helt ombyggda WebbUIt och ett rejält förbättrat API. Men har även släppt en modul för att kunna komma åt sin övervakning via mobilen.

Tack vare att Icinga är baserat och helt kompatibelt med Nagios så finns det en uppsjö av plugins att välja på, allt från att hålla koll på förändringar i växelkursen till att övervaka sin ESX-farm.

Läs gärna mer på: www.icinga.org

Publicerat i Teknik | Etiketter , , | Lämna en kommentar

Framåtblickar och hopp om framtiden!

Juletider, i år har vi väl haft den kortaste julen på årtioenden? För mig som är arbetsnarkoman så är det perfekt, spendera lite tid med familjen och gott om tid att jobba!

Men ändå känns det inte som att jag har fått så mycket gjort, jag har en gnagande känsla i magen av att inte riktigt hinna med mig, men den kommer försvinna så fort jag kommer tillbaka till Umeå igen, för tillfället sitter jag på tåget från Stockholm efter julfirandet.

Vad är det då som är på gång i vår?

  • Skriver en artikelserie för CityNetwork/CityCloud om webbkluster och automatisk  skalning, har du några frågor och önskemål på ämnet får du gärna maila mig på andreas@abergman.se!
  • Nybliven medlem av Domainz core-team, och jobbar på en tjänst som jag siktar på att få klar inom kort.
  • Har börjat utveckla ”Stina”, som är en applikation för att dynamiskt skala upp och ner webbkluster i molnet, den här ska integreras med RedHats LVS/Piranha.
  • Roliga kunder på väg in i firman, så det blir en hel del jobb där med.

Det är mycket att stå i! På det här ska jag också ha tid att plugga lite. Jag ser det här lite som en försmak på vad som komma skall, jag tänker inte skriva en krönika och sammanfatta året, men jag kan lova er att det har varit omvälvande och omtumlande.

God fortsättning och gott nytt år, må det nya året bära med sig en massa roligheter
Andreas Bergman

Publicerat i Okategoriserade | Lämna en kommentar

Övervakning – Systems Monitoring

Enligt Wikipedia är Network Monitoring en del av Network Management, och det beskrivs såhär: ”The term network monitoring describes the use of a system that constantly monitors a computer network for slow or failing components and that notifies the network administrator (via email, pager or other alarms) in case of outages. It is a subset of the functions involved in network management.”

Så, vet vi nu allt vi behöver veta om Network Monitoring? Inte riktigt, det låter ganska enkelt, men det är en hel vetenskap att få det rätt. Hur vet man tex att man övervakar rätt saker? Vilka saker som ska prioriteras, och hur man ska hantera det?

Att implementera network monitoring i ett litet nätverk, med få servrar och inte så avancerad topologi är inte supersvårt, allt är hyfsat straight forward och troligen så är driftsavdelningen en till tre personer som delar på uppgifterna. Men att implementera övervakning i en miljö med ett par tusen servrar, med en stor driftsavdelning och krav på SLA-mätningar. Det är inte det enklaste och kräver en hel del tankeverksamhet. Här måste man även ta hänsyn till att plattformen som övervakar kan få prestandaproblem.

När man har några hundra övervakningspunkter, det kan vara diskutnyttjande, nätutnyttjande, och att hålla koll på att ett gäng tjänster är igång, då måste man prioritera vilka mätpunkter som är viktigast, vad är så viktigt att jag kliva upp klockan 4 på morgonen en söndag och laga det och vad kan vänta till på måndag? Att göra den priroteringen är inte enkelt, och den kan och bör skilja sig beroende på vilken dag i månaden det är, tex så bör ekonomisystemet vara prio 1 mellan den 20 och 25 varje månad, medans internetanslutningen är prio1 när det är kontorsfest.

För att göra prioriteringen är det upp till it-avdelningen eller it-ansvarige att prata med resten av verksamheten för att ta reda på hur de prioriterar, vad de behöver och när de behöver det.

Sedan för att underlätta för it-avdelningen att veta vad som är prioriterat när så kan man göra en prioriteringsmatris, där varje tjänst finns uppskriven med datum och prioritet.

Horisontellt har vi Impact, och vertikalt har vi namnen på våra mätpunkter. I rutorna har vi sedan prioriteringen. Siffrorna definieras enligt nedan:

Impact
1 – Helt nere, alla drabbade
2 – Delvis nere, de flesta drabbade
3 – Delvis nere, några få drabbade
4 – Störning, inga drabbade

Prio
1 – Inställelse 30min
2 – Inställelse 2h
3 – Inställelse 4h
4 – Inställelse nästa arbetsdag

Med den här matrisen är det enkelt att utläsa vilken prio vilken mätpunkt har vid en viss impact. Den här matrisen hade varit guld värd för de som tar emot larmen från monitoringen, de hade vetat precis vad de ska göra av ärendet och hur det ska hanteras. Själva hanteringen av ärendet definieras av processen för Event Management och Incident Management enligt ITIL, mer om det senare.

Publicerat i Organisation | Etiketter , , | Lämna en kommentar

Dynamiska webbkluster

Jag har under kvällen suttit och jobbat med min labbmiljö för webbkluster och har börjat skissa på ett koncept för att addera/ta bort webbhostar ur miljön dynamiskt.

Säg att en av siterna blir uppmärksammad i Expressen, och får 500% ökning av besökare, detta kommer garanterat att sänka de flesta miljöerna, då man för det mesta inte har råd att hålla hur mycket hårdvara som helst.

För att råda bot på detta kan man ha ett övervakningssystem som håller koll på hur belastningen över en eller flera servrar ser ut, om den slår i taket i mer än 10 minuter så exekveras ett script som startar en kloning av en server hos tex CityCloud. När den här servern startar upp så lägger den automatiskt till sig själv i webbklustret och last börjar balanseras ut till den här servern också. Om det här inte räcker så kan man klona ut en server till, tills man fått ner belastningen till en rimlig nivå.

När besöks peakarna är över och har återgått till ”normala” nivåer eller någon form av baseline så ordnar övervakningssystemet automatiskt så att servrarna stängs ner och tar bort dem ut klustret, samt raderar dem från CityCloud så de inte står och tickar pengar längre.

Det är vad jag gjort ikväll, vad har du gjort?

Publicerat i Teknik | Etiketter , , , | Lämna en kommentar

Redundant webbkluster med Apache och PHP-FPM

Jag har 2 teorier som jag just nu håller på att testa, de rör hur man borde bygga sitt webbkluster för att få maximal upptid och så liten påverkan som möjligt vid bortfall av en server.

Lösningarna ser i princip identiska ut, men skillnaden ligger i om PHP-hanteras av Apache2-modulen för PHP eller om man hanterar PHP via FastCGI. De bygger båda på öppenkällkod och är helt redundanta. I båda ingår också ett MySQL/MariaDB kluster men det finns inte detaljerat då det inte är mitt primära mål just nu.

Lösning 1, Lastbalanserare och X antal apache2maskiner.

Lösning01I den schematiska bilden ovan är det 2 olika kluster som delar på samma databaskluster, i schemat är inte lastbalanserarna redundanta men det ska de vara. Om en webbserver faller bort i klustret kommer 50% av beräkningskraften att försvinna och vid ev. peak så kommer troligen ett stort antal av besökarna att lämna siten då den går väldigt långsamt, självklart förutsatt att besökarantalet är större än vad en enskild maskin klarar vid bortfallet. I övrigt så finns alla andra fördelar som ett kluster innebär, möjligheten till att ta ner en maskin för underhåll utan att driften av siten påverkas etc. Beräkningskapaciteten i det kluster som fortfarande har båda sina maskiner i drift påverkas inte.

Lösning 2, Lastbalanserare, X antal apache2maskiner och ett FastCGI kluster.

Lösning02

Fördelen med den här lösningen är att, förutsatt att det är likadan hårdvara som i Lösning 1, den presterar bättre på samma antal maskiner. Detta då alla krävande PHP-beräkningar skickas till ett eget kluster. Det innebär att bortfallet av en webbserver i något av klustret inte kommer att påverka prestandan lika mycket. Planerar man och dimensionerar FastCGI klustret rätt och låter två siter som har olika peakar och tider av hög belastning dela FastCGI kluster så kan de dela på samma kluster. Då kan vi överdimensionera klustret något utan att det har kapacitet som står oanvänd ofta.

Det tredje alternativet jag har är att ha ett enda superstort apache2kluster och låta det göra allt. Det kommer krävas väldigt många fler maskiner för det, och maskiner är som bekant en kostnad. Som komplement till både lösning 1 och 2 kan man dessutom ha en funktion som skapar maskiner on-demand i molnet, då behöver man bara ha igång de maskinerna vid peakar och högtrafik.

Publicerat i Teknik | Etiketter , , , , | 6 kommentar

Jag kommer blogga på Domainz!

Planen och ambitionen är att jag ska skriva ett par inlägg i veckan här på Domainz, tillsammans med ett 40-tal andra proffsbloggare. Listan är lång och består av riktigt roliga namn! Känns hedrande att få sälla sig till den skaran ska jag säga.

Jag lovar att INTE skriva om SEO, Onlinemarknadsföring eller Socialamedier. Det kommer bli hardcore System Management, hur man bygger feta webbkluster, väljer webhotell och självklart en hel del om den gyllene graal; 100% upptid. Därav namnet på bloggen föresten, 100% upptid, för många en våt dröm, men för få utvalda en verklighet. Jag kommer avhandla hur man når dit, vad man ska tänka på, ev. fallgropar och självklart en hel del tekniknörderi!

Närmast på tur så står ett rejält inlägg om Monitoring, nämligen en mjukvara som heter Icinga och vad för spännande saker man kan göra med den.

Stay Tuned och håll i hatten!

Publicerat i Teknik | Etiketter , , | 1 kommentar