Datormagazin har varit på konferens med Splunk, ett företag specialiserat på automatisk analys av stora mängder osorterade data. Hur görs det, och varför?
Datormagazin var med när entusiastiska deltagare fick lära sig mer om automatisk analys av stora mängder osorterade data på en stor konferens i Orlando, Florida, under hösten. Detta var Splunks sjunde årliga utbildningskonferens, kallad Conf2016.
San Francisco-baserade Splunk är företaget som på tretton år har blivit stort inom ett område som handlar om analys av maskindata i stora mängder, en verksamhet som började ge vinst 2009, och företaget börsnoterades 2012. De har nu över 1 700 anställda och säljer mjukvara för dataanalys. Likaså utbildar de också kunder och partnerföretag i mjukvarornas användning.
Skogen och träden
Vi hörde en bra beskrivning av Splunk för de mindre tekniskt lagda. Den gick ut på att tänka på det som ett Google för dina data med lager för avancerad analys och rapportering ovanpå de vanliga sökresultaten. Något som också reflekteras i en av deras reklamfraser – ”Se både skogen och träden”.
Namnet Splunk är en lek med det engelska ordet spelunker, som betyder grottutforskare, och symboliserar att gräva sig fram genom stora mängder data. Ordet är troligen valt för att det också fungerar att användas som ett verb – splunk your data!
I en väldig hetta, mitt bland turister och Disneyanläggningar hade man samlat runt 5 000 utvecklare, partners, kunder och användare. Dessa skulle få lära sig mer om hur stordata kan hanteras och fås att leverera information på längden och tvären.
Hundratals olika lektioner och föreläsningar gick in på det mesta inom dataanalys, med ämnen som ”Du kan inte skydda vad du inte kan se”, ”Affärsanalys med Splunk”, ”Realtidsövervakning av en molnbaserad mikroservicearkitektur med Splunk Cloud och HTTP Event Collector” eller ”Keeping the Junk Out of Splunk”.
Första dagen inleddes med ett långt och inlevelsefullt anförande av företagets VD, Doug Mer ritt, tillsammans med ett antal partners.
– Digital omvandling har förändrat sättet som organisationer fungerar på, sa Merritt i sitt tal. Den stora hemligheten är att all förändring stöds av maskindata. Maskininlärning möjliggör för organisationer att få djupare insikter från sina maskindata och i slutänden ökar möjligheterna som våra kunder kan få från sin digitala omvandling. Ett företags maskindata är grunden för att hantera och härleda insikter från dessa uppgifter i stor skala – och bara Splunk erbjuder en analysplattform och ett ekosystem som ger stöd för detta.
Han passade också på att släppa en del nyheter. Bland annat att Splunk Cloud och Splunk Enterprise nu är tillgängliga för nedladdning i den nya version 6.5, som ska göra det ännu snabbare och enklare att maximera värdet av maskindata med hjälp av anpassad maskininlärning.
Splunk ITSI (vilket står för IT Service Intelligence) är ett program byggt på Splunk-plattformen, en maskininlärningsdriven övervakningslösning som använder analys för att hjälpa organisationer att hitta problem snabbare och förenkla incidentutredningar och arbetsflöden. Även detta program finns nu tillgängligt i den nya version 2.4.
Splunk avancerar också sin analysdrivna säkerhetsvision med nya utgåvor av Splunk ES och Splunk UBA. Splunk ES 4.5 ger ett gemensamt gränssnitt för att automatisera hämtning, delning och svar i miljöer med flera leverantörer. Splunk UBA 3.0 erbjuder nya maskininlärningsmodeller samt ytterligare datakällor och innehållsuppdateringar.
Ett av nyckelbegreppen i anförandet var att molnet är det nya normala, och som Merritt uttryckte det:
– Var vi än går, vadar vi genom data just nu.
I en stor hall fanns montrar där både Splunk själva och en stor mängd av deras partnerföretag demonstrerade sina tillämpningar, byggda på Splunk. Inriktningen på säkerhet var tydlig, väldigt många har byggt applikationer för att analysera nätverksdata ur ett säkerhetsperspektiv och fånga upp onormalt beteende på ett tidigt stadium. Det kan röra sig om konton som används på ett avvikande sätt, inloggningar från udda ställen eller ovanligt stora förflyttningar av data.
Fokus på att utbilda
Men huvudsakligen handlade det alltså om utbildning. Workshopar, seminarier och föredrag om olika sätt att använda Splunk, om hur Splunk utnyttjas i faktiska situationer och om djupare tekniska detaljer. Det fanns också möjlighet att certifiera sig som Splunk Power User.
Och just dessa användare, som myllrade omkring över allt i både mässhall och salar, utmärkte sig genom att vara uppenbara entusiaster som älskar vad de håller på med, nämligen att splunka… Nördfaktorn byggdes på ytterligare av att det inte alls var ovanligt att se folk utklädda i lustiga propellermössor eller som Jediriddare.
I vimlet hittade Datormagazin svenskan Tove Lillevik, bosatt i Norge där hon arbetar för det statliga elbolaget Statnett. Naturligtvis då med Splunk, som Statnett kör under Linux och använder för att övervaka det mesta.
Tove är självlärd splunkare och det här var den första riktiga utbildning hon fått. Hon har lärt sig oerhört mycket och anser att det varit väl värt de pengar hennes arbetsgivare betalat för resa och deltagande. Hon är också stor Linuxfantast, läser Datormagazin och anser att tidningen innehåller för lite Linux …
Vad är Splunk?
Idén bakom plattformen Splunk är att göra maskindata tillgäng liga, användbara och värdefulla.
Dessa data kan komma från nästan vad som helst – nätverk, datorer, mobiltelefoner, sensorer och annan hårdvara. Maskindata karaktäriseras av att de är ostrukturerade och i allmänhet består av konstanta strömmar av komplicerade och röriga uppgifter.
Mjukvaran Splunk består av tre lager, ett som samlar ihop data och vidarebefordrar informationen, ett som sedan indexerar informationen och ett som söker igenom och analyserar den.
Splunk strukturerar inte data, vilket är användbart när många olika sorters frågor ska ställas. Svaren är däremot strukturerade, och det här sättet att jobba gör det smidigt att behandla mycket stora mängder data som kommer med hög hastighet. Företagets största kund hanterar 400 terabyte data om dagen!
Främst används programmet för IT-drift, säkerhet, analys och sakernas internet, men det finns mängder av olika tillämpningar av skilda slag. Det bästa sättet att få en upp fattning om vad Splunk kan göra är att ladda ned det och testa. Det finns 30-dagars testversioner av Splunk Light eller Splunk Enterprise för både Windows, Linux och Mac (www.splunk.com).
Efter 30 dagar går det att fort sätta använda programmet med reducerad funktionalitet eller betala för en licens. Licenskostnaden beror på hur mycket data som hanteras.
Hårdvarukraven är låga, det behövs inga stora servrar utan programmet kan köras på en vanlig bärbar dator om så önskas. En annan möjlighet är att köra molnvarianten Splunk Cloud.
Det traditionella sättet att använda Splunk och ställa frågor är med hjälp av ett särskilt sökspråk, som enligt uppgift går att lära sig på några timmar. Dokumentation, handledningar och videofilmer finns för gratis nedladdning på webbplatsen.
Det existerar numera, sedan version 6.0, också andra sätt att analysera data, exempelvis med pivottabeller i Excel. Det finns också påbyggnader som Enterprise Security, IT Service Intelligence och User Behavior Analytics med klickbara gränssnitt där sökspråket inte behöver användas.
Det finns dessutom hundratals appar som bygger på Splunk och ger funktioner för särskilda tillämpningar, en del utvecklade av företaget självt och en del av dess partnerföretag. Dessa finns också tillgängliga för nedladdning. Det finns till och med en Minecraft-app…
Ett bra testexempel är att ladda ned och installera programmet, Light eller Enterprise, och använda det för att analysera Loggboken i Windows. Starta Splunk och klicka på Settings i överkanten. Välj Data Inputs och klicka på ”Local event log collection”. Välj exempelvis de fyra första tillgängliga loggarna och klicka på Save.
Klicka på New och sedan på Next, Review och Submit, samt slutligen på ”Start Searching”. Loggbokens samtliga händelser listas, vilket i artikelförfattarens fall var över 42 000 stycken. Nu krävs lite språkkunnande för att få fram någon vettig information. En möjlighet är till exempel att bara lägga till ordet ”error” i sökraden för att minimera sökningen till alla felmeddelanden. Det här går att förfina och automatisera i all oändlighet med hjälp av olika sökuttryck. Det är bara att träna…