onsdag 27 augusti 2014

Google jagar prestanda med big data - Computer Sweden

Google jagar prestanda med big data - Computer Sweden



Google presenterar verktyget Mesa för hantering av stora
datamängder, big data. Dess arkitektur kan bana väg för större
beslutsstödslösningar i molnet.




Verktyget använder en arkitektur som
kan bana vägen för ännu större, tillförlitligare och högpresterande
beslutsstöd i molnet. En Mesaimplementation kan lagra petabyte med data,
uppdatera miljontals rader av data per sekund och hantera biljoner
frågesökniungar per dag, uppger Google i en rapport om det nya
verktyget.


Tekniken kan användas för att
integrera data som används i många olika datacenter och gör det möjligt
att fortsätta att arbeta även om ett datacenter fallerar. Google byggde
Mesa för att lagra och analysera kritiska mätdata för företags annonser,
men tekniken kan även användas för andra likartade uppgifter.


För Google har Mesa löst ett antal
problem som andra datalager har gått bet på. Ett är att kommersiella
datalager inte uppdaterar data kontiuerligt, medan Google behövde få
sina strömmar av nya data analyserade så snart de skapades.


Google behövde även få en garanti
att alla sökningar producerar samma resultat från samma källa, oavset
vilket datacenter som hantera sökningen. Eftersom inget existerande
verktyg kunde uppfylla kraven så skapades Mesa, som bygger på bland
annat det distribuerade filhanteringssystemet Colossus, lagringssystemet
Big Table och analysramverket Map Reduce. Vidare så har Google
utvecklat ett nytt synkroniseringsprotokoll, Paxos.


Mesa eliminerar också behovet av specialiserad, dyr hårdvara och kan köras som en molntjänst och lätt skalas.


Google har inte aviserat någon plan
på att släppa Mesa i en kommersiell version. Google avser att diskutera
den nya tekniken på en kommande databaskonferens i Hangzhou, i Kina.
 

Inga kommentarer:

Skicka en kommentar