Měli vizi a ne jednu, tak do toho šlápli, vybudovali si vlastní datacentrum a chtějí jít dál. Rozhovor s Vlastimilem Pečínkou, CTO, byl opravdu velmi otevřený.
Proč jste se vůbec rozhodli vybudovat nové datacentrum?
Tato idea vznikla před mnoha lety, měli jsme pro to několik důvodů.
Za prvé jsme došli do ekonomického bodu zlomu, kdy se nám číselně vyplatí provozovat vlastní datové centrum, na vlastní náklady. Z hlediska služeb datových center jsme totiž v České republice jedním z největších zákazníků a pokud jste někde v pronájmu, samozřejmě platíte majiteli jeho původní investici a nějakou marži. Když pak dosáhnete nějaké velikosti, začnou vám čísla vycházet jinak a uvědomíte si, že z hlediska provozu to ekonomicky utáhnete. Zejména, pokud začnete investovat do modernějších technologií, ať už jde o nižší spotřebu serverů, jejich chlazení, UPS, transformátory atd. Problém stávajících datových center je, že jsou poplatné době svého vzniku, zatímco my jsme si mohli do kalkulací našeho datového centra promítnout už jeho vyšší energetickou efektivitu. Z ekonomického hlediska nám prostě vyšlo, že postavit si vlastní nové datové centrum už nám dává smysl.
Druhým důvodem bylo, že v pronajatých datových centrech jsme byli významným zákazníkem, měli jsme v nich lidi 24×7, s každým z těchto datacenter jsme si prožili i jejich průšvihy, a s tím se mimochodem člověk dozví a naučí nejvíc. Díky tomu v nás vzrostlo sebevědomí do té míry, že jsme si řekli, že to prostě dokážeme taky.
Konečně třetím důvodem pro výstavbu vlastního datacentra bylo, že Seznam.cz ke svému podnikání datové centrum prostě potřebujeme, a je přitom úplně jedno, jestli je naše vlastní nebo pronajaté. Řekli jsme si tedy, že když nám vyšly pozitivně předchozí dva body, pojistíme si naše podnikání tím, že budeme mít jedno naše vlastní datacentrum a staneme se tím více nezávislými na třetích stranách.
Ještě k tomu přispěl čtvrtý důvod, který bych rád dodal, a že jsme na venek sice mediální firma, ale na druhou stranu jsme vnitřně velmi technologičtí. Proto jsme uvítali jako výhodu, když můžeme mít přímo „v baráku“ vedle produktu, vývoje a provoz všeho co děláme, také i datové centrum. Technologická linka je tím spojena a byť to není na první pohled zcela zřejmé, vše se vzájemně ovlivňuje. Můžete totiž vymýšlet nějaký nový produkt a zároveň víte, že máte vlastní datové centrum, kde si jej můžete rovnou poladit.
Zvolili jste vlastní řešení serverové architektury, nebo nějaké integrované, jako například VCE (VMWare, Cisco, EMC), které nasadili v Českých Radiokomunikacích?
O nás je známo, že nekupujeme řešení třetích stran, ale využíváme toho, co přináší komunita open source, což si pak upravujeme. Výstavba datového centra se tedy netýkala toho, jakým způsobem používáme naši infrastrukturu nebo cloud. Na vše máme vlastní řešení, které běží na Debian Linuxu, používáme upravený linuxový kernel, k tomu OpenVZ a LXC, k tomu vlastní management a orchestrační vrstvu, která s tím souvisí.
Máte servery a storage od jediného, nebo od více dodavatelů, abyste nebyli závislí jen na jednom (vendor-lock)?
Vendor-lock je pro nás samozřejmě téma, a proto se cíleně nechceme upsat jedinému dodavateli, takže servery bereme od více z nich, a také jim to přímo říkáme. Pro nás je dnes server komoditou, kupujeme je jak rohlíky na krámě. V dané chvíli je bereme minimálně od dvou dodavatelů, někdy do tří až čtyř, záleží jak kdy a na co.
Na jakou procesorovou platformu se orientujete? Uvažovali jste také nějakou RISCovou s open source, když běží jak na IBM Power, tak na Sun/Oracle/Fujitsu/Sparc?
V drtivé většině běžíme na Intelech, je to výsledek historického vývoje, nejde o žádné zásadní rozhodnutí. Měli jsme historicky i mašiny na platformě Sparc, ale to bylo kvůli tomu, že se nám líbila serverová storage, která na Sparcích běžela. Stala se však doslova kapkou v moři, takže jsme měli vyšší náklady na její údržbu a budování nějakého know-how v lidech, takže dnes jsme už plně na Intelu.
Co se týče storage, využíváte také SSD? Od kterého dodavatele?
Kupovat nějaké větší storage, to dnes pro nás není téma, dříve jsme však nějaké měli. Storage budujeme pomocí softwaru, jež tvoří clustery ze serverů, které drží data. SSD používáme pro tierované storage, to znamená mix klasických disků a SSD. Z mého úhlu pohledu se do dvou let vše zlomí a většinou budeme brát SSD, ať už se pod tímto pojmem myslí cokoliv, od flash SSD, nebo nějaké nové koncepty non-volatilních pamětí, jakými mají být memristory od HP nebo 3D XPoint od Intelu, které přinesou úplně jiný pohled na celé IT, nejen na storage. Půjde o koncept, kdy mohu mít v uvozovkách univerzální paměť, stejně rychlou jako RAM, přičemž data přežijí vypnutí stroje nebo jeho restart. Přijdou úplně jiné, nové možnosti pro práci operačního systému a aplikací. V současné době ale SSD kvůli rychlosti a nižším energetickým nárokům používáme, a budou pro nás stále důležitější. Intel se hodně snaží, bereme je i od něj, nikoliv však výhradně, vždy hodnotíme dobrý poměr cena/výkon/kvalita. SSD Intel jsou v tomto hodně dobré, neuzavíráme se však výhradně do Intelu.
Už jste se zmínil, že využíváte softwarově definovanou architekturu. Orientujete se na ni včetně serverů, storage a sítí?
Jde o složitější věc, SDA je dnes na trhu buzzwordem, který každý výrobce rád používá a každý si pod tím představuje něco jiného. Abychom se odlišili od toho, co nabízí například Amazon jako cloudové řešení, jsme mnohem jednodušší. Naše infrastruktura je statická v čase a roste co do množství provozu, který potřebujeme zvládnout. Nepotřebujeme tolik nástrojů pro dynamické změny infrastruktury. V tomto kontextu tyto věci nepoužíváme, spíše pro automatizaci rutinních činností, abychom byli schopni jednoduše udělat nějaké změny v síti, které provádíme opakovaně, například pro rychlé nasazení serveru apod.
Vy neuvažujete o možnosti poskytovat cloudové služby jako ostatní datová centra, IaaS nebo PaaS?
Ne, o tom neuvažujeme.
Chráníte nějak perimetr vašeho datacentra pro bezpečný přístup třetích stran a také pro poskytování vlastních služeb, zejména firewally a ochranu proti DDoS?
Cizí zákazníky do našeho datacentra jak už jsem řekl nepouštíme, takže nám odpadá nutnost je chránit, chráníme sami sebe, takže odpověď zní ano.
Třetí strana jsem jako uživatel vašich služeb třeba já, že?
To samozřejmě, ale spíše chráníme sebe před vámi jakožto před možným útočníkem.
Považujete load balancing síťového provozu na perimetru za nutnost? Ve kterých případech?
V našem případě rozhodně, protože provoz který máme, by jeden stroj nezvládl. Nehledě na to, že load balancing umožňuje i další věci, jako třeba hladší nasazování nových verzí softwaru apod. Pro všechny služby, které provozujeme směrem ven jde o nutnost.
Používáte load balancing řešení nějakého specializovaného výrobce, nebo i zde jdete cestou open source?
Dlouhou dobu jsme používali LVS (Linux Virtual Server). Vzhledem k tomu, že máme dvě datová centra, všechny instance držíme dvakrát, nakonec vše dospělo do stavu, kdy jsme měli mnoho instancí linuxového load balanceru. Proto jsme si v té době pořídili řešení od jednoho známého světového výrobce a máme jej dodnes. Problém máme nicméně ten, že my potřebujeme load balancing a výrobce je pod tlakem dalších zákazníků, kteří potřebují další „fíčury“, takže celý software v zařízení bobtná, objevuje se mnoho chyb, doslova duchařiny, což nám už nevyhovuje.
Druhá věc, která s tím souvisí, je, že naše datové centrum je na síťové vrstvě L2 OSI, se kterou je velký problém, protože právě zde je bod, kde lze udělat nějaký vendor lock-in. Proto chceme v našich datových centrech přejít na vrstvu L3 a když to zjednoduším, pak půjde jen protokol BGP, a zároveň chceme udělat load balancing distribuovaně jen s použitím nějakého anycastu a proxy, prostě kdykoliv pustíme v cloudu další vyvažovač jako další instanci, čímž rozšíříme jeho výkon. A to už bude jen softwarová záležitost.
Máte k dispozici také nějaké řešení pro inspekci šifrovaného SSL provozu?
Řešení inspekce SSL provozu je spíš věc pro kancelář. Pro naše služby, kdy jsme poskytovatelem obsahu, inspekci SSL provozu nepoužíváme.
Vaše datacentrum je prakticky nové. Jakou dobu obnovy strojového parku plánujete?
Zde jde o dvě záležitosti. Datové centrum nemá příliš velkou souvislost s tím, jaký hardware v něm (obecně) leží. Už řadu let máme politiku obnovy hardwaru za tři až čtyři roky, kdy měníme starý za nový, protože se nám to vždy vyplatí z hlediska provozních nákladů.
To znamená cena výkonu na kilowatt?
Přesně tak. Nejsme však schopni vytěžit výkon strojů naplno, až na nějaké specifické aplikace. Dokážeme je však konsolidovat například v poměru 3 : 1. To znamená, že tři staré servery nahradíme po nějaké době jedním novým, tak nám to doposud vycházelo a děláme to pravidelně, nezávisle na skutečnosti, zda server běžel v pronajatém datacentru nebo v našem, je za tím čistě ekonomická úvaha.
Souvisí s tím však jiná otázka, a sice když projektujete datacentrum, pak na jak dlouho. Máme dva sály a uvažovali jsme, že první nám bude stačit na prvních pět let, kdy otevřeme druhý. Pak dejme tomu po deseti letech bude datové centrum plné. Jenže kdo ví, co bude za deset let? V náš prospěch zde hraje samotné IT. V budoucnosti bude možná ještě úspornější a desetiletá doba se ještě prodlouží a fyzicky se nám sem vejde IT ještě více.
Skutečnost je dnes taková, že vloni v březnu jsme otevřeli první sál, což byla první ze čtyř plánovaných etap. První etapou bylo osadit jej ze dvou třetin energeticky, druhou první sál otevřít na 100 % energeticky, třetí etapou mělo být otevřít druhý sál na polovinu energeticky, a konečně čtvrtá etapa měla znamenat druhý sál plně vytížit energeticky. Nakonec se stalo to, že vloni po otevření prvního sálu jsme jej ze dvou třetin hned vytížili na 100 % a na konci března 2016 už otevíráme druhý sál.
Rosteme opravdu rychle. Jen pro představu, v roce 2015 jsme například pořídili nějakých tisíc serverů a plány pro rok 2016 jsou dvojnásobné. S promítnutím do historie, to je přece exponenciální růst!
Ještě před vlastním rozhovorem jste se zmínil také o možnosti vlastního návrhu serverů? Opět mě napadá otázka buď Intel, nebo využít jednu ze dvou otevřených specifikací RISCů?
Ano, tuto aktivitu v současné době otevíráme. Jde o několik možností. V oblasti hardwaru dnes nastává totéž, co už přišlo v oblasti softwaru, a sice otevřené specifikace, řešení open source. Okolo efektivně využívaného hardwaru datových center se už totiž také objevila komunita. Spustil to například Facebook se svým projektem Open Compute, takže máme přístup ke know-how, na jehož základě může někdo přijít, dále poladit a vytvořit nějaký hardware. Jsou i firmy, které pomohou s designem anebo malovýrobou.
Licence na ARM se dá volně koupit, na Sparc také, a nově od roku 2015 už i na Power, jakým směrem se vydáte vy?
Myslím, že časem půjde volně koupit také licence na Intel, ale zpočátku snad jen na řadu 386 (smích). V úvahách se neomezuji na procesor jako takový. Idea neznamená pouhý procesor. Dnes jsme ve stavu, kdy od výrobců kupujeme hardware, v němž je průmět požadavků a potřeb tisíců zákazníků z celého světa. Výrobci z něj vytvoří nějaký produkt, který my kupujeme. V jejich produktu platíme jejich výzkum a vývoj atd., plus celý jejich brand.
Nicméně, když se podívám na naše skutečné potřeby, ty jsou uspokojeny jen částečně. Vždy uvádím nějaký příklad, jako třeba větráky v serverech. Nechci, aby je měly, protože zvyšují jejich cenu. Sám totiž dokážu ovlivnit prostředí, v jakém jsou, takže chci servery bez větráků. Nebo chci takové větráky, které mají proměnné otáčky, jež mohu řídit. Ale tohle mi žádný klasický výrobce serverů neumí poskytnout, v tom jsem u nich limitován! K tomu mohu mít další obskurní představy o chlazení serverů, které v počtech, co potřebuji, klasičtí výrobci nevyrobí.
Jako například Josef Grill z datacentra Wedos o chlazení serverů olejem?
Třeba, ale nemusím hned namáčet servery do oleje celé, ale přivádět jej jen na chladiče. Vymyslet se dá cokoliv, všechno. V zásadě vše musí dávat nějaký ekonomický smysl.
Každopádně už ale začíná být doba kdy existují návrhy serverů, které si mohu začít sám ladit, existují firmy, které jsou schopny zajistit malovýrobu podle mého návrhu, včetně velkých hráčů. I Foxconn je dnes schopen bavit se o malých zakázkách. Když se do toho pustíte, seženete si správné lidi, kteří mají potřebné know-how a zápal, zjistíte, že si skutečně můžete hardware pro vlastní potřeby vyrábět sám.
Mimochodem jsem velkým fanouškem projektu routeru Turris od CZ.NIC, je to sice Wi-Fi router, ale v podstatě také počítač, takže proč by nemohl existovat server Made in Czech Republic? Jsem v tomto ohledu velký patriot a sám jsem si Turris Omnia koupil.
Takže jdete cestou světových datacenter, jako Google, Amazon apod.?
Je to tak. Pozoruji, jak je vše dáno velikostí trhu. V každém případě kopírujeme stejné kroky v rozmezí tří, pěti let, těžko říct, jaké dělají velcí světoví hráči, protože oni se do svého bodu zlomu velikosti a růstu také dostali mnohem dříve.
Myšlenka, že bychom jako Seznam.cz mohli a měli mít vlastní datové centrum je stará snad deset let. Jsem zde už dvanáct let a padla před nějakými deseti lety. V té době ale ještě nedávala smysl. To samé virtualizace nebo deduplikace dat. Nikdo ve světě o těchto technologiích moc nemluvil, velcí hráči je dělali, my jsme k nim dospěli později, až pak přišli výrobci, kteří je začali nabízet komerčně pod nějakými marketingovými názvy. Pozoruji tak, že sice pomalejším tempem, ale přece jen, procházíme stejnými kroky technologického vývoje, jakými se ubírali velikáni.
Do toho co dělá Google nebo Amazon nevidíme, vydají maximálně nějaký white paper se kterým se seznámíme, zato však máme dobré vztahy s Yandexem, s nímž si i vyměňujeme know-how, občas si nahlížíme do kuchyně. Yandex působí na desetkrát větším trhu a dokonce měli až globální ambice. Mohli jsme u nich vidět, jak byli už tehdy mnohem dále než my, také šli cestou Googlu. A dnes zase my začínáme dělat podobné kroky, jako tehdy oni. Mimochodem Yandex si už také řadu let staví vlastní hardware. Fór je skutečně v těch objemech, nechávají si jej vyrobit u nějakého stávajícího výrobce, ale dělají to tak. Už řadu let.