Elasticsearch Get Types — Roma Holokauszt Emléknap: Európának Tanulnia Kell A Múltból, Hogy Harcolhasson A Cigányellenesség Ellen
d/) [program:Kibana4] command = /opt/kibana/node/bin/node /opt/kibana/src/bin/kibana directory = /opt/kibana user = elasticsearch autostart = true autorestart = true stdout_logfile = syslog stderr_logfile = syslog environment = CONFIG_PATH="/opt/kibana/config/", NODE_ENV="production" A supervisord indítását követően (/etc/init. d/supervisor start) a Kibana4 felülete a kiszolgáló 5601/tcp portján elérhető.
:5601 A Kibana4 számára az index patternek beállítása az első tennivalónk. Ezt egyszer, a telepítés után kell megtenni, valamint akkor, ha pl a logstash-ben változtatunk a patterneken. Ekkor frissíteni kell az index patterneket. A beállításra péda: Pipáljuk be a következőt: Use event times to create index names valamint alul a legördülő listában a @timestamp-ot válasszuk ki Create A Discover-re kattintva láthatjuk a beérkezett és feldolgozott logokat. Remélem hasznos volt a bejegyzés, várom a visszajelzéseket. Kulcsszavak: Linux, syslog, Monitoring, Kibana, Elasitcsearch, Logstash, Syslog-ng
Viszont 10 node felett további nodeok bevonása már semmilyen módon nem hat pozitívan a performanciára. (ezen index szempontjából). Az előző pontban bemutatott problémát könnyen kezelhetjük azzal, ha eleve több sharddal tervezzük az indexeket (már ha indokolt ez), vagy pedig ha az indexeket mondjuk napi jelleggel görgetjük. Így a napon túli queryk minden bizonnyal olyan indexeken fognak futni amelyek más nodeokon futnak, így lehet értelme a nodeok számának növelésének. [commercial_break] Ez eddig egy eléggé triviálisnak tűnő megoldás, azonban könnyen előfordulhat, hogy akkora adatmennyiséggel és annyira bonyolult dokumentum struktúrával kell dolgoznunk, ami már egy indexen belül is teljesítmény gondokat okozhat. Ilyenkor egyetlen út marad, ez pedig az index mappingjének (_mapping) alaposabb átgondolása. Erre néhány ötlet: Minden dokumentum tárolja alapértelmezetten az eredeti (indexelés előtti) JSON-ját a _source értékben. Ez bonyolult dokumentumok esetén tetemes erőforrást igényelhet. A _source-t akár ki is lehet kapcsolni, bár ennek jócskán lehet negatív hatása (pl egy ilyen dokumentumot nem lehet updatelni és reindexelni) éppen ezért a _source teljes kikapcsolása helyett esetleg érdemes lehet excludeolni bizonyos fieldeket, amelyek tárolása felesleges és csak zabálja az erőforrásokat.
A bejegyzés neve tetszőleges lehet, pontos szabályokat itt sem találtam, de kis- nagybetűk, számok biztosan lehetnek. 7. Pattern készítéséhez jó segédeszköz a következő: Ez azért jó, mert több input logsort lehet beilleszteni, cserébe ami itt működik, az a Logstash-ben nem mindig: A Logstash konfig innen letölthető egy köszönöm jólesik... Elasticsearch Telepítés A telepítés szintén egyszerű (): wget -qO - | apt-key add - echo "deb stable main" | > /etc/apt/ apt-get update apt-get install elasticsearch update-rc. d elasticsearch defaults 95 10 vagy (ha nem működik a repo, mint ennek a bejegyzésnek az írása során:-)) wget dpkg -i update-rc. d elasticsearch defaults 95 10 Érdemes telepíteni a head nevű Elasticsearch modult, amely segítségével egyszerűen kereshetünk benne. A telepítése ennek is nagyon egyszerű: cd /usr/share/elasticsearch/bin. /plugin -install mobz/elasticsearch-head Így lehet elérni:
Az analyze könnyedén kikapcsolható, amivel az indexelés gyorsítható "XXX": { "type": "text", "index": "not_analyzed", }, Ha egy mezőt nem analizálunk, akkor minden bizonnyal nem fogunk rá sortolni és aggregálni sem, ilyen esetben viszont érdemes felhívni arra az ES figyelmét, hogy ezeket a mezőket ne töltse be az in-memory bufferbe, hiszen az véges és nagy mennyiségű dokumentumoknál extra IO terhelést okozhat az aggregálandó adatok folyamatos ki/be töltögetése. Erre a célra találták ki a fielddata nevű mapping opciót, az így megjelölt típusú mezők adatai nem kerül betöltére az in-memory bufferbe a dokumentum betöltésekor. A fielddata opció egyébként alapértelmezetten ki van kapcsolva a text field typenál pont azért, hogy a nagy mennyiségű szövegek ne üssék ki folyamatosan a heapet. Kerüljük a multi-fields definíciókat! Személyes tapasztalatom alapján a legtöbb multi-fields használat esetén valójában arról van csak szó, hogy az eredeti field type rosszul lett megválasztva. Tipikusan jó példa erre az date type alá létrehozott text vagy keyword fields.
Központi loggyűjtő Logstash, Elasticsearch, Kibana 4 A jelenlegi leírás a telepítést csak felületesen érinti, a példában Debian 7 64bit Linuxot használtam. A leírás célja, hogy gondolatébresztő legyen egy központi loggyűjtő kiválasztása során. Amire jó ez a rendszer: Különböző forrásból érkező események feldolgozására, tárolására és megjelenítésére. Különösebb ismeretek és a parancssor ismerete nélküli logelemzésre Amire nem jó: Logok feldolgozása után riasztások kezelésére. Elkülönített logok és hozzájuk kapocslódó jogosultságok kezelésére A rendszer fő részei Syslog-ng Syslog-ng fogadja a logokat UDP és TCP 514-es porton, itt sok lehetőség van a logok módosítására, feldolgozásáre, stb. Ennek a leírásnak ez nem képezi tárgyát. Telepítés apt-get install syslog-ng Konfiguráció Az alábbi konfigurációval a sztenderd syslog-ng konfigurációt a jelenlegi példához szükséges beállításokkal kiegészíthetjük: cat /etc/syslog-ng/conf. d/ source s_network { tcp(); udp();}; destination d_logstash { udp("127.
Támogatja a csiszolást és a perkolációt, ami hasznos lehet az értesítéshez, ha az új dokumentumok megegyeznek a regisztrált lekérdezésekkel. Egy másik jellemző, az "átjáró" kezeli az index hosszú távú fennmaradását; például egy index helyreállítható az átjáróról szerver összeomlás esetén. Az Elasticsearch támogatja a valós idejű GET kéréseket, ami alkalmassá teszi NoSQL adattárolásra, de nem tartalmaz elosztott tranzakciókat. 2019. május 20-án az Elastic ingyenesen elérhetővé tette az Elastic Stack alapvető biztonsági funkcióit, beleértve a titkosított kommunikációt szolgáló TLS-t, a fájlok és natív tartományokat a felhasználók létrehozásához és kezeléséhez, valamint a szerepkör-alapú hozzáférés-vezérlést a fürt API-khoz való felhasználói hozzáférés és indexek. A megfelelő forráskód elérhető az "Elastic License" ( forrás) licenc alatt. Ezenkívül az Elasticsearch a kínált szolgáltatások részeként SIEM és gépi tanulást kínál. Irányított szolgáltatások Az Elastic 2015-ben a Found felvásárlásából kifejlesztett Elastic Cloud az Elasticsearch-alapú SaaS kínálat családja, amely magában foglalja az Elasticsearch szolgáltatást, valamint az Elastic App Search szolgáltatást és az Elastic Site Search szolgáltatást, amelyeket az Elastic Swiftype felvásárlásából fejlesztettek ki.
Amikre érdemes még figyelni (ezekről lehet később írok külön postot): Az ES performanciájának egyik legfontosabb kulcsa az IOPS tehát, hogy másodpercenként mennyi IO műveletet tud végrehajtani a diszk környezet. Ennek kapcsán számtalan apró ötlet van (pl a több használata külön diszkeken, stb. ) amivel sokat lehet nyerni. Az indexing performanciára nagyon komoly hatást gyakorolhat a segment merge folyamat, tehát amikor az elemi index szegmenseket összefűzi az indexer. Ezt is lehet finomhangolni az index tartalma alapján. De teljesen máshogy kell paraméterezni a segment merget akkor ha SSD-n vagy ha hagyományos mozgó fejes diszken tároljuk az adatokat. Ha az adott index feltöltése "bulk import" elven történik, tehát nem folyamatosan szúrogatjuk be az új dokumentumokat, hanem időzítetten történik nagy mennyiségű adat bulk importja, akkor érdemes a bulk import előtt kikapcsolni a replikákat, majd utána vissza, ezzel megspórolhatjuk azt, hogy az összes replika egyszerre hajtsa végre a költséghatékony indexelést.
Ma van a roma holokauszt nemzetközi emléknapja, Magyarországon is több helyen tartanak megemlékezést. Budapesten koszorúzással egybekötött emlékműsort tartanak délután a Nehru parton, a roma holokauszt áldozatainak emlékművénél a Roma Club Kulturális és Közösségépítő Alapítvány, a Fővárosi Roma Nemzetiségi Önkormányzat (FRNÖ) és a Fővárosi Roma Oktatási és Kulturális Központ rendezésében. A megemlékezésen beszédet mond Szeneczey Balázs főpolgármester-helyettes, David Kostelancik, a budapesti amerikai nagykövetség ideiglenes ügyvivője, Vadászi István, a Roma Club Alapítvány alapítója és Csóka János Pál, a FRNÖ elnöke. Roma holokauszt emléknapja: Idegengyűlölet erősödéséről beszélt a román államfő - Blikk. Csütörtök délután a fővárosi Páva utcai Holokauszt Emlékközpontban megemlékezést tartanak, és megnyitják a Miranda - a cigány holokauszt című kiállítást. A rendezvényen felszólal Petri Tuomi-Nikula, Finnország budapesti nagykövete, Beer Miklós katolikus püspök, Szita Szabolcs, a Holokauszt Emlékközpont igazgatója és Setét Jenő polgárjogi aktivista, az Idetartozunk egyesület vezetője.
Roma Holokauszt Emléknapja: Idegengyűlölet Erősödéséről Beszélt A Román Államfő - Blikk
Az április 8-i bejelentést megelőzően a helyi civilek az önkormányzat, a Roma Népfőiskola és tudományos szakemberek segítségével a múlt feltárásába kezdett. Átnézték a történelmi forrásokat és az anyakönyveket, így már épül az áldozatok névsora, amely az emlékműre is felkerül majd. Az emlékhelyet várhatóan az ősz folyamán avatják majd fel. Ezt megelőzően, szeptember 18-án viszont a helyi közösség is megismerheti a kutatás eredményeit. Az információs esten Baumgartner Gerhard történész, az Osztrák Ellenállás Dokumentációs Levéltárának (DÖW) tudományos igazgatója, a burgenlandi roma közösség történetének elismert kutatója tart majd előadást. Harc a hallgatás, a felejtés ellen A vaskomjáti bejelentés szimbolikusan az április 8-i Nemzetközi Roma Napon történt. Az emléknap 1990 óta segít a figyelmet ráirányítani a roma közösségek kulturális és társadalmi értékeire, és felhívni a figyelmet a diszkrimináció, és a kirekesztés soha nem múló veszélyére. Ausztria 1993-ban ismerte el a burgenlandi roma közösséget őshonos népcsoportként.
Az egyik nagy tábor a burgenlandi Lackenbach (Lakompak) községben volt, ahol több ezer magyar cigányt is fogva tartottak. A nácik a megszállt európai országokban eltérő módon és mértékben üldözték a romákat, különböző becslések szerint a vészkorszakban a kétmilliós európai cigányság 10-30 százalékát gyilkolták meg. Magyarország nem várta meg a megszállást Magyarországon 1916-ban hoztak belügyminisztériumi rendeletet a "kóborló" cigányok nyilvántartásba vételére, a "renitensek" munkatáborba kényszerítésére. 1928-ban egy újabb körrendelet évente kétszeri országos cigányrazziákat írt elő, majd 1938-ban egy csendőrségi nyomozási utasítás a cigányság egészét megbízhatatlannak minősítette. Az 1930-as évektől egyre gyakoribbak lettek a szélsőjobboldali sajtóban a cigányellenes kirohanások. A cigányokat 1943-tól hurcolták kényszermunkára, Magyarország 1944. március 19-ei német megszállása után pedig legalább harminc gettót és munkatábort hoztak létre, ahol több tízezer romát dolgoztattak embertelen körülmények között.