Хамгийн энгийнээр бол тархсан систем гэдэг нь эцсийн хэрэглэгчдэд нэг мэт харагдах хамт ажилладаг компьютеруудын бүлэг юм. Машинууд нь нийтлэг төлөвтэй, нэгэн зэрэг ажилладаг бөгөөд бүхэл системийн ажиллах хугацаанд нөлөөлөхгүйгээр бие даан ажиллах боломжтой. Үнэн бол ийм системийг удирдах нь хүндрэлүүдээр дүүрэн төвөгтэй сэдэв юм.
Системийн тойм
Түгээмэл систем нь сүлжээнд холбогдсон нөөцийг (програм хангамжийг оруулаад) нэгэн зэрэг хуваалцах боломжийг олгодог.
Системийн түгээлтийн жишээ:
- Уламжлалт стек. Эдгээр мэдээллийн сангууд нь нэг машины файлын системд хадгалагддаг. Хэрэглэгч мэдээлэл авахыг хүссэн үедээ энэ машинтай шууд холбогддог. Энэ мэдээллийн сангийн системийг түгээхийн тулд та үүнийг олон компьютер дээр зэрэг ажиллуулах хэрэгтэй.
- Тархаг архитектур.
Тархсан системхэвтээ болон босоо байдлаар масштаблах боломжийг танд олгоно. Жишээлбэл, илүү их урсгалыг зохицуулах цорын ганц арга бол мэдээллийн баазыг ажиллуулдаг техник хангамжийг шинэчлэх явдал юм. Үүнийг босоо масштаб гэж нэрлэдэг. Босоо масштаб нь тодорхой хязгаар хүртэл сайн байдаг бөгөөд үүний дараа хамгийн сайн тоног төхөөрөмж хүртэл шаардлагатай урсгалыг хангаж чадахгүй.
Хэвтээ байдлаар томруулна гэдэг нь нэг компьютер дээр техник хангамжийг шинэчлэх биш, илүү олон компьютер нэмнэ гэсэн үг. Босоо масштаб нь тархсан систем дэх хамгийн сүүлийн үеийн техник хангамжийн чадавхи хүртэл гүйцэтгэлийг нэмэгдүүлдэг. Эдгээр боломжууд нь дунд болон хүнд ачаалалтай технологийн компаниудад хангалтгүй юм. Хэвтээ масштабын хамгийн сайн зүйл бол хэмжээ хязгааргүй байх явдал юм. Гүйцэтгэл муудах үед өөр машиныг зүгээр л нэмдэг бөгөөд үүнийг зарчмын хувьд тодорхойгүй хугацаагаар хийх боломжтой.
Компанийн түвшинд хуваарилагдсан хяналтын систем нь ихэвчлэн янз бүрийн алхмуудыг агуулдаг. Аж ахуйн нэгжийн компьютерийн сүлжээний хамгийн үр ашигтай газруудад бизнесийн үйл явцад. Жишээлбэл, гурван түвшний тархсан системийн загварыг ашигладаг ердийн түгээлтийн хувьд өгөгдөл боловсруулах нь хэрэглэгчийн байршил дахь компьютер дээр, бизнесийн боловсруулалт нь алсын компьютер дээр, мэдээллийн санд хандах, өгөгдөл боловсруулах нь огт өөр компьютер дээр хийгддэг. олон бизнест төвлөрсөн хандалтыг олгодог.процесс. Ерөнхийдөө энэ төрлийн тархсан тооцоололүйлчлүүлэгч-серверийн харилцан үйлчлэлийн загварыг ашигладаг.
Үндсэн даалгавар
Хуваарилагдсан удирдлагын системийн үндсэн ажлууд нь:
- Ил тод байдал - Хэрэглэгчдэд байршил, хандалт, шилжилт, зэрэгцэн оршдог, шилжүүлэлт, нүүлгэн шилжүүлэлт, тогтвортой байдал болон нөөцийн дэлгэрэнгүй мэдээллийг нуухгүйгээр нэг системийн дүр төрхийг бий болгоно.
- Нээлттэй байдал - сүлжээний тохиргоо болон өөрчлөлтийг хялбаршуулдаг.
- Найдвартай байдал - Нэг хяналтын системтэй харьцуулахад энэ нь найдвартай, тууштай, алдааг далдлах магадлал өндөр байх ёстой.
- Гүйцэтгэл - Бусад загваруудтай харьцуулахад тархсан загварууд нь гүйцэтгэлийг нэмэгдүүлдэг.
- Томжуулах боломжтой - Эдгээр хуваарилагдсан хяналтын системүүд нь нутаг дэвсгэр, удирдлага эсвэл хэмжээний хувьд өргөтгөх боломжтой байх ёстой.
Түгээх системийн үүрэгт:
- Түгээмэл орчинд, ялангуяа нийтийн сүлжээг ашиглах үед аюулгүй байдал нь маш том асуудал юм.
- Гэмтэл тэсвэрлэх чадвар - загвар нь найдваргүй бүрэлдэхүүн хэсгүүдээр бүтээгдсэн үед хэцүү байж болно.
- Нөөцийг зохицуулах, хуваарилах - зохих протокол эсвэл шаардлагатай бодлого байхгүй тохиолдолд хүндрэлтэй байж болно.
Тархсан тооцоолох орчин
(DCE) нь ийм тархсан тооцоололыг дэмждэг өргөн хэрэглэгддэг салбарын стандарт юм. Интернет дээр гуравдагч талын үйлчилгээ үзүүлэгчид зарим ерөнхий үйлчилгээг санал болгодог. Энэ загварт тохирсон.
Grid computing нь нарийн төвөгтэй асуудлыг шийдвэрлэхтэй холбоотой олон тооны компьютеруудын тархсан архитектур бүхий тооцоолох загвар юм. Сүлжээний тооцооллын загварт серверүүд эсвэл хувийн компьютерууд нь бие даасан ажлуудыг гүйцэтгэдэг бөгөөд интернет эсвэл бага хурдтай сүлжээгээр бие биетэйгээ чөлөөтэй холбогддог.
Сүлжээний тооцооллын хамгийн том төсөл бол SETI@home бөгөөд компьютер эзэмшигчид харь гаригийн тагнуулын хайлт (SETI) төсөлд зориулж компьютерээ ашиглан олон үйлдэлт боловсруулалтын зарим циклээ сайн дураараа гүйцэтгэдэг. Энэхүү компьютерийн асуудал нь радио дурангийн өгөгдлийг татах, хайхад олон мянган компьютер ашигладаг.
Сүлжээний тооцооллын анхны хэрэглээний нэг нь одоо distributed.net гэгддэг бүлэг криптограф кодыг эвдэх явдал байв. Энэ бүлэг мөн өөрсдийн загварыг тархсан тооцоолол гэж тодорхойлдог.
Мэдээллийн сангийн масштаб
Эзэнээс боол руу шинэ мэдээлэл түгээх нь тэр дороо тохиолддоггүй. Үнэн хэрэгтээ хуучирсан мэдээлэл авах боломжтой цагийн цонх байдаг. Хэрэв тийм биш байсан бол тархсан системүүд өгөгдөл тархахыг синхроноор хүлээх шаардлагатай болдог тул бичих чадвар муудах болно. Тэд хэд хэдэн буулт хийдэг.
Боол мэдээллийн сангийн аргыг ашигласнаар унших урсгалыг тодорхой хэмжээгээр багасгах боломжтой. Энд олон сонголт бий. Гэхдээ та бичих урсгалыг хэд хэдэн хэсэгт хуваах хэрэгтэйсерверүүд үүнийг зохицуулж чадахгүй байна. Нэг арга бол олон мастер хуулбарлах стратегийг ашиглах явдал юм. Тэнд боолуудын оронд унших, бичихийг дэмждэг хэд хэдэн үндсэн зангилаа байдаг.
Өөр нэг аргыг sharding гэж нэрлэдэг. Үүний тусламжтайгаар сервер нь shards гэж нэрлэгддэг хэд хэдэн жижиг серверүүдэд хуваагддаг. Эдгээр хэлтэрхийнүүд нь өөр өөр оруулгатай бөгөөд ямар оруулгад ямар хэлтэрхий орох тухай дүрэм бий. Өгөгдлийг жигд хуваарилах ийм дүрмийг бий болгох нь маш чухал юм. Үүнийг хийх боломжит арга бол зарим бичлэгийн мэдээллийн дагуу мужийг тодорхойлох явдал юм.
Ачаалал нь дурын баганын суурьтай үргэлж тэнцүү байдаггүй тул энэ хэлтэрхий түлхүүрийг маш болгоомжтой сонгох хэрэгтэй. Бусдаас илүү их хүсэлт хүлээн авдаг цорын ганц хэлтэрхий нь халуун цэг гэж нэрлэгддэг бөгөөд тэд үүнийг үүсэхээс урьдчилан сэргийлэхийг хичээдэг. Хуваагдсаны дараа дахин тохируулгын өгөгдөл гайхалтай үнэтэй болж, их хэмжээний зогсолт үүсгэж болзошгүй.
Мэдээллийн сангийн зөвшилцлийн алгоритмууд
ХБ-ыг түгээсэн хамгаалалтын системд хэрэгжүүлэхэд хэцүү байдаг, учир нь тэдгээр нь зангилаа бүрээс зөв тасалдал хийх эсвэл үйлдэл хийхийг шаарддаг. Энэ чанарыг зөвшилцөл гэж нэрлэдэг бөгөөд түгээлтийн системийг бий болгох үндсэн асуудал юм. Холбогдох процессууд болон сүлжээ нь бүрэн найдвартай бол "ажиллах" асуудалд шаардлагатай тохиролцоонд хүрэх нь энгийн зүйл юм. Гэсэн хэдий ч, бодит систем нь хэд хэдэн хамаарнасүлжээний процессын алдаа, алдагдсан, гэмтсэн эсвэл давхардсан мессежүүд.
Энэ нь асуудал үүсгэж байгаа бөгөөд найдваргүй сүлжээнд хязгаарлагдмал хугацаанд зөв зөвшилцөлд хүрнэ гэсэн баталгаа өгөх боломжгүй. Практикт найдваргүй сүлжээнд нэлээд хурдан зөвшилцөлд хүрдэг алгоритмууд байдаг. Кассандра нь зөвшилцөлд хүрэхийн тулд Paxos алгоритмыг ашиглан хөнгөн гүйлгээ хийдэг.
Түгээмэл тооцоолол нь сүүлийн жилүүдэд ашиглагдаж буй том өгөгдөл боловсруулах урсгалын гол түлхүүр юм. Энэ нь 100 тэрбум бичлэг гэх мэт асар том даалгаврыг нэг машинд багтаах боломжтой жижиг ажлууд болгон задлах арга юм. Хөгжүүлэгч асар том даалгавраа олон жижиг зүйл болгон хувааж, олон машин дээр зэрэгцүүлэн гүйцэтгэж, өгөгдлийг зохих ёсоор цуглуулснаар анхны асуудал шийдэгдэнэ.
Энэ арга нь танд хэвтээ байдлаар масштаблах боломжийг олгодог - том ажил байгаа үед тооцоонд илүү олон зангилаа нэмэхэд хангалттай. Эдгээр ажлыг олон жилийн турш MapReduce програмчлалын загвараар гүйцэтгэсэн бөгөөд кластер дээр тархсан алгоритм ашиглан том өгөгдлийн багц үүсгэх, зэрэгцээ боловсруулалт хийхтэй холбоотой.
Одоогоор MapReduce бага зэрэг хуучирсан бөгөөд зарим асуудал дагуулж байна. Эдгээр асуудлыг шийдвэрлэх өөр архитектурууд бий болсон. Тухайлбал, түгээх зориулалттай Lambda Architectureурсгал боловсруулах систем. Энэ чиглэлийн дэвшил нь шинэ хэрэгслүүдийг авчирсан: Кафка урсгал, Апачи оч, Апачи шуурга, Апачи Самза.
Файл хадгалах болон хуулбарлах систем
Тархсан файлын системийг тархсан өгөгдлийн хадгалалт гэж үзэж болно. Энэ нь нэг нэгж болох машинуудын кластерт их хэмжээний өгөгдлийг хадгалах, хандах гэсэн ойлголттой ижил юм. Тэд ихэвчлэн Тархсан тооцоололтой хамт ажилладаг.
Жишээ нь Yahoo нь 2011 оноос хойш 600 петабайт өгөгдөл хадгалахын тулд 42,000 гаруй зангилаа дээр HDFS ажиллуулдгаараа алдартай. Википедиа нь хуваарилагдсан файлын системүүд нь Cassandra Query Language (CQL) гэх мэт тусгай API-аар бус локал файлуудтай ижил интерфэйс болон семантик ашиглан файлд хандах боломжийг олгодог ялгааг тодорхойлдог.
Hadoop Distributed File System (HDFS) нь Hadoop дэд бүтцээр тооцоолоход хэрэглэгддэг систем юм. Өргөн тархсан бөгөөд үүнийг олон машин дээр том файлуудыг (ГБ эсвэл ТБ хэмжээтэй) хадгалах, хуулбарлахад ашигладаг. Түүний архитектур нь ихэвчлэн NameNodes болон DataNodes-ээс бүрдэнэ.
NameNodes нь кластерын тухай мета өгөгдлийг хадгалах үүрэгтэй, тухайлбал аль зангилаа файлын блокуудыг агуулж байна. Тэд сүлжээний зохицуулагчийн үүргийг гүйцэтгэж, хаана файл хадгалах, хуулах, системийн эрүүл мэндийг хянаж байдаг. DataNodes нь ердөө л файлуудыг хадгалж, файл хуулбарлах, шинээр бичих, гэх мэт тушаалуудыг гүйцэтгэдэгбусад.
Гайхалтай нь HDFS нь даалгаврын талаарх мэдээллийг таниулах боломжийг олгодог тул тооцоололд Hadoop-тэй хамгийн сайн хэрэглэгддэг. Заасан ажлуудыг дараа нь өгөгдлийг хадгалдаг зангилаанууд дээр ажиллуулна. Энэ нь танд өгөгдлийн байршлыг ашиглах боломжийг олгоно - тооцооллыг оновчтой болгож, сүлжээгээр дамжих хөдөлгөөний хэмжээг бууруулдаг.
Гараг хоорондын файлын систем (IPFS) нь тархсан файлын системд зориулсан шинэ, шинэ үе тэнгийн протокол/сүлжээ юм. Блокчейн технологийг ашигласнаар ганц эзэнгүй, бүтэлгүйтэх цэггүй бүрэн төвлөрсөн бус архитектуртай.
IPFS нь IPNS хэмээх нэршлийн системийг (DNS-тэй төстэй) санал болгодог бөгөөд хэрэглэгчдэд мэдээллийг хялбархан олж авах боломжийг олгодог. Энэ нь Git шиг файлыг түүхэн хувилбараар хадгалдаг. Энэ нь файлын өмнөх бүх төлөвт хандах боломжийг олгоно. Энэ нь одоог хүртэл хүнд явцтай хөгжүүлэлтийн шатандаа явж байгаа (бичиж байх үед v0.4) гэхдээ үүнийг бүтээх сонирхолтой төслүүдийг аль хэдийн үзсэн байна (FileCoin).
Мессежийн систем
Мессежийн системүүд нь нийтлэг систем доторх мессежийг хадгалах, түгээх төвлөрсөн байршлыг хангадаг. Эдгээр нь програмын логикийг бусад системтэй шууд харилцахаас салгах боломжийг танд олгоно.
Мэдэгдэж буй цар хүрээ - LinkedIn-ийн Кафка кластер секундэд 4.5 сая мессежийн дээд цэгтээ хүрч, өдөрт 1 их наяд мессеж боловсруулдаг.
Энгийн үгээр бол мессежийн платформ дараах байдлаар ажилладаг:
- Зурваспродюсер гэж нэрлэгддэг программаас дамжуулж, платформ руу ордог бөгөөд хэрэглэгч гэж нэрлэгддэг олон програмаас уншдаг.
- Хэрэв та мэдээллийн сан, хадгалах сан, имэйл илгээх үйлчилгээнд хэрэглэгч үүсгэх гэх мэт тодорхой үйл явдлыг олон газар хадгалах шаардлагатай бол мессежийн платформ нь тухайн мессежийг түгээх хамгийн цэвэр арга юм.
Хэд хэдэн алдартай шилдэг мессежийн платформууд байдаг.
RabbitMQ нь зурвасын брокер бөгөөд танд чиглүүлэлтийн дүрэм болон бусад хялбар тохируулж болох параметрүүдийг ашиглан тэдний замналын хяналтыг илүү нарийн тохируулах боломжийг олгодог. Энэ нь маш их логиктой бөгөөд түүгээр дамждаг мессежийг сайтар хянаж байдаг тул үүнийг "ухаалаг" брокер гэж нэрлэж болно. CAP-аас AP болон CP-д зориулсан сонголтыг өгдөг.
Кафка нь ямар мессеж уншсаныг хянадаггүй, чиглүүлэлтийн нарийн төвөгтэй логикийг зөвшөөрдөггүй тул арай бага ажиллагаатай мессеж брокер юм. Энэ нь гайхалтай гүйцэтгэлд хүрэхэд тусалдаг бөгөөд нээлттэй эх сурвалжийн нийгэмлэгийн тархсан системийг идэвхтэй хөгжүүлж, Confluent багийн дэмжлэгтэйгээр энэ орон зайд хамгийн том амлалтыг илэрхийлдэг. Кафка нь өндөр технологийн компаниудын дунд хамгийн алдартай.
Машинтай харилцах програмууд
Энэ түгээлтийн систем нь эцсийн хэрэглэгчдэд тусдаа компьютер болон харагдахаар хамтран ажилладаг компьютеруудын нэгдэл юм. Эдгээр машинууд ерөнхий нөхцөлд ажиллаж байнанэгэн зэрэг бөгөөд бүхэл системийн ажиллах хугацаанд нөлөөлөхгүйгээр бие даан ажиллах боломжтой.
Хэрэв та өгөгдлийн санг тархсан гэж үзвэл зангилаанууд хоорондоо харилцан үйлчлэлцэж үйлдлээ зохицуулахад л болно. Энэ нь ижил төстэй сүлжээнд өөрийн дотоод кодыг ажиллуулж буй хэрэглүүртэй адил бөгөөд тархсан програм гэж ангилагдана.
Ийм хэрэглээний жишээ:
- Мэдэгдэж буй масштаб - BitTorrent нь Game of Thrones-ын ангид зориулж 193,000 зангилаа цуглуулсан.
- Түгээмэл блокчейн системийн үндсэн бүртгэлийн технологи.
Түгээмэл дэвтэрийг түгээлтийн сүлжээн дэх бүх зангилаагаар хуулбарлаж, синхрончилж, хуваалцдаг, өөрчлөгддөггүй, зөвхөн хэрэглээний мэдээллийн сан гэж үзэж болно.
Алдарт масштаб болох Ethereum сүлжээ нь 2018 оны 1-р сарын 4-нд өдөрт 4.3 сая гүйлгээ хийсэн байна. Тэд өгөгдлийн сангийн төлөвийг хүссэн үедээ сэргээх боломжийг олгодог Event Sourcing загварыг ашигладаг.
Блокчэйн бол тархсан дэвтэрт ашиглагдаж байгаа одоогийн үндсэн технологи бөгөөд үнэндээ тэдний эхлэлийг тавьсан юм. Түгээмэл орон зай дахь энэхүү хамгийн шинэ бөгөөд хамгийн том инноваци нь анхны жинхэнэ хуваарилагдсан төлбөрийн протокол болох биткойныг бий болгосон.
Блокчэйн нь өөрийн сүлжээнд урьд өмнө хийгдсэн бүх гүйлгээний дараалсан жагсаалт бүхий тархсан дэвтэр юм. Хэлэлцээрийг бүлэглэж блок болгон хадгалдаг. Блокчэйн бүхэлдээ үндсэндээ холбогдсон блокуудын жагсаалт юм. Тодорхойлсон блокуудүүсгэхэд үнэтэй бөгөөд криптографийн тусламжтайгаар хоорондоо нягт холбоотой байдаг. Энгийнээр хэлбэл, блок бүр нь одоогийн блокийн агуулгын тусгай хэш (тэг X тоогоор эхэлдэг) (Merkle модны хэлбэртэй) дээр өмнөх блокийн хэшийг агуулдаг. Энэ хэш нь CPU-ийн их хүч шаарддаг.
Түгээмэл үйлдлийн системийн жишээ
Системийн төрлүүд нь нэг хэрэглэгчийн систем учраас хэрэглэгчдэд харагдана. Тэд санах ой, дискээ хуваалцдаг бөгөөд хэрэглэгч өгөгдөлд шилжихэд ямар ч асуудалгүй. Хэрэглэгч өөрийн компьютерт ямар нэгэн зүйл хадгалдаг бөгөөд файл нь холбогдсон компьютер зэрэг олон байршилд хадгалагддаг тул алдагдсан өгөгдлийг хялбархан сэргээх боломжтой.
Түгээмэл үйлдлийн системийн жишээ:
- Windows Server 2003;
- Windows Server 2008;
- Windows Server 2012;
- UbuntuLinux (Apache сервер).
Хэрэв аль нэг компьютер илүү өндөр ачаалдаг бол, өөрөөр хэлбэл, бие даасан компьютеруудын хооронд олон хүсэлт солилцдог бол ачааллын тэнцвэржилт ийм байдлаар явагддаг. Энэ тохиолдолд хүсэлтийг хөрш компьютерт түгээдэг. Хэрэв сүлжээ илүү ачаалалтай байвал сүлжээнд илүү олон систем нэмж өргөтгөх боломжтой. Сүлжээний файл болон фолдерууд синхрончлогдсон бөгөөд нэршлийн дүрмийг ашигладаг тул өгөгдлийг сэргээхэд алдаа гарахгүй.
Өгөгдлийг удирдахдаа кэшийг мөн ашигладаг. Бүх компьютер файлуудыг нэрлэхдээ ижил нэрийн орон зайг ашигладаг. Гэхдээфайлын систем нь бүх компьютерт хүчинтэй. Хэрэв файлд шинэчлэлт байгаа бол энэ нь нэг компьютерт бичигдэх бөгөөд өөрчлөлт нь бүх компьютерт тархдаг тул файл нь адилхан харагдана.
Унших/бичих процессын явцад файлууд түгжигддэг тул өөр өөр компьютеруудын хооронд түгжрэл үүсэхгүй. Унших, нэг сесс дотор файл бичих, сессийг хаах гэх мэт сессүүд мөн тохиолдох ба дараа нь өөр хэрэглэгч үүнийг хийх боломжтой.
Хэрэглэхийн ашиг тус
Хүмүүсийн өдөр тутмын амьдралыг хөнгөвчлөх зорилготой үйлдлийн систем. Хэрэглэгчийн ашиг тус, хэрэгцээний үүднээс үйлдлийн систем нь нэг хэрэглэгч эсвэл тархсан байж болно. Түгээмэл нөөцийн системд олон компьютерууд хоорондоо холбогдож, нөөцөө хуваалцдаг.
Үүнийг хийснээр ашиг тус:
- Хэрэв ийм системийн нэг компьютер гэмтэлтэй эсвэл гэмтсэн бол өөр нэг цэг эсвэл компьютер үүнийг хариуцах болно.
- Илүү их нөөцийг хялбархан нэмэх боломжтой.
- Хэвлэгч гэх мэт нөөцүүд нь олон компьютерт үйлчлэх боломжтой.
Энэ бол түгээлтийн систем, яагаад үүнийг ашигладаг тухай товч мэдээлэл юм. Зарим чухал зүйлийг санаж байх хэрэгтэй: тэдгээр нь нарийн төвөгтэй бөгөөд цар хүрээ, үнийн хувьд сонгогддог бөгөөд ажиллахад илүү хэцүү байдаг. Эдгээр системүүд нь хэд хэдэн хадгалах ангилалд хуваагддаг: тооцоолох, файл, мессежийн систем, бүртгэл, програм. Мөн энэ бүхэн нарийн төвөгтэй мэдээллийн системийн талаар маш өнгөцхөн юм.
