Nathan Marz ได้เขียนบทความอธิบายเกี่ยวกับ Lambda architecture ไว้อย่างละเอียดยิบ ในบทนี้ผมขอสรุปเท่าที่ผมเข้าใจละกันครับ
Lambda architecture
เนื่องจากเรากำลังพูดถึง data ที่เยอะมากๆ เราจึงไม่สามารถทิ้ง P ใน CAP theorem ได้ จึงเหลือแค่ต้องเลือกระหว่าง CP กับ AP ถ้างั้นทำไมเราไม่ลองเอาทั้ง C และ A เลยล่ะ? นั้นคือที่มาของ 2 layer, Batch layer และ Realtime layer ตัวหนึ่งเน้นความถูกต้องแบบ batching ขณะที่อีกตัวเน้นความเร็วแบบ streaming
Data ในมุมมองของ Marz คือ record ที่เราไม่ควรจะไปแก้ไขมัน ควรทำให้มันเป็น immutable record เพราะ record เหล่านั้นคือความจริงของช่วงระยะเวลาหนึ่ง เช่น นาย ก ซื้อของเล่น X เวลา 15. 00 ต่อมา นาย ก ขอคืนสินค้า X เวลา 22. 00 เพราะห่วย ยังไงซะครั้งหนึ่งนาย ก ก็เคยมีของเล่น X อยู่และเราก็ไม่ควรไป update/delete ตอน 15.
Examples
AWS Big Data Demystified #1. 2 | Big Data architecture lessons learned
เมนูนำทาง เรื่อง
Tutorial
ทำไมต้องทำ Data Cleansing?
ว่าด้วยเรื่อง Lambda Architecture หรือระบบทำงานแบบ Realtime
ข้อมูลไม่ได้ถูกจัดเก็บในรูปแบบที่ต้องการ
เราจำเป็นต้องทำให้ข้อมูลอยู่ในรูปแบบที่พร้อมสำหรับ การวิเคราะห์ข้อมูล หรือนำไปสู่ report หรือคำตอบที่เราต้องการได้
ยกตัวอย่างเช่น เราต้องการทราบร้านคู่แข่งในแต่ละเขต/อำเภอ แต่ข้อมูลที่มีอยู่นำเข้ามาจาก Open Source ที่แบ่งพื้นที่ตามพิกัด GPS (ละติจูด-ลองติจูด) เราจึงต้องแปลงข้อมูลที่ได้ให้เป็นแบบเขต/อำเภอ ก่อน
หรืออีกตัวอย่างง่ายๆ คือ ข้อมูลไม่ได้ถูกเก็บอยู่ในไฟล์ที่สามารถส่งข้อมูลเข้าประมวลผลได้ เช่น ได้ข้อมูลเป็นไฟล์รูปภาพ ( หรือ) อาจต้องแปลงเป็นไฟล์ข้อความหรือสคริปต์ (,,, ) เพื่อให้พร้อมสำหรับการวิเคราะห์ก่อน
3.
Project
Data คือข้อมูลชนิดต่างๆ ที่ถูกส่งเข้ามายังระบบ อยู่ในรูปแบบใดๆ ก็ได้ ซึ่งจะถูกส่งเข้าไปยัง Batch layer และ Speed layer 2. Batch layer มีการทำงาน 2 ส่วนคือ ส่วนที่ 1 ทำการจัดการข้อมูล master ซึ่งเป็นข้อมูลดิบ สามารถเพิ่มได้อย่างเดียวเท่านั้น ส่วนที่ 2 ส่วนประมวลผลข้อมูลตามรายงานหรือข้อมูลรูปแบบต่างๆ ที่ต้องการ ซึ่งทำงานแบบ batch นั่นเอง 3. Serve layer คือส่วนที่จัดทำดัชนีข้อมูลที่ผ่านการสรุปมาแล้ว เพื่อให้การอ่านหรือดึงข้อมูลทำได้อย่างรวดเร็ว 4. Speed layer คือส่วนที่เข้ามาเพิ่มเติมสำหรับระบบที่มีการแก้ไขข้อมูลที่สูง และต้องการข้อมูลแบบ realtime ซึ่งทำมาเพื่อสนับสนุน Serve layer อีกด้วย 5.
Data Cleansing คืออะไร? สำคัญอย่างไรกับการจัดการข้อมูล | Firstcraft
จากการที่ผมมีโอกาสได้พูดคุยกับคนรู้จักหลายคนเกี่ยวกับเรื่อง Big Data ไม่ว่าจะเป็นเพื่อนฝูง ลูกศิษย์ หรือคนรู้จักในภาคธุรกิจ ผมพบว่าคนจำนวนไม่น้อยยังขาดความเข้าใจในองค์ประกอบของ Big Data เพราะกลายเป็นว่าเมื่อพูดถึง Big Data คนส่วนใหญ่จะนึกถึงที่เก็บของขนาดใหญ่ (บางคนเรียกว่าที่เก็บขยะขนาดใหญ่ด้วยซ้ำ! )
Diagram
- Data architecture คือ 2
- Jd การ ตลาด
- Data architecture คือ diagram
- แก้ไขไฟเครื่องยนต์โชว์ เครื่องสั่น VSV TRC VSC Toyota แก้ไขด้วยสิ่งนี้
- Interstellar พากย์ไทย netflix
- Data architecture คือ pdf
ดร.
0. 4896. 60เห็นว่ามีการเปลี่ยนแปลง logo เล็กน้อยสำหรับ OS ต่าง ๆ อีกด้วยแต่ที่ไม่น้อยคือ การแก้ไข bug หรือช่องโหว่ไปถึง 28 ตัวกันเลย และเดี๋ยว Firefox 100 ก็จะปล่อยออกมาเช่นกัน!! Read More… สรุปเรื่องการใช้ภาษา Go ที่ จาก Golang weekly นั้น มี link บทความการนำภาษามาใช้งานในระบบของ we write everything in Go? จึงทำการสรุปไว้นิดหน่อย Read More… ว่าง ๆ มาติดตั้ง Apache Kafka แบบไม่มี zookeeper แก้เบื่อกัน (KRaft) ตั้งแตก Apache Kafka 2. 8 นั้นมี configuration ของ KRaft มาให้ช่วยทำให้เราสามารถติดตั้ง cluster ของ Apache Kafka โดยไม่มี Zookeeper ได้แต่ยังไม่แนะนำสำหรับบน production นะ ในวันว่าง ๆ มาลองติดตั้งเล่นกันหน่อยเพื่อทำความรู้จักในเบื้องต้น Read More…
- ไอ คราว หาย ใน
- Mini factory ให้ เช่า game
- วารสารวิชาการ คือ
- Vellfire 2020 ราคา free
- วาด ภาพ แสง เงา
- หวย chaloe cat and girl
- ลงทะเบียน เรารักกัน ม.33 en ligne