Apache Spark Introduction in Tamil – Big Data Processing Framework Overview

Apache Spark-ன் அறிமுகம் (Big Data Processing Framework)

Spark ஐ கற்க முன் தேவையான முன்நிபந்தனைகள்

Big Data அடிப்படை: "Big Data என்றால் என்ன" என்பதை தெளிவாக புரிந்துகொள்ள வேண்டும். இதற்கு Understanding Data Science: Concepts, Importance, and Analytics Lifecycle கட்டுரை உங்களுக்கு ஒரு நல்ல அடித்தளத்தை அமைக்கும்.
Hadoop basics: HDFS, MapReduce மற்றும் Hive பற்றிய அறிவு கட்டாயம் தேவை. Comprehensive Apache Hive Tutorial: Installation, Features, and Queries மூலம் Hive-ஐ பற்றி விரிவாக அறிந்துகொள்ளலாம்.
Programming Language: Java, Scala அல்லது Python ஆகியவற்றில் ஏதேனும் ஒரு மொழியில் அடிப்படை தெரிந்திருக்க வேண்டும்.
SQL: அடிப்படை SQL அறிவும் அவசியம். Master SQL: Comprehensive Guide to Advanced Data Analytics and Optimization உங்கள் SQL திறனை மேம்படுத்த உதவும்.

குறிப்பு: Hadoop-ல் உள்ள Pig, Sqoop, Flume போன்ற அனைத்து components-ம் தெரிய வேண்டிய அவசியமில்லை. HDFS, MapReduce, Hive போதுமானது.

Spark-ன் Architecture மற்றும் Framework Diagram

Spark ஒரு parallel மற்றும் distributed data processing engine ஆகும். இதன் முக்கிய components:

Spark Core: அடிப்படை இயந்திரம்.
Spark SQL: கட்டமைக்கப்பட்ட தரவுகளை SQL-like queries மூலம் செயலாக்க.
Spark Streaming: நிகழ்நேர தரவு ஸ்ட்ரீம்களை செயலாக்க (Real-time/live data).
MLlib: Machine Learning library.
GraphX: Graph data processing (Social network connections போன்றவை).

Spark vs Hadoop: முக்கிய வேறுபாடுகள்

Processing Types: Hadoop batch processing மட்டுமே செய்யும். Spark batch மற்றும் streaming இரண்டையும் செய்யும்.
Speed: Hadoop-ஐ விட Spark 10 மடங்கு வேகமானது.
Integration: Spark ஆனது Hadoop-க்கு மாற்று அல்ல; அது MapReduce-க்கு மாற்று மட்டுமே.
- Spark-ன் திட்டங்களில் Hadoop-ன் HDFS, Hive, HBase, Oozie, Sqoop போன்றவை பயன்படுகின்றன. Comprehensive Apache Hive Tutorial: Installation, Features, and Queries மூலம் Hive உடன் Spark எவ்வாறு ஒருங்கிணைக்கிறது என்பதை புரிந்துகொள்ளலாம்.
- Hadoop இல்லாமல் ஒரு Spark திட்டத்தை காண முடியாது, ஆனால் Spark இல்லாமல் Hadoop திட்டங்கள் உள்ளன.
Replacements: Spark, MapReduce-ஐ மாற்றியமைத்துள்ளது. HDFS, Hive, Oozie, Pig ஆகியவை இன்னும் பயன்பாட்டில் உள்ளன.

Spark-ன் Deployment Modes (மூன்று வகைகள்)

Standalone Mode: Spark ஐ மட்டுமே install செய்து distributed cluster உருவாக்குதல் (Single node அல்லது Multi node ஆக இருக்கலாம்).
YARN Mode: Hadoop- உடன் Spark-ஐ இணைத்து deploy செய்தல்.
Mesos Mode: YARN போன்ற மற்றொரு cluster manager. Comprehensive Databricks Boot Camp: From Basics to AI Integration இல் இந்த deployment modes பற்றி மேலும் விரிவாக விளக்கப்பட்டுள்ளது.

Spark-ன் மூன்று முக்கிய APIs

RDD (Resilient Distributed Dataset): அடிப்படை data structure. தரவுகளை partition செய்து distributed ஆக செயலாக்கும்.
DataFrame: RDD-ன் next version. Column names உடன் structured data (SQL போன்றது).
Dataset: DataFrame-ன் extension. Type-safe operations. இந்த APIs பற்றிய விரிவான விளக்கத்திற்கு, The Ultimate Guide to Apache Spark: Concepts, Techniques, and Best Practices for 2025 ஐ படிக்கவும்.

Transformation vs Action

Transformation: கட்டளைகளை வரையறுக்கும் (Lazy evaluation).
- எடுத்துக்காட்டுகள்: map, filter, groupBy, reduceByKey, sort.
- இவை எதையும் உடனே execute செய்யாது; ஒரு action வரும் வரை காத்திருக்கும்.
Action: முடிவை உருவாக்கும் (Result/output).
- எடுத்துக்காட்டுகள்: count, collect, show, saveAsTextFile.

Lazy Evaluation

Spark ஒரு command-ஐ action வந்த பின்னரே execute செய்யத் தொடங்கும். இது தேவையற்ற computation-ஐ தவிர்க்க உதவுகிறது.

How it works:
- Action Operating System: code-ல் action இருக்கிறதா என்று பார்க்கும்.
- Action இருந்தால், bottom-up approach-ல் (கீழிருந்து மேல்) transformations-ஐ execute செய்யும்.
- Action இல்லையென்றால், எந்த transformation-உம் execute செய்யப்படாது.

தரவு சேமிப்பகங்களுடன் Spark-ன் ஒருங்கிணைப்பு

Spark பல்வேறு data storage systems-உடன் இணைந்து செயல்படும்:

Distributed File Systems: HDFS (default), Amazon S3
NoSQL Databases: HBase, Cassandra, MongoDB
Relational Databases (RDBMS): Oracle, MySQL, DB2 (JDBC/ODBC மூலம்)
Standalone File Systems: NTFS (Windows), ext (Linux) - ஆனால் இங்கு Spark-ன் distributed processing ஐ RDD-உடன் செயற்கையாக அடையலாம்.

முடிவு:

Apache Spark என்பது Hadoop-க்கு மாற்று அல்ல; அது MapReduce-க்கு மாற்று. இது உங்கள் Big Data திட்டங்களுக்கு வேகம் மற்றும் நெகிழ்வுத்தன்மையை வழங்குகிறது. The Ultimate Guide to Apache Spark: Concepts, Techniques, and Best Practices for 2025 கட்டுரையில் Spark-ன் மேம்பட்ட நுட்பங்களை அறியலாம். அடுத்த வீடியோக்களில் நடைமுறை install மற்றும் coding பயிற்சி அளிக்கப்படும்.

ஹய் welcome to az knowledge.com thisவீடியோ is inலாங்கவேage தமிழ் and if you want the sம் வீடியோ in english you

can find the link in the descப்tion box of thisவீடியோ இன்னைக்கு நம்ம பார்க்க போறது ஸ்பார்க் ஸ்பார்க்ோட இன்ட்ரடக்ஷன்

சோ பிக் டேட்டால நிறைய சொல்யூஷன்ஸ் இருக்கு அதுல ஒன் ஆப் தி சொல்யூஷன் வந்து apaாச்சி ஸ்பார்க் சோ அதை பத்தின

இன்ட்ரடக்ஷன் வீடியோதான் இது. சோ இந்த வீடியோக்கு போறதுக்கு முன்னாடி இந்த வீடியோ கீழ வந்து டிஸ்கிரிப்ஷன் பாக்ஸ்ல

நான் பிக் டேட்டாவோட பிளேலிஸ்ட் லிங்க் கொடுத்துருக்கேன். அதுல போயிட்டு நீங்க எல்லா பிக் டேட்டா வீடியோஸும் நீங்க

பார்த்துக்கலாம். சோ நீங்க இந்த வீடியோக்கு முன்னாடி என்ன பாக்கணும் என்ன ப்ரீ ரெக்வசைட் அது எல்லாமே நான்

உங்களுக்கு வந்து இப்பஃபர்ஸ்ட் எடுத்தஉடனே நான் அத உங்களுக்கு ஃபர்ஸ்ட் சொல்லிடுறேன். சோ இப்ப நம்ம டாபிக்

போலாம். என்னோட சேனலை சப்ஸ்கிரைப் பண்ணாம இருந்தீங்கன்னா சப்ஸ்கிரைப் பண்ணிக்கோங்க. வீடியோ பார்த்துட்டு புடிச்சிருந்துன்னா

சப்ஸ்கிரைப் பண்ணிக்கோங்க. ஓகே சோஃர்ஸ்ட் ஆப் ஆல் நமக்கு வந்து பாத்தீங்கன்னா லைக் பிக் டேட்டா சோ பிக் டேட்டா அப்படிங்கிற

இந்த ப்ராப்ளம் சோ டேட்டாவால வரக்கூடிய எல்லா ப்ராப்ளமையும் சேர்த்துதான் நம்ம பிக் டேட்டா அப்படின்னு சொல்றோம். இதுல

வந்து மார்க்கெட்ல நிறைய சொல்யூஷன்ஸ் இருக்கு. ஹடூப் சம்ஃெமிலியர் சொல்யூஷன்ஸ் அப்படின்னு

பாத்தீங்கன்னா ஹடூப், ஸ்பார்க், ஸ்டாம் எசெட்ரா நிறைய இருக்கு. 10,000 பிளஸ் டெக்னாலஜிஸ் இருக்குன்னு நான் எல்லா

வீடியோலயும் சொல்றதுதான். சோ அதுல வந்து லீடிங்கா மார்க்கெட்ல இருக்கறது அப்படின்னு பாத்தீங்கன்னா ஹடுூப் அண்ட்

ஸ்பார்க் வைட்லி யூஸ்ட். அதுல நம்ம இப்ப பார்க போறது ஸ்பார்க். ஓகே. இப்ப ஸ்பார்க்கக்கு நான் வரணும்னா பிக் டேட்டால

நான் ஸ்பார்க் டெக்னாலஜிய படிக்கணும்னா இதுக்கு முன்னாடி நான் என்ன படிச்சிருக்கணும் என்ன தெரிஞ்சிருக்கணும்.

ஓகே. அதுக்கப்புறம் வந்து ப்ரீ ரெக்வஸ்டைட். இது இந்த ஸ்பார்க்குக்கு என்ன ப்ரீ ரெக்வசைட் வேணும்? அதுவும்

பார்க்கலாம். ஓகே. பிக் டேட்டாக்குள்ள நீங்கஃபர்ஸ்ட் வர்துக்கு முன்னாடி பிக் டேட்டானா என்னன்னு தெரிஞ்சிருக்கணும். சோ

எதுக்காக பிக் டேட்டா வந்தாங்க அந்த டெக்னாலஜி எல்லாம் எதுக்கு வந்துச்சு சோ அதனோட டெப்த் நல்லா தெரிஞ்சிருக்கணும். சோ

நான் வாட் இஸ் பிக் டேட்டானே சொல்லிட்டு ஒரு ஒரு பெரிய வீடியோ போட்டுருப்பேன். சோ அது வந்து கீழ டிஸ்கிரிப்ஷன் பாக்ஸ்ல

பிளேலிஸ்ட்ல இருக்கும் அதை பாருங்க கண்டிப்பா பாருங்க. அதுக்கப்புறம் நீங்க வந்து ஸ்பார்க் வர்துக்கு முன்னாடி ஹடுூப்

ஓகே சோ ஹடுூப் வந்து தெரிஞ்சிருக்கணும். சோ ஹடுூப்ல பாத்தீங்கன்னா இப்ப நீங்க இந்த வீடியோ பாக்குறீங்கன்னாவே கண்டிப்பா

உங்களுக்கு ஹடுப்ல ஐடியா இருந்திருக்கணும். பட் இல்லாத பட்சத்துல ஹடுூப்ல நிறைய ப்ராஜெக்ட்ஸ் இருக்கு. சோ

அதுல உங்களுக்கு தெரிஞ்சிருக்க வேண்டிய சில விஷயம் ஸ்பார்க்குக்கு வர்துக்கு முன்னாடிஹடிஎப்எஸ் நல்லா

தெரிஞ்சிருக்கணும். மேப் ரெடியூஸ் அட்லீஸ்ட் ஓரளவுக்கு உங்களுக்கு தெரிஞ்சிருக்கணும். ஹைவ் மேண்டட்டரியா

தெரிஞ்சிருக்கணும். இது மூணும் தெரிஞ்சிருந்ததுன்னா போதும். நீங்க வந்து ஸ்பார்க் படிக்க ஸ்டார்ட் பண்ணிரலாம்.

நிறைய பேருக்கு ஒரு கொஸ்டின் வந்திருக்கும். ஹடுப்புல வந்துட்டு ஸ்கூப் இருக்கு, பிக் இருக்கு,ஹச் பேஸ் இருக்கு

இது இது எல்லாமே வந்து நான் படிக்கணும் இல்லையா அப்படின்னா அப்படி எல்லாம் தேவையில்லை. சோ, ஸ்பார்க்குக்கு நீங்க

வரணும்னா HDFS மேப் ப்ரொடியூஸ் ஹைவ் தெரிஞ்சிருந்தா போதும். நீங்க டைரக்டா ஸ்பார்க் படிக்கவோ இல்ல அதுல ஒொர்க்

பண்ணவோ நீங்க ஸ்டார்ட் பண்ணிரலாம். ஏன் நான் வந்து ஸ்பார்க்க வந்து டைரக்டா நான் ஏன் படிக்க கூடாது? நான் ஏன் HDFS மேப்

ப்ரொடியூஸ் ஹைவ் அட்லீஸ்ட் அதாவது நான் ஏன் ஃபர்ஸ்ட் ஆஃப் ஆல் தெரிஞ்சுக்கணும். அப்படின்னு நீங்க கேக்கலாம். சோ, அதுக்கு

நான் ஆன்சர் இன்னும் கொஞ்ச நேரம் கழிச்சு தரேன். இப்ப வந்து ஸ்பார்க்குக்கு எஸ்பெஷலா ப்ரீ ரெக்வசிட் என்ன வேணும்

அப்படின்னா நீங்க ஏதாவது ஒரு ப்ரோக்ராமிங் லாங்குவேஜ் ஜாவா இல்லன்னா பைதான் இல்லனா ஸ்காலா ஏதாவது ஒரு

ப்ரோக்ராமிங் லாங்குவேஜ் தெரிஞ்சிருந்தா போதும் அதுக்கப்புறம் சீக்குவல் ஓகே சோ இது ரெண்டும் தெரிஞ்சதுன்னா நீங்க வந்து

ஸ்பார்க்ல வந்து நீங்க ஒர்க் பண்ணலாம் நல்லாவேஃைன் இப்போ ஸ்பார்க்

இதனோட பிரேம்வொர்க் டயகிராம் நம்ம பாத்துருவோம் சோ பர்ஸ்ட் ஆப் ஆல் ஸ்பார்க் அப்படின்னா என்ன அப்படின்னு பாத்தீங்கா

இட்ஸ் யூஸ்டுஃர் டேட்டா ப்ராசஸங் அவ்வளோதான் ஒன் லைனர் டேட்டாவை ப்ராசஸ் பண்றதுக்கு யூஸ் பண்றதுதான் வந்து

ஸ்பார்க் ஓகே ஸ்பார்க் வந்து பரலல் ப்ராசஸங் டிஸ்ட்ரிபயூட்டட் ப்ராசஸங் பண்ணும் இப்ப ஸ்பார்கக்குன்னு ஒரு

பிரேம்வொர்க் டயகிராம் இருக்கு அது நம்ம பாத்துருவோம் சோ ஸ்பார்க்ல பாத்தீங்க அப்படின்னா அதனோட பிரேம்வொர்க் டயகிராம்

ஸ்பார்க் ஸ்பார்கோட பேஸ் இன்ஜின் கோர் இதான் ஸ்பார்க் அது மேல

ஸ்பார்க் சீக்குவல் அப்படின்னு ஒரு ப்ராஜெக்ட் இருக்கு. அதுக்கப்புறம் பார்த்தீங்க அப்படின்னா

ஸ்பார்க் ஸ்ட்ரீமிங் அப்படின்னு ஒரு ப்ராஜெக்ட் இருக்கு. அதுக்கப்புறம்

எம்லிப் அப்படின்னு சொல்லிட்டு ஒரு ப்ராஜெக்ட் இருக்கு. மெஷின் லேர்னிங் லைப்ரரியதான் எம்லிப் அப்படின்னு

சொல்லுவாங்க. அதுக்கப்புறம் கிராபிக்ஸ் சோ இதைத்தான் வந்துட்டு ஸ்பார்க்கோட பிரேம்வொர்க் டயகிராம் அப்படின்னு

சொல்லுவோம். அவ்வளவுதான். ஹடுூப்ல வந்து எப்படிஹடிஎஸ் மேப் ரெப்ரடியூஸ் ஹைவ் பேஸ்னு ஒரு பிரேம்வொர்க் டயகிராம்

பார்த்திருப்பீங்க. சோ நான் ஹடுூப் பிரேம்வொர்க்கனே ஒரு தனி வீடியோ எக்ஸ்பிளைன் பண்ணி போட்டுருப்பேன் சோ

நீங்க அதையும் நீங்க வந்து பார்க்கணும் ஆக்சுவலா அத அது வந்து நான் இந்த மூன்ல சொன்னேன் இல்லைங்களா அதுலயே உங்களுக்கு

அது அடங்கிரும் ஆக்சுவலா சோ இந்த ஸ்பார்க்கோட பிரேம்வர்க் டயகிராம்ல ஸ்பார்க் அப்படிங்கறதுதான் நம்ம கோர் இந்த

இன்ஜின்க்கு மேல ஸ்பார்க் சீக்குவல்னு ஒரு மாடியூல் ஸ்பார்க் ஸ்ட்ரீமிங்னு ஒரு மாடியூல் எம்லிப் கிராபிக்ஸ்னு இருக்கு.

சோ எம்லிப் வந்து ஃபுல் அண்ட் ஃபுல் ஃபர் டேட்டா சயின்ஸ்க கிராபிக்ஸ் பாத்தீங்கன்னா கிராப் டேட்டா ஸ்டோர் அதாவது வந்து இது

ஃபுல்லாமே வந்து கைண்ட் ஆப் கிராப் டேட்டா ஸ்டோர்னு சொல்லுவாங்க என்னன்னா வந்து நோட்ஸ் எட்ஜஸ் வெக்டார்ஸ் அந்த மாதிரி

இருக்கும் நம்மளோட அந்த வே ஆப் கோடிங் அண்ட் நம்ம வந்து இப்ப Facebook லிங்கடின்லல்லாம் மியூச்சுவல் கனெக்ஷன்ஸ்

மியூச்சுவல் இன்ட்ரஸ்ட் மியூச்சுவல் அண்டர்ஸ்டாண்டிங்ஸ் அந்த இன்பர்மேஷன்ல்லாம் வரும் இல்லைங்களா சோ

அதெல்லாமே இந்த மாதிரி ஒரு கிராப் பேஸ்ட் நெட்வொர்க்ஃபார்ம் பண்ணி அது கிராப் டேட்டா ஸ்டோர்ல ப்ராசஸ் பண்ணும் பொழுது

அந்த மாதிரி யூஸ் கேஸ்க எல்லாம் ஸ்பீடா இருக்கும். சோ அது பொறுத்தவரைக்கும் இந்த கிராபிக்ஸ் சோ டேட்டா இன்ஜினியர்ஸ்

எடுத்துக்கிட்டீங்கன்னா எஸ்பெஷலி பிக் டேட்டால டேட்டா இன்ஜினியர்ஸ் அதிகம் ஒர்க் பண்ணக்கூடிய ஏரியான்னு பாத்தீங்கன்னா இந்த

மூணுதான் ஸ்பார்க் ஸ்பார்க் சீக்குவல் ஸ்பார்க் ஸ்ட்ரீமிங் அவ்வளவுதான். ஓகே சோ எம்லிப் அண்ட் கிராபிக்ஸ் வந்து ஸ்பார்க்

டெவலப்பர் ஆகணும்னா இது தெரிஞ்சிருக்கணும்ங்கறது மேண்டிட்டரி கிடையாது. பட் இது மூணும் உங்களுக்கு

தெரிஞ்சிருக்கணும். சோ அதுல வந்துஃர்ஸ்ட் பிரியாரிட்டி கோஸ் டு ஸ்பார்க் கோர் செகண்ட் பிரியாரிட்டி கோஸ் டு ஸ்பார்க்

sequல் அண்ட் பைனலி ஸ்பார்க் ஸ்ட்ரீமிங் அதுலயும் ஒரு ஆர்டர் இருக்கு. ஓகே சோ இப்போ இதுல ஸ்பார்க் அப்படிங்கறது ஆன்

தஹோல் ஒரு டேட்டா ப்ராசஸங் பிரேம்வர்க் அதுல ஸ்பார்க் ஸ்ட்ரீமிங்னா என்ன சோ டேட்டா

ப்ராசஸங்ல எடுத்துக்கிட்டீங்கன்னா உங்களுக்கு வந்து ரெண்டு டைப் இருக்கு. ஒன்னு வந்து பேட்ச் ப்ராசஸங் ஒன்னு வந்து

ஸ்ட்ரீம் ப்ராசஸங் சோ பேட்ச் ப்ராசஸங் அப்படின்னு பாத்தீங்கன்னா பேட்ச் ப்ராசஸங் வெஸ் ஸ்ட்ரீம் ப்ராசஸங்னு நான் தனியா

வீடியோ போட்டுருக்கேன். அந்த லிங்கும் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு பட் ஸ்டில் நான் இங்க உங்களுக்கு சொல்லிடுறேன். இல்ல

எனக்கு இன்னும் டீடைல்டா அத பத்தி தெரிஞ்சுக்கணும்னா நீங்க அந்த வீடியோவ கூட பார்த்துட்டு வரலாம். சோ பேட்ச் ப்ராசஸங்

அப்படின்னு பாத்தீங்கன்னா டேட்டா வந்து ஒரு இடத்துல ஸ்டோர் ஆயிரும். ஸ்டோர் ஆனதுக்கு அப்புறம் அதுக்கு மேல நான்

ஏதாவது ப்ராசஸ் நான் ஏதாவது ஒரு ஒரு ஜாவால கோடு எழுதி எவ்வளோ மேல் இருக்காங்கஃபீமேல் இருக்காங்க எடுக்கறேன் அப்படின்னா அது

வந்து பேட்ச் ப்ராசஸ். இதுவே ஸ்ட்ரீம் ப்ராசஸ்னா எனக்கு இன்புட் டேட்டா வந்து ஒரு இடத்துல ஸ்டோர் எல்லாம் ஆகாது.

இன்புட் டேட்டா வர வரவே வாங்கி நான் ப்ராசஸ் பண்ணுவேன். எப்படி நீங்க ஒரு ஏடிஎம் கார்டு போயிட்டு நீங்க ஒரு ஸ்வைப்

மெஷின்ல ஸ்வைப் பண்ண உடனே உங்களுக்கு வந்து மெசேஜ் வந்துருது இவ்வளவு அமௌண்ட் போயிடுச்சு அப்படின்னு சொல்லிட்டு அது

எப்படி போகும்னா நீங்க கார்ட் ஸ்வைப் பண்ண உடனே அந்த டிரான்சாக்ஷன்ஃர்ஸ்ட் ப்ராசஸ் ஆயிடும். அப்புறம் உங்களுக்கு அவுட்புட்

வரும். அதுக்கப்புறம் தான் அது போய் ஸ்டோரே ஆகும். அதாவது லைவ் டேட்டா வந்து லைவ் ப்ராசஸங் பண்றது எல்லாமே வந்து

பாத்தீங்கன்னா ஸ்ட்ரீம் ப்ராசஸிங் அப்படின்னு சொல்லுவாங்க. டேட்டா வர வரவே ப்ராசஸ் பண்ணனும். எனக்கு ஒரு ரெக்கார்டு

வந்துருச்சுன்னா அத உடனே ப்ராசஸ் பண்ணுங்க. நீங்க வந்து இல்ல 10 யூசர் அட்லீஸ்ட் ஏடிஎம் கார்ட ஒன்னா ஸ்வைப்

பண்ணாதான் நான் ப்ராசஸ் பண்ணுவேன் அப்படின்னல்லாம் கிடையாது. யாரு யாரு ஃபர்ஸ்ட் ப்ராசஸ் பண்றாங்கோ பேரலலா

இன்னொருத்தர் ப்ராசஸ் பண்றாங்கஃபைன் ஒரு ரெக்கார்டோ இல்ல 10 ரெக்கார்டோ அட்ட டைம்ல எனக்கு வருதுன்னா அத நான் அப்படியே

ப்ராசஸ் பண்ணி கொடுத்துருவேன். ஓகே. சோ ரெண்டு டைப் ஆப் ப்ராசஸங் இருக்கு. ஹடுூப் பொறுத்தவரைக்கும் உங்களுக்கு வந்து பேட்ச்

ப்ராசஸங் மட்டும்தான் சப்போர்ட் பண்ணும். ஸ்ட்ரீம் ப்ராசஸங் ஹடுூப்ல கிடையாது. ஸ்பார்க்ல உங்களுக்கு வந்து இந்த பீஸ்

எடுத்துக்கிட்டீங்கன்னா இதுல வந்துட்டு யூஹவ யூ கேன் டூ ஒன்லி பேட்ச் ஸ்பார்க் இது வந்து ஸ்பார்க் கோர் இதுல பேட்ச்

ப்ராசஸங் இன்னொரு மாடியூல் ஸ்பார்க் ஸ்ட்ரீமிங்ல நீங்க என்ன பண்ணலாம்னா நீங்க ஸ்பார்க் ஸ்ட்ரீமிங் பண்ணிக்கலாம். ஒரே

என்விரான்மெண்ட்்குள்ள ரெண்டும் எழுதலாம். இப்போ ஸ்பார்க் வரதுக்கு முன்னாடி என்ன பண்ணி இருந்தாங்கன்னா ஹடூப்ல வந்து பேட்ச்

ப்ராசஸங்கும் வேற ஒரு சில டெக்னாலஜி யூஸ் பண்ணி ஸ்ட்ரீம் ப்ராசஸங்கும் பண்ணிட்டு இருந்தாங்க. சோ இங்க இருக்கு பாத்தீங்களா

அந்த ஸ்ட்ராம் அப்படின்னு சொல்லிட்டு இது ஒரு ஸ்ட்ரீம் ப்ராசஸிங் பிரேம்வொர்க் தான். சோ ஸ்பார்க் வர்துக்கு முன்னாடி

ஹடுூப்ல பேட்ஜ் ஸ்ட்ராம்ல வந்து ஸ்ட்ரீம் ப்ராசஸங் பண்ணிட்டு இருந்தாங்க. பட் இப்ப ஸ்பார்க்லயே ரெண்டும் பண்ணலாம். ஓகே தென்

ஸ்பார்க் சீக்குவல் இது வந்து என்னன்னு பாத்தீங்கன்னா நம்ம ஸ்ட்ரக்சர் டேட்டாவை சீக்குவல் மாதிரி ஸ்ட்ரக்சர் நம்ம

டேட்டாவுக்கு கொடுத்து அதை வந்து நீங்க ஒரு சீக்குவல் கவரி இன்ஜின் மாதிரி நீங்க வந்து டேட்டாவ ப்ராசஸ் பண்ணலாம் லைக்

பிளைன் வெனிலா எஸ்கயூlல் எழுதுற மாதிரி இருக்காது பட் கைண்ட் ஆப் மிக்ஸ்ட் ஆப் சீக்குவல் அண்ட் கோடிங்கா இருக்கும் பட்

இது பொறுத்தவரைக்கும் நான் உங்களுக்கு டீடைல்டா அப்கமிங் வீடியோல எக்ஸ்பிளைன் பண்றேன் சோ ஸ்பார்க் பிரேம்வர்க்

பொறுத்தவரைக்கும் இவ்ள இதெல்லாம்தான் நமக்கு இருக்கு ஓகே அடுத்தது பாத்தீங்கன்னா ஸ்பார்க் பொறுத்தவரைக்கும்

நான் ஒரு நியூ விண்டோ போய்க்கிறேன் ஓகே சோ இப்போ வந்து ஸ்பார்க்ல வந்துட்டு நான் சொன்னேன் ஸ்பார்க் இருக்கு அண்தென்

ஸ்பார்க் சீக்குவல் இருந்தது ஸ்பார்க் ஸ்ரீமிங் இருந்தது அதுக்கப்புறம் எம்லிப் இருந்தது அதுக்கப்புறம் வந்துட்டு

கிராபிக்ஸ் இருந்தது ரைட் சோ இப்போ இத வந்து நம்ம என்ன பண்ணலாம்னா ஒரு டேட்டா லேயரா பிரிப்போம் அதாவது டேட்டா லேயர்ல

நிறைய இருக்கு டேட்டா ஸ்டோரேஜ் இருக்கு அதுக்கப்புறம் வந்து டேட்டா ப்ராசஸங் இருக்கு அதுக்கப்புறம் பாத்தீங்கா டேட்டா

பைப்லைன் இருக்கு பைப்லைன்ா டேட்டாவை ஒரு இடத்தில இருந்து இன்னொரு இடத்துக்கு அனுப்புறதுக்கான டெக்னாலஜி அதுக்கப்புறம்

வந்து டேட்டா விசுவலைசேஷன் இருக்கு அதுக்கப்புறம் டேட்டா டெஸ்டிங் இருக்கு அதுக்கப்புறம் வந்து

டேட்டா லேக் டேட்டா லேக் இருக்கு சோ இந்த மாதிரி நிறைய லேயர்ஸ் இருக்கும் டேட்டால அதே

மாதிரி வந்து டேட்டா ஸ்கெடியூலர் ஓகே சோ நம்ம வந்து எந்த ஒரு டேட்டா பிரேம்வொர்க் எடுத்து எடுத்துட்டாலும்

அந்த பிரேம்வொர்க்ல இருக்கற ப்ராஜெக்ட்ஸ் ஒவ்வொன்னும் இந்த லேயர்ல எல்லாம் வருதா இத்தனை லேயர் அதுல பண்ண முடியுமா

அதெல்லாம் நம்ம பார்கணும். இப்ப நாம ஒரு டேட்டா ப்ராஜெக்ட் எடுத்துக்கிட்டோம்னு வைங்களே ஸ்டோரேஜ்கக்கு சம் எனக்கு

கண்டிப்பா வேணும் ஒரு டேட்டா எந்த ஒரு டேட்டா ரிலேட்டட் ப்ராஜெக்ட் எடுத்துட்டாலும் எனக்கு ஸ்டோரேஜ்கக்கு

வேணும் ப்ராசஸங்கு வேணும் அதே மாதிரி வந்து ஸ்கெட்ூலிங்க வேணும் இந்த மாதிரி எல்லா விஷயத்துக்குமே எனக்கு வேணும்.

இப்போ நீங்க எடுத்துக்கோங்க ஸ்பார்க்ோட பிரேம்வொர்க் டயக்ிராம நம்ம பார்த்தோம். இதுல வந்து ஸ்பார்க், ஸ்பார்க் சீக்குவல்,

ஸ்பார்க் ஸ்ட்ரீமிங் இது மூணுமே பாத்தீங்கன்னா ப்ராசஸங்ல வந்துரும். இந்த மூணு டெக்னாலஜியுமே பாத்தீங்கன்னா

ப்ராசஸங்ல வந்துரும். எம்லிப் கிராபிக்ஸ் இதுவும் ப்ராசஸங் தான் பட் டேட்டா சயின்ஸ்ல வரும். அதுவும் பாத்தீங்கன்னா

மீதி ரெண்டுமே வந்துட்டு உங்களுக்கு வந்து ப்ராசஸங் அதாவது ஸ்பார்க் எடுத்துக்கிட்டா ப்ராசஸங்கு மட்டும்தான் இருக்கு.

ஸ்டோரேஜ்கக்கு இல்ல பைப்லைனக்கு இல்ல டெஸ்டிங்க இல்ல ஸ்கெட்ூலர் எதுவுமே வந்து இதுல இல்ல. இதுவே உங்களுக்கு ஹடுூப்

ஆல்ரெடி தெரிஞ்சிருந்ததுன்னா ஹடுூப்ல பாத்தீங்கன்னாஹடிfs இருக்கு ஹைவ் இருக்குஹபேஸ் இருக்கு. அதுக்கப்புறம்

ஸ்கூப் இருக்கு அப்புறம் பாத்தீங்கன்னா ஃப்ளூம் இருக்கு அப்புறம் பாத்தீங்கன்னா பிக் இருக்கு அண்ட் தென் மெஹவத் இருக்கு

எசெட்ரா இந்த மாதிரி நிறைய இருக்கு. சோ இத வந்து அங்க ஒரு பிரேம் ஒர்க்னு நம்ம பார்த்தோம். ரைட் மேப் ரெடியூஸ் ஓகே சோ

இதுலஹடிஎஸ்ஹ பேஸ் ஹை பாத்தீங்கன்னா ஸ்டோரேஜ்ல வரும் சாரிஹடிஎஸ் அட்ஹ பேஸ் வந்து ஸ்டோரேஜ்ல

வரும். ப்ராசஸங்ல மேப் ப்ரொடியூஸ் வரும் ஹை வரும் அதுக்கப்புறம் பிக் வரும். சோ ப்ராசஸங் கவர் ஆகுது. பைப்லைன் டேட்டாவை

ஒரு இடத்துல இருந்து இன்னொரு இடத்துக்கு அனுப்புறது. அதாவது இங்க ஃப்ளூமும் ஸ்கூப்பும் அந்த வேலையை செய்யுது. மேஹவுத்

வந்து டேட்டா சயின்ஸ்க்கு யூஸ் பண்றோம். அந்த மாதிரி இப்ப பாத்தீங்கன்னா ஊசி இருக்கு. சோ ஊசி வந்து ஸ்கெடியூல்

இருக்கு. சோ ஹடுப் எடுத்துக்கிட்டா ஸ்கெடியூலருக்கு இருக்கு பைப்லைனுக்கு இருக்கு ப்ராசஸங்க இருக்கு ஸ்டோரேஜ்கக்கு

இருக்கு ஆனா ஸ்பார்க்ல இது மட்டும்தான் இருக்கு. சோ அந்த மாதிரி வந்து நம்ம கம்பேர் பண்ண முடியாது. ஒரு

பிரேம்வொர்க்ங்கறது இதை கண்டுபிடிச்சவங்களே வந்து இதை கண்டுபிடிக்கல. ஈவன் ஹடுூப்ல வந்துஹடிஎஸ்

அண்ட் மேப் ப்ரொடியூஸ் மட்டும்தான் கண்டுபிடிச்சாங்க. மீதி ப்ராஜெக்ட்லாம் அந்தந்த கம்பெனி அது மேல பில் பண்ணனும்னு

ஆசைப்பட்டு பண்ணாங்க. சோ அந்த மாதிரி இதுக்கு யாராவது பண்ணாங்கன்னா அது மேல வரும். இல்லைன்னா வராது. சோ ஸ்பார்க்

கண்டுபிடிச்சது ஒரு செட் ஆஃப் கம்பெனி, ஒரு செட் ஆப் இன்டிவிஜுவல்ஸ், ஒரு செட் ஆஃப் கம்யூனிட்டி மெம்பர், ஹடுப்

கண்டுபிடிச்சது ஒரு செட் ஆஃப் கம்யூனிட்டி, ஒரு செட் ஆப் இன்டிவிஜுவல்ஸ், ஒரு செட் ஆப் கம்பெனிஸ்.

சோ, இதுல இருந்த அதாவது மைண்ட்செட் நிறைய பேருக்கு ஸ்பார்க் வரும்பொழுது ஒரு மைண்ட்செட்ல வந்தாங்க. ஏன் அங்க மட்டும்ஹ

பேஸ் இருக்கு, ஒரு நோக்குவல் டேட்டாபேஸ் இருக்கு, ஒரு பைப்லைன் இருக்கு. ஏன் வந்து ஸ்பார்க்ல இல்ல அப்படின்னா சி அந்த

கொஸ்டினே அங்க வரக்கூடாது ஆக்சுவலா ரைட் சோ இட் டிபன்ஸ் இந்தஃிரேம்வொர்க்ல அது இருந்தது இதுல இல்ல தட்ஸ் ஆல் சோ அப்போ

எனக்கு என்ன கொஸ்டின் வரும்னா அப்ப இப்ப நான் ஸ்பார்க் போறேன். இப்ப எனக்கு எனக்கு அங்க ஒரு ஸ்டோரேஜ் வேணும்னா நான் என்ன

பண்றது இப்ப எனக்கு அங்க ஒரு டேட்டாபேஸ் வேணும்னா நான் என்ன பண்றது இப்ப நான் எனக்கு ஒரு பைப்லைன் வேணும்னா நான் என்ன

பண்றது அந்த மாதிரி நிறைய ரெக்வயர்மெண்ட் வந்தது. சரி ஈவன் இப்ப இங்கயே ஸ்கூப் இல்லைன்னா நம்ம என்ன பண்ணிருப்போம் ரைட்

சோ சம் சொல்யூஷன் வந்து நம்ம சர்ச் பண்ணனும். இப்போ ஸ்பார்க் பொறுத்தவரைக்கும் பாத்தீங்கன்னா ஃர்ஸ்ட்

ஸ்டோரேஜ் எடுத்துக்குவோம். டேட்டா ஸ்டோரேஜ். ஸ்பார்க் பொறுத்தவரைக்கும்

என்னென்ன டேட்டா ஸ்டோரேஜ் எல்லாம் சப்போர்ட் பண்ணும் அப்படின்னு பாத்தீங்கன்னா ஹடூப்ல இருக்கற எல்லாம்

அதாவது இப்போ ஸ்டோரேஜ்னா என்ன? டேட்டாபேஸா இருக்கணும். டேட்டாபேஸ்னா வந்து பிக் டேட்டால இருக்கற எல்லா டேட்டாபேஸையும்

நம்ம நோ சீக்குவல்னு சொல்லுவோம். அதே மாதிரி வந்து நார்மல் rர்டிபிஎம்எஸயும் நம்ம டேட்டாபேஸ்ன்னு சொல்லுவோம். அதே

மாதிரி வந்துஃைல் சிஸ்டம்.ஃபைல் ஃபைல் சிஸ்டம்ங்கறது இப்ப நம்மஃபர் எக்ஸாம்பிள் நம்ம விண்டோஸ்ல NTFSஃபைல் சிஸ்டம் Linuxல

extன்னு சொல்றோம் இல்லையா அதுலயும் ஸ்டோர் தான பண்றோம். ரைட் அந்த மாதிரிஃைல் சிஸ்டத்துல அகைன் ரெண்டு டைப் இருக்கு. சோ

டிஸ்ட்ரிபயூட்டட்ஃைல் சிஸ்டம் சோ இத வந்து டிஸ்ட்ரிபயூட்டட்னு சொல்லிக்கலாம். ஸ்டாண்ட் அலோன்ஃைல் சிஸ்டம். ஸ்டாண்ட்

அலோன்ஃைல் சிஸ்டம் அப்படிங்கறது எந்தஃைல் சிஸ்டம்ல டேட்டா போட்டா டிஸ்ட்ரிபயூட் ஆகாதோ அத எல்லாமே ஸ்டாண்ட்

அலோன். இப்ப விண்டோஸ்ல Linuxல எல்லாம் போட்டீங்கன்னா டேட்டா டிஸ்ட்ரிபியூட் ஆகாது. 10 விண்டோஸ் மெஷின் இருக்கு. முதல்

விண்டோஸ் மெஷின்ல நான் டேட்டாவ அப்லோட் பண்ணேன்னா அது 10 விண்டோஸ் மெஷினுக்கும் பிரிச்சு கொடுக்காது. இதே

டிஸ்ட்ரிபியூட்டட்ஃபைல் சிஸ்டம் ஹடுப்ல HDFS இருக்கு. உங்களுக்கு எல்லாருக்கும் தெரியும். சோ HDFSல ஒரு ஃபர்ஸ்ட் HDFS

மெஷின்ல நான் ஒரு 1 GB போட்டேன்னா அது அப்படியே பிரிஞ்சிரும். ரைட் அது டிஸ்ட்ரிபயூட்டட்ஃபைல் சிஸ்டம். சோ,

rர்டிபிஎம்எஸ் நோக்குவல் பேசிக்கா ஒரு டேட்டாபேஸ் ஒருஃபைல் சிஸ்டமாதான் நம்ம ஸ்டோரேஜ்ன்னு சொல்லுவோம். இப்ப ஸ்பார்க்ல

இது எதுவுமே இல்லையே அப்ப நான் வந்து ஸ்பார்க்ல இதெல்லாம் பண்ண முடியாதா நான் அப்படி எல்லாம் இல்ல. ஸ்பார்க் வந்து

இன்டகிரேஷன் இப்ப ஸ்பார்க் எதோட எல்லாம் இன்டகிரேட் ஆகும் அப்படிங்கறததான் நாம இப்ப பாப்போம். சோ ஸ்பார்க்

பொறுத்தவரைக்கும் எந்த நோ சீக்குவல் டேட்டாபேஸ் கூட வேணாலும் இன்டகிரேட் ஆயிக்கும். சோ டாப் நோ சீக்குவல்

டேட்டாபேஸ் அப்படின்னு பாத்தீங்கன்னாஹ பேஸ் இதெல்லாம் உங்களுக்கு தெரியலைனாலும்ஃபைன் இது ஒரு இன்பர்மேஷனா

நீங்க எடுத்துக்கலாம். இப்பவே இதெல்லாம் சொல்றாங்க அப்படின்னு நீங்க நினைக்க வேணாம். ச இதெல்லாம் ஒரு இன்பர்மேஷனா

நீங்க கேதர் பண்ணிக்கணும். ஓகே சோ எல்லாமே எல்லாரும் நோ சீக்குவல் யாருக்கும் தெரிஞ்சிருக்காது. சம்டைம்ஸ் பிக் டேட்டா

லெவலப்பருக்கு நோ சீக்குவல்னாவே என்னன்னு தெரிஞ்சிருக்காது. தட்ஹப்பன்ஸ் ஓகே எல்லாமே

தெரிஞ்சிருக்கணும் அப்படிங்கறது இல்ல. சோ இப்படிதான் நம்ம வந்து நாலேட்ஜ் கேதர் பண்ணனும். ஒரு டாபிக் எடுக்கறோம் அதுல

ரெண்டு டாபிக் புதுசா சொல்றாங்கன்னா அத நம்ம வந்து ஒரு இன்பர்மேஷனா ஸ்டோர் பண்ணிட்டு அதுக்கப்புறம் அத நம்ம ரிசர்ச்

பண்ணி படிக்கணும்.ஃபைன் சோஹ பேஸ் கசான்ரான்னு ஒரு நோ சீக்குவல் இருக்கு. அதுக்கப்புறம் மாங்கோடிபின்னு ஒரு நோ

சீக்குவல் இருக்கு. இதுலஹ பேஸ் பாத்தீங்கன்னா ஹடுூப்ல வர டேட்டாபேஸ். அதே மாதிரி கசன்ராம் வாங்கோடிபி வந்து ஹடுூப்ல

வராது. அது ஒரு தனி ப்ராடக்ட். சோ இது மூணு லீடிங் நோ சீக்குவல் டேட்டாபேஸ். ஸ்பார்க்கால இந்த மூணு டேட்டாபேஸ்ோடையும்

கனெக்ட் பண்ணிக்க முடியும். அதுக்கப்புறம் rர்டிபிஎம்எஸ் ஸ்பார்க் வந்து எந்த ஒரு rர்டிபிஎம்எஸ் வேணாலும் அதோட வந்து

ஜேடிபிசி இல்ல ஓடிபிசி போட்டு அதால கனெக்ட் பண்ணிக்க முடியும். சோஃர் எக்ஸாம்பிள் ஆரக்கள் மைசிக்குவல்

அப்புறம்டிb2 எசெட்ரா இந்த மாதிரி எந்த ஒரு rர்டிபிஎம்எஸ் கூட வேணாலும் கனெக்ட்

பண்ணலாம். டிஸ்ட்ரிபயூட்டட்ஃபைல் சிஸ்டம்ஹடிfs சோ ஸ்பார்க் வந்து அதிகமா கனெக்ட் பண்றது வந்துஹடிஎஸ் தான் ஓகே சோ

நான் இனிஷயலா ஒரு கொஸ்டின் நானே ரைஸ் பண்ணேன் இல்லைங்களா இப்பஹடுப் ஹடுப்ல வந்துஹடிஎஸ் மேப் ப்ரொடியூஸ் ஹை வந்து

தெரிஞ்சிருந்தாதான் ஸ்பார்க் வந்து என்னை படிக்க சொல்றீங்க நான் அதெல்லாம் தெரியாமயே கூட படிக்கலாம்ல கண்டிப்பா

நீங்க படிக்கலாம். சோ அதுக்கும் இதுக்கும் டிபெண்டன்சி படிக்கிற விஷயத்துல இல்ல இது ஒரு தனி பிரேம்வொர்க் நீங்க வாட்டி

படிக்கலாம். பட் ரியல் டைம்ல என்ன ஆயிடுச்சு அப்படின்னு பாத்தீங்கன்னா எல்லா ஸ்பார்க் ப்ராஜெக்ட்டமே ஹடுூப் மேலதான்

மீன் ஸ்பார்க் எல்லாமே ஹடுூப் மேலதான் உட்காந்திருக்கும். ஏன்னா ஸ்பார்க்குக்குன்னு ஒரு டிபைன்ட் ஸ்டோரேஜ்

இல்லாதனாலஹடிஎ தான் ஸ்பார்க் யூஸ் பண்ணும்ஃபைல் சிஸ்டமா சோ அது வந்து டீபால்ட் மீன்ஸ் ஒரு ஒரு டைப் நீங்க யூஸ்

பண்ணிக்கலாம். இல்ல நான் வேற ஏதாவது டிஸ்ட்ரிபயூட்டட்ஃபைல் சிஸ்டம் வச்சிருக்கேன். அதோட கனெக்ட் பண்ண

முடியுமானா எஸ் உங்களால முடியும். அதுக்கு ஒரு எக்ஸாம்பிள் நான் சொல்றேன். சோ Amazon வெப் சர்வீஸ் கிளவுட் கம்ப்யூட்டிங்

Amazonல S3ன்னு ஒரு ஆப்ஜெக்ட் ஸ்டோர் இருக்கு. ஓகேங்களா சோ இந்த S3ங்கறது வந்து இங்க நமக்கு எப்படி HDFS Amazonல வந்து

அவங்களுக்கு S3 சோ S3ல வந்து நீங்க கனெக்ட் பண்ணிக்க முடியும். டைரக்டா HDFS தான் இருக்கணும்ங்கறது கிடையாது. அந்த

மாதிரி இன்னும் ஏதாவது டிஸ்ட்ரிபயூட்டட்ஃபைல் சிஸ்டம் இருந்தது அப்படின்னா அதை கூட நீங்க யூஸ் பண்ணிக்க

முடியும். சோஃபைல் சிஸ்டம் டிஸ்ட்ரிபயூட்டட் பொறுத்தவரைக்கும் ஸ்பார்க் எல்லாம் லீடிங்

டிஸ்ட்ரிபியூட்டட்ஃபைல் சிஸ்டத்துலயும் உட்காரும். சோ நான் திரும்ப சொல்ற சொன்ன பாயிண்ட்தான் சோ ஹடுூப் அதாவது நீங்க

வந்து பிக் டேட்டா ப்ராஜெக்ட்ல ஸ்பார்க் இல்லாம ஹடுூப் மட்டும் இருக்கற ப்ராஜெக்ட்ட உங்களால வந்து பார்க்க

முடியும். ஓகேங்களா சோ இப்ப வந்து எனக்கு ஸ்பார்க்கே இல்ல ஹடுூப் மட்டும்தான் இருக்கு அப்படிங்கற ப்ராஜெக்ட்ட நீங்க

எங்க வேணாலும் பார்க்கலாம். ஆனா ஹடுூப்பே இல்ல ஸ்பார்க் மட்டும்தான் என் கிளஸ்டர்லயே இருக்கு என் ப்ராஜெக்ட்லயே

இருக்குங்கற மாதிரி ப்ராஜெக்ட்ட நீங்க பார்க்கவே முடியாது. ஏன்னா ஸ்பார்க்னாவே அங்க ஹடுூப் இருக்குன்னு தான் அர்த்தம்.

ஓகேங்களா சோஹடிஎஸ் மேலதான் உட்காந்திருக்கும். இன்னும் ஸ்பார்க் வந்து ஹடுூப்ல இருக்கற இன்னும் சில

காம்பனன்ட்ஸ யூஸ் பண்ணும். அதெல்லாம் நான் உங்களுக்கு சொல்றேன். அது ஏன்னு நான் உங்களுக்கு சொல்றேன். அதுக்கப்புறம்

ஸ்டாண்ட் அலோன்ஃபைல் சிஸ்டம் இது என்ன ஸ்டாண்ட் அலோன்ஃபைல் சிஸ்டம் ஸ்பார்க் வந்து டிஸ்ட்ரிபயூட்டட்ஃபைல் சிஸ்டம்

மேலதான் உட்காரும்னு இல்ல அது வந்து டைரக்டா விண்டோஸ் மேல என்டிஎஸ்ல உட்காரும் டைரக்டா லினக்ஸ் மேல உட்காரும். அப்ப

நீங்க கேட்கலாம். அப்ப இது மேலல்லாம் ஸ்பார்க் ஓடுச்சுன்னா அப்ப ஜாப் டிஸ்ட்ரிபயூட்டடா ஓடாதா அப்படின்னு நீங்க

ஒரு கொஸ்டின் கேட்கலாம். ஏன் உங்களுக்கு அந்த கொஸ்டின் வரணும்னா இங்க நான் சொன்ன HDFS S3லல்லாம் உட்காரும். HDFSல ஆல்ரெடி

டேட்டா டிஸ்ட்ரிபயூட்டடா இருக்கும். S3லயும் அதே மாதிரி ஆல்ரெடி டேட்டா டிஸ்ட்ரிபயூட்டடா இருக்கும். சோ ஸ்பார்க்

வந்து அது மேல மீன்ஸ் ஸ்பார்க்ல வந்து நீங்க ஒரு ஜாப் எழுதுறீங்கன்னா டேட்டா டிஸ்ட்ரிபயூட் ஆனதுனால ஜாபும்

டிஸ்ட்ரிபயூட் ஆகும். ஆனா NTFS ஆகட்டும் இல்ல எக்ஸ்டடி ஆகட்டும் நான் போடுற டேட்டா டிஸ்ட்ரிபியூட்டே ஆகாதே. அப்புறம்

ஸ்பார்க் வந்து என்னதான் டிஸ்ட்ரிபியூட்டட் ப்ராசஸங்கா இருந்தாலும் டேட்டா டிஸ்ட்ரிபியூட் ஆகலைன்னா

ஸ்பார்க்கும் ப்ராசஸங்க டிஸ்ட்ரிபியூட்டடா பண்ணாதே அப்படின்னு சொல்லி நிறைய பேருக்கு கொஸ்டின் வரலாம். சோ அந்த கொஸ்டினுக்கும்

நான் வந்து உங்களுக்கு ஆன்சர் பண்றேன். ஓகே சோ ஸ்பார்க் வந்து ஸ்டாண்ட் அலோன்ல வந்து எப்படி வந்து டிஸ்ட்ரிபியூட் பண்ணி

அது டிஸ்ட்ரிபியூட் பண்ணனும் ஸ்டாண்ட் அலோன் ஃபைல் சிஸ்டம் மேல உட்கார்ந்திருந்தாலும் அது டிஸ்ட்ரிபியூட்

பண்ணிதான் ப்ராசஸ் பண்ணும். அது எப்படி அப்படிங்கறத நான் உங்களுக்கு பின்னாடி சொல்றேன். ஓகே. சோ இப்ப வந்து ஸ்டோரேஜ்

பாத்துட்டோம். ரைட் சோ ஸ்டோரேஜ்ல எந்த டெக்னாலஜினாலும் இந்த நாலு வேணும் ஏதாவது சோ டேட்டா ஸ்பார்க் பொறுத்தவரைக்கும்

டேட்டா ஸ்டோரேஜ் இதுல எல்லாத்துலயுமே உட்காரும்.ஃபைன் இப்ப அடுத்து ஸ்பார்க் என்னென்ன காம்பனன்ட்ஸ் எல்லாம் ஹடுூப்ல

யூஸ் பண்ணனும் எதுக்காக அதை வந்து நம்ம யூஸ் பண்ணனும் அப்படிங்கறத நான் சொல்றேன். அத சொல்லணும்னா நான்ஃபர்ஸ்ட் ஆஃப் ஆல்

திரும்ப ஹடுூப் பிரேம்வொர்க்கோட டயக்ிராம நான் போடணும். சோ hடிfs அதுக்கப்புறம் பாத்தீங்கன்னா இது மேல

வந்துட்டு மேப் ரெடியூஸ் ரைட் சோ மேப் ரெடியூஸ்க்கு மேல நமக்கு ஹைவ் இருக்கும் அண்ட் தென் பிக் இருக்கும்

அண்ட் தென் ஸ்கூப் அண்ட் தென் உசி அதுக்கப்புறம் பாத்தீங்கன்னாஹ பேஸ் நோ

சீகவல் டேட்டாபேஸ் அதுக்கப்புறம் பாத்தீங்கன்னா ளூம் அதுக்கப்புறம் மேஹவுத்

எக்செட்ரா ஓகே பட் பேசிக்கா ஹடுூப்போட பிரேம்வொர்க் டயகிராம்னா இதுதான் இல்லைங்களாஃைன் இப்போ ஸ்பார்க்கோட

பிரேம்வொர்க் டயக்ிராம் நமக்கு ஆல்ரெடி தெரியும் சோ ஸ்பார்க் அதுக்கப்புறம் பாத்தீங்கன்னா ஸ்பார்க் சீக்குவல்

அதுக்கப்புறம் ஸ்பார்க் ஸ்ட்ரீமிங் எம்லிப் அதுக்கப்புறம் கிராபிக்ஸ் ரைட் இவ்வளவுதான்.

ஓகே இப்போ ஸ்பார்க் வரதுக்கு முன்னாடி நம்ம ஹடுூப் யூஸ் பண்ணிட்டு இருந்தோம். சோ ஹடுப் ஹடுப் விட 10 டைம்ஸ் பாஸ்டர்

அப்படிங்கறதுதான் ஸ்பார்க்கோட ஒரு ப்ரூவன் ஸ்டேட்மெண்ட். சோ ஹடுூப் ஒர்க் பண்ணிக்கிட்டு இருந்த காலத்துல அதிகமா

டேட்டா ப்ராசஸங்கு நாங்க யூஸ் பண்ண காம்பனன்ட்னு பாத்தீங்கன்னா ஹைவ் அதிகமா யூஸ் ஆச்சு பிக் அதிகமா யூஸ் ஆச்சு. ஏன்னா

மேப் ப்ரொடியூஸ்க்கு ஜாவால எழுதுறதுக்கு பதிலா ஜாவாவுக்கு ஆல்டர்நேட் தான் ஹைவ் அண்ட் பிக். ஓகே. நான் இத ரிப்பீட்டடா

சொல்லுவேன். மேப் ப்ரொடியூஸ்க்கு ஆல்டர்நேட் ஹைவ் பிக் கிடையாது. தட்ஸ் வெரி இம்பார்டன்ட். மேப் ப்ரொடியூஸ்க்கு

ஆல்டர்நேட் கிடையாது. ஜாவாவுக்கு ஆல்டர்நேட்டா ஹைவையும் பிக்கையும் மேப் ப்ரொடியூஸ்ல யூஸ் பண்ணும். ஓகேங்களா? சோ,

அதிகமா இதை யூஸ் பண்ணிட்டு இருந்த டைம்ல ஸ்பார்க் உள்ள வந்துச்சு. அப்ப வந்து கிளையண்ட்ஸ் கிட்ட வந்துட்டு எல்லா

கம்பெனியும் சொன்னாங்க. என்னன்னா ஸ்பார்க் வந்து 10 டைம்ஸ் பாஸ்டர். இப்ப நம்ம ஹடுூப்ல போட்டதெல்லாம் ஸ்பார்க்குக்கு

மாத்துனோம்னா இன்னும் 10 மடங்கு வேகம் ஓடும் அப்படின்னு. ஆனா ஹடுூப்பும் ஸ்பார்க்குக்கும் இருக்கற அந்த ஜெனரேஷன்

கேப் பாத்தீங்கன்னா ஒரு ஒரு வருஷமோ ரெண்டு வருஷமோ தான். சோ கிளையண்ட் எல்லாம் என்ன சொன்னாங்க இப்பதானப்பா ஹடுபக்கு மைக்ரேட்

பண்ணோம். அதுக்குள்ள 10 டைம்ஸ் பாஸ்டர்ல இன்னொரு ப்ராஜெக்ட் வந்துருச்சு பட் நம்ம ஸ்லோவா போலாம். இப்போதைக்கு வேணாம். பட்

இல்ல 10 டைம்ஸ் பாஸ்டர் நம்ம போனோம்னா நம்ம பெர்பார்மன்ஸ் நல்லா இருக்கும். நல்லா நமக்கு காஸ்ட் சேவ் ஆகும். நிறைய

சொன்னாங்க ஓகேஃபைன். அடுத்த கொஸ்டின் கிளைண்ட் என்ன தெரியுங்களா கேட்டாங்க. சரி இப்ப இங்க அடிச்சு வச்சதெல்லாம் ஹைவ்ல

வந்து எழுதி இருக்கோம். பிக்ல எழுதி வச்சிருக்கோம். சிலதெல்லாம் மேப் ப்ரொடியூஸ்ல இன்னும் ஜாவாவா ஓடுது. இப்ப

இது எல்லாத்தையும் நான் ஸ்பார்க்குக்கு மாத்தணும்னா எல்லாமே அப்படியே ஓடுமா இல்ல அங்க இருக்கற லாங்குவேஜ் இல்ல அங்க

இருக்கற நியூ ப்ரோக்ராமிங்கு மாத்தணுமா அப்படின்னு ஒரு கொஸ்டின் வந்தது. அப்ப வந்து என்ன சொன்னாங்க அப்படின்னா

டெவலப்பர்ஸ் ஆகட்டும் இல்ல கம்பெனி ஆகட்டும் கிளையண்ட் கிட்ட இல்ல அங்க வேற ஒரு இது இருக்கு அதுக்கு மாத்தணும் நம்ம

அப்படின்னஉனே கிளையண்ட்ஸ் என்ன சொன்னாங்க அதெல்லாம் பண்ணவே வேணாம். அப்ப திரும்ப அதுக்கு தனியா டெவலப்பர் எடுக்கணும்பீங்க

அதுக்கு நம்ம திரும்ப உட்காந்து இன்வெஸ்ட் பண்ணனும். அதுக்கப்புறம் நம்ம வந்து அதை செட்டப் பண்ணி ரன் பண்ணனும். அந்த 10

டைம்ஸ் பாஸ்டர்லாம் வேணாம். இப்ப ஹடுப் யூஸ் பண்ணி எனக்கு எவ்வளவு பாஸ்ட்டர் வருதோ அதுவே போதும். அப்படின்னு ஒரு ஒரு

இது வரும் பொழுது என்ன ஆகுதுன்னா ஸ்பார்க்கால அந்த ஸ்பார்க்க வந்து கம்பெனிஸால செல் பண்ண முடியல. அப்ப என்ன

ஹடுூப்ல வந்து ஆல்ரெடி பெர்ஃபார்மன்ஸ் நல்லா இருக்கு. இன்னும் ஒரு 10 வருஷத்துக்கு அப்புறம் ஸ்பார்க்

வந்திருந்ததுன்னு வைங்களேன். அப்ப சொல்லலாம். ஓகே 10 எக்ஸ் பாஸ்டர் நம்ம போலாம் அப்படின்னு. உடனே உடனே வந்தப்போ

இன்னும் சில இதுல இதுல சில விஷயங்களை நம்ம ஆட் பண்ணாதான் நம்மளால ஸ்பார்க்க விக்க முடியும் அப்படின்னு சொல்லிட்டு

மார்க்கெட்ல என்ஹான்ஸ் பண்ண முடியும்னு சொல்லி என்ன பண்ணாங்க அப்படின்னு பாத்தீங்கன்னா அதிகமா யூஸ் பண்றது டேட்டா

ப்ராசஸங்கு ஹடுூப்ல என்னன்னு பார்த்தாங்க ஹைவ் பிக் சரி இந்த ஹைவ்ல இருக்கற கமண்ட்ஸ் ஸ்பிக்ல இருக்கற கமண்ட்ஸ்

எல்லாம் அப்படியே இருக்கட்டும் அதைெல்லாம் நம்ம மாத்த வேணாம் இனிமேல் அவங்க அடிக்க போறத புதுசா ஸ்பார்க்ல எழுதட்டும்

இங்கயுமே புதுசா எழுத போறாங்க அதுக்கு பதிலா இங்க எழுதட்டும் ஆனா எக்சிஸ்டிங்ல இருக்கறத அப்படியே ஓட வைக்கணும்னு

சொல்லிட்டு இந்த ஸ்பார்க்குக்கு இந்த ஹைவ், பிக், ஸ்கூப், ஊசி, ஃப்ளூம் எல்லாத்துக்குமே சப்போர்ட் கொடுத்தாங்க.

சோ, ஸ்பார்க் வழியா ஸ்பார்க்க நான் வந்து HDFS கூட கனெக்ட் பண்ணிக்க முடியும்.ஹச் பேஸ்ோட கனெக்ட் பண்ணிக்க முடியும். இது

ரெண்டும் நம்ம லாஸ்ட் ஸ்லைடுலயே பார்த்தோம். ஹைவோடையும் ஸ்பார்க் ஓடும். சோ அடியல வந்து ஸ்பார்க் வச்சிட்டு நீங்க

மேல ஹைவ் பிக் ஓட்டலாம். ஸ்கூப் யூஸ் பண்ண முடியும். ஊசியும் ஸ்பார்க் ப்ராஜெக்ட்ல இன்னைக்கும் ஸ்கெடியூலர் வந்து ஊசி யூஸ்

பண்றாங்க. பட் என்ன ஒரு விஷயம் நீங்க புரிஞ்சுக்கணும்னா அப்ப ஸ்பார்க் வந்து ஹடுூப்ல எந்த காம்பனன்டக்கு

ரீப்ிளேஸ்மெண்ட்ன்னு பாக்கணும். ஸ்பார்க் வந்து இந்த மேப் ப்ரொடியூஸ்க்கு ரீப்ிளேஸ்மென்ட். அதாவது ஸ்பார்க்க கொண்டு

வந்து இங்க வச்சிட்டாங்க. மேப் ப்ரொடியூஸ்ல ஓடிட்டு இருந்த இந்த விஷயம் எல்லாம் இப்ப ஸ்பார்க்ல ஓடும். நாளைக்கு

இன்னொரு இன்ஜின் இங்க வரலாம். ஓகேங்களா சோ, ஸ்பார்க் வந்து ஹடுபக்கு ரீப்ளேஸ்மென்ட் கிடையாது. அது நிறைய பேர்

அதை சொல்றாங்க. ஆக்சுவலா. ஸ்பார்க் இஸ் ரீப்ளேஸ்மெண்ட்ஃர் மேப் ப்ரொடியூஸ் இன் ஹடப். என் பிரண்ட் வந்து பெங்களூர்ல ஒரு

கம்பெனில ஒர்க் பண்றாங்க. ஒரு மூணு நாலு வருஷத்துக்கு முன்னாடி அவரு என் பிரண்ட் வந்து சொன்னது என்னன்னா ஸ்பார்க் வந்து

மார்க்கெட்டுக்கு வந்துருச்சு. ஹடுப் எல்லாம் செத்துருச்சு. ஸ்பார்க் தான் இனிமேல் எல்லாம் ஸ்பார்க் தான் எல்லாமே

அப்படின்னு. சரி நான் சில கொஸ்டின் கே்கறேன் நீ ஆன்சர் பண்ணுன்னு சொன்னேன். கேளுன்னா. உங்க ஸ்பார்க் ப்ராஜெக்ட்ல

ஸ்டோரேஜ்க்கு என்ன யூஸ் பண்றீங்க அப்படின்னு அவன் சொன்னாஹடிஎஸ் யூஸ் பண்றோம். சரி அதுக்கப்புறம் வந்து

ஸ்கெட்ூல் இருக்க ஊசி யூஸ் பண்றோம். டேட்டாவ rர்டிபிஎம்எஸ்ல இருந்து ஸ்பார்க்குக்கு எடுத்துட்டு வர்துக்கு

அதுக்கு வந்து நாங்க வந்து ஸ்கூப் யூஸ் பண்றோம். ஒரு சிலது ஸ்பார்க்லயே கோடா எழுதி இருக்கோம் அப்படின்னா. என்னடா நான்

கேக்குற கேள்விக்கு எல்லாத்துக்குமே வந்து ஹடுப் காம்போனென்ட்டா சொல்றேன்ஹடிஎஸ்ங்கிற ஸ்கூப்ங்கிற அதுக்கப்புறம் ஊசிங்கிற நோ

சீக்குவல்ஹ பேஸ்ன்னா எல்லாத்தையும் சொல்லிட்டு இன்ஜின் மட்டும் ஸ்பார்க்ன்றப்போ அப்ப ஹடுூப் எப்படி

செத்துச்சு யூஸ் பண்ற எல்லா காம்போனன்ட்டம் வந்து ஹடுூப்போடது. ச இப்ப என்ன அவன் சொல்லி இருக்கணும்னா மேப்

ரொடியூஸ் கார்னருக்கு போயிடுச்சு இப்ப ஸ்பார்க் வந்துருச்சு அப்படிதான் சொல்லணும். அதனாலதான் நான் இனிஷியலாவே

என்ன சொன்னேன்னா, உங்களுக்கு இந்த கொஸ்டின் நான் இப்ப கேட்டிருந்தேன் இல்லையா? ஏன் வந்து எல்லா பிக் டேட்டா

ப்ராஜெக்ட்லையும் ஹடுூப் இருக்கு அப்படின்னா இதுதான் ரீசன். ஹடுூப் வந்து ஒரு பிளாட்பார்மா உருவாயிடுச்சு. இந்த

மாதிரி வர்ற எல்லா ப்ராஜெக்ட்டையும் அதோட இன்கார்பரேட் உள்ளேயே இன்கார்பரேட் பண்ற அளவுக்குதான் கொண்டு வராங்க. ஏன்னா

ஹடுூப்ல இருக்குற காம்போனென்ட்ஸதான் நாங்க அதிகமா ஆல்ரெடி யூஸ் பண்ணிட்டு இருக்கோம். சோ, இனிமேல் வர்தையும் வந்துட்டு வி ஆர்

யூசிங் இன்சைடு ஹடுூப் தான். ஓகே. சோ, அதனாலதான் வந்துட்டு நான் சொன்ன அந்த ஸ்டேட்மென்ட். நீங்க வந்து ஹடுப் இல்லாம

வந்து நீங்க எந்த ஸ்பார்க் ப்ராஜெக்ட்டையும் பார்க்க முடியாது. ஆனா ஸ்பார்க்கே இல்லாம ஹடுப் ப்ராஜெக்ட்ட

பார்க்க முடியும். ஏன்னா அவங்க இன்னும் ஸ்பார்க் வந்திருக்க மாட்டாங்க. ஓகே. பட் இன்னைக்கு இருக்கிற இன்னைக்கு இருக்கிற

எல்லா இன்ஃப்ரா கம்பெனிலயும் பாத்தீங்கன்னா ஸ்பார்க்கும், ஹடுக்கும் டீபால்ட்டா இருக்கும். ஸ்பார்க்ல ஸ்டில்

நீங்க ஹைவ் பிக் எல்லாத்தையும் ஓட்டிக்கலாம். ஊசி ஃப்ளூம் எல்லாமே ஒரே ஒரு விஷயம் மேப் ப்ரொடியூஸ்க்கு பதிலா

ஸ்பார்க் அவ்வளவுதான். ஓகே சோ இது இது உங்களுக்கு புரிஞ்சிருக்கும்னு நினைக்கிறேன். சோ இன்டகிரேஷன்ஸ்

பொறுத்தவரைக்கும் ஸ்பார்க்க வந்துட்டு நீங்க ஹடுூப்போட 100% எல்லா காம்போனென்ட்டோடையும் இன்டகிரேட்

பண்ணலாம். எக்செப்ட் மேப் ப்ரொடியூஸ் ஏன்னா மேப் ப்ரொடியூஸ் மாதிரிதான் ஸ்பார்க் சோ மேப் ப்ரொடியூஸ்யும்

ஸ்பார்க்கையும் நீங்க ஒன்னு ஒன்னா நீங்க இது பண்ண முடியாது. அதே மாதிரி ஹடுூப்ல இருக்கற எல்லா காம்போனன்ட் அதே மாதிரி

நான் ஆல்ரெடி சொன்ன மாதிரி டேட்டா ஸ்டோரேஜ்ல டேட்டாபேஸ் ஆர்டிபிஎம்எஸ் அதாவது நோக்குவல் ஆர்டிபிஎம்எஸ்

டிஸ்ட்ரிபயூட்டட்ஃைல் சிஸ்டம் ஸ்டாண்ட் அலோன்ஃைல் சிஸ்டம் எல்லாத்தோடயும் நீங்க கனெக்ட் பண்ணிக்க முடியும். ஓகே சோ

ஸ்பார்க் ஹடு கோடன்னு இல்ல எல்லா நோ சீக்குவல் டேட்டாபேஸ் அதே மாதிரி இன்னும் சில பிக் டேட்டா காம்பனன்ட்ஸ் ஏதாவது

இருந்ததுன்னா நீங்க கண்டிப்பா கனெக்ட் பண்ணிக்கலாம். அதே மாதிரி ஸ்பார்க்க வந்து பிக் டேட்டாக்கு வெளியில இருக்கற

டெக்னாலஜியோடல்லாம் கனெக்ட் பண்ண முடியுமானா எஸ் அப்ப நான் rர்டிபிஎம்எ சொன்னேன் அதே மாதிரி ஏதாவது இடlல் டூல்ஸ்

இருந்ததுன்னா லைக் இன்பர்மேட்டிக்கா அபினேஷயோ கனெக்ட் பண்ணிக்கலாம். அதே மாதிரி விசுவலைசேஷன் டூல்ஸ் எல்லாம்

மைக்ரோ ஸ்ட்ரேட்டஜி இல்ல டேப்லூ இல்ல கிளிக் வியூ இந்த மாதிரி விசுவலைசேஷன் டூல் இருந்ததுன்னா நீங்க கனெக்ட்

பண்ணிக்கலாம். சோ நான் ஹடுூப் பிரேம்வொர்க் வீடியோ போட்டுருக்கேன்னு சொன்னேன் இல்லைங்களா அந்த வீடியோலயும்

நான் சொல்லிருப்பேன். ஹடுூப்ப வந்து நீங்க எந்த பிக் டேட்டா காம்போனண்டோடையும் இன்டகிரேட் பண்ணலாம். அதே மாதிரி ஹடுூப்ப

வந்து பிக் டேட்டாவுக்கு வெளியில இருக்கற எல்லா பிரேம்வொர்க் எல்லா டெக்னாலஜியோடயும் ஆல்மோஸ்ட் கனெக்ட்

பண்ணலாம். அதேதான் இப்ப நான் ஸ்பார்க் பிரேம்வொர்க்கக்கும் சொல்றேன். ஸ்பார்க் வந்து எல்லா பிக் டேட்டா டெக்னாலஜியோடயும்

கனெக்ட் பண்ணும். பிக் டேட்டாவுக்கு வெளியில இருக்கற ட்ரெடிஷனல் டெக்னாலஜியோடையும் ஆல்மோஸ்ட் கனெக்ட்

பண்ணும். ஓகேங்களா?ஃபைன். சோ அடுத்து வந்து நம்ம ஸ்லோ அண்ட் ஸ்லோ வந்து ஸ்பார்க்கோட இன்ட்ரடக்ஷன்க்கு உள்ள

நல்லா ஸ்டார்ட் பண்ணுவோம். இப்ப பிரேம்வொர்க் டயகிராம் உங்களுக்கு புரிஞ்சிருக்கும். சோ இதுல நான்

உங்களுக்கு டீடைல்டா எக்ஸ்பிளைன் பண்ணாத விஷயம் அப்படின்னு பாத்தீங்கன்னா ஸ்பார்க்ல எல்லாத்துக்கும் ஒரு ஒன் லைனர்

டெபினிஷன் தான் கொடுத்தேன். பட் கோயிங்ஃார்வர்ட் நான் அது உங்களுக்கு நிறைய டெபனிஷன் நான் தரேன் அப்கமிங்

வீடியோஸ்ல. பட் இதுல வந்து ஸ்பார்க்குக்கும் ஹடுூப்க்கும் உள்ள அந்த ஒரு ரிலேஷன்ஷிப்ப நம்ம நல்லா

புரிஞ்சுக்கணும். ஸ்பார்க் வரவங்க இதை கண்டிப்பா தெரிஞ்சிருக்கணும். இது வந்து அவுட்சைடு த பாக்ஸ் ஆப் கண்டென்ட்ன்றது

கிடையாது. இதையும் நம்ம தெரிஞ்சிருந்திருக்கணும். ஓகே. நெக்ஸ்ட் வந்து இப்போ நாம ஆல்ரெடி நான் உங்களுக்கு

சொன்னதுதான் ஸ்பார்க் அப்படின்னா என்னன்னா பேட்ச் அண்ட் ஸ்ட்ரீம் ப்ராசஸங் அதாவது மொத்தத்துல டேட்டா ப்ராசஸிங்

பிரேம்வொர்க். இதுல பேட்ஜும் பண்ணலாம் ஸ்ட்ரீமும் பண்ணலாம். ஓகே சோ வாட் இஸ் பார்க் அப்படின்னா நான் பாயிண்ட்

பாயிண்ட்டா இந்த மாதிரி உங்களுக்கு எக்ஸ்பிளைன் பண்றேன். சோ போத் பேட்ச் அண்ட் ஸ்ட்ரீம்.

ஓகே. ஃபைன் சோ அடுத்து. ரெண்டாவது என்னன்னு பாத்தீங்கன்னா ஸ்பார்க்கோட இன்டகிரேஷன்ஸ்

அதெல்லாம்தான் நான் உங்களுக்கு இப்போ இவ்வளவு நேரம் உங்களுக்கு நான் சொன்னது ஸ்பார்க்கோட இன்டகிரேஷன்ஸ்

ஹடுூப்போட மித்த டெக்னாலஜி எல்லாமே நான் சொன்னேன் இல்லைங்களா சோ நம்ம இது வந்து ஆல்ரெடி டிஸ்கஸ்ட் தேர்ட் பாயிண்ட்

சோ ஸ்பார்க்கோட பிரேம்வர்க் சோ அதுவும் வந்து உங்களுக்கு நான் எக்ஸ்பிளைன் பண்ணேன் ஸ்பார்க்கோட பிரேம்வர்க்

சோ இதுவும் வந்து நான் உங்களுக்கு எக்ஸ்பிளைன் பண்ணதுதான் நெக்ஸ்ட் சோ என்னென்ன லைக் ப்ரோக்ராமிங் லாங்குவேஜஸ்

வந்து ஸ்பார்க் வந்து சப்போர்ட் பண்ணும் ஓகே ஸ்பார்க் பொறுத்தவரைக்கும் ப்ரோக்ராமிங் லாங்குவேஜ் சீக்குவல் அண்ட்

லினக்ஸ் தெரிஞ்சிருக்கணும் பட் இந்த மூணுமே பாத்தீங்கன்னா பிக் டேட்டாவுக்குரிய ஒரு ப்ரீ ரெக்வஸைட் தான்.

ஹடுூப்க்கு நான் இந்த மூணைதான் சொல்லி இருந்தேன். ஓகேங்களா சோ ஸ்பார்க்லயும் அதுதான். சோ ஃபர்ஸ்ட் ப்ரோக்ராமிங்

லாங்குவேஜ்ல என்னென்ன எல்லாம் ஸ்பார்க் சப்போர்ட் பண்ணும். சோ ப்ரோக்ராமிங் லாங்குவேஜஸ்

ஓகே சோஃர்ஸ்ட் வந்து பாத்தீங்கன்னா ஸ்காலா ஸ்காலா அப்படிங்கிற ப்ரோக்ராமிங் லாங்குவேஜ் வந்துட்டு

சப்போர்ட் பண்ணும் ஸ்காலாவும் ஜேவிஎம் பேஸ்டு ப்ரோக்ராமிங் தான் ஏன்னா ஸ்காலாவோட ஃபர்ஸ்ட் ரெண்டு மூணு ரிலீஸ் எல்லாம்

ஜாவாவ வச்சுதான் எழுதுனாங்க அப்புறம் அப்புறம்தான் ஸ்காலாவ வச்சே ஸ்காலாவ டெவலப் பண்ணிட்டாங்க சோ ஸ்காலாவுக்கும்

என்னோட இதுல வந்து வீடியோஸ் இருக்கு பிளேலிஸ்ட் நான் அந்த லிங்கும் நான் டிஸ்கிரிப்ஷன் பாக்ஸ்ல ஷேர் பண்ணிருவேன்

சோ நீங்க ஸ்காலா வீடியோஸ் பா்கணும்னா நீங்க அதுல பார்கலாம் சோ ஸ்காலா சப்போர்ட் பண்ணும். அதுக்கப்புறம் பாத்தீங்கன்னா

ஜாவா ஓகே சோ ஜாவா அண்ட் தென் பைதன் ஓகே சோ ஸ்பார்க் சப்போர்ட்ஸ்த லாங்குவேஜஸ் அதுக்கப்புறம் அனலிடிக்ஸ்க்கு வந்துஆர்

சப்போர்ட் பண்ணுது ஸ்பார்க் அண்ட் தென் பைதானும் வைட்லி யூஸ்ட் ஆனா பைதான் வந்து லைக் டேட்டா இன்ஜினியரிங்கும் நிறைய யூஸ்

பண்றாங்க ஸ்பார்க்ல டேட்டா சயின்ஸ்க்கும் யூஸ் பண்ணுவாங்க சோ இந்த மூணு லாங்குவேஜ் வந்து ரொம்ப ஈக்குவலா யூஸ் ஆகும் ஓகேங்களா

சோ நீங்க வந்து ஸ்காலாதான் ஸ்பார்க்ல சோ இன்டர்நெட்டுக்குன்னு போனீங்கன்னா ஸ்பார்க்னா ஸ்காலா எக்ஸாம்பிள்ஸ் தான்

நிறைய இருக்கும். பட் ஒொர்க் வைஸ் ரியல் டைம்ல பாத்தீங்கன்னா இந்த மூணு லாங்குவேஜும் ஈக்குவலா இருக்கும். ஒரே

ப்ராஜெக்ட்ல ஒரே மாடியூல்குள்ள நீங்க மூணு கோடு எழுதினாலும் எழுதலாம். பேக்வர்ட் கம்பேட்டபிலிட்டிஃார்வர்ட் மீன்ஸ்

பார்வர்ட் கம்பேட்டபிலிட்டி எல்லாமே இருக்கு அதாவது நீங்க ஒரு மாடியூல் ஸ்காலால எழுதி ஒரு மாடியூல் ஜாவால எழுதி

ஜாவால இருந்து ஸ்காலாவ கால் பண்ணிக்கிறதுனா நீங்க பண்ணலாம். ஓகேங்களா அதே மாதிரி வந்து நீங்க பைதான்ல எழுதலாம்

பட் கால் பண்றதுங்கறது வந்து அவ்வளோு ஸ்ட்ரைட்ஃபார்வர்ட் கிடையாது பட் ஸ்காலா டு ஜாவா ஜாவா டு ஸ்காலா பண்ணிக்க

முடியும். சோ பைதானும் வந்து நீங்க ஒரு 10 மாடியூல் முடிச்சாச்சு 11 வது மாடியூல் மட்டும் நான் பைதான்ல எழுதிக்கிறேன்

அப்படினாலும் நீங்க எழுதலாம். பட் ஒரு ஒரு நீட்டா ஒரு ஒரு பெஸ்ட் பிராக்டிஸ்ஃபாலோ பண்றதுக்காக கம்பெனிஸ் வந்து ஒரு

லாங்குவேஜ் பிக் பண்ணிக்குவாங்க ஓகேங்களா ஸ்காலா ஜாவா பைதான் மூணுமே ஹெவியா இருக்கு ஸ்பார்க்ல ஈக்குவல் ஈக்குவலா இருக்கும்

ஓகே அதே மாதிரி வந்து நம்ம வந்து ஏதாவது ஒரு லாங்குவேஜ் தான் பிக் பண்ணி ஸ்பார்க் படிக்க முடியும். நீங்க ஸ்காலா இல்ல ஜாவா,

பைதான் மூணுமே படிச்சாலும் ஃபைன். சந்தோஷம் தான். பட் நம்மனால இன் டீஃபால்ட் ஒன்னு தான் படிக்க முடியும். பட் நீங்க

இன்டர்வியூ போகும் பொழுது ஜாப் டிஸ்கிரிப்ஷன்ல வந்து நாங்க ஸ்பார்க் வித் ஜாவா எதிர்பார்க்கிறோம்னு

போட்டுருப்பாங்க. பட் உங்களுக்கு ஸ்பார்க் வித் ஸ்காலா தான் தெரியும். பட் தட் இஸ் ஃபைன். அத நிறைய பேர் தப்பு பண்ணுவாங்க.

உடனே அந்த இன்டர்வியூக்கு போகமாட்டாங்க. சி நான் ஸ்பார்க் வித் ஜாவான்னு கேட்கும் பொழுது ஜாவால இருந்து ஒரு 20% தான்

கொஸ்டின் கேப்பேன். மித்தது எல்லாம் ஸ்பார்க்ல தான் கேப்பேன். சியஆர் கோயங் forர் இன்டர்விw பிக் டேட்டா டெவலப்பர்

நாட் பார்வா டெவலப்பர் அத தயவு செய்து அந்த தப்பு பண்ணாதீங்க. நீங்க ஸ்பார்க் பைதான்ல படிச்சிருந்தாலும் சரி ஜாப்

டிஸ்கிரிப்ஷன்ல ஜாவான்னு கொடுத்திருந்தா தட்ஸ் பபைன் போங்க போயிட்டு அத அட்டென்ட் பண்ணுங்க இல்ல நான் நாலு வருஷமா ஸ்பார்க்ல

தான் ஒர்க் பண்ணேன் ஆனா நான் பைதான்ல பண்ணேன் ஆனா எனக்கு ஜாவான்னு சொல்றாங்க அப்ப தட்ஸ் பபைன் நீங்க போங்க நீங்க

போயிட்டு ஜஸ்ட் நீங்க பைதான்ல படிச்ச கான்செப்ட்ட ஜாவால ரெப்ரஷ் பண்ணிட்டு போனீங்கன்னாஃபைன்டோட் லூஸ் த

ஆப்பர்சனிட்டி அது ரொம்ப இம்பார்டன்ட் நான் சொல்றது ஓகே சோ அதை எல்லாம் ஒரு இதா நினைச்சுக்கிட்டு நிறைய பேர் போகமாட்டாங்க

ஓகே பட் ஸ்பார்க்லல்லாம் அவங்க ரொம்ப சூப்பரா இருப்பாங்க பட் இந்த ஒரு விஷயால போகாம இருப்பாங்க பட் அதை மட்டும் தயவு

செய்து பண்ணாதீங்க ஓகே அதுக்கப்புறம் பாத்தீங்கன்னா ஸ்பார்க் பொறுத்தவரைக்கும் நீங்க வந்து எந்த பிக் டேட்டா ஹடுூப் பிக்

டேட்டாவல வந்து நீங்க எந்த பிரேம்வொர்க்க நீங்க இன்ஸ்டால் பண்ணீங்கனாலும் அது வந்துட்டு நம்ம வந்து பேக்ரவுண்ட்ல ஒரு

சில ப்ராசஸ் ஓடும் அந்த ப்ராசஸ்தான் அந்த அந்த பர்டிகுலர் டெக்னாலஜியவே வந்து ஒரு பேக்போன் மாதிரி உங்க மெஷின்ல ரன் பண்ண

வைக்கும். அத நம்ம டீமன் ப்ராசஸ்னு சொல்லுவோம். டீமன் ப்ராசஸ்னா பேக்ரவுண்ட் ப்ராசஸ் இப்ப கரோome ஓபன் பண்ணா நான்

டாஸ்க் மேனேஜர் போனா ஒரு ப்ராசஸ் ஓடுது இல்லைங்களா அதே மாதிரி நான் ஒரு ஆன்டி வைரஸ் ஓட்டுனேன்னா பின்னாடி போகுது

மைக்ரோசாப்ட் அப்டேட்ஸ் ஓடுச்சுன்னா ஒரு ப்ராசஸ் பின்னாடி அந்த மாதிரி ஸ்பார்க்க நான் இன்ஸ்டால் பண்ணி ஸ்டார்ட் பண்ணேன்

அப்படின்னா என்னென்ன ப்ராசஸ் எல்லாம் பேக்ரவுண்ட்ல ஓடும் அப்படிங்கறதுதான் டீமன் ப்ராசஸ் அப்படின்னு சொல்லுவாங்க

டீமன் ப்ராசஸ் சோ மாஸ்டர் ஒொர்க்கர்னு சொல்லிட்டு ரெண்டு ப்ராசஸ் ஓடும். ஓகேங்களா சோ இதுதான் ஸ்பார்க்க வந்துட்டு

நான் ஜஸ்ட் லைக் தட்லிக்ஸ்ல போட்டு நான் இன்ஸ்டால் பண்ணி ஸ்டார்ட் பண்ணேன்னா இந்த ரெண்டு தான் ஓடும் பட் அப்கமிங் வீடியோஸ்ல

இன்ஸ்டாலேஷன் நான் எல்லாமே நான் உங்களுக்கு போடுவேன். அதுக்கப்புறம் வந்து டிப்ளாய்மெண்ட் மோட்ஸ்

ஸ்பார்க்க எப்படி எல்லாம் வந்து டிப்ளாய்மென்ட் சாரி பார் தி ஸ்பெல்லிங் மிஸ்டேக் நான் நிறைய பண்ணுவேன் ஓகே சோ

ஸ்டாண்ட் அலோன் ஸ்டாண்ட் அலோனா டிப்ளாய் பண்றது ஸ்டாண்ட் அலோனா டிப்ளாய் பண்றதுன்னா என்ன ஓகே அதாவதுலிinux மெஷின்

இருக்கு என்கிட்ட ஒரு மிஷினோ ரெண்டு மெஷினோ 10 மிஷினோ ஸ்பார்க்க மட்டும் நான் இன்ஸ்டால் பண்றேன். 10 நோட்லயும்

ஸ்பார்க்க மட்டும் நான் இன்ஸ்டால் பண்ணி டிஸ்ட்ரிபயூட்டடா பண்றேன். அப்படின்னா ஸ்டாண்ட் அலோன். ஓகே வெரி இம்பார்ட்டன்ட்

நிறைய பேர் வந்து ஸ்டாண்ட் அலோன்னா என்ன தெரியுமா நினைச்சுக்கறாங்க. சிங்கிள் நோட்ல வந்துட்டு ஒரே ஒரு மெஷின்ல ஸ்பார்க்

இன்ஸ்டால் பண்ணி இருந்தா அது ஸ்டாண்ட் அலோன் அப்படின்னு நினைச்சுக்கறாங்க. அது தப்பு. சோ 10 மமிஷினா இருந்தாலும் சரி

சிங்கிள் மிஷினா இருந்தாலும் சரி ஸ்பார்க்க மட்டும் நீங்க இன்ஸ்டால் பண்ணி டிஸ்ட்ரிபயூட்டடா கிளஸ்டர் கிரியேட் பண்ணி

இருந்தீங்கன்னா அது ஸ்டாண்ட் அலோன் ஓகேங்களா சோ அடுத்தது வந்து பாத்தீங்கன்னா யான் அப்படின்னு சொல்லுவாங்க. யான்

அப்படிங்கறது ஸ்பார்க்க ஹடுூப்போட சேர்த்து வச்சு இன்ஸ்டால் பண்ணிருந்தீங்கன்னா அது யான். ஓகே சோ

ஹடுூப்ல வந்து யான்ன்னு ஒரு காம்போனன்ட் இருக்கு. சோ அந்த யான் காம்பனன்ட் என்ன பண்ணும்னா மேப் ப்ரொடியூஸ் மாதிரி இப்ப

நான் சொன்னேன் இல்லைங்களா ஸ்பார்க் வந்து ஆல்டர்நேட் டு மேப் ப்ரொடியூஸ்னு சோ ஹடுூப்ல இந்த யான எதுக்கு கொண்டு

வந்தாங்கன்னா எட் அனதர் ரிசோர்ஸ் நெகோசியேட்டர்னு சொல்லுவாங்க. இந்த யான் வந்துட்டு மேப் ப்ரொடியூஸ் மாதிரி

என்னென்ன காம்பனன்ட்லாம் ஹடுூப்ல செட் பண்ண முடியுமோ அத எல்லாம் அது செட் பண்ண வச்சிக்கும். அததான் அந்த

சப்போர்ட்டே கொடுக்கும். அந்த யான் இல்லைன்னு வச்சுக்கோங்களேன் நீங்க மேப் ப்ரொடியூஸ் மட்டும் தான் ஹடுூப்ல ஓட்ட

முடியும். மேப் ப்ரொடியூஸ் மாதிரி இருக்குற இன்ஜின் லைக் ஸ்பார்க் இன்னும் சில இன்ஜின்லாம் இருக்கு அதெல்லாம் ஓட்ட

முடியாது. அந்த யான் இருந்தா மட்டும்தான் மேப் ப்ரொடியூஸ் மாதிரி இருக்கிற எல்லா இன்ஜினையும் நீங்க அதுல போட்டு ஓட்டிக்க

முடியும். ஓகே இப்ப யான் இல்ல அப்படின்னா என்னால ஸ்பார்க்க இன்ஸ்டால் பண்ண முடியாது ஹடுூப் மேல. சோ யான் அப்படின்னாவே

ஸ்பார்க்க வந்து யான்ல இன்ஸ்டால் பண்ணி இருக்கீங்களா? யானை வச்சு ஓட்டி இருக்கீங்கன்னாவே என்ன கேட்க வராங்கன்னா

ஸ்பார்க்க ஹடுூப்போட சேர்த்து வச்சு இன்ஸ்டால் பண்ணி இருக்கீங்களா அப்படின்னுதான் கேக்குறாங்கன்னு அர்த்தம்.

ஓகேங்களா சோ யாங்கறது ஹடுப்ல கிளஸ்டர் கோஆர்டினேட்டர் கிளஸ்டர் மேனேஜர் அப்படின்னு சொல்லுவோம் யான் மாதிரியே

வந்து இன்னொன்னு இருக்கு மீசோஸ் அப்படின்னு சொல்லிட்டு ஒன்னு இருக்கு இதுவும் யான் மாதிரி தான் இத அதிகமா யூஸ்

பண்ண மாட்டாங்க சோ மூணு டைப் இருக்கு ஸ்டாண்ட் அலோன் யான் டிப்ளாய்மெண்ட் மீசோஸ் இது மூணுமே நீங்க சிங்கிள்

நோட்லயும் பண்ணலாம் மல்டிபிள் நோட்லயும் பண்ணலாம். நான் ஸ்டாண்ட் அலோன்னா சிங்கிள் நோடு மட்டும் அப்படி கிடையாது அது தப்பா

புரிஞ்சுக்கறாங்க நிறைய பேர் சோ அது கிடையாது ஓகேங்களாஃைன் சோ அடுத்தது பாத்தீங்கன்னா

ஸ்பார்க்ல வந்துட்டு ரெப்பல் இருக்கா? ஓகே ரெப்பல் அப்படின்னா என்னன்னா ரீட் எவால்வேட் பிரிண்ட் லூப் அப்படின்னு

சொல்லுவாங்க. இப்போ எப்படி சொல்றதுன்னா செல் இருக்கு இல்லைங்களா இப்ப நீங்க மை சீக்குவல்ல்லாம் ஒர்க் பண்ணி இருக்கீங்களோ

ஆரக்கள் மை சீக்குவல்ல்லாம் நீங்க மை சீக்குவல் என்டர் அடிச்சீங்கன்னா மை சீக்குவல் செல்லுக்குள்ள கமண்ட் பிராம்ட்ல

போகும் இல்லைங்களா அந்த மாதிரி இப்ப ஒன்னு இல்ல ஓகே பைதான்ு என்டர் பண்ணீங்கன்னா கமண்ட் பிராம்ட்ல பைதான் செல்லுக்குள்ள

போகுது இல்லையா சோ நீங்க வந்துட்டு உங்க கமண்ட் பிராம்ட்ல பைதான்னு அடிச்சீங்கன்னா இந்த மாதிரி ஒரு செல் இருக்கும். இதுல

போயிட்டு நீங்க கோடு அடிச்சுக்கலாம். பிரிண்ட் அப்படின்னு போட்டு அடிச்சுக்கலாம். சோ இந்த இத இத வந்து நம்ம

செல்ன்னு சொல்லுவோம் இல்லையா சோ அந்த செல்லதான் வந்து ரெப்பல்ன்னு சொல்லுவாங்க. ரீட் எவால்வேட் பிரிண்ட் லூப் அப்படின்னு

சொல்லுவாங்க. சோ ஸ்பார்க்ல வந்து செல் இருக்கு. சோ தட் நீங்க வந்து டெவலப் பண்றதுக்கு முன்னாடி அந்த ஒரு லைன் பீஸ்

ஆஃப் கோட நீங்க டெஸ்ட் பண்ணனும்னா செல்லிலயே பண்ணிக்கலாம். நாங்க எல்லாம் ரியல் டைம்ல அப்படிதான் பண்ணுவோம். சும்மா

இதுக்காக நான் எக்ளிப்ஸ் இன்டெலிஜன் எல்லாம் ஓபன் பண்ணி ஜாவா கோடு எல்லாம் எழுதி ஒரு நாலஞ்சு லைன் லாஜிக்க டெஸ்ட்

பண்றதுக்காக நான் ஒரு கோட பில்ட் பண்ணி அதை ஜாரா பில்ட் பண்ணி ஸ்பார்க் கிளஸ்டர்ல கொண்டு போய் சப்மிட் பண்ணனும்

அப்படிங்கறது கிடையாது. சோ நம்ம என்ன பண்ணலாம்னா நம்ம ரெப்பல்லயே கூட டெஸ்ட் பண்ணி பார்க்கலாம். சோ ஸ்பார்க்ல வந்து

ஸ்பார்க் செல்ன்னு ஒன்னு இருக்கு. ஸ்பார்க் செெல் அப்படிங்கறது பாத்தீங்கன்னா ஸ்காலா பேஸ் பண்ணி

இருக்கும். இதுல நீங்க ஸ்காலாவதான் அடிக்க முடியும். இன்னொரு செல் இருக்கு பை ஸ்பார்க்னு சொல்லுவாங்க. இந்த செல் ஓபன்

ஆச்சுன்னா பைதான் கோட நீங்க அதுல அடிச்சுக்கலாம். சோ ரெண்டே ரெண்டு செல் தான் இருக்கு. ஜாவாவுக்கு கிடையாது.

ரெண்டே ரெண்டு செல்தான் ஸ்பார்க் செல்ன்னு போனீங்கன்னா அது ஸ்காலா. பை ஸ்பார்க் செல்ல ஓபன் பண்ணீங்கன்னா அது பைதான்.

ஓகேங்களாஃபைன். சோ நெக்ஸ்ட் ஓகே. சோ நெக்ஸ்ட் என்னன்னு பாத்தீங்கன்னா

ஸ்பார்க்ல வந்துட்டு இம்பார்ட்டன்ட் மூணு APிஐ அப்படின்னு சொல்லுவாங்க. ஸ்பார்க்கோட தரீ

இம்பார்ட்டன்ட் APPிஐஸ். இதுதான் வந்து ஹார்ட் ஆப் தி ஸ்பார்க் அப்படின்னு சொல்லுவாங்க. அதாவது நீங்க ஸ்பார்க்ல

அடிக்கிற உங்களோட அந்த கோடிங்கோட சின்டாக்ஸ் வந்துட்டு இந்த மூணு டைப்லதான் வேரி ஆகும். ஓகே சோ ஒன்னு வந்து

ஆர்டிடின்னு சொல்லுவாங்க. அடுத்து வந்து டேட்டாஃிரேம்ஸ் அப்படின்னு சொல்லுவாங்க. அதுக்கப்புறம் பாத்தீங்க அப்படின்னா

டேட்டா செட் அப்படின்னு சொல்லுவாங்க. ஓகே சோ உங்களோட ஸ்பார்க்ல நீங்க அடிக்கிற அந்த கோடிங் வந்து இந்த மாதிரி இந்த

மூணுக்குள்ள தான் பிரியும்.ஆர்டிோடஆர்டிடிஆர்டிோட நெக்ஸ்ட் வெர்ஷன் எக்ஸ்டெண்டட் தான்

டேட்டா பிரேம். அதே மாதிரி டேட்டா ஃிரேமோட எக்ஸ்டெண்டட் தான் டேட்டா செட் மாதிரி பட் இத டீடைல்டா நான் உங்களுக்கு அப்கமிங்

வீடியோல இது மூணையும் மட்டுமே தனியா வச்சு நான் சொல்லுவேன். சோ அதனால இப்ப நம்ம அதை ரொம்ப அதிகமா எடுத்துக்க வேணாம்.ஆர்டிடி

அப்படிங்கறது ரெசிலியன்ட் டிஸ்ட்ரிபயூட்டட் டேட்டா செட். சோ நம்மளோட டேட்டாவை எல்லாத்தையுமே வந்து பிரிச்சு

அதை ப்ராசஸ் பண்ணி நமக்கு கொடுக்கறதுதான் வந்துட்டு ஆர்டிடி அப்படின்னு சொல்லுவோம். நீங்க அடிக்கிற உங்க சின்டாக்ஸ் கோடு

ஸ்பார்க்ல போய் நீங்க அடிக்கிற எல்லாமே இன்டர்னலா உங்களுக்கு இந்த வேலையைதான் செஞ்சு கொடுக்கும். ஓகேங்களா சோ நம்ம ஒரு

பபைல ரீட் பண்ணா கூட அத பிரிச்சு டிஸ்ட்ரிபயூட் பண்ணி ப்ராசஸ் பண்ணி நமக்கு ரீட் பண்ணி கொடுக்கும். அத நீங்க நான்ஃைல்

ரீட் ஒரு லைன் சின்டாக்ஸ் அடிக்கிறேன்னா அது அது இட்ஸ் ஆர்டிடி அது இன்டர்னலா நமக்கு இந்த வேலைய செஞ்சு கொடுக்கும்.

ஓகேங்களாஃபைன். ஓகே அடுத்து வந்து ஸ்பார்க்ல நீங்க அடிக்கிற உங்களோட நீங்க ஆர்டிடில கோடு

அடிச்சாலும் சரி டேட்டா பிரேம்ஸ்ல அடிச்சாலும் சரி டேட்டா செட்ல அடிச்சாலும் சரி அது எல்லாமே வந்து ரெண்டு டைப்பா

பிரியும் ஒன்னு வந்து என்னன்னு பாத்தீங்கன்னா டிரான்ஸ்பர்மேஷன்ு சொல்லுவாங்க.

இன்னொன்னு வந்து ஆக்ஷன்ு சொல்லுவாங்க. ட்ரான்ஸ்பர்மேஷன் அண்ட் ஆக்ஷன்ு சொல்லுவாங்க. அதாவது நீங்க ஒரு சின்டாக்ஸ்

அடிக்கிறீங்க அது rர்டில அடிக்கிறீங்களோ இல்ல டேட்டா ஃிரேம்ல அடிக்கிறீங்களோ இல்ல டேட்டா செட் சோ ஃபர்ஸ்ட் நீங்க வந்து

ஸ்காலால அடிக்கிறீங்கன்னு வச்சுக்கோங்க இந்த ஸ்காலா இந்த ஸ்காலான்னு நீங்க டிசைட் பண்ணிட்டீங்க அதுக்கப்புறம் நீங்க ஆர்டி

யூஸ் பண்ணி கோடு அடிக்கிறதா இல்ல டேட்டா ஃிரேம் யூஸ் பண்ணி கோடு அடிக்கிறதா இல்ல டேட்டா செட் யூஸ் பண்ணி கோடு

அடிக்கிறதாங்கறத முடிவு பண்ணனும். அதுக்கப்புறம் இந்த மூணுலையுமே காமனா இருக்கற விஷயம் பாத்தீங்கன்னா

ட்ரான்ஸ்பர்மேஷன் அண்ட் ஆக்ஷன் தான். ட்ரான்ஸ்பர்மேஷன்னா என்ன? நீங்க எது பண்ணாலும் ட்ரான்ஸ்பர்மேஷன் தான். ஒரு

ஃபைல நான் ரீட் பண்றேன்னா ட்ரான்ஸ்பர்மேஷன் அதை நான் குரூப் பண்றேன்னா டிரான்ஸ்பர்மேஷன் அதை நான்

ஷார்ட் பண்றேன்னா ட்ரான்ஸ்பர்மேஷன் இந்த மாதிரி ஸ்பார்க்ல நிறைய ட்ரான்ஸ்பர்மேஷன் இருக்கு. அது அது எல்லாமே நம்ம

பார்க்கலாம். ஓகே ஆக்ஷன்னா என்ன? ஓகே. ஒரு ஃபைல வந்து நான் வந்து ப்ராசஸ் பண்ணி கவுண்ட் எடுக்கணும். ஓகேங்களா இப்ப ஃபார்

எக்ஸாம்பிள் நான் வந்து ஒரு ஃபைல ரீட் பண்ணி அதுல ஏதோ சம் ப்ராசஸ் பண்ணனும். பட் ஆக்சனே பண்ணாதப்போ. நான் ப்ராசஸ் பண்ணது

வேஸ்ட் தானே. ஆக்சன்னா எத சொல்றீங்க. இப்ப நான் வந்து அட்லீஸ்ட் அவுட்புட்ட பிரிண்ட் பண்ணனும். பிரிண்டே பண்ணல. ஆனா லாஜிக்

எல்லாம் எழுதிட்டேன். அப்ப அது வேஸ்ட் தானே. சோ ஏதாவது ஒரு ஆக்ஷன் பண்ணனும். சோ ஆக்ஷன் அப்படிங்கறது சேவ்ஃபைலா

இருக்கட்டும் இல்ல கவுண்டா இருக்கட்டும் ஷோவா இருக்கட்டும் கலெக்டா இருக்கட்டும் இத எல்லாமே ஆக்ஷன்ு சொல்லுவாங்க. சோ ஒரு

சில கமண்ட்ஸ் நான் இங்க உங்களுக்கு சொல்றேன். இதெல்லாம் கோடுல நம்ம யூஸ் பண்ணுவோம். இப்ப வந்து குரூப் குரூப்

ஷார்ட் அதுக்கப்புறம் வந்து ரெடியூஸ் பில்டர் இதெல்லாமே பாத்தீங்கன்னா டிரான்ஸ்பர்மேஷன்ு சொல்லுவாங்க. அதே

மாதிரி ஆக்ஷன்ல பாத்தீங்கன்னா கலெக்ட் அதுக்கப்புறம் வந்து ஷோ அதுக்கப்புறம் வந்து கவுண்ட் அதுக்கப்புறம் வந்துட்டு

சேவ் சேவ் அஸ்ஃைல் சேவ் அஸ் டெக்ஸ்ட்ஃபைல் இது எல்லாத்தையுமே வந்து ஆக்ஷன் சொல்லுவாங்க என்னன்னா இதெல்லாமே நம்ம இந்த

குரூப் ஷார்ட் இந்த ட்ரான்ஸ்பர்மேஷன்ல்லாம் பண்ணா டேட்டாவ ட்ரான்ஸ்பார்ம் பண்றோம்னு அர்த்தம்.

கடைசில ஒரு ஆக்ஷன பெர்பார்ம் பண்ணனும் இல்லையா சோ அதை எல்லாம் ஆக்ஷன்ு சொல்லுவாங்க. எப்படி இந்த வேர்ட பார்த்த

உடனே இத ட்ரான்ஸ்பர்மேஷன் இத பார்த்த உடனே நீங்க ஆக்சன் சொல்றீங்க அப்படின்னா பேஸ்ட் ஆன் தி எக்ஸ்பீரியன்ஸ் தான். நீங்க

கீவேர்ட் பாக்க பாக்கவே உங்களுக்கு வந்து இது ட்ரான்ஸ்பர்மேஷன் இது ட்ரான்ஸ்பர்மேஷன் கீவேர்டா இல்ல ஆக்சன்

கீவேர்டாங்கறது தெரிஞ்சிரும். ஓகே சோ இது ஒன்னு. இது எல்லாமே நான் டீடைல்டா அப்கமிங் வீடியோஸ்ல சொல்லுவேன். தனித்தனி

டாபிக்காவே நான் சொல்லுவேன். பட் இது ஒரு இன்ட்ரொடக்ஷன்ல என்ன லெவல் ஆப் இன்ஃபர்மேஷன் இப்போதைக்கு

நீங்க தெரிஞ்சுக்கணுமோ அந்த லெவல் ஆப் இன்ஃபர்மேஷன் மட்டும் நான் இப்ப உங்களுக்கு இன்ஜஸ்ட் பண்ணிட்டு இருக்கேன்.

ஓகே. அதுக்கு அடுத்து பாத்தீங்கன்னா லேஸி எவாலுவேஷன் அப்படின்னு ஒன்னு சொல்லுவாங்க. சோ லேஸி எவாலுவேஷன் அப்படின்னா என்ன?

அததான் இப்ப நான் உங்களுக்கு ட்ரான்ஸ்மேஷன் அண்ட் ஆக்சன்லயே நான் சொல்லிட்டேன். சோ லேஸி எவால்ுவேஷன்னா இப்ப

நான் வந்து ஒரு ஒரு ட்ரான்ஸ்பர்மேஷன் பண்றேன். இப்ப நான் அந்த ட்ரான்ஸ்பர்மேஷன்ல வந்து நான் என்ன

பண்றேன்னா நான் வந்து ஒரு மேப் டிரான்ஸ்பர்மேஷன் பண்றேன். ஒரு டேட்டா இருக்கு இன்புட் இருக்கு. இப்படி

வச்சுக்கோங்க. இன்புட்ல ஒரு மேப் பண்றேன். அதோட அவுட்புட்ல ஒருஃபில்டர் போடுறேன். அதோட அவுட்புட்ல ஒரு குரூப் போடுறேன்.

அதோட அவுட்புட்ல இப்படியே நான் டிரான்ஸ்பர்மேஷன் பண்ணிட்டே போறேன்னு வச்சுக்கோங்களேன் கடைசில நான் இத பிரிண்ட்

பண்ணல அதாவது இந்த ஆக்ஷன் எதுவுமே நான் பண்ணல ஷோ பண்ணல கவுண்ட் பண்ணல சேவ் பண்ணலன்னா நிறைய இருக்கு எதையுமே நான்

பண்ணல அப்ப நான் எதையுமே பண்ணாதப்போ என்னோட ஸ்பார்க் இன்ஜின் என்ன பண்ணும் ப்ராசஸ் எல்லாம் பண்ணிட்டு வெயிட் பண்ணும்

ஏடா இவன் எதையுமே பண்ணல நான் கஷ்டப்பட்டு எதுக்கு அப்புறம் ப்ராசஸ் பண்ணேன் அப்படிங்கறது சோ லேசி எவால்ுவேஷன் ஒன்னு

கொண்டு வந்தாங்க என்னன்னா நீங்க ஒரு கோடு எழுதுறீங்க நான் வந்து இப்ப ஒரு ஒரு கோடு எழுதுறேன் ஒரு 100 லைன் கோடு எழுதுறேன்

இந்த 100 லைன்ல 99 லைன் டிரான்ஸ்பர்மேஷன் அப்படின்னா லாஸ்ட் ஒரு லைன் வந்து ஆக்ஷனா இருக்கணும். இப்போ நீங்க 99 லைன்

ஃபுல்லாமே டிரான்ஸ்பர்மேஷனா பண்ணிட்டு இந்த குரூப் ஷார்ட் ரேடியூஸ் இது மாதிரியே பண்ணிட்டு நீங்க ஆக்ஷன் ஒன்னு கூட யூஸ்

பண்ணலன்னா ஸ்பார்க் ஓடாது. அது சொல்லும் நான் ஏன் வேஸ்ட்டா ஓடணும் மெமரிய வேஸ்ட் பண்ணனும் ரிசோர்ஸ் எடுக்கணும் நீ எதுவுமே

ஆக்ஷன் பண்ணாதப்ப நான் ஏன் ஓடணும் சும்மா ஓகே சோ லேசிலுவேஷன்ா என்னன்னா கோடு வந்து கம்பைல் நீங்க ரன் கொடுத்த உடனே ஸ்பார்க்

என்ன பண்ணனும்னா ஃபர்ஸ்ட் ஆஃப் ஆல் உங்க கோடுல ஆக்ஷன் இருக்கான்னு பார்க்கும். நம்ம ஆக்ஷன் எப்பவும் கடைசில எழுதி

இருப்போம். இப்ப நான் இங்க வந்து ஒரு கலெக்ட்ன்னு ஒரு ஆக்ஷன் போட்டுருக்கேன்னு வச்சுக்கோங்களேன். இந்த கலெக்ட

பார்த்ததுக்கு அப்புறம்தான் அது ஸ்டார்ட்ன்னு சொல்லி ஸ்டார்ட் பண்ணவே ஆரம்பிக்கும். கீழ இருந்துதான் மேல

போகும். பாட்டம் டு டாப் அப்ரோச்னு சொல்லுவாங்க. ஆக்ஷன் இருந்தா நான் ட்ரான்ஸ்பர்மேஷன்ஸ் எல்லாம் எக்ஸகியூட்

பண்ணுவேன். ஆக்ஷன் இல்லைன்னா நீ எழுதி இருக்கிற எந்த ட்ரான்ஸ்பர்மேஷன் லாஜிக்கையுமே நான் எக்ஸகியூட் பண்ண

மாட்டேன்னு சொல்லிட்டு போயிடும். அதைத்தான் லேஸி எவாலுவேஷன் கீழ இருந்து மேல வரதுதான் நம்ம வந்து லேஸி எவாலுவேஷன்ு

நம்ம சொல்லுவோம். சோ இது ரொம்ப ஒரு ரொம்ப அட்வான்டேஜ் ஆன ஒரு பங்க்ஷன் பங்க்ஷனாலிட்டி ஆக்சுவலா லேசி

எவாலுவேஷன்னு சொல்லிட்டு ஏன்னா இது இல்லாத சில கோடுல எல்லாம் நிறைய பேர் வந்து ப்ரோக்ராம் எழுதி ப்ராசஸ் எல்லாம் பண்ணி

பட் எதையுமே பிரிண்ட் பண்ணாமயோ இல்ல ஒரு ஒரு அவுட்புட்டக்குன்னு ஒரு ஆக்ஷன் கொடுக்காமயே வச்சிருப்பாங்க சோ அப்ப

எல்லாம் வந்து தேவையில்லாம அது ஓடும் இல்லையா சோ இந்த லேசி எவால்ுவேஷன் கொண்டு வந்ததே அதை தவிர்க்கணும்

அப்படிங்கறதுக்குதான் சோ இதுல வந்து நம்ம பார்த்தது எல்லாமே பாத்தீங்கன்னா இப்ப இதுவரைக்கும் நம்ம என்ன பார்த்தோம்ன்னா

ஸ்பார்க் பிரேம்வொர்க் பத்தி பார்த்தோம். ஹடுூப்போட ஸ்பார்க்க எப்படி ரிலேட் பண்ணனும்னு பார்த்தோம். என்னென்ன

காம்போனன்ட்ஸ்ோடல்லாம் ஸ்பார்க் இன்டகிரேட் ஆகுங்கறத பார்த்தோம். தென் வாட் இஸ் ஸ்பார்க் பாத்தோம். ஸ்பார்க்கோட

ப்ரோக்ராமிங் லாங்குவேஜ்ோட சப்போர்ட் பார்த்தோம். அண்ட் தென் ஸ்பார்க்கோட டீமன் பேக்ரவுண்ட்ல நான் ஸ்பார்க் இன்ஸ்டால்

பண்ணனா என்ன டீமன்ஸ் ஓடுங்கறத பார்த்தோம். அதே மாதிரி வந்து ஸ்பார்க் வந்து எப்படி எல்லாம் டிப்ளாய் பண்ணலாம்ங்கறது

பார்த்தோம். சோ மூணு டைப் பார்த்தோம். அதே மாதிரி பாத்தீங்கன்னா ஸ்பார்க் ரெப்பல் பார்த்தோம். அதே மாதிரி ஸ்பார்க்ல

மூணுஏபிஐ ஆர்டிடி டேட்டாஃிரேம் டேட்டா செட் என்ன என்னன்னு நான் ஒன்லைனர்ல ரொம்ப பேசிக்காவும் தான் சொன்னேன். நான் இன்னும்

டீடைலாவே சொல்லவே இல்லை. அதுக்கப்புறம் ட்ரான்ஸ்பர்மேஷன் அண்ட் ஆக்ஷன்னா என்னன்னு பார்த்தோம். அதுக்கப்புறம் லேசி

எவால்வேஷன்ா என்னன்னு பார்த்தோம். சோ ஸ்பார்க்கோட இன்ட்ரோடக்ஷன் பொறுத்தவரைக்கும் உங்களுக்கு இந்த

அளவுக்கு இன்பர்மேஷன் இப்போதைக்கு தெரிஞ்சிருந்தா போதும் இந்த வீடியோல. சோ நான் அப்கமிங் வீடியோல பாத்தீங்கன்னா

ஸ்பார்க் எப்படி இன்ஸ்டால் பண்றது ஃபர்ஸ்ட் ஸ்டாண்ட் அலோன்ல எப்படி இன்ஸ்டால் பண்றது அப்புறம் ஹடுூப் மேல

எப்படி இன்ஸ்டால் பண்றது அதுக்கப்புறம் அதுல பிராக்டிகல்ஸ் எப்படி பண்றதுன்னு பார்ப்போம். அதே மாதிரி இதுல வந்து இந்த

rர்டி டேட்டாஃிரேம் டேட்டா செட்டே ஒரு பெரிய டாபிக் ஆக்சுவலா சோ அது எல்லாமே நம்ம தனித்தனியா பார்ப்போம். சோ தேங்க்ஸ்

பார் வாட்சிங் aடு knowledge.com இந்த வீடியோ உங்களுக்கு பிடிச்சிருந்துன்னா சப்ஸ்கிரைப் பண்ணுங்க. உங்க பிரண்ட்ஸ்

அண்ட் கொலிக்குஃபார்வர்ட் பண்ணுங்க. எங்களோட சேனல்ல நிறைய டெக் வீடியோஸ் இங்கிலீஷ்லயும் தமிழ்லயும் இருக்கு. அதே

மாதிரி இந்த வீடியோ எல்லாம் உங்களுக்கு பிடிச்சிருந்துன்னா ப்ளீஸ் உங்களோட லிங்கடின்ல வந்து இதை ஷேர் பண்ணுங்க.

என்னோட லிங்கடின் urlும் என்னோட இடாகரா urlும் டிஸ்கிரிப்ஷன் பாக்ஸ்ல இருக்கு. நீங்க என்ன காண்டாக்ட் பண்ணனும்னு

நினைச்சீங்கன்னா அது வழியா நீங்க பண்ணலாம். சோ உங்க சப்போர்ட் எங்களுக்கு கொடுங்க. சோ தேங்க்ஸ் forர் வாட்சிங் aடு

knowledge.com

Apache Spark-ஐ கற்க என்ன முன்நிபந்தனைகள் தேவை?

Spark vs Hadoop-க்கு இடையே உள்ள முக்கிய வேறுபாடுகள் என்ன?

Spark-ன் Architecture-ல் உள்ள முக்கிய components என்னென்ன?

Spark-ல் Transformation மற்றும் Action இடையே உள்ள வேறுபாடு என்ன?

Spark-ன் மூன்று முக்கிய APIs (RDD, DataFrame, Dataset) எவ்வாறு வேறுபடுகின்றன?

Spark ஐ எந்த Deployment Modes-ல் இயக்கலாம்?

Spark எந்த data storage systems-உடன் ஒருங்கிணைக்கப்படும்?

Keep this summary

Save it to LunaNotes and it becomes a real note in your library — editable, searchable, and ready to turn into flashcards or a diagram. Free to start.

Save to LunaNotes

Or summarise for another video.

32K+ people have turned 65K+ videos into notes

“Very useful tool. I'm using it for the last couple weeks and I'm loving it so far. Makes learning on YouTube a great experience.”

Bhai Chrome Web Store review

This summary and transcript were automatically generated using AI with the Free YouTube transcript summary tool by LunaNotes.

Related summaries

The Ultimate Guide to Apache Spark: Concepts, Techniques, and Best Practices for 2025

This comprehensive 6-hour masterclass covers everything you need to know about Apache Spark in 2025, from architecture and transformations to memory management and optimization techniques. Learn how to effectively use Spark for big data processing and prepare for data engineering interviews with practical insights and examples.

Comprehensive Apache Hive Tutorial: Installation, Features, and Queries

Explore Apache Hive in this detailed tutorial covering its architecture, installation on Windows, key features, data models, and query operations. Learn how to create databases, tables, partitions, buckets, and perform SQL-like queries including joins, group by, and functions with practical demos.

தமிழ்நாடு வளர்ச்சி நிர்வாகம் – Unit 5 முழு விளக்க வகுப்பு | TNPSC தேர்வுக்கான 10 முக்கிய கேள்விகள்

இந்த வீடியோ தமிழ்நாட்டின் வளர்ச்சி நிர்வாகம் பற்றிய யூனிட் 5-ஐ முழுமையாக விளக்குகிறது. பாடத்திட்டம், பள்ளி புத்தகங்களில் உள்ள முக்கிய தலைப்புகள் மற்றும் தேர்வில் கேட்கப்படும் 10 முக்கிய கேள்விகள் பற்றி விரிவாக விளக்கப்பட்டுள்ளது. 90% பாடத்திட்டம் பள்ளி புத்தகங்களில் இருந்தே வருகிறது, எனவே இந்த வீடியோ உங்கள் TNPSC தயாரிப்புக்கு மிகவும் பயனுள்ளதாக இருக்கும்.

Gestione dei File e dei Processi in Informatica: Un'Introduzione Completa

Il video tratta la gestione dei file e dei processi in informatica, evidenziando l'importanza di salvare i dati in modo permanente e le differenze tra memoria RAM e dischi rigidi. Viene anche discusso il funzionamento dei file system e la frammentazione dei dati.

How Infosys Drives Enterprise AI Transformation and Innovation

Explore how Infosys is leading the AI revolution by enabling enterprises to modernize legacy systems, implement AI-first strategies, and harness scalable AI solutions across industries like manufacturing, financial services, and telecom. Insightful examples and frameworks highlight the journey from experimentation to enterprise-scale AI adoption.

Start taking better notes today with LunaNotes

Start for free