૩જી જુનની યોજના હેઠળ ૬૦૦થી વધુ રજવાડાઓને ભારત કે પાકિસ્તાનની સાથે જોડાઈ જવાની કે પછી સ્વતંત્રતા સ્વીકારવાની તક આપવામાં આવી હતી. ભારતીય રાષ્ટ્રીયતાવાદીઓ તેમજ આમ જનતાના ઘણા ખરા ભાગને ડર હતો કે જો આ રજવાડાઓનો સમન્વય નહીં થાય તો મોટાભાગનો જન સમુદાય તેમજ પ્રાંતો ખંડિત રહી જશે. કૉંગ્રેસ તેમજ ઉપરી અંગ્રેજ અધિકારીઓનું માનવું હતુ કે રજવાડાઓને ભારતના રાજ્ય સંગઠનમાં સમન્વિત કરવાની કામગીરી સરદાર ઉત્તમ રીતે પાર પાડી શકશે. ગાંધીજીએ સરદારને કહ્યું હતુ કે “રાજ્યોનો મામલો એટલો મુશ્કેલ છે કે માત્ર તમેજ તેને ઉકેલી શકશો.” સરદારની ગણના પ્રમાણિક અને વ્યહવારુ નિર્ણય લેવાની શકિત ધરાવતા મુત્સદ્દી રાજનીતિજ્ઞ તરીકે થતી હતી કે જેઓ મહત્વનું કામ સફળતાથી પાર પાડી શકતા હતા. સરદારે વી.પી.મેનનને, કે જેઓ ઉપરી સરકારી સનદી હતા તેમજ ભારતના ભાગલા વખતે સરદાર સાથે કામ કરી ચુક્યા હતા, રાજ્ય ખાતામાં મુખ્ય સચિવ બની તેમના ખાસ સહયોગી બનવા કહ્યું હતુ. ૬ મે ૧૯૪૭ થી સરદારે રાજાઓની સાથે મંત્રાણા ચાલુ કરી પોતાની વાત રજુ કરી હતી કે જેના થકી રાજાઓ ભારતની બનવાવાળી સરકાર સાથે મંત્રણા કરવા રાજી થાય તથા સંભવિત ઘર્ષણો ઉભા ન થાય તેની તકેદારી લઈ શકાય.
સરદારે સામાજીક મુલાકાતો તેમજ અનૌપચારીક વાતાવરણ, જેમકે તેમના દિલ્હી ખાતેના ઘરે જમવા કે ચા માટે બોલાવીને મોટાભાગના રાજવીઓને વાટાઘાટોમાં સામેલ કર્યા હતા. આ મુલાકાતો વખતે તેમણે કહ્યું હતુ કે કૉંગ્રેસ તથા રાજરજવાડાઓ વચ્ચે કોઈ મુળભુત તકરાર છે નહીં, છતાં તેમણે એ વાત ઉપર ભાર આપ્યો હતો કે ૧૫ ઓગસ્ટ ૧૯૪૭નાં દિવસે રજવાડાઓએ સદ્ભાવનાથી ભારતની સાથે સમન્વિત થઈ જવું રહેશે. સરદારે રાજવીઓની સ્વદેશાભિમાનની લાગણીને ઉશ્કેરતા કહ્યું કે તેમણે એક જવાબદારી ભર્યા શાસકની જેમ, કે જેમને પોતાની જનતાના ભવિષ્યની કદર હોય, પોતાના રાજ્યની સ્વતંત્રતામાં સહભાગી થવુ જોઈએ. તેમણે ૫૬૫ રાજવીઓને એ બાબત ઉપર સંમત કર્યા હતા કે તેમની પ્રજાની લાગણીઓ વિરુદ્ધ જઈને ભારતથી સ્વતંત્ર રહેવું તે અશક્ય જણાતું હતું. તેમણે વિલિનીકરણ માટે રાજવી સામે સાનુકુળ શરતો મુકી કે જેમાં રાજવીઓના વંશજો માટે અંગત ખર્ચ મુડીની પણ જોગવાઈ કરાઈ હતી. રાજવીઓમાં દેશપ્રેમની લાગણીને ઉશ્કેરતી વખતે સરદારે જો જરૂર પડે તો બળનો રસ્તો અપનાવાનો વિકલ્પ પણ ખુલ્લો રાખ્યો હતો અને વિલિનીકરણના દસ્તાવેજો ઉપર સહી કરવાની છેલ્લી તારીખ ૧૫ ઓગસ્ટ ૧૯૪૭ની રાખી હતી. ૩ને બાદ કરતા બીજા બધા રજવાડાઓ ભારતમાં વિલીન થઈ ગયા, પણ માત્ર જમ્મુ કાશ્મિર, જુનાગઢ તથા હૈદરાબાદ સરદારની સાથે સંમત નહી થયા.
સરદારનું પોતાનુ વતન ગુજરાત હોવાને કારણે તેમના માટે જુનાગઢ ખુબ મહત્તવનું હતુ. સર શાહનવાઝ ભુત્તોના દબાણને વશ થઈને ત્યાંના નવાબે પાકિસ્તાનમાં વિલિનીકરણ સ્વીકાર્યું કે જ્યારે તે પાકિસ્તાનથી ઘણું દુર હતું તેમજ ત્યાંની ૮૦ ટકા પ્રજા હિંદુ હતી. સરદારે મુત્સદ્દીગીરી તથા બળનો સમન્વય કરતા નવાબ પાસે માંગણી કરી હતી કે તેઓ પાકિસ્તાન સાથેના વિલિનીકરણને રદ્ કરીને ભારત સાથે સમન્વિત થઈ જાય. તેમણે પોતાનો ઈરાદો પુરવાર કરવા જુનાગઢની હકૂમત નીચેના ૩ પ્રદેશોનો તાબો લેવા સેનાને મોકલી હતી. મોટાપાયાના આંદોલનો તેમજ લોક સરકાર, કે જેને ‘આરઝી હુકુમત’ કહેવામા આવી, તેના બન્યા પછી ભુત્તો તેમજ નવાબ બન્ને કરાચી પલાયન થઈ ગયા અને સરદારના આદેશાનુસાર ભારતિય સેના તેમજ પોલીસની ટુકડીઓએ રાજ્યમાં કુચ કરી તાબો લીધો. ત્યાર બાદ લેવાયેલા મતદાનમાં ૯૯.૫ ટકા મતો ભારત સાથેના વિલિનીકરણની તરફેણમાં પડ્યા હતા. જુનાગઢનો તાબો લીધા બાદ ત્યાંની બહાઉદ્દીન કોલેજમાં ભાષણ આપતી વખતે સરદારે હૈદરાબાદ માટેની ઉત્સુકતા વર્ણવી હતી કે જે તેમના મતે ભારત માટે કાશ્મિર કરતાં પણ વધુ મહત્તવનું રાજ્ય હતું. તેમણે કહ્યું હતુ કે:
“જો હૈદરાબાદ દિવાલ ઉપરના લખાણને અવગણશે તો તેની પરિસ્થિતી પણ જુનાગઢ જેવી થશે. પાકિસ્તાને કાશ્મિરને જુનાગઢની બદલે લેવાનો પ્રયત્ન કર્યો. જ્યારે અમે લોકશાહીથી મામલાને ઉકેલવાનો સુઝાવ કર્યો ત્યારે તેમણે (પાકિસ્તાને) તુરંત જવાબ આપ્યો કે જો આપણે કાશ્મિર માટે તેમ કરશું તો તેઓ તૈયાર છે. અમારો પ્રત્યુત્તર હતો કે જો તમે હૈદરાબાદ માટે તૈયાર હો તો અમે કાશ્મિર માટે તૈયાર છીએ.”
હૈદરાબાદ બધા રજવાડાઓમાં સૌથી મોટું હતું અને અત્યારના આંધ્ર પ્રદેશ, કર્ણાટક તથા મહારાષ્ટ્રના ભાગોનો તેમાં સામાવેશ થતો હતો. ત્યાંના શાસક નિઝામ ઓસ્માનઅલી ખાં મુસ્લિમ હતા પણ ૮૫ ટકા પ્રજા હિંદુ હતી. નિઝામને સ્વતંત્રતા કે પછી પાકિસ્તાન સાથે સમન્વય જોઈતો હતો. રઝાકર તરીકે ઓળખાતા કાઝી રાઝવી હેઠળના મુસ્લિમ દળો કે જે નિઝામ પ્રત્યે નિષ્ઠા ધરાવતા હતા તેમણે નિઝામ ઉપર ભારત સામે ઉભા રહેવા માટે દબાણ કર્યું હતું અને સાથોસાથ સામ્યવાદી લડાઈખોરો સાથે મળીને ભારતની ભુમી ઉપર વસતા લોકો ઉપર હુમલાઓ કર્યા હતા. લડાઈ ટાળવાના લોર્ડ માઉન્ટબેટનના અત્યંત પ્રયાસ બાદ હયાતીમાં આવેલા સ્ટેન્ડ સ્ટિલ (જેમ છો તેમ) કરાર છતા નિઝામ દરખાસ્તો ઠુકરાવીને પોતાનું વલણ બદલતા રહ્યા. સપ્ટેમ્બર ૧૯૪૮માં સરદારે મંત્રીમંડળની બેઠકમાં ભાર પુર્વક કહ્યું હતું કે ભારતે વધારે સહન ન કરવું જોઈએ અને તેમણે નેહરુ તથા ચક્રવર્તિ રાજગોપાલાચાર્ય ને લશ્કરી કાર્યવાહી માટે મનાવી લીધા હતા. તૈયારીઓ બાદ, જ્યારે નેહરુ યુરોપની યાત્રા ઉપર હતા ત્યારે કાર્યવાહી પ્રધાનમંત્રી તરીકે સરદારે ભારતીય સેનાને હૈદ્રાબાદને ભારતમાં સમન્વિત કરવાનો નિર્દેશ આપ્યો હતો. આખી યોજનાને ઓપરેશન પોલોનું નામ આપવામાં આવ્યું કે જેમાં હજારો રઝાકાર દળના સભ્યો મરણ પામ્યા, પણ જેના અંતે હૈદરાબાદનું ભારતમાં સંપુર્ણપણે વિલણીકરણ થઈ ગયું. લોર્ડ માઉન્ટબેટન તથા નેહરુનો બળ નહી વાપરવા પાછળનો હેતુ હિંદુ – મુસ્લિમ હિંસા ટાળવાનો હતો, પણ સરદારનો ભારપુર્વક મત હતો કે જો હૈદરાબાદને તેનો અઢંગા ચાળા ચાલુ રાખવા દીધા હોત તો સરકારની પ્રતિષ્ઠાને હાની પહોંચી હોત અને હિંદુ કે મુસ્લિમ કોઈ તેના રાજમાં સુરક્ષિતતાનો અનુભવ ન કરત. નિઝામને હરાવ્યા બાદ સરદારે તેમને રાજ્યના ઔપચારિક પ્રમુખ તરીકે રહેવા દઈ તેમની સાથે વાટાઘાટો કરી હતી.
