اسکریمینگ فراگ چیست؟

در پادکست طراح وبسایت به معرفی نرم افزار اسکریمینگ فراگ سئو اسپایدر پرداختیم.

میتونید این پادکست رو در اپلیکیشن های مختلف پادکست مثل گوگل پادکست، اپل پادکست، ناملیک، کست باکس، شنوتو، فیدیبو، پادبین و سایر پادگیرها گوش کنید.

میتونید در ادامه به این پادکست گوش کنید و متن پادکست رو هم مشاهده کنید.

همه ما حداقل یکبار پامون به مطب پزشکان و یا بیمارستان های مختلف باز شده.

اولین کاری که یک پزشک انجام میده زمانی که با یک بیماری روبرو میشه این هستش که بیمار رو معاینه میکنه. حالا با استفاده از ابزارهای مختلفی مثل فشارسنج،گوشی پزشکی یا همون چوب بستنی ما رو معاینه میکنه تا متوجه بشه که علائم بیماری که داریم چی هستش و شروع بکنه به تصمیم گرفتن برای نسخه پیچیدن برای بیمار.

ما توی فرآیند سئو یه سری وسایل و ابزار داریم که باهاش میتونیم وب‌سایت‌های مختلف را معاینه کنیم یا به قولی آنالیزشون بکنیم و ایرادهایی که دارند را پیدا بکنیم و اون ایرادها رو برطرف بکنیم و وب سایت رو بهبود بدیم.

یکی از اصلی ترین اون ابزارها، ابزاری هست به اسم ابزار اسکرینینگ فراگ سئو اسپایدر که تقریبا میشه گفت که ۹۰ درصد کارهایی رو که ما به عنوان یک کارشناس سئو برای بهینه سازی وب سایت مون نیاز داریم که روی وب سایت آنالیز بکنیم و اونها رو مشخص بکنیم در اختیارمون می‌گذاره. میتونید از صفحه دانلود اسکریمینگ فراگ این نرم افزار رو برای سیستم عامل های مختلف دانلود کنید.

من مجید عابد هستم و امروز به درخواست پادکست طراحی وب سایت در خدمت شما هستم تا در مورد یکی از قوی ترین ابزارهای سئو با همدیگه صحبت کنیم.

قرار نیست توی این پادکست به آموزش نرم افزار بپردازیم اگه نیاز داشتید که آموزش این نرم افزار رو مشاهده بکنید میتونید توی گوگل سرچ کنید آموزش اسکریمینگ فراگ و آموزش‌ها را مشاهده بکنید.

البته یک نکته ای که وجود داره اینه که اسم اصلی این نرم افزار سئو اسپایدر هست و گروه تولید کننده این نرم افزار یعنی گروه اسکریمینگ فراگ دو تا نرم افزار مختلف دارند به اسم سئو اسپایدر و لاگ فایل آنالیزر که هر دوشون نرم افزار های قدرتمند هستند ولی توی ایران معمولاً این نرم افزار رو به اسم اسکریمینگ فراگ می‌شناسند.

اول از همه باید خدمتتون عرض کنم که نرم افزار سئو اسپایدر گروه اسکیمینگ فراگ یکی از قدرتمندترین نرم افزار های سئو هست که در واقع یک کرالر هست که امکانات فوق‌العاده زیادی داره و به شما کمک می کنه تا وب سایتتون رو مشابه گوگل را کراول کنید و جزئیات وب سایتتون رو پیدا بکنید.

در مورد این نرم افزار باید خدمتتون عرض کنم که کارایی های فوق العاده زیادی داره. یکی از کارایی های اصلی اون این هستش که برای تولید کننده های محتوا و برای نویسنده های عزیز میتونه این ویژگی را داشته باشه که به راحتی وبسایت مورد نظرشان را بررسی کنند و تمام جزئیات مربوط به سئوی کانتنت و آن پیج سئو رو داخل وب سایتشان بررسی کنند.

اینکه تایتل صفحات به چه صورتی هستش؟

آیا تایتل صفحات تکراریه؟

یا اصلا بعضی از افراد براشون تایتل وارد نشده و یا از نظر اندازه خیلی کوتاه یا خیلی بلند هستش

و همینطور در مورد متا دسکریپشن، در مورد هدینگ های مختلف سایت و در مورد آیتم های مختلفی که در اون صفحات وجود داره تک تکشون رو بررسی کنند.

یکی دیگه از امکاناتش این هستش که به شما امکان این رو میده که محتوا های تکراری داخل وب سایتتون رو پیدا بکنید.

این ویژگی به دو صورت هست:

یکی اینکه میتونید با بررسی کردن تایتل ها و متا دسکریپشن‌های تکراری متوجه بشید چه صفحاتی تکراری هستند و دوم اینکه میتونه محتوای وب سایت شما رو از طریق MD5 بررسی بکنه و آنالیز بکنه دقیقاً و ببینه که محتوای وب سایت شما چند درصد شبیه به همدیگه هستند، صفحات مختلف وب سایت شما چند درصد شبیه به همدیگه هستند و میتونید درصدی تعریف کنید به طور مثال بگید که اگر صفحاتی بالای ۹۰ درصد شبیه به همدیگه بودن اونها را به شما نشون بده و تغییرات در صفحه اعمال بکنید که صفحات تکراری تون مشکلش برطرف بشه.

یکی دیگه از کارایی های خوبش توی همین موضوع محتوا این هستش که میتونه به شما محتوای ضعیف وب سایتتون رو نشون بده. به چه صورت؟ به این صورت که دقیقا بعد از اینکه وب سایت شما رو کراول کرد لیستی از صفحات محتوا رو به شما نشون میده و شما میتونید محتوا رو براساس تعداد کلماتی که داخل صفحه بکار رفته سورت بکنید و ببینید چه صفحاتی از وب سایت شما تعداد کلمات کمتری درشون استفاده شده و اون صفحات را اگر نیاز هستش بهینه‌سازی بکنید. اگر نیاز هست نو ایندکسشون بکنید یا لینک های به اون صفحات رو نوفالو بکنید و  تغییراتی که لازم هستش رو اعمال بکنید.

نکته دیگه اینکه در مورد محتوای وب سایتتون، شما حتما داخل صفحات تون از تصاویر مختلف استفاده میکنید. یک قسمتی رو این نرم‌افزار داره که به شما این امکان رو میده که تصاویر مختلف به کار رفته در وب سایتتون رو لیستشون را مشاهده بکنید و ببینید چه تصاویری Alt Text براشون نوشته نشده یا Alt Text خیلی کوتاه یا خیلی بلندی براشون نوشته شده و اونها را اصلاح کنید. همینطور میتونه به شما تصاویر رو از نظر حجمشون لیست بکنه و براتون نمایش بده و تصاویری رو که به طور مثال بالای ۱۰۰ کیلوبایت هستند اندازه شون رو به شما نمایش بده و اونها رو Optimize کنید.

البته خیلی از تنظیمات این نرم‌افزار رو میتونید شما سفارشی کنید و تغییر بدید به طور مثال همین اندازه پیش فرض تصاویر بزرگ رو میتونید از ۱۰۰ کیلوبایت بالاتر یا کمتر ببرید یا تعداد کاراکترهای تایتل و دسکریپشن و فیلدهای دیگه رو میتونید تغییر بدید. بهش بگید که مثلاً من دوست دارم تایتل های بالای ۷۰ کاراکتر به من گزارش بدی و بگی که این ها بزرگ هستند.

تقریبا میشه گفت خیلی از بخش های نرم افزار رو شما میتونید Customize و سفارشی بکنید و بنا به نیاز خودتون تغییراتی بدید که گزارش‌های بهتری تهیه کنید.

دوباره یکی از ویژگی های خوبی که توی زمینه محتوا این نرم افزار در اختیار شما می‌گذاره این هستش که میتونه صفحات مختلف تون رو از نظر املایی و نگارشی بررسی بکنه و به یک ای‌پی‌آی اوپن سورس دسرستی داره و غلط های املایی رایج و غلط های نگارش و ویرایش ای رو به شما نمایش بده و شما استفاده کنید.

البته لازم هستش که این قسمت از قبل برای نرم افزار تنظیم شده باشه.

ویژگی دیگه اش بکه به درد کارشناس‌های محتوا میخوره این هستش که این نرم افزار توانایی این رو داره که نوشته خاصی رو شما براش تعریف بکنید و بگید که مثلاً هر جا اسم من رو دیدی اون رو اکسترکت کن و صفحاتی که حاوی اسم برند من هستن رو به من نمایش بده و امکانات اکسترکشن خیلی جالبی داره این نرم افزار و به غیر از اون، شما میتونید برای بیرون کشیدن دیتای یک وبسایت از این نرم افزار استفاده کنید.

البته باید توجه کنید که اون دیتا باید شما دسترسی بهش داشته باشید و اگر به صورتی رمزگذاری شده یا جلوی اون گرفته شده این نرم افزار نرم افزاری نیست که من بخوام برای هک کردن و یا کاربردهای دیگر به شما پیشنهاد بدم.

شما به طور مثال می‌توانید فیلدهای محصولات مختلف یا تصاویر مختلف رو داخل یک سایت معروفی، داخل یک فروشگاه آنلاین به طور مثال مثل دیجی کالا داخل نرم افزار تعریف بکنید و بگید که تک تک اجزای داخل صفحه رو برای من اکسترکت کن.

تمام نام محصول ها، تمام تصاویر محصول ها، تمام جزئیات دیگه و بعداً از این گزارشی که گرفته شده دوباره داخل سایت خودتون ایمپورت بکنید و جای دیگه ازش استفاده بکنید، این قابلیت خیلی قابلیت خوبی که من شخصا ازش خیلی استفاده می کنم.

یعنی اگه بخوام خلاصه بهتون بگم اگر محتوایی که شما دارید استفاده می کنید داخل سایت های دیگه وجود دارند خیلی راحت میتونید بدون اینکه اون محتوا را دوباره داخل سایتتون بنویسید از اون سایت اکسترکت بکنید و داخل سایت خودتون ایمپورتش بکنید.

از این نرم افزار من برای فرایند کیورد ریسرچ هم استفاده های خیلی خوبی می کنم.

یکی از کاربردهاش این هستش که در مورد همون اکسترکشن که خدمتتون عرض کردم برای نرم‌افزار تعریف می کنم که تمام انکر تکست های لینک‌های موجود در سایت مورد نظرم رو برای من خروجی بگیره و من یک لیستی از کلماتی که داخل سایت رقیبم لینک سازی داخلی شده رو ازش استفاده میکنم.

همینطور با این نرم افزار من لیستی از کلمات کلیدی مورد نظرم رو داخل گوگل سرچ میکنم و ریلیتد کیورد ها رو به سادگی بیرون میکشم.

و یکی دیگه از امکانات این نرم افزار این هستش که با اون میتونید فرایند کیورد مپینگ رو انجام بدید.

یعنی به طور مثال یک لیستی از کلمات کلیدی دارد و یک لیستی از صفحات وب سایت دارید و می‌خواهید تعریف و مشخص بکنید که هر کیورد مربوط به چه صفحه ای هست.

این کار رو هم میتونید با استفاده از این نرم‌افزار انجام بدید.

خب، از کاربرد های مربوط به کانتنت و کیورد ریسرچ که بگذریم یکی از مهمترین کاربردهای این نرم افزار که عمدتاً از این نرم افزار به این دلیل استفاده می‌کنند موضوع تکنیکال سئو هستش.

شاید بشه گفت مهمترین قابلیت این نرم افزار این هستش که میتونه تمام خطاهای به وجود اومده داخل وب سایتمون رو زمانی که یک کراولر مثل گوگل وب سایت رو بررسی می‌کنه به ما نشون بده.

یعنی شما میتونید تمام ریدایرکت های داخل سایت تون را مشاهده کنیم و اگر نیاز هست اصلاحشون بکنید.

میتونید تمام خطاهای مربوط به کاربر خطای ۴۰۳، ۴۰۴ و امثال اینها را مشاهده بکنید و اگر نیاز هست اصلاحشون بکنید.

میتونید خطاهای سرور خطای ۵۰۳ و خطاهای دیگه رو بررسی بکنید.

و همینطور تمام صفحاتی که NoIndex هستند یا NoIndex نیستند و موارد مشابه رو دقیقاً بررسی کنید.

ضمنا شما میتونید برای نرم افزار تعریف کنید که آیا وب سایت شما باید به صورت متنی بررسی کنه یا وب سایت شما رو باید به صورت جاوا اسکریپت رندر بکنه و جزئیات خیلی خوبی برای این مورد داره.

ضمنا میتونید براش تعریف بکنید که فایل robots.txt وب سایت شما رو در نظر بگیره یا در نظر نگیره و یا اینکه در نظر نگیره و به شما گزارش بده که چه صفحاتی توسط فایل robots.txt محدود شدن.

همینطور شما اگه بخواید تخصصی‌تر سایتتون رو کرال کنید میتونید User Agent String خاصی رو برای نرم افزار تعریف بکنید و بگید که به طور مثال وبسایت من رو از دید ربات های گوگل ببین یا وبسایت من رو از دید مرورگر فایرفاکس ببین یا با دیوایس موبایل وب سایت من رو ببین و در صورتی که وب سایت شما برای یک User Agent String خاص به صورت متفاوتی نمایش داده میشه کاملا میتونید از این قضیه آگاه بشید.

شما میتونید مشکلاتی که دیده میشه رو با User Agent های مختلف مشاهده بکنید و برطرف کنید.

یکی دیگه از قابلیت‌های خوب این نرم‌افزار این هستش که در صورتی که شما از  CMS خاصی استفاده میکنید و اون CMS امکان ایجاد کردن سایت مپ XML برای شما نداره رو میتونید خیلی راحت با این نرم افزار یک سایت مپ XML به سادگی بسازید و اون رو داخل هاستون آپلود کنید و ازش استفاده بکنید.

این ابزار امکان اتصال به گوگل آنالیتیکس، گوگل سرچ کنسول، PageSpeed Insights ، Majestic ، Ahrefs و Moz رو داره که هر کدوم از اینها دیتای خیلی خوبی به گزارش شما اضافه می‌کنن.

یکی دیگه از قابلیت‌های خوب این ابزار، موضوع استراکچرد دیتاها هستند.

این ابزار میتونه با کرال کردن وب سایت شما تمام استراکچرد دیتا های به کار رفته در وب سایتتون رو پیدا بکنه و اگر خطایی در اونها وجود داره رو به شما گزارش بده که بتونید بررسی کنید و مشکل اونها رو حل بکنید.

با متصل شدن به API ابزار گوگل سرچ کنسول به شما امکانات خیلی زیادی داده میشه.

مثلا می تونید صفحات بی پدر و مادری رو که از صفحات دیگه بهشون لینک داده نشده رو پیدا بکنید یا صفحاتی که توی گوگل نیستن یا صفحاتی که اصلا قابل ایندکس شدن نیستن رو هم ببینید و اگر مشکلی دارن مشکلاتشون رو حل بکنید.

یکی از قابلیت های خوب این برنامه قابلیت بررسی کردن URLهای صفحات مختلف شماست میتونه به شما بگه تو چه URLهایی کارکترهای لاتین کارکترهای غیرفارسی کارکترهای ویژه و امثال اینها استفاده شده

تو چه URLهایی آندرلاین استفاده شده تو چه URLهایی چندتا اسلش استفاده شده و امثال اینها

همینطور برای ساختار URL وبسایتتون به شما یک نمودار درختی خیلی خوب از وبسایتتون میده و میتونه تصویر سازی کنه از ساختار لینک سازی داخلی وبسایتتون

یه سری امکانات هم برای بررسی اولیه امنیتی وبسایتتون داره امکاناتی مثل اینکه چه URLهای شما از http استفاده کردن و چه URLهایی از https و امکاناتی مثل استفاده ازHSTS Header و امکانات دیگه ای شبیه به اینها.

ولی خب یکی از امکاناتی که من برای موضوع امنیت ازش استفاده می کنم این هستش که لینک های خارجی که داخل وبسایتم هستند رو بررسی می‌کنم و نگاه می کنم ببینم که چه لینک های خارجی در چه صفحاتی وجود داره و آیا این ها رو خودمون یا کاربر های معمولی وبسایتمون ساختیم و یا اینکه به صورت غیرمجاز ایجاد شدند و اونها رو پیدا می‌کنم و مشکلشون رو برطرف میکنم.

باید اضافه کنم که این ابزار یک ابزار آنالیز امنیتی و یک ابزار هک نیست و برای آنالیز امنیتی وبسایتتون حتماً باید از ابزارهای دیگه ای استفاده کنید که اون خودش یک بحث جداگانه داره ولی خوب این برنامه میتونه به شما دیتای خیلی خوبی بده که خب بخشی اش هم میتونه توی امنیت وبسایتتون بهتون کمک کنه.

یکی دیگه از کاربردهای این نرم افزار استفاده اون در لینک سازی هست. خب لینک های داخلی رو که گفتم، تمام لینک های داخلی رو به شما نشون میده و میتونید انکرتکست‌ها رو هم با امکاناتی که برای اکسترکشن داره پیدا بکنید و استفاده بکنید.

ولی برای لینک سازی خارجی هم حتی این نرم‌افزار کاربردهایی داره، مثلاً یکی از کاربرد هایی که ما قدیم برای لینک سازی کامنتی ازش استفاده می کردیم این بود که یک وبسایت رو کراول بکنیم و نگاه بکنیم ببینیم که چه صفحاتی از این وبسایت، صفحات بلاگ پست این هستن؟ و هرکدوم از این بلاگ پست ها چه پیج آتوریتی دارن؟ و نگاه بکنیم ببینیم هر کدوم از این بلاگ پست ها چند تا لینک خارجی داخلشون وجود داره؟ و تو صفحاتی که PA بالایی دارن  یعنی پیج آتوریتی بالایی دارن و لینک خارجی کمتری دارن، ما لینک سازی کنیم. حالا به صورت کامنت یا به صورت هماهنگی باشون، ریپورتاژ یا امثال اینها

خب طبیعتا ما میتونیم با استفاده از این ابزار کنونیکال بودن صفحاتی هم که میخوایم توشون لینک سازی انجام بدیم رو هم بررسی کنیم، نو ایندکس بودن، یا اینکه لینک‌ها نوفالو هستن یا نیستن رو هم بررسی بکنیم و مثال هایی مثل مثالی که خدمتتون عرض کردم.

البته میگم این نرم افزار، نرم افزاری نیستش که چهار تا امکانات خیلی ساده داشته باشه و به شما بگم که فقط همین چهار تا کار رو باهاش میتونید انجام بدید.

هر چقدر که ذهنتون باز باشه برای سئو، در صورتی که تمام امکانات این نرم افزار رو آموزش دیده باشید میتونید از بخش‌های مختلف این نرم‌افزار برای کاری که مد نظرتون هستش استفاده کنید.

یه قابلیت خوب دیگه که این برنامه داره این هستش که میتونید کرال های مختلفی رو توی بازه های زمانی مشخص شده به صورت اتوماتیک با این نرم افزار انجام بدید و گزارشاتتون رو به صورت اتوماتیک توی گوگل درایو یا گوگل شیت آپلود بکنید و یا حتی متصلش بکنید به ابزار گوگل دیتا استودیو و یک کار حرفه ای باهاش بسازید.

ضمناً ما داریم این گزارشات رو میگیریم که در نهایت مشکلات رو پیدا بکنیم و برطرفشون کنیم و در نهایت ما باید یک گزارشی تحویل بدیم و بگیم این کارها رو کردیم.

بنابراین ما لازمه که بتونیم دو تا کرال مختلف رو با همدیگه کامپیر یا مقایسه بکنیم.

یعنی چی؟ یعنی مثلاً ۶ ماه پیش یه کرال انجام دادیم به ما گفته که این خطاها و این مشکلات وجود داره، دادیم این خطاها و مشکلات رو تیم‌های مختلف وبسایت حل و برطرف کردن، الان یک کراول دیگه می گیریم و به ما نشون میده که این خطاها وجود داره، این خطاها وجود نداره و این دو تا کرال رو با هم دیگه کامپیر میکنیم توی نرم افزار و نگاه می‌کنیم ببینیم چه مشکلاتی بر طرف شده، چه مشکلاتی برطرف نشده و یا شاید هم حتی مشکلات جدیدی  اضافه شده.

مجدداً باید اشاره بکنم که امکانات این نرم افزار محدود به مواردی که من گفتم نیستش و ممکنه که شما نیاز دیگه ای داشته باشید، چیز دیگه ای تو ذهنتون باشه و وقتی که با این نرم افزار دارید کار می‌کنید و از این نرم افزار استفاده میکنید متوجه بشید که قابلیت های دیگه ای داره و من نگفتم.

خیلی راحت میتونید توی گوگل سرچ بکنید آموزش های مختلفی هم رایگان هم پولی براش وجود داره دانلود بکنید، تهیه بکنید و آموزش ها رو ببینید از این نرم افزار استفاده بکنید امیدوارم که بتونه کارتون رو راه بندازه.

خیلی ممنونم

خدانگهدار