محتوای پنهان وب بخش‌هایی از وب است که توسط موتورهای جستجو ایندکس نمی‌شوند. اکثر ما فکر می‌کنیم موتورهای جستجویی مانند گوگل و بینگ مانند اوراکل بزرگ در سه‌گانه ماتریکس هستند و هرچه آن‌ها پیشنهاد می‌دهند درست است، اما واقعیت چیز دیگری است.
متاسفانه این موتورهای جستجو آنگونه که از نام‌شان بر می‌آید تنها گزینه‌های موجود برای دسترسی به مطالبات ما نیستند؛ آن‌ها فقط صفحات وب را ایندکس می‌کنند و با دنبال کردن یک هایپرلینک بعد از هایپرلینک دیگر مطالب مرتبط را به دست می‌آورند، اما تمام وب با این هایپرلینک‌ها به هم ارتباط ندارد و با این روش بیشتر وب، با استفاده از گوگل و بینگ قابل دسترسی نیست.
دیتابیس کتاب‌خانه‌هایی که برای دسترسی به کلمه عبور نیاز دارند یا صفحاتی از وب که خصوصی بوده و مربوط به یک شبکه یا شرکت خاص هستند از جمله بخش‌هایی است که موتورهای جستجو نمی‌توانند به آن‌ها دسترسی داشته باشند. این بخش‌ها ایندکس نشده مانده و برای موتورهای جستجو، جز بخش پنهان و غیرقابل دسترسی به حساب می‌آیند.
امروزه پیشرفت‌های بزرگی در موتورهای جستجو به وجود آمده، برای مثال دسترسی به محتوای فایل‌های PDF و فایل‌های تصویری Flash هم برای موتورهای جستجو مقدور شده، اما هنوز بخش‌های عظیمی از وب وجود دارند که با این موتورها نمی‌توان آن‌ها را پیدا کرد. این بخش‌های وب را محتوای پنهان وب، اعماق وب (دیپ وب) و بخش تاریک وب (دارک وب) می‌نامند.
باید بدانید که دسترسی به این بخش‌های پنهان وب امکان‌پذیر است اما نه با روش‌هایی که تا به حال به کار برده‌ایم. برای دسترسی به این بخش‌های پنهان باید از ابزار مناسب این کار بهره برد. در اینجا ده مورد از جستجوگرهایی که امکان این دسترسی را برای ما فراهم می‌آورند به شما معرفی می‌کنیم.
۱-The WWW Virtual Library
به نظر می‌رسد که قدیمی‌ترین کاتالوگ دسترسی به اینترنت همین Virtual Library باشد که توسط تیم بِرنِر لی ساخته شده است. جالب است بدانید که خالق وب نیز همین تیم بِرنِر است! پس عجیب نیست که این کاتالوگ را درون فهرست ۱۰ موتور جستجو برای دسترسی به محتوای پنهان وب پیدا کنیم. در هر زمینه‌ای که در نظر دارید این سایت به شما موارد خوبی پیشنهاد خواهد داد.
برای مثال ۳۰۰ زیرشاخه در کتابخانه این سایت برای شما موجود است. شما می‌توانید به صورت مستقیم از بخش دسته‌بندی استفاده کرده و یا از قسمت جستجوی این سایت بهره ببرید. صفحه اول سایت، تمامی موضوعات را به ترتیب حروف الفبا برای شما نشان می‌دهد. جالب است بدانید که از آغاز وب، خیلی سایت‌ها آمده و رفته‌اند اما این سایت ۲۶ سال است که به کار خود ادامه می‌دهد.
۲- USA.gov
شماره دوم فهرست ما سایت رسمی دولت آمریکا است که دروازه‌ای به تمامی اطلاعات عمومی است، اطلاعاتی که هر آژانس دولتی به آن‌ها نیاز دارد. این سایت فهرستی A-Z از تمامی تاپیک‌های موجود در سایت در خود جای داده که به راحتی می‌توانید اطلاعات مورد نیاز خود را با استفاده از این دسته‌بندی‌ها بیابید.
برای دسترسی دقیق‌تر به اطلاعات موردنظرتان می‌توانید از فیلترهای “Only USA.gov”، “Images” و “Videos” در بالای صفحه استفاده کنید. اگر از این سایت استقبال کردید می‌توانید به سایت های وابسته به آن، Kids.USA.gov و Publications.USA.gov نیز سری بزنید.
۳- Science.gov
اسم سایت گویای تمامی داستان است. موتور جستجوی این سایت از ۶۰ دیتابیس و بیش از ۲۲۰۰ سایت علمی معتبر برای یافتن اطلاعات موردنظر شما استفاده می‌کند. برای دسترسی دقیق‌تر می‌توانید از جستجوی پیشرفته استفاده کنید تا به اطلاعات بهتری در دیتابیس بخش علمی دولت آمریکا دسترسی داشته باشید.
فارغ از این‌که اطلاعات مورد نیاز شما چه هست، از شاخه کشاورزی گرفته تا جدیدترین شاخههای علم نوین، با خیال راحت می‌توانید بر روی این موتور جستجو حساب کنید.
۴- U.S Geological Survey
تصویر گرفته شده از این سایت گویای همه چیز هست. هدف این سازمان پخش زنده تمامی اطلاعات مربوط به مشاهدات و وضعیت زمین است. البته برای تحقیقات آکادمیک و حتی عادی نیز منبعی بیرقیب به شمار می‌رود.
برای این‌که درک بهتری از عملکرد و نتایج این سایت داشته باشید پیشنهاد می‌کنیم بخش National Geologic Map Database را امتحان کنید، علاوه بر آن بهتر است با ابزار EarthExplorer تصاویر ماهواره‌ای موجود را از نظر بگذرانید. قسمت‌های نام‌برده تجربیات منحصر به فردی از این سایت به شما می‌دهند اما ابزارهای این سایت بیشتر از این حرف‌ها است. برای مثال شما در بخش جستجو به بیش از ۱۰۰۰۰۰ مقاله و کتاب علمی معتبر دسترسی دارید. اگر دانشجو هستید به شما پیشنهاد می‌کنیم برای یک‌بار هم که شده سری به این وب‌سایت بزنید.
۵- Directory of Open Access Journals
به دنبال مقاله‌های علمی مورد نیاز خود در سایت Open Access Journals بگردید. تمامی مقاله‌های آکادمیکی که در این سایت وجود دارند بدون هیچ محدودیت کپیرایت و هزینه استفاده‌ای در دسترس شما هستند، تنها محدودیت موجود دسترسی به اینترنت است که این یک مورد با شما است!
در این سایت به بیش از ۹۰۰۰ ژورنال و ۲٫۵ میلیون مقاله در موضوعات گوناگون دسترسی کاملا رایگان دارید؛ اطلاعاتی که شاید با استفاده از Google Scholar به راحتی به دست نیایند. اما در کل DOAJ ابزاری بهتر برای پیدا کردن مقاله موردنظر شما است و با موتور جستجوی قوی آن به هر مقاله و ژورنالی که در نظر دارید دسترسی پیدا می‌کنید.
۶- Voice of The Shuttle
اگر دانشجوی ادبیات هستید پیشنهاد ششم ما را در نظر بگیرید؛ مکانی پربار از تمامی منابع ادبیاتی و فرهنگی. بخش جستجوی سایت به گزینه‌های Sci-Tech، Culture و Technology of Writing مجهز شده و با استفاده از آن‌ها به راحتی می‌توانید مطلب موردنظر خود را پیدا کنید.
این سایت به عنوان ابزاری کمکی برای دپارتمان زبان انگلیسی دانشگاه کالیفرنیا و در سال ۱۹۹۴ تاسیس گردید و تا امروز به بروزرسانی خود ادامه داده است.
۷- RxList
درست است که گوگل به شما اطلاعات پزشکی و دارویی خوبی می‌دهد و علائم بیماری‌ها را برای شما تعریف می‌کند، اما RxList ابزاری است که اساسا برای همین کار طراحی شده و مجموعه‌ای کامل از اطلاعات پزشکی مورد نیاز را در اختیار شما قرار می‌دهد.
علاوه بر موارد عادی، که از گوگل هم به دست می‌آیند (البته با کیفیت کم‌تر و صرف زمان بیشتر) در اینجا فیلدهای جستجویی مربوط به ویتامین‌ها، گیاهان دارویی، مواد غذایی و … نیز وجود دارند. RxList اطلاعات خود را از منابع معتبری چون FDA، CernerMultum و First Data Band به دست می‌آورد.
۸- Infoplease
این دایرهالمعارف آنلاین از یک مسابقه رادیویی در سال ۱۹۳۸ شروع شد. infoplease یک دروازه اطلاعاتی است که محتوای پرباری در خود جای داده است. با استفاده از این سایت می‌توانید به دیتابیس‌ها، ژورنال‌های الکترونیکی، کتاب‌ها و نقشه‌های گوناگون و معتبر جهان دسترسی داشته باشید.
InfoPlease علاوه بر موارد گفته شده امکاناتی چون سایت‌های Factmonster.com برای بچه‌ها و TeacherVision را که هر دو بخشی از این شبکه اطلاعاتی هستند در اختیار کاربران قرار می‌دهد.
۹- WorldCat
به کمک این سایت امکان دسترسی به ۷۲۰۰۰ کتابخانه در ۱۷۰ کشور مختلف را داشته و با استفاده از آن می‌توانید به هر مقاله، پایان‌‌نامه، ویدئوی آموزشی و … دسترسی پیدا کنید.
بهترین راه برای گم نشدن در این دیتابیس غول‌پیکر استفاده از ابزار جستجوی پیشرفته یا Advanced Search Tool می‌باشد. اطلاعاتی که در اینجا پیدا می‌کنید برای استناد در مقاله یا ژورنال‌‌تان کاملا معتبر و مورد قبول است. با یک جستجوی ساده در WorldCat.org می‌توانید از اطلاعات این دیتابیس استفاده کنید اما در نظر داشته باشید که برای دسترسی باید عضو سایت شوید.
۱۰- The National Security Archive
این سایت یک منبع غیردولتی از اطلاعات دولتی غیرسری است. بزرگ‌ترین مجموعه اطلاعات دولتی در این سایت جمع شده‌اند. The National Security Archive با استفاده از جستجوگر گوگل درون دیتابیس سایت می‌گردد و به این ترتیب امکان دسترسی به بیش از ۱۰ میلیون صفحه از داکیومنت‌های دولتی را برای شما فراهم می‌کند.
محتوای این سایت برای روزنامه‌نگاران و خبرگزاران دولتی بهترین مکان تحقیقات است.
جستجوگرهای دیگر برای دسترسی به محتوای پنهان وب:
- Elephind
- MagPortal
- Free Lunch
- Clinical Trials
- Project Gutenberg
- The Library of Congress
- Internet Archive
- The National Gallery of Art
- Scitation
- PubSpace
جمع‌بندی نهایی
محاسبه اندازه محتوای پنهان وب کار راحتی نیست، اما براساس تقریب‌های صورت گرفته، نسبت به آن‌چه تاکنون از اینترنت تجربه کرده‌اید چندین برابر بزرگ‌تر است. نکته مشخص این است که اگر به دنبال اطلاعات هستید بهترین جا برای هدف گرفتن، همین بخش محتوای پنهان وب است.
لازم است در اینجا تفاوت بین “محتوای پنهان وب” و “بخش تاریک نت” را هم بررسی کنیم. محتوای پنهان وب با استفاده از ابزارهای موجود برای عموم قابل دسترسی است اما برای دسترسی به بخش تاریک وب نیاز به استفاده از سایت های TOR است و مراحل پیچیده و بغرنجی را در برمی‌گیرد که کار کاربر عادی نیست.
مانند جستجوی عادی وب که تاکنون شناخته‌اید، گشت و گذار در محتوای پنهان وب نیز مانند پیدا کردن سوزن در انبار کاه است، گرچه این‌بار انبار کاه ما خیلی بزرگ‌تر است! این بخش از وب برای جستجوگر عادی مناسب نیست، محتوای پنهان وب در اعماق وب جای گرفته‌اند ولی تاریک نیستند، پس اگر بدانید که به دنبال چه هستید به کمک ابزارهای معرفی شده، با ورود چند کلمه و فشردن گزینه جستجو به هدف خود خواهید رسید.