A robots.txt tartalma magánügy

Jó pár órányi munkát követően összeállt egy újabb védelmi rendszer, amely lehetővé teszi a robots.txt fájl elrejtését a kiváncsiskodók elől és csak az fogja látja akinek az dedikálva lett.

Kár, hogy nem látom az arcod. Ha egymással szemben ülnénk lehet megkérdeznéd, hogy az egésznek mi értelme van?
A válaszom a következő: a robotok korlátozása csak rám és a rájuk tartozik. Úgy gondolom, hogy a benne rejlő tartalom ismerete harmadik fél által veszélyeztetheti a szkriptem épségét.

Hogyan kezdjünk bele? Akkor talán legjobb, ha vezetlek..

1. Első lépésként nyisd meg a .htaccess fájlodat, (ha nincsen, akkor készíts egyet) és tedd bele az alábbi kódot:
A domainedet ne felejetsd el behelyettesíteni!

RewriteEngine On
RewriteCond %{http_user_agent} !(googlebot|Msnbot|Slurp) [NC]
RewriteRule ^robots\.txt$ http://seo.i-connector.com/ [R,NE,L]
AddHandler application/x-httpd-php .txt

Az első sort nem magyarázom. A második és a negyedik sor lehetővé teszik, hogy ha a user agent string részleteiben nem tartalmazza a googlebot, msnbot, vagy slurp szavakat, a látogató a kódban specifikált fődomainen fog landolni, persze csak akkor, ha a robots.txt-mre volt kíváncsi. Népszerű gyakorlat, hogy egyedi 404-es hibaoldal helyett a nem található tartalom URL-jét a domainre irányítják, így hát ez nem fog gyanút kelteni senkiben. Úgy fog tűnni, hogy egyszerűen nincs robots.txt fájl a szerveren, pedig van.. Ja igen, a negyedik sor pedig php szerű viselkedést fog intézni a txt kiterjesztésű fájloknak.

2. Nyiss egy jegyzettömböt, vagy a kedvenc webszerkeztő programodban egy új lapot és illeszd be az alábbi kódot.

<?php
$ua = $_SERVER[‘HTTP_USER_AGENT’];
if(strstr($ua, ‘msnbot’) || stristr($ua, ‘Googlebot’) || stristr($ua, ‘Yahoo! Slurp’)){
$ip = $_SERVER[‘REMOTE_ADDR’];
$hostname = gethostbyaddr($ip);
if(!preg_match(“/\.googlebot\.com$/”, $hostname) &&!preg_match(“/search\.live\.com$/”, $hostname) &&!preg_match(“/crawl\.yahoo\.net$/”, $hostname)) {
$block = TRUE;
$URL=”/”;
header (“Location: $URL”);
exit;
} else {
$real_ip = gethostbyname($hostname);
if($ip!= $real_ip){
$block = TRUE;
$URL=”/”;
header (“Location: $URL”);
exit;
} else {
$block = FALSE;
}
}
}
?>

Ments el reversedns.php néven és töltsd fel a szervered gyökérkönyvtárába.

A szkript maga ismerős lehet neked, mivel a reversedns.php picit átalakított verzójáról van szó. A módosításnak megfelelően, ha a robot validálás során egy látogató megbukik akkor a fődomainen fog landolni pillanatokon belül. Ha a robot nem a három nagy bot egyike, akkor esélye sincs átjutni. Hiába állítod át a user agentedet botnak álcázva a kezdőlapon fogsz landolni a php által vezérelve, így aztán teljesen elhárítottam minden, a cloackingot leleplezni vágyó kísérletet.

Úgy gondolom, hogy mivel a google nem véd meg semmitől, így aztán az ilyen típusú önvédelem azért nem köszön a klasszikus black hat technikának…

3. Nyisd meg a védendő robots.txt fájlodat és illesz be az alábbi kódot a legelejére

<?php include(“reversedns.php”); ?>

A hack kész a védelem felállt!

További kellemes napot!

Digg klón a siker szélén

diggNagyszerű találmány a szociális könyvjelző rendszer. Előre megszűrt tartalmak várják az unatkozó netezőket, de sajnos manapság már az előre “jólmegspammolt” is előfordul.

Engem, az összes közül legjobban a digg tudott megfogni, amely egyedülálló koncepcióval indult útjára 2004-ben, egy évvel a del.icio.us születése után, de a reddit-et egy évvel még megelőzve.

Emlékeim szerint 2006 volt az az év, amikor a “hagyományos” webmesterek is kapcsoltak és mindenki őrült nagy portál építésébe fogott. Az okosabb fajta választott magának egy nagyobb, de jól definiálható szegmenst, amelyet fel kívánt dolgozni, de akadtak olyan bátrak is, akik úgy gondolták, a diggnek könnyű lesz direkt konkurensének lenni és minden témát akartak maguknak.

A garázsból vezérelt hadműveletek kezdeti fázisa nem is kívánt komoly pénzügyi befektetést, maximum 3 percet, amíg az egyén letöltött egyet a gombamód szaporodó digg klónszkriptek közül.

2006 októberében publikálásra került a Pligg blog első bejegyzése. Én innen számítom a legnépszerűbb klón életét.

Alig több, mint egy év alatt nagyon sok barom koncepcióval volt szerencsém találkozni. A barmot itt kérlek ne úgy értsd, hogy barom, aki kitalálta, egyszerűen az életképtelen helyett használom. Még én is tettem egy próbát a pliggel, és komoly reményeket is fűztem hozzá, de szerencsére/vagy életem nagy lehetőségét kihagyva a hadművelet elmaradt.

De amiről ez az egész poszt szól az nem más, mint Pligg motorral hasító Internet marketing témakörnek dedikált Sphinn.

Az oldal 2007 júniusában indult, jelenleg 6-os PageRank-kal kedveskedik a toolbar, de ezen igazán nem is érdemes csodálkozni (Danny Sullivan is bandatag). Az életrevalóságáról pluszban még annyit írnék, hogy napi több tízezres olvasótáborral rendelkező blogok reklámozzák a rendszert a kék címkét büszkén magukonviselve.

Mi különbözteti meg a Sphinnt, a többi digg klóntól (a brilliáns elmével megáldott alapítókat leszámítva)?

Talán csak egy dolog. Létrehozták azt a matricarendszert, amely segítségével a blogok olvasói között rendkívül gyorsan ismertté tudtak váltak.

Hajrá Merras!

Helyi design fesztivál vol. 2

Korábban is volt már hasonló bejegyzés, de ez most nem az i-connectort, hanem a blogomat érinti.

Egyik nagy álmom, hogy igazi designer legyen belőlem. Páldaképem, Phu Ly css reboot cimkével publikálta az aktuális alkotásait. de én akkor már maradnék a bevált címnél egy vol. 2 megtoldással.

Szóval, a tegnapi napom bütykölgetéssel, szerelgetéssel töltöttem a felhasználói élmény javításának érdekében. Lássuk csak mi is változott:

  • dögös favicon, amibe apait, anyait beleadtam, hogy a jelen korunk design vonulatához méltó legyen,
  • smoothscroll.js, hogy az oldal tetejére linkelő pici nyilacskára kattintva tátó szájakat lásson az oldalam,
  • és végül itt van még a jquery.slidepanel.js, amit ha alulra, vagy oldalra tekintesz rögtön ki is próbálhatsz.

Pajti, szerintem itt az ideje, hogy te is körbenézz az ajaxrainen

Hűséges olvasóimnak a napokban igyekszem majd egy nagyszerű írással kedveskedni, igyekszem majd sietni vele..

Védd magad! avagy a nagy Google Proxy Hack leszámolás

If you are a native speaker of English please follow this link in order to read this article in your language.

Kezdem az egészet egy gyors nyilatkozattal: a specifikált védelmi rendszert 4-5 napig teszteltem, a Google Webmaster Tools ezalatt hibát nem jelzett. Az implementálással kapcsolatosan minden esetlegesen fellépő negatív következményt elhárítok.

Akkor jöjjön az intró: a seo katalógusomat szétproxizták [több mint tíz különböző proxyról támadtak], és a galád dögök nem álltak meg a kezdőlapnál [a domain URL-jét a google nem fogja kiejteni, mert jól meg lett küldve], és deep proxy linkekkel kedveskedtek, ami sokkal jobban fájt. Azt eddig is tudtam, hogy a jó pár spammer ellen kell a harcomat vívni, de ez azért már durva szerintem [maradhattak volna a gov domaines blogok kommentspammolásánál is].

Amikor kibukott ez az egész proxy-s dolog gyorsan eljutottam egy leíráshoz, amelynek a magyar zanzásított fordítását itt találjátok. Az ott leírt reverse cloaking technikával csak az unreachable network hibáig jutottam el, és ott pillanatok alatt likvidáltam az ahhoz szükséges script arzenált.

Tovább keresgéltem miközben a napok csak teltek és a spammerek folytatták kitartó tevékenységüket. Végül aztán rátaláltam erre a linkre, amely a hamarosan bemutatott védelmi rendszer törzsét képezte [kódrészlettel egészítettem ki, csak hogy a Yahoo Slurp-öt is kipipálhassuk]. A megoldással kapcsolatban a legnagyobb credit IncrediBILL-nek jár.

Az egész védelem az úgynevezett reverse-forward DNS robot validáláson alapul [a technológiai részletekről, bár angol nyelven, de a ezen az oldalon írnak].

Szóval, nyisd meg a notepadot, vagy bármi más alkalmas programot és pakold bele ezt a kódot:

<?php
$ua = $_SERVER[‘HTTP_USER_AGENT’];
if(strstr($ua, ‘msnbot’) || stristr($ua, ‘Googlebot’) || stristr($ua, ‘Yahoo! Slurp’)){
$ip = $_SERVER[‘REMOTE_ADDR’];
$hostname = gethostbyaddr($ip);
if(!preg_match(“/\.googlebot\.com$/, $hostname) &&!preg_match(“/search\.live\.com$/”, $hostname) &&!preg_match(“/crawl\.yahoo\.net$/”, $hostname)) {
$block = TRUE;
header(“HTTP/1.0 403 Forbidden”);
exit;
} else
$real_ip = gethostbyname($hostname);>
if($ip!= $real_ip){
$block = TRUE;
header(“HTTP/1.0 403 Forbidden”);
exit;
} else {
$block = FALSE;
}
}
}
?>

majd mentsd el reversedns.php néven. Töltsd fel a szerveredre. Ha a védelem alá bevont oldal php nyelven írodott, akkor egy egyszerű include-dal gyorsan elintéheted

<?php include(”reversedns.php”);?>

Ha a weblapod statikus html, akkor a meglévő, vagy a most elészítendő .htaccess nevű fájlba másold ezt a kódot:

AddType application/x-httpd-php .html .htm .txt
php_value auto_prepend_file “/data/www/htdocs/users/sziget-conseils/i-connector/reversedns.php”

, természetesen a dokumentum elérési útját a sajátodéra igazítva. Ha erről az elérési útról semmilyen információval nem rendelkezel , kérlek vedd elő a notepadot ismét és dobd bele ezt a kódot:

<?php echo phpinfo();?>

[megfelelő php nyitó és záró tagokkal]

majd töltsd fel php_info.php-ként elmentve. Futtasd a fájlt böngészőből [domained.hu/php_info.php] és keresd meg a

_SERVER[“DOCUMENT_ROOT”]

mellett megjelenített értéket. Na ezzel írd felül az én path-omat.

Futtasd az oldalad. Ha minden oké, akkor minden pöccre indul. Nincs más hátra, mint a teszt. Jó lenne működik-e igaz? Ehhez elő kell kapnod a firefox böngésződet. A címsorba írd be ezt: about:config. Jobb klikk az egérrel, majd a megjelenő gyorsemnüből az Új/Karakterlánc opciót válaszd. A beállítás neve legyen “general.useragent.override”, értéke pedig “Googlebot/2.1 (+http://www.googlebot.com/bot.html)“. Ha ezzel kész vagy, fuss neki az oldaladnak. Jó mi? Na ezt fogja látni a robot is, ha proxy linkről fog érkezni.

A teszteléshez ezt a forrást használtam.

A védelemhez szükséges fájlok letöltéséhez kattints az ikonra!

google proxy hack pack letöltés

Mosquitonak hála, a WordPress blogok védelme mától még egyszerűbb!
Katt a a dobozra, és már telepítheted is a plugint.

google proxy hack pack letöltés

Színek vs. webdesign

Egészen biztos vagyok benne, hogy sokan vagyunk, akik folyamatosan a konverzió fokozásának minden lehetséges eszközét próbálják megragadni. Régóta foglalkoztatott a színek, formák látogatókra tett hatása, aminek segítségével könnyebben tudjuk elérni honlapunkhoz rendelt céljainkat.

Tegnap Hiaklo egy remek kis összeállítást tett közzé, amelyből kedvcsinálónak egy rövidke idézetet be is szúrok ide:

Senkinek sem közömbösek a színek. Vannak olyan színek, amelyeket jobban szeretünk, mint másokat, és vannak olyan színek is, amelyek egyáltalán nem tetszenek nekünk.
Elgondolkodott-e már valaha azon, hogy a színek miért olyan fontosak?
A színek ugyanis sokkal jobban befolyásolnak minket, mint ahogyan ezt gondolnánk. Energiájuk segítségével pozitívan hathatunk testi, érzelmi és mentális állapotunkra de tudatosan alkalmazva másokra is hatást gyakorolhatunk.

Nagyon remélem, hogy a folytatásra mindenki kíváncsi, és hát nincs más hátra, mint közzétenni a cikkhez elvezető linket: színek alkalmazása az interneten

ui.: ne felejtsétek el megköszönni neki!

Helyi design fesztivál

Ez csak amolyan villám poszt, de talán érdekes lehet. A seo fórum egyik tagja Hiaklo a napokban küldött számomra egy üzenetet, amelyben elemezgette az oldalaim szín és forma világát. Nagy vigyorgásomat az utolsó mondata szakította félbe, amelyben tudtomra adta, hogy az i-connector.com színvilága egyenesen taszítja. Nagyon nem lepődtem meg, hiszen az alkalmi minőségellenőreim is kifejezték már többször is a nem tetszésüket.

A megoldás nagyon egyszerű volt, hiszen gondoltam, ha ez taszítja a látogatót, akkor ha mindent invertálok, azzal elégedettek lesznek.

i-connector.com

Eddig úgy tűnik, helyes volt ez a gondolatmenet…

Hiaklót azonban azóta megállás nélkül ostromlom, hogy egy útmutatót adjon nekünk a színek formák eredményes használatával kapcsolatban. Remélem sikeres lesz a lobbim és újabb értékkel szolgálhatok nektek.

Azt meg majdnem elfelejtettem, hogy új aldomain címen fut tovább a blog, csak hogy a célkereszt nagyobb legyen.

seo játék

Napokban akadtám rá egy megehetősen egyedülálló flash játékra. Matt Cutts jobb és bal keze leszel, ha benned van a szükséges harci- és vállalkozókedv. A játék lényege, hogy megvívd a spam háborút a különböző ellenfelek ellen. A menetek között villámoktatásban lesz részed, hogy melyik ellenfélre miért haragszik Matt. 27595 pontot értem el a Spam Lord kiütését követően és még Google kupát is kaptam.

google spam játék


Tanács: használd a space-t védekezésre, és az energiádat is így töltheted vissza.

Keresőoptimalizálás és a webdesign

Pár nappal ezelőtt az egyik barátomnak írtam a blogjára egy eléggé hosszú posztot és annyira tetszett neki is meg nekem is és még azoknak is, akik nem voltak elfogultak, így aztán úgy gondoltam egy fordítást mindenképpen megér, bármilyen sokáig is eltartson. Négy-öt nap alatt sikerült is a végére érnem és hát akkor következzen a blogbejegyzés, de még előtte röviden felsorolnám miről is lesz itt szó:

A keresőoptimalizálásban rejlő legnagyabb lehetőség, hogy segítségével hatékonyan fel lehet venni a versenyt a sokkal vastagabb pénztárcából költekező vállalatokkal a vásárlók kegyeiért folytatott csatában. És ezzel a lehetőséggel élni is kell!

Jelen posztommal szeretnék segíteni neked, hogy a tervezett honlapod a csatában egy nagyon szilárd bástyád lehessen, illetve a már elkészült oldaladból, egy kis pimasz csibész lapot faraghass.

Tartalom
Először egy kicsit a beszélnék a tartalomról. Borzasztóan könnyű dolog meggyőző honlapot csinálni a keresőrobotok számára [tudom mert számtalanszor készítettem nekik weblapot], de kétlem, hogy ők lennének terméked igazi célközénsége. Nem számít, hogy az oldaladat profitorientált, vagy csak pár kellemes percet szeretnél látogatóidnak okozni, kell, hogy legyen célod. Az oldalad tartalmát úgy kell felépítened, struktúrálnod, hogy mindig szemelőtt tartod a célodat.
A különböző kulcsszóválasztó eszközök használatával [Google AdWords Keyword Tool vagy a DP Keyword Generator] összállíthatod azon kifejezések lsitáját, amelyekre célozni fogsz.
Vezetned kell az olvasódat mondataiddal, a megjelenített képekkel egyaránt annak érdekében, hogy azt tegyék, amit szeretnél, hogy tegyenek. Ne foglalkoztasson a kulcsszósűrűség, hidd el, az már tényleg kiment a divatból. Meggyőző és élvezthető, nagyon jól [heading tagokkal h1-h3 ] stuktúrált tartalomra van szükséged. Amikor úgy érzed, elkészült a lapod tartalma teszteld annyi emberen, amennyin csak tudod.
A keresőoptimalizálás a kulcsszókutatáson kívül leginkább a pozicionálásról szól. Pozicionálnod kell a domainedet és a belső lapokon található tartalmakat egyaránt a külső és belső linkekkel, valamint a <title> tagokkal. A linkekkel egy picivel később majd foglalkozom, de most azt kell tudatosítanod, hogy rövid, kifejező és a megcélzott kulcsszavaidat tartalmazó címeket [title tag] kell írnod minden egyes belső oldaladnak! Ez az egyik legjobb módszer a kulcsszókosarad kibővítésére.
A tartalmad hatékonyságával kapcsolatos egyik legkiválóbb mérőszáma a látogatásonkénti oldalletöltés, illetve a látogatások hossza. Ezeket az adatokat könnyűszerrel megkapod az egyik webanalitikai rendszerbe történő regisztrálás után [Google Analytics, Statcounter]. Törekedj ezen mérőszámok maximalizálására és mindig tartsd észben a célod!

Belső linkstuktúra
Az eltérő domainektől érkező linkekhez hasonlóan a belső linkstruktúra az egyik legjobb lehetőség a tartalmad pozicionálására. A kulcsszókutatásod eredményeit az oldalaid linkszövegeként felhasználva tovább növelhedett az adott szóra, kifejezésre a keresőalgoritmusok által kalkulált relevanciát.
Mindenképpen kerüld el a kizárólag javascriptből álló navigációs megoldásokat, mert az abban lévő URL-eket a robot nem képesek felismerni.
Számos esetben megkönnyítheted látogatóid navigációját az alábbi képpen is bemutatott, úgynevezett breadcrumb navigációs linkek segítségével.
breadcrum navigáció
Ezek az oldalon belüli hierarchikus struktúrában informálják látogatóidat az éppen aktuális helyzetükről.
A Google algoritmusa kifejezetten nagyon szereti a tartalmat és arányba állítja annak mennyiség a felhasználó lehetséges élménnyel. Így aztán nagyon könnyen előfordulhat, hogy vertikálisan meglehetősen hosszú olvasnivalót állítunk össze látogatóink számára. Ilyen esetekben érdemes gyorslinkeket használni, amely a scroll-ozás fáradalmaitől kíméli meg az oldalunkra tévedt internetezőt. A szemléletesség kedvéért rögtönöztem egy ehhez a poszthoz tartozó gyorslink tartalomjegyzéket.
Érdemes ezeket a linkeket még a hosszabb szöveg fölött elhelyezni az alábbi html kódok segítségével.
href=”#fejezetcim1”>a gyorlink szövege

href=”fejezetcim1”>1. fejezetcím

[a link nyitó és záró tagját sajnos le kellett hagynom]
Azt tanácsolom kukkants bele ennek az oldalnak a forráskódjába, úgy jobban érthetőbb lesz.
Visszatérve egy mondat erejéig a gyorslinkekre egészen biztos vagyok benne, hogy a látogatóid imádni fogják, hogy a kényelmüket szolgálod és ezzel a keresőalgoritmusok is tisztában lesznek.

Oldaltérkép
Nagyon-nagyon erősen ajánlom, hogy készíts egy oldaltérképet látogatóid számára. A navigációjuk megkönnyítése mellett nagyban hozzájárul a PageRank disztribúcióhoz és lehetővé teszi, hogy az oldalad hierarchikus szerkezetén laposíts. Számtalan olyan oldalt láttam már, ahol több mint 5 vertikális szintet találtam, és ezzel nem könnyű lenyűgözni a keresőket. Ha a kezdőlapodról meglinkeled az oldaltérképedet és onnan a főbb tartalmakat, akkor minden lényeges oldaladat sikerül maximálisan a harmadik vertikális szintre emelned. Fontos észben tartanod, hogy egy adott URL-re ne helyezz el 100-nál több linket. Abban az esetben, ha a honlapod óriási és az oldaltérképre jóval több link kerülne akkor szedd szét több darabra.

Keresőbarát URL
Megfigyelt és nagyon könnyen bizonyítható tény, hogy a keresőalgoritmusok képtelenek az URL-ben elhelyezett kulcsszavakat felismerni, ha azokat alsóvonással [_] választod el. Számos hatékony megoldás kínálkozik az összetett szavak elválasztására, de ezek közül szerintem a kötőjel a legelegánsabb. A kulcsszókutatás végeztével számtalan title tagokba szánt kifejezésed lesz. Miért ne helyeznéd ezeket az URL-ekbe is? Hidd el, nagyon fogják szeretni a lapjaidat a keresők.

Gyakran ismételt webdesign hibák
Számtalan oldalon megtalálható jelenség, hogy a Kezdőlap menüponttal az honlap az “/index.php” URL-t linkeli az “/” helyett. Az algoritmusok azok relevanciáját és fontosságát külön kalkulálják. Amennyiben a tárhelyszolgáltatód engedélyezi a mod_rewrite használatát, könnyedén elbánhatsz ezzel a problémával egy “.htaccess” nevű fájl gyökérkönyvtárba való feltöltésével. A kiterjesztés nélküli fájlba az alábbi kódot illeszd be.

Options +FollowSymLinks
RewriteEngine on
# index.php to /
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /.*index\.php\ HTTP/
RewriteRule ^(.*)index\.php$ /$1 [R=301,L]

A használatos fájlkiterjesztéstől függően a kódban a php helyett állhat akár html is.

A keresők algoritmusai a domained www-s és www nélküli változatát külön kezelik, kivéve akkor, ha tudtukra adod azok egyezőségét. Első lépésként ki kell választanod, hogy melyiket szeretnéd használni. Ennek egyik legpraktikusabb módja a Yahoo! Site Explorer meglátogatása. A kereső input mezőjébe először írd be, hogy “linkdomain:domainem.hu”, majd a “linkdomain:www.domainem.hu”-t. Én a helyedben a magasabb értéket adó lekérdezéssel jellemezhető aldomain mellett döntenék.

Amennyiben a domainem.hu alak mellett tetted le a voksod, az alábbi kódot helyezd a .htaccess fájlba
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} .
RewriteCond %{HTTP_HOST} !^domainem\.hu
RewriteRule (.*) http://domainem.hu/$1 [R=301,L]

Ha a www változat tűnt jobbnak, akkor használd ezt a kódot
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^domainem.hu [NC]
RewriteRule ^(.*)$ http://www.domainem.hu /$1 [L,R=301]

[A fennti kódok a tutorial.hu-ról valók, további megoldásokért kérlek látogasd meg a .htaccess átirányítással foglalkozó témát]

Sebességre fel!
Az oldalad táblamenetes felépítése mellett az összes javascript és stílusinformáció külső .js, illetve .css fájlba való helyezésével gyorsíthatod oldalad töltődését. Nem elhanyagolható, hogy a “megjelenő szöveg/teljes kódméret” arány javulni fog [ezzel arányosan a relevancia is], valamint sokkal profibb lesz a kódod is.

Kérdésed van? Ne tartsd magadban!