Lekcja trzecia. Sami zbieramy najlepsze bazy danych
Witajcie drodzy czytelnicy serwisu blogowego. Kontynuujemy więc temat konfiguracji silnika forum o nazwie SMF, rozpoczęty w poście na ten temat. Tam nie zrobiliśmy jeszcze forum rosyjskiego, jeśli chodzi o tłumaczenie z interfejsu angielskiego. W tej chwili nie wygląda zbyt reprezentacyjnie, ale po rusyfikacji (jeśli nie została jeszcze wyprodukowana) i stworzeniu odpowiednich sekcji jego wygląd znacznie się poprawi.
Dzisiaj rozważymy motywy projektowe i uczynimy je rosyjskim, a także zainstalujemy komponent JFusion, który może współpracować z obydwoma silnikami (zarówno Joomla, jak i SMF), co pozwoli nam mieć wspólną bazę użytkowników dla dwóch i tylko jednej formy ich rejestracja i logowanie.
Motywy i instalacja pakietu języka rosyjskiego
Silnik Simple Machines Forum obsługuje możliwość zmiany motywów, co więcej, można je zmieniać, zarówno dla całego forum jako całości, jak iw szczególności dla jego poszczególnych sekcji. Osobiście używałem domyślnej skórki, ale dokonałem w niej kilku ręcznych zmian. W szczególności zmieniłem tło, kolorystykę niektórych elementów, dodałem zegar na lampie błyskowej, radio i wiele więcej, o czym opowiem w kolejnych postach tego działu.
Dlaczego podczas tworzenia forum nie użyłem żadnej z dodatkowych skórek? Cóż, tutaj chyba chodzi o moje lenistwo. Nie, nie byłem zbyt leniwy, aby wyszukiwać i pobierać nowe motywy, ponieważ jest wiele miejsc, w których można to zrobić. Moje lenistwo leży gdzie indziej.
Faktem jest, że cała różnorodność modów do tego silnika, zaprojektowana w celu rozszerzenia jego możliwości, koncentruje się konkretnie na domyślnym motywie. Pozwól mi wyjaśnić. Jeśli masz domyślny motyw, to dodanie takiego lub innego moda do SMF zajmuje kilka sekund i z reguły nie wymaga ręcznej edycji kodu.
W przypadku instalacji moda na motyw projektowy inny niż domyślny, będziesz musiał, jak mówią, przetworzyć wszystkie nieprzetworzone części za pomocą pliku. Innymi słowy, będziesz musiał użyć FileZilla (możesz go pobrać i skonfigurować, aby uzyskać dostęp do witryny przez FTP i otwierać pliki silnika forum do edycji, w którym ten mod wprowadza zmiany.
Następnie poszukaj odpowiedniego miejsca w kodzie i wykonaj niezbędne czynności: albo zastąp kod, albo usuń, albo dodaj fragment kodu przed lub za potrzebnym fragmentem. Biorąc pod uwagę, że do zmiany może być kilkanaście plików, można sobie wyobrazić, jakie to będzie kłopotliwe. W takim przypadku musisz być bardzo ostrożny i nie popełniać błędów, ponieważ w przeciwnym razie forum może w ogóle się nie otworzyć.
Jeśli wszystkie powyższe problemy związane z używaniem niestandardowego motywu Cię nie przerażają, możesz je pobrać stąd. Motywy są tam posortowane według sekcji (minimalizm, zbliżony do klasycznego, nowoczesnego itp.) i dla każdego z nich można zobaczyć jego pełnoekranowy zrzut ekranu. Nieco później powiem ci, jak zainstalować te motywy.
Jeśli nie zrusyfikowałeś forum na etapie wgrywania plików silnika na hosting, jak opisano w pierwszej części tego artykułu (patrz link na samym początku artykułu), możesz to zrobić teraz. Pakiet języka rosyjskiego pobrany wcześniej z tej strony z żądanym, musisz rozpakować, a następnie skopiować folder Motywy do folderu głównego, w którym znajduje się już katalog o tej samej nazwie.
Po zakończeniu kopiowania musisz wejść na forum używając nazwy użytkownika i hasła administratora. Wybierz "Administrator" w górnym menu, a następnie kliknij "Ustawienia serwera" w lewej kolumnie.
W oknie, które się otworzy, znajdujemy element „Domyślny język forum” i wybieramy język rosyjski z rozwijanej listy, a następnie klikamy przycisk „Zapisz” u dołu strony.
To wszystko, teraz twoja konferencja jest całkowicie po rosyjsku.
Rozwiązywanie problemów podczas instalowania modów, które nie obsługują języka rosyjskiego
Należy pamiętać, że w przyszłości podczas dodawania modów do SMF, które nie mają rosyjskiego tłumaczenia, czasami mogą wystąpić problemy z wyświetleniem ustawień modów w panelu administracyjnym. Właściwie te same ustawienia w panelu administracyjnym po prostu nie będą widoczne, tk. nie będzie dla nich plików rusyfikacji. Dlatego będziesz mieć dwie możliwości rozwiązania tego problemu.
Pierwszym sposobem jest przejście na angielski na całym forum. Jak to zrobić, możesz zobaczyć kilka akapitów powyżej. W związku z tym po wykonaniu niezbędnych czynności z tymi ustawieniami będziesz musiał ponownie wrócić do języka rosyjskiego.
Druga metoda jest bardziej skomplikowana, ale pozwoli nam zawsze zobaczyć ustawienia zainstalowanych modów w panelu administracyjnym, a nie tylko wtedy, gdy włączony jest język angielski. Rozważam ten punkt tak szczegółowo, ponieważ pytanie, czy ktoś zainstalował mod i nie może znaleźć jego ustawień w panelu administracyjnym swojej konferencji, jest bardzo częste.
Tak więc drugim sposobem jest dodanie ciągów tłumaczeniowych do plików rusyfikacji dla nowo dodanych modów. Jak ustalić, które pliki rusyfikacji należy zmienić i skąd je zdobyć, powiem ci później. Na razie tymczasowo możesz skorzystać z pierwszej metody.
Instalowanie JFusion do integracji witryny i forum
Najpierw musisz pobrać JFusion i jego rusyfikację. Wchodząc do panelu administracyjnego Joomla wykonujemy standardowe czynności: wybierz z górnego menu panelu administracyjnego pozycje "Rozszerzenia" - "Zainstaluj / Usuń" - "Pobierz plik pakietu" - przycisk "Przeglądaj" - znajdź na swoim na komputerze plik z komponentem jfusion_package.zip - kliknij na "Pobierz plik i zainstaluj>".
Następnie pojawi się okno z informacją, że komponent został pomyślnie zainstalowany. Jeśli pojawią się problemy, możesz zapoznać się z opcjami rozwiązania niektórych z nich pod linkiem podanym powyżej.
Teraz przyszła kolej na rusyfikację, którą dodaje się w taki sam sposób, jak sam komponent. Tych. powtarzamy sekwencję czynności: „Rozszerzenia” – „Zainstaluj/Usuń” – „Pobierz plik pakietu” – przycisk „Przeglądaj” – znajdź plik rusyfikacji JFusion na swoim komputerze – kliknij „Pobierz plik i zainstaluj” przycisk. Teraz możemy przejść do ustawień na ścieżce "Komponenty" - "JFusion" i upewnić się, że rusyfikacja została pomyślnie dodana i działa.
Powodzenia! Do zobaczenia wkrótce na stronach bloga
Możesz być zainteresowany
Konfigurowanie JFusion w celu połączenia forum SMF i witryny Joomla
Moduły JFusion do wyświetlania wiadomości z forum na stronie, a także tworzenia przycisku w SMF do powrotu do Jumla
Tworzenie pozycji menu w Joomla, aby wejść na forum i przeniesienie rejestracji użytkownika z SMF na stronę
Instalacja SMF Forum - Integracja Joomla 1.5 i Simple Machines Forum przy użyciu komponentu JFusion
Rozszerzenia dla Joomla - co to jest i skąd pobrać komponenty, moduły i wtyczki dla Joomla, jak je zainstalować i odinstalować
Komponent K2 do tworzenia blogów, katalogów i portali na Joomla - funkcje, instalacja i rusyfikacja Galeria zdjęć dla Joomla - Część 3 - Tworzenie galerii w Joomla 1.5 przy użyciu komponentu Phoca Gallery - dodawanie kategorii i przesyłanie zdjęć do galerii zdjęć
ARTIO JoomSEF - konfiguracja łączy CNC (SEF) i tytułu w Joomla, a także tworzenie strony błędu 404 przy użyciu tego rozszerzenia
Akeeba Backup (dawniej JoomlaPack) - utwórz kopię zapasową witryny w Joomla i przywróć z kopii zapasowej za pomocą dwóch kliknięć
Zorganizowany przez Botmaster Labs, nie planowany. Nie ma czasu, wideo jest potrzebne do konkursu, jak nowomodny trend, chociaż łatwiej wszystko wytłumaczyć dobrymi zrzutami ekranu (moje IMHO), a tak naprawdę nie chcę niczego kręcić. Tak więc zostało bardzo mało dochodowych, głupi spam już w ogóle nie rządzi, tutaj trzeba się zastanowić i nikt nie spali tematu, jeśli tylko przestarzałe spróbują trochę wepchnąć i pudrować w pięknym opakowaniu. :) Ale tu nie chodzi o nas. Generalnie te 3 „nie”, jak sądzę, w zasadzie stały się barierą udziału w konkursie dla większości potencjalnych uczestników. To jak naprawa samochodu z trzech: tanio, wysokiej jakości, szybko - serwis może jednocześnie spełnić tylko 2 warunki. usiądź i wybierz to, co jest ci bliższe. :) Konkurencja ta sama: mam czas, mogę robić filmy, ale nie mam tematu, lub mogę zrobić film, mam temat, ale nie mam wcale czasu, lub mam wolny czas i mam trochę temka, ale wideo jest przerażające. Ale dobrze, jeśli jednocześnie spełnione są 2 warunki. No dobrze, zostawmy teksty. Będę kontynuował dla siebie. Nie planowałam, co oznacza, że brałam udział w konkursie, nawet wybrałam, na który artykuł będę głosować. Mów, co chcesz, ale Doz bardzo dobrze zna oprogramowanie i bardzo rozsądnie z niego korzysta. Ale dzisiaj dowiedziałem się, że w konkursie pojawiła się intryga. Okazuje się, że nie będę mógł głosować, ale będą mogli to zrobić tylko początkujący, którzy kupili oprogramowanie w 2011 roku i konkurencja jest dla nich przeznaczona. Trochę się zdziwiłem, ale właściciel jest mistrzem. Konkurs jest kampanią reklamową i Aleksander lepiej wie, jak ją przeprowadzić. Ogólnie postanowiłem wtedy opublikować artykuł, nieco łatwiej jest napisać, gdy jest jasne, dla kogo, dla całego kołchozu jest to właściwie niemożliwe.
Długie wprowadzenie dobiegło końca, teraz do rzeczy.
Czego potrzebuje początkujący, gdy nabył taki super kombajn, jakim jest kompleks Xrumer + Hrefer? Zgadza się, naucz się nad tym pracować i odrzuć złudzenie, że zaczynając spamować arkuszami, możesz zarobić pieniądze. Jeśli tak uważasz, od razu przekaż pieniądze na cele charytatywne. Musisz nauczyć się korzystać z narzędzi kompleksu, najlepiej ostrząc go dla siebie. Czas "bierz więcej - rzuć więcej" minął. Ilość ustępuje miejsca jakości. Więc zbierzemy bazę dla siebie, nie ucz się jak to zrobić - zostaniesz w tyle za pociągiem. Oczywiście Hrefer nam w tym pomoże. Jeśli planujesz promować swoje zasoby w Google, musimy również szukać witryn darczyńców za pośrednictwem Google. Myślę, że to jasne i logiczne. Ale Google, jako właściciel miedzianej góry, nie rozdaje wszystkim swojego bogactwa. Potrzebujesz do tego podejścia. Od razu powiem, że nie liczcie na to, że uda wam się coś zebrać na podstawie znaków, które znajdziecie publicznie. Dlatego są dostępne publicznie, ponieważ są bezwartościowe. Nie będę dalej rozwijał tematu. Lepiej powiem ci, jak poprawnie go zmontować, aby zobaczyć wynik, sam dokończysz resztę, najważniejsze jest zrozumienie zasady. Konieczne jest zbieranie na właściwej podstawie na podstawie konkretnych silników, których potrzebujemy, a nie w ogóle na podstawie forów. To jest główny błąd, który popełniają nowicjusze - nie skupiać się na konkretach, ale starać się ogarnąć wszystko w całości. A jednak, jeśli chcesz parsować mniej lub bardziej normalną bazę, odmów jej użycia w zapytaniach operatorskich. Brak „inurl:”, „site:”, „tytuł” itp. Google natychmiast zablokuje wyszukiwarkom takim jak Ty. Dlatego dokładnie badamy silniki, z którymi obecnie pracuje Hrumer:
Obsługiwane przez php-Fusion
W wersji Hrumer 7.07 program jest szkolony w kilku nowych silnikach:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz itp.
phpBB-fr.com, motyw Solarisa phpBB
A proces uczenia się nowych rzeczy trwa nieprzerwanie.
Generalnie musimy przygotować poprawne zapytania do parsowania przez Hrefer. Weźmy jako przykład forumowego djok. Fora SMF... I zacznijmy go rozkładać na części do przeanalizowania. Pomoże nam w tym nasz ukochany Google. Wprowadzanie prośby do Google Fora SMF- w wynikach wyszukiwania jest dużo śmieci, cofamy się do jakiejś 13. strony i wybieramy dowolny link. Natknąłem się na ten: http://www.volcanohost.com/forum/index.php?topic=11.0. Otwieramy i badamy. Musimy znaleźć na stronie coś charakterystycznego, co da się zastosować do wyszukiwania innych stron w tym silniku. W stopce dostrzegamy następujący napis Obsługiwane przez SMF 1.1.14, cytujemy go i wpisujemy do Google, pokazuje nam, że dla tego żądania zna około 59 milionów opcji. Szybko przeglądamy linki, dodajemy kilka lub dwie dodatkowe opcje do tego słowa kluczowego, na przykład "Powered by SMF 1.1.14" topola lub "Zasilany przez SMF 1.1.14" viagra... Jesteśmy przekonani, że prośba jest wspaniała, w wynikach są tylko fora i prawie nie ma dla ciebie śmieci.
Poza tym nie interesuje nas ilość, ale jakość, jak wspomniałem powyżej. Zacząć robić. Z tego samego forum bierzemy ze stopki kolejną frazę: , cytujemy go również i przesyłamy do Google. W odpowiedzi zdradza, że zna ponad 13 milionów wyników. Ponownie przeglądamy wyniki wyszukiwania, dodajemy dodatkowe słowa i sprawdzamy z nimi wyniki. Dbamy o to, aby zapytanie było świetne i prawie nie było śmieci. Ogólnie rzecz biorąc, są już 2 prośby o żelazo. Sugeruję na razie zostawić pierwsze forum w spokoju i kontynuować zbieranie próśb na inne fora. Na szczęście Google jest otwarte na życzenie 2006-2008, Simple Machines LLC... Z wyników bierzemy na przykład te fora: http://www.snowlinks.ru/forum/index.php?topic=1062.0 i http://litputnik.ru/forum/index.php?action=printpage; topic=380.0 w ich stopkach wpisujemy zapytania: "Powered by SMF 1.1.7" oraz "Powered by SMF 1.1.10" (zawsze radzę jechać w cudzysłowie dla Hrefer, bo przede wszystkim potrzebna jest jakość). Myślę, że jest jasne, co robimy, w końcu będziemy mieli pewną bazę zapytań do wyszukiwania forów na silniku SMF (jest wybrany na przykład, z resztą silników jest tak samo).
Będzie to wyglądać mniej więcej tak:
"Zasilany przez SMF 1.1.2"
"Zasilany przez SMF 1.1.3"
"Zasilany przez SMF 1.1 RC2"
„Zasilany przez SMF 1.1.4”
"Zasilany przez SMF 1.1.8"
"Zasilany przez SMF 1.1.7"
"2006-2008, Simple Machines LLC"
I to nie wszystko. Podczas zbierania wersji silników, na niektórych forach SMF w stopce znajdujemy nadvis "2001-2006, Lewis Media". Sprawdzamy tę prośbę, również w pełni nas satysfakcjonuje. Znajdujemy podobne zapytanie: "2001-2005, Lewis Media". Przechodząc przez stopki natrafiamy na zapytanie: "SMFone design by A.M.A, przeniesiony do SMF 1.1". Sprawdzamy - doskonale. Itp. Pół godziny pracy i masz cudowną bazę zapytań do silnika, a Google będzie zbanowany za te zapytania znacznie rzadziej, niż gdybyś używał w nich operatorów. A przy tym Twoja baza danych będzie dużo czystsza niż w przypadku zapytań typu „index.php? Topic =", bo tutaj Google poda nie tylko fora, których potrzebujemy, ale także dużo pozostawionych zasobów, na których nam się udało wyjechać link do tematu forum. Możesz się spierać, mówią, co w tym złego? Inni zostawili link, co oznacza, że możemy. Ale! Linki może pozostawić nie tylko Hrumer, ale także inne programy. ponadto można je specjalnie zaostrzyć, aby pozostawić komentarze w określonym zasobie, tzw. wysokospecjalistyczne oprogramowanie, plus takie linki można pozostawić ręcznie. Jeszcze raz powtórzę, że to nie ilość śmieci jest dla nas ważna, ale jakość, baza z poprawnymi żądaniami i tak zbierzemy. Zaletą tej metody jest to, że praktycznie nie trzeba konfigurować w Hrefer sito -filtr
, możesz go po prostu wyłączyć, bo Google praktycznie nie da ci śmieci.
Uważam, że bardzo ważne jest nauczenie się prawidłowego korzystania z Hrefera na początkowym etapie, ponieważ po nauczeniu się tego zawsze można znaleźć zastosowanie dla Hrumera, bez względu na to, jak zmieni się sytuacja. Zabezpieczenia stają się coraz bardziej skomplikowane, a jeśli na niektórych typach silników ochrona została wzmocniona i Hrumer w tej chwili nie radzi sobie z tym, to nie ma sensu wydawać środków na zbieranie tych linków, a następnie na pracę nad nimi z Hrumerem , lepiej skupić się na tym co daje efekt... A jednocześnie, jeśli zespół Botmaster Labs nauczył Hrumera czegoś nowego, możesz szybko przeprowadzić sekcję nowego pacjenta i przygotować bazę dla Hrumera, gdy pacjent jest jeszcze letni. Czas to pieniądz, zasób może już nie mieć znaczenia przy zakupie bazy. zebrane przez kogoś. Ponadto prawidłowe zbieranie baz dla siebie znacznie rozszerza „białe” zastosowanie Hrumera. I tu właśnie wszystko się porusza, czy nam się to podoba, czy nie, a proces wybielania lub siwienia trwa. Czarne prześcieradła to już przeszłość.
Całą resztę, już techniczne aspekty pracy z Hreferem, można zobaczyć w pomocy i nie ma sensu się nad nimi rozwodzić, wszystkie cele-punkty-sekundy ustalane są empirycznie dla każdego samochodu indywidualnie.
Jako bonus zamieszczę tutaj szablon do parsowania chińskiej wyszukiwarki Baidu, któregoś dnia zostałem o to zapytany, więc zrobiłem to w przerwach, przepraszam za kalambur. :)
Nazwa hosta = http://www.baidu.com
Zapytanie = s? Wd =
LinkiMaska =
Suma stron = 100
Następna strona =
Następna strona2 =
CaptchaURL =
Obraz Captcha =
Pole Captcha =
Próbowałem parsować je testem, nie było bana, Hrefer zbierał zasoby żywo, wszystkie prośby o parsowanie były podobne do Google, ale chińskie zasoby były morzem i z wysokim PR, a poza tym było wiele miejsc, w których Stopa Europejczyka nie zeszła. Lepiej jest analizować z chińskimi prośbami. Pomoże to w tłumaczeniu przez Google, wpisaniu listy słów kluczowych w języku rosyjskim i przetłumaczeniu jej na chiński. Prawda w „ słowa„Słowa hrefer nie mogą być dodawane w języku chińskim, musisz je przekodować.
Zamiast chińskiego:
伟哥 - viagra
吉他 - gitara
其他 - odpoczynek
保险公司 - ubezpieczenie
Umieść te kody, aby zastąpić je w pliku tekstowym:
% E4% BC% 9F% E5% 93% A5
% E5% 90% 89% E4% BB% 96
% E5% 85% B6% E4% BB% 96
% E4% BF% 9D% E9% 99% A9% E5% 85% AC% E5% 8F% B8
Jeśli promujesz stronę internetową dotyczącą ubezpieczenia, to umieszczając w swoim profilu link na tematyczny (!) Nawet chińskie forum znalezione na żądanie ” Forum SMF "保险公司 będzie bardzo miło.
Podsumowując, chciałbym powiedzieć, że nigdy nie zrozumiałem ludzi, którzy narzekali, że Khrefers są źli lub nie nabazgrali, zawsze chciałem to powiedzieć, po prostu nie umiesz ich ugotować. Lepiej niż hrefer, żaden parser nie wie, jak zbierać wyniki, tylko żądania muszą być poprawne. Hrefer to samochód: dobry, solidny, wykonany po niemiecku, ale człowiek nim jeździ i wszystko zależy od tego, jak rozsądnie się nim prowadzi, nie można zmusić auta do jazdy w prawo i lewo jednocześnie.
Osobnym tematem jest czyszczenie baz, które kiedyś robiłem 3 lata temu na poprzedni konkurs. Przy większej ilości wszystko jest nadal aktualne, ale teraz możesz odmówić sprawdzenia 200 OK, naprawdę nie podobał mi się ten proces, błędy były bardzo duże, odfiltrowano wiele niepotrzebnych rzeczy. Teraz można to zrobić niemal automatycznie w trakcie pracy Hrumera, chociaż proces ten nie jest kompletnym odpowiednikiem sprawdzania „200 OK”. Ogólnie rzecz biorąc, do rzeczy: nie tak dawno w Hrumerze pojawiła się wspaniała okazja - rabowania informacji z zasobów w czasie trwania projektu. To wygląda tak. Jedziesz w szablonie, który będzie przetwarzany w procesie, a informacje zebrane z szablonu zostaną wprowadzone do pliku xgrabbed.txt w folderze Logs. Możesz użyć tej funkcji do wszystkiego, lot wyobraźni jest ogromny. Korzystam z tej funkcji raz w tygodniu, aby usunąć „wygasłe” linki z działającej bazy danych. Nie jest tajemnicą, że fora codziennie wymierają, aby oczyścić bazę z takich zasobów, a narzędzie „Autograbbing” nam w tym pomoże.
Mimo wszystko trzeba przyznać, często wpisując np. http://www.laptopace.com/index.php widzimy, że ta domena jest już np. gaddyad, ale nie ma tam forum. Aby więc wyrzucić ten żużel z bazy, będziemy łupić. :) Otwórz kod źródłowy strony i zobacz tam ten wpis:
Teraz wszyscy „umarli” z goudaddi będą nam znani po imieniu.
Oto mały wybór narzędzia „Autograbbing”, jeśli chcesz wyczyścić bazę danych z różnych „wygasłych” domen: