Anahtar Kelime Yinelenmesini Giderme

Satır satır bir liste yapıştırın ve yalnızca benzersiz değerleri koruyun. Ayrıca boş satırları silebilir, büyük/küçük harf durumunu değiştirebilir ve sonucu sıralayabilirsiniz. URL'leri, e-posta adreslerini, ürün kodlarını ve tanımlayıcıları normalleştirmeden önce, sisteminizde hangi farklılıkların önemli olduğunu kontrol edin.

Tam olarak ne kopya sayılır

Araç, metin dizelerini karşılaştırır, anlamlarını değil. Tam kopyalar, seçilen dönüşümlerden sonra eşleşen değerlerdir.

Ön temizlik yapılmadan bu satırlar farklı sayılabilir:

Farklılıkların nedenleri:

• farklı büyük/küçük harf kullanımı;
• başta veya sonda boşluk ya da sekme;
• bir boşluk yerine iki boşluk;
• bölünemez boşluk (NBSP);
• farklı tireler veya tırnak işaretleri;
• görünmez Unicode karakteri;
• kelimenin farklı biçimleri veya kelime sırası.

kanepe satın al ve satın al kanepe ifadeleri tam kopya değildir. Olası anlamsal yakınlıkları ayrı bir analiz gerektirir.

Sıradan bir listeyi temizlemek için güvenli sıralama

Anahtar kelimeler, etiketler, şehirler veya isimler için genellikle şu sıralama uygundur:

1. orijinalin bir kopyasını saklayın;
2. satır başlarındaki ve sonlarındaki boşlukları ve sekmeleri kaldırın;
3. boş satırları silin;
4. gerekirse metni tek bir harf durumuna getirin;
5. tam kopyaları kaldırın;
6. sıralamayı yalnızca sıralama artık gerekli değilse yapın.

Dönüşümler kopyaları kaldırmadan önce yapılmalıdır. Aksi takdirde, Example ve example ayrı satırlar olarak kalır ve sonraki bir harf durumu değişikliğinden sonra iki özdeş değere dönüşür.

Tam ve anlamsal kopyalar

Tam kopyalar

Otomatik olarak kaldırılabilirler.

Basit normalleştirmeden sonraki kopyalar

Büyük/küçük harf değişikliği ve sonda boşluk silinmesiyle eşleşirler.

Anlamsal veya kurallı kopyalar

Sıradan bir araç bunları otomatik olarak kaldırmamalıdır. Anahtar kelimeler için arama sonucu analizi, niyet ve kümeleme gerekir; ürünler için katalog kuralları; kişiler ve kurumlar için tanımlayıcılar veya manuel kontrol.

URL listelerinde özel dikkat

Tüm URL'yi koşulsuz olarak küçük harfe çevirmek doğru değildir. Standarda göre şema ve ana bilgisayar adı büyük/küçük harfe duyarsızdır:

Ancak yol, parametreler ve parça belirli sistemlerde büyük/küçük harfe duyarlı olabilir:

Bu adresler, site kontrolü yapılmadan tek bir URL olarak kabul edilemez.

Ayrıca, tam kopya temizleme aracı bu varyantların eşdeğer olup olmadığını otomatik olarak belirlemez:

Bunların birleştirilmesi yönlendirmelere, kurallı URL'lere, sunucu yapılandırmasına ve görevinize bağlıdır. Önce yalnızca tam tekrarları kaldırın, ardından kurallaştırmayı ayrıca analiz edin.

E-posta adresleri için nelere dikkat edilmeli

@'den sonraki alan adı kısmı küçük harfe çevrilebilir. @'den önceki yerel kısım daha karmaşıktır: standart büyük/küçük harfe duyarlılığa izin verir, ancak birçok modern e-posta sistemi bunu pratikte kullanmaz.

Bu nedenle, tüm e-posta adreslerini küçük harfe dönüştürmek belirli bir bilinen veritabanı için genellikle uygundur, ancak evrensel olarak hatasız bir kural olarak kabul edilmemelidir. Toplu gönderiler için metinsel kopyaları kaldırmak da yeterli değildir: alıcıların onayı, geçersiz adresler, abonelik iptalleri ve bastırılmış kişiler dikkate alınmalıdır.

Ürün kodları, kodlar, hash'ler ve tanımlayıcılar

Bu tür değerlerde büyük/küçük harf, tanımlayıcının bir parçası olabilir:

Büyük/küçük harfi değiştirmeden önce CRM, mağaza, API veya veritabanı dokümantasyonunu kontrol edin. Aynı durum promosyon kodları, token'lar, standart dışı formatlardaki UUID'ler, dosya adları ve nesne anahtarları için de geçerlidir.

Unicode ve görünmez farklılıklar

Dışarıdan özdeş görünen metin, farklı Unicode dizileriyle temsil edilebilir. Örneğin, aksanlı bir harf bazen tek bir karakter olarak, bazen de harf ve ayrı bir birleştirici işaret olarak saklanır. Sıradan bir karşılaştırma bunları farklı dizeler olarak kabul edebilir.

Ayrıca şunlar da bulunur:

• bölünemez boşluk (NBSP);
• dar bölünemez boşluk;
• sıfır genişlikli karakterler;
• farklı tireler: -, –, —;
• Latin ve Kiril alfabelerinden görsel olarak benzer harfler.

Mevcut araç, tam Unicode normalleştirmesi yapmak veya alfabe değişimlerini tespit etmek zorunda değildir. Temizlikten sonra gizemli tekrarlar kalırsa, kod noktalarını özel bir analizörle kontrol edin.

Sonucu sıralamak gerekli mi?

Sıralama, incelemeyi kolaylaştırır ve benzer satırları yan yana görmeye yardımcı olur, ancak orijinal sırayı değiştirir. Bu aşağıdakiler için kritik olabilir:

• öncelik listeleri;
• görev kuyrukları;
• menü yapıları;
• komut dizileri;
• bir satırın bir numara veya komşu satırla bağlantılı olduğu veriler.

Sıralama önemliyse, ilk tekrarı koruyarak kopyaları kaldırın ve sıralamayı etkinleştirmeyin.

Pratik senaryolar

Anahtar kelimeler

Büyük/küçük harfi tek bir forma getirin, satır kenarlarını temizleyin ve tam kopyaları kaldırın. Arama sonuçlarını ve kümelenmeyi analiz etmeden kelime değişimlerini ve yakın ifadeleri kaldırmayın.

Alan adı listesi

Alan adları küçük harfe çevrilebilir. Listenin yol ve parametre içeren tam URL'ler içerip içermediğini kontrol edin — bunlar için kurallar daha katıdır.

Birden fazla dışa aktarmadan gelen URL'ler

Önce tam kopyaları kaldırın. Ardından UTM parametrelerinin, parçaların, sondaki eğik çizginin, protokolün veya www'nin hariç tutulup tutulmayacağına ayrıca karar verin. Bu karar tüm siteler için aynı şekilde alınamaz.

Ürün adları

Adın tam eşleşmesi her zaman ürün kopyası anlamına gelmez: boyut, renk, donanım veya SKU farklı olabilir. Tersine, aynı ürünün biraz farklı adları olabilir. Ürün kodunu veya başka bir sabit tanımlayıcıyı kullanın.

E-posta veritabanı

Boş ve yinelenen satırları kaldırın, ancak bunu tam bir gönderi hazırlığı olarak değerlendirmeyin. Sözdizimi kontrolü, abonelik durumu, iptaller ve ilgili e-posta hizmetinin kuralları gereklidir.

Sonuç nasıl kontrol edilir

1. İşlem öncesi ve sonrasındaki satır sayısını karşılaştırın.
2. Arayüz orijinali yanında tutmaya izin veriyorsa, kaldırılan birkaç değeri inceleyin.
3. Büyük/küçük harfin anlamlı olmadığından emin olun.
4. Sıralamadan sonra listenin başlangıcını ve sonunu kontrol edin.
5. Önemli veriler için küçük bir kısmı test içe aktarımı yapın.

Sık sorulan sorular

Kopyaları kaldırdıktan sonra neden benzer satırlar kaldı?

Boşluk, büyük/küçük harf, noktalama işaretleri, Unicode karakterleri veya kelime biçimleri açısından farklılık gösterebilirler. Araç eşleşen dizeleri kaldırır, aynı anlamı değil.

Tüm URL'ler küçük harfe çevrilebilir mi?

Hayır. Şema ve alan adının harf durumunu normalleştirmek güvenlidir, ancak yol ve parametreler büyük/küçük harfe duyarlı olabilir.

Tekrar durumunda hangi tekrar korunur?

Genellikle özdeş değerlerden biri korunur. Göreviniz için ilk veya son tekrarı ve ilişkili sıralamayı korumak önemliyse, kısa bir test listesinde davranışı kontrol edin.

Sıralama neden veri yapısını bozdu?

Sıralama, dizeler üzerinde bağımsız olarak çalışır ve anlamsal gruplarını bilmez. Düz metin olarak yapıştırılmış çok satırlı kayıtlar veya ilişkili sütunlar için kullanmayın.

Araç, UTM etiketli sayfaların kopyalarını kaldıracak mı?

Kurallı kopyalar olarak değil: farklı parametrelere sahip URL'ler farklı dizelerdir. Bunları birleştirmek için, hangi parametrelerin anlamı değiştirmeden kaldırılabileceğini ayrıca belirlemeniz gerekir.

İlgili araçlar: Metin işleyici; Anahtar kelime birleştirici; Diffchecker.

Resmi standart:
RFC 3986 — URI Generic Syntax: https://www.rfc-editor.org/rfc/rfc3986