CvT

Dies ist eine offizielle Implementierung von CvT: Einführung von Faltungen in Vision Transformers. Wir präsentieren eine neue Architektur, die Convolutional Vision Transformers (CvT) genannt wird, die die Leistung und Effizienz von Vision Transformers (ViT) verbessert, indem Faltungen in ViT eingeführt werden, um das Beste aus beiden Designs zu erzielen. Dies wird durch zwei wesentliche Modifikationen erreicht: eine Hierarchie von Transformatoren, die ein neues konvolutionales Token-Embedding enthält, und einen konvolutionalen Transformer-Block, der eine konvolutionale Projektion nutzt. Diese Änderungen bringen wünschenswerte Eigenschaften von konvolutionalen neuronalen Netzwerken (CNNs) in die ViT-Architektur ein (z. B. Verschiebungs-, Skalierungs- und Verzerrungsinvarianz), während die Vorteile von Transformatoren (z. B. dynamische Aufmerksamkeit, globaler Kontext und bessere Generalisierung) erhalten bleiben. Wir validieren CvT, indem wir umfangreiche Experimente durchführen, die zeigen, dass dieser Ansatz eine Spitzenleistung im Vergleich zu anderen Vision Transformers und ResNets auf ImageNet-1k erreicht, mit weniger Parametern und niedrigeren FLOPs. Darüber hinaus werden die Leistungsgewinne aufrechterhalten, wenn auf größeren Datensätzen (z. B. ImageNet-22k) vortrainiert und für nachgelagerte Aufgaben feinabgestimmt wird.